2021年の金子の進捗

2021年の金子の進捗

💡 概要

  • 2021年の金子の進捗について振り返る
  • 今年はPh.D.を取得したことと新しく岡崎研で働き始めたので主にそれらについて書く
  • 他に今年の論文などについても振り返る
続きを読む
英語の文法誤り訂正に入門しつつFairseqでモデルを学習・推論して評価する

英語の文法誤り訂正に入門しつつFairseqでモデルを学習・推論して評価する

💡 概要

  • 評価・推論するための英語文法誤り訂正について最低限の知識が得られる
  • Fairseqを用いてTransformerの文法誤り訂正モデルを動かす
  • 文法誤り訂正モデルの推論結果を評価する
続きを読む
プロンプトを用いた言語モデルのFew-shot学習は過大評価されている

プロンプトを用いた言語モデルのFew-shot学習は過大評価されている

タイトル: True Few-Shot Learning with Language Models
著者: Ethan Perez, Douwe Kiela, Kyunghyun Cho
会議・出版: NeurIPS
年: 2021

💡 概要

  • 大規模データで事前学習された言語モデルを用いて少数の例のみを用いた学習が注目されている
  • 一方で,既存研究ではモデルの選択時に大規模データを使っていたり不明瞭だったりと問題があるため,cross-validationとminimum description lengthを用いてTrue few-shot learning設定で有効であるかどうかを検証した
  • True few-shot学習の設定だとモデル選択はかなり困難であることを明らかにし,先行研究では言語モデルのfew-shot学習を大幅に過大評価していることを問題提起している
続きを読む
名古屋地区NLPセミナーでの公平性に関する発表のスライド

名古屋地区NLPセミナーでの公平性に関する発表のスライド

第62回名古屋地区NLPセミナー において,「事前学習された分散表現における公平性」というタイトルで金子が発表した資料です.

頑固なバイアスは繰り返しで除去する

頑固なバイアスは繰り返しで除去する

タイトル: Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection
著者: Shauli Ravfogel, Yanai Elazar, Hila Gonen, Michael Twiton, Yoav Goldberg
会議・出版: ACL
年: 2020

💡 概要

  • 零空間へ射影を繰り返すことで,分散表現に学習された情報を除去する手法 (Iterative Null-space Projection; INLP) を提案
  • 除去したい情報を検出する線形モデルを学習し表現を零空間に射影することを繰り返すことで線形モデルが情報を検出できない,つまり情報を除去することができる
  • 公平性に関するデータセットに適応し,バイアス除去することで提案手法の有効性を示した
続きを読む
言語モデルの感情バイアスの評価と除去

言語モデルの感情バイアスの評価と除去

タイトル: Reducing Sentiment Bias in Language Models via Counterfactual Evaluation
著者: Po-Sen Huang, Huan Zhang, Ray Jiang, Robert Stanforth, Johannes Welbl, Jack Rae, Vishal Maini, Dani Yogatama, Pushmeet Kohli
会議・出版: EMNLP Findings
年: 2020

💡 概要

  • 言語モデルによって生成されたテキストの感情バイアスを評価し除去する
  • 国名,職業や性別に関する文脈が与えたれた際に言語モデルが生成したテキストの感情分析を行いその偏りにより評価を行う
  • 言語モデルの隠れ層に対して正則化を行うことで感情バイアスの除去を行う
続きを読む
流暢な文法誤り訂正のためのベンチマーク

流暢な文法誤り訂正のためのベンチマーク

タイトル: JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction
著者: Courtney Napoles, Keisuke Sakaguchi, Joel Tetreault
会議・出版: EACL
年: 2017

💡 概要

  • 流暢な文法誤り訂正を評価するための開発・評価データを作成
  • 多様な学習者が書いたテキストに対して訂正を行いデータセットを構築
続きを読む
マスク付き言語モデルの差別的バイアスの除去

マスク付き言語モデルの差別的バイアスの除去

タイトル: Debiasing Pre-trained Contextualised Embeddings
著者: Masahiro Kaneko, Danushka Bollegala
会議・出版: EACL
年: 2021

💡 概要

  • BERTやRoBERTaなどのマスク付き言語モデル (Masked Language Models; MLMs) に含まれる差別的バイアスを除去する研究
  • MLMのバイアス除去の適応箇所について(1)単語単位と文単位(2)最初の層,最終層と全層,の2つの観点に対して調査した.その結果,単語単位で全層に対してバイアス除去することがもっとも効果的であることを示した.
  • そして,MLMごとに下流タスクへの影響に差があることも明らかにした
続きを読む
辞書を用いた単語分散表現の様々な差別的バイアス除去

辞書を用いた単語分散表現の様々な差別的バイアス除去

タイトル: Dictionary-based Debiasing of Pre-trained Word Embeddings
著者: Masahiro Kaneko, Danushka Bollegala
会議・出版: EACL
年: 2021

💡 概要

  • Word2vecやGloVeなどの単語分散表現に含まれる差別的バイアスを除去する研究
  • 辞書の定義文を用いることでバイアスに関する単語リストを使わずにバイアス除去する手法を提案
  • 性別,人種や年齢など幅広いバイアスに対して有効であることを実証
続きを読む
マスク付き言語モデルのマスクトークンを用いない差別的バイアスの評価

マスク付き言語モデルのマスクトークンを用いない差別的バイアスの評価

タイトル:Unmasking the Mask – Evaluating Social Biases in Masked Language Models
著者:Masahiro Kaneko, Danushka Bollegala
会議・出版:arXiv
年:2021

💡 概要

  • BERTやALBERTのようなマスク付き言語モデルの公平性に関するバイアス評価についての研究
  • マスクトークンを用いないバイアス評価手法 (AULとAULA)を提案
  • バイアス評価にマスクトークンを用いることの問題点を分析
続きを読む