頑固なバイアスは繰り返しで除去する

2021-06-07に投稿2022-01-29に更新🔎 研究‍15分で読む (約2219語)

頑固なバイアスは繰り返しで除去する

タイトル： Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection
著者： Shauli Ravfogel, Yanai Elazar, Hila Gonen, Michael Twiton, Yoav Goldberg
会議・出版： ACL
年： 2020

💡 概要

零空間へ射影を繰り返すことで，分散表現に学習された情報を除去する手法 (Iterative Null-space Projection; INLP) を提案
除去したい情報を検出する線形モデルを学習し表現を零空間に射影することを繰り返すことで線形モデルが情報を検出できない，つまり情報を除去することができる
公平性に関するデータセットに適応し，バイアス除去することで提案手法の有効性を示した

続きを読む

言語モデルの感情バイアスの評価と除去

2021-05-17に投稿2022-01-29に更新🔎 研究‍17分で読む (約2518語)

言語モデルの感情バイアスの評価と除去

タイトル： Reducing Sentiment Bias in Language Models via Counterfactual Evaluation
著者： Po-Sen Huang, Huan Zhang, Ray Jiang, Robert Stanforth, Johannes Welbl, Jack Rae, Vishal Maini, Dani Yogatama, Pushmeet Kohli
会議・出版： EMNLP Findings
年： 2020

💡 概要

言語モデルによって生成されたテキストの感情バイアスを評価し除去する
国名，職業や性別に関する文脈が与えたれた際に言語モデルが生成したテキストの感情分析を行いその偏りにより評価を行う
言語モデルの隠れ層に対して正則化を行うことで感情バイアスの除去を行う

続きを読む

マスク付き言語モデルの差別的バイアスの除去

2021-05-12に投稿2022-01-29に更新🔎 研究‍13分で読む (約2001語)

マスク付き言語モデルの差別的バイアスの除去

タイトル： Debiasing Pre-trained Contextualised Embeddings
著者： Masahiro Kaneko, Danushka Bollegala
会議・出版： EACL
年： 2021

💡 概要

BERTやRoBERTaなどのマスク付き言語モデル (Masked Language Models; MLMs) に含まれる差別的バイアスを除去する研究
MLMのバイアス除去の適応箇所について(1)単語単位と文単位(2)最初の層，最終層と全層，の2つの観点に対して調査した．その結果，単語単位で全層に対してバイアス除去することがもっとも効果的であることを示した．
そして，MLMごとに下流タスクへの影響に差があることも明らかにした

続きを読む

辞書を用いた単語分散表現の様々な差別的バイアス除去

2021-04-20に投稿2022-01-29に更新🔎 研究‍14分で読む (約2089語)

辞書を用いた単語分散表現の様々な差別的バイアス除去

タイトル： Dictionary-based Debiasing of Pre-trained Word Embeddings
著者： Masahiro Kaneko, Danushka Bollegala
会議・出版： EACL
年： 2021

💡 概要

Word2vecやGloVeなどの単語分散表現に含まれる差別的バイアスを除去する研究
辞書の定義文を用いることでバイアスに関する単語リストを使わずにバイアス除去する手法を提案
性別，人種や年齢など幅広いバイアスに対して有効であることを実証

続きを読む