頑固なバイアスは繰り返しで除去する

頑固なバイアスは繰り返しで除去する

タイトル: Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection
著者: Shauli Ravfogel, Yanai Elazar, Hila Gonen, Michael Twiton, Yoav Goldberg
会議・出版: ACL
年: 2020

💡 概要

  • 零空間へ射影を繰り返すことで,分散表現に学習された情報を除去する手法 (Iterative Null-space Projection; INLP) を提案
  • 除去したい情報を検出する線形モデルを学習し表現を零空間に射影することを繰り返すことで線形モデルが情報を検出できない,つまり情報を除去することができる
  • 公平性に関するデータセットに適応し,バイアス除去することで提案手法の有効性を示した
続きを読む
マスク付き言語モデルの差別的バイアスの除去

マスク付き言語モデルの差別的バイアスの除去

タイトル: Debiasing Pre-trained Contextualised Embeddings
著者: Masahiro Kaneko, Danushka Bollegala
会議・出版: EACL
年: 2021

💡 概要

  • BERTやRoBERTaなどのマスク付き言語モデル (Masked Language Models; MLMs) に含まれる差別的バイアスを除去する研究
  • MLMのバイアス除去の適応箇所について(1)単語単位と文単位(2)最初の層,最終層と全層,の2つの観点に対して調査した.その結果,単語単位で全層に対してバイアス除去することがもっとも効果的であることを示した.
  • そして,MLMごとに下流タスクへの影響に差があることも明らかにした
続きを読む
マスク付き言語モデルのマスクトークンを用いない差別的バイアスの評価

マスク付き言語モデルのマスクトークンを用いない差別的バイアスの評価

タイトル:Unmasking the Mask – Evaluating Social Biases in Masked Language Models
著者:Masahiro Kaneko, Danushka Bollegala
会議・出版:arXiv
年:2021

💡 概要

  • BERTやALBERTのようなマスク付き言語モデルの公平性に関するバイアス評価についての研究
  • マスクトークンを用いないバイアス評価手法 (AULとAULA)を提案
  • バイアス評価にマスクトークンを用いることの問題点を分析
続きを読む