論文メモ：下流タスクと言語モデル自体の公平性の評価、汎化性のための偽の相関のバイアス除去、正解ラベルなしのプロンプトエンジニアリング
💡 概要
- 下流タスクと言語モデル自体の公平性の評価にはほとんど相関がない
- 汎化性能を高めるために偽の相関によるバイアスを除去する
- 相互情報量による正解ラベルを用いないプロンプトエンジニアリング
論文メモ：人間とAIの協調性の改善、トークン化、変化要因を制御した言語間の転移分析、デルタチューニングを体系的な調査・定義
💡 概要
- 人間の行動をモデル化し最適化することで人間とAIの協調性を改善
- トークン化、形態素や構文などの要因を制御した言語間の転移分析
- デルタチューニングを体系的に定義し100以上のNLPタスクで調査
論文メモ：訓練不要な層に置換することによる高速化、翻訳モデルの出力による評価モデルの弱点分析、学習設定のデータスケーリング法則への影響、多言語言語モデルXGLM
💡 概要
- 訓練可能な層を訓練不要な層に置換することによる高速化
- 評価モデルに対して翻訳モデルを最適化することで評価モデルの弱点を分析
- 学習設定がデータスケーリングの法則に与える影響
- 大規模多言語言語モデルXGLMのfew-shot学習とzero-shot学習の調査
論文メモ：多言語音声言語モデルmSLAM、ニューラルネットワークの忘却は必要、事前学習モデルを効率化するpNLP-Mixer
💡 概要
- 51言語の音声データと101言語のテキストデータで学習された多言語音声言語モデルmSLAM
- ニューラルネットワークの忘却、実は性能改善に寄与している
- 射影ベースのMLP-Mixerにより事前学習モデルを効率化するpNLP-Mixer
論文メモ：CNNとTransformer事前学習モデルの比較、ルールベースと深層学習を統合した手法DEEPCTRL、アテンション機構の説明性に対する忠実性の調査
💡 概要
- CNN事前学習モデルはTransformer事前学習モデルに匹敵する
- 深層学習モデルにルールベースを制御し考慮する手法DEEPCTRL
- 説明性におけるアテンション機構の重みとモデル予測の忠実性の間の整合性調査
論文メモ：知識蒸留と枝刈りによる公平性改善、モデル出力の一貫性を評価するDiscoScore、寄与率による説明性に対する人間の理解、特徴量による説明性は人間理解への貢献を検証
💡 概要
- 知識蒸留と枝刈りによるモデル圧縮は公平性を改善する
- テキスト生成モデルの一貫性を評価するDiscoScore
- 寄与率による説明性に対する人間の理解について分析
- 特徴量による説明性は人間のモデルの性能への理解に貢献するかを検証
論文メモ：ブラックボックス設定のプロンプト学習、プログラム形式の推論のための事前学習POET、経済的公平さと繁栄のための民主的AI
💡 概要
- ブラックボックス設定における事前学習モデルのプロンプト学習
- プログラム形式のデータで事前学習された推論手法POET
- 経済的公平さと繁栄を両立するための民主的AI
論文メモ：データ選択における著者バイアス、マルチモーダルの構造を調査、言語モデルと知識グラフを用いたQAモデル
💡 概要
- テキストデータ選択手法には特定の著者の属性を優遇する
- マルチモーダルモデルの事前学習データ、アテンション機構と損失関数について調査
- 言語モデルと知識グラフを相互に考慮したQAシステム
