プロンプトを用いた言語モデルのFew-shot学習は過大評価されている
タイトル： True Few-Shot Learning with Language Models
著者： Ethan Perez, Douwe Kiela, Kyunghyun Cho
会議・出版： NeurIPS
年： 2021
💡 概要
- 大規模データで事前学習された言語モデルを用いて少数の例のみを用いた学習が注目されている
- 一方で，既存研究ではモデルの選択時に大規模データを使っていたり不明瞭だったりと問題があるため，cross-validationとminimum description lengthを用いてTrue few-shot learning設定で有効であるかどうかを検証した
- True few-shot学習の設定だとモデル選択はかなり困難であることを明らかにし，先行研究では言語モデルのfew-shot学習を大幅に過大評価していることを問題提起している
