ドメイン適応のためのトークン単位の擬似尤度に基づくマスク戦略

概要

事前学習済み言語モデルは，事前学習のコーパスと異なるドメインのデータを扱う際，ドメインシフトのため性能が低下する問題に直面する．この問題に対する効果的な解決策として，事前学習後にドメイン適応を施す手法が提案されている．MLM（Masked Language Modeling）に基づく既存のドメイン適応手法では，マスクしたトークンを予測することで，ドメインの言語知識を獲得しようとする．しかし，既存手法では文中のすべてのトークンを同じ確率でマスクするため，当該ドメインの言語知識が十分に学習されない可能性がある．そこで本研究では，双方向言語モデルを用いてトークンの擬似尤度を計算し，ドメイン固有の知識を持つ可能性が高いが尤度が低いトークンを重点的にマスクすることで，言語モデルが当該ドメインに関する情報を積極的に学習するように促す新しいマスク戦略を提案する．本研究では，ドメインシフトが発生する 3 種類の文書分類タスクにおいて評価実験を行い，提案手法の有効性を示す．

引用情報

木村 優介, 駒水 孝裕, 波多野 賢治, ドメイン適応のためのトークン単位の擬似尤度に基づくマスク戦略, 情報処理学会研究報告, Vol.2024-IFAT-154, No.1, pp.1--6, 2024-03-25.