深層学習モデルによる自然言語処理は、多くのタスクにおいて、それ以前の自然言語処理の性能を凌駕することが経験的に知られている。高い性能を発揮する深層学習モデルは、自然言語を効果的に取り扱うためのモデル構造の工夫を巧みに組み合わせて実現されている。近年では、大規模データを予め学習させた汎用モデルの普及、一連のデータ処理工程の構築の容易化などから、同分野への参入障壁が低下している。また、前処理ツールや言語データセットなどのリソースを無償で公開する慣習や、データの自動収集に関する法規制の緩和も、モデルの研究開発および普及を後押ししている。深層学習モデルを事業サービスに活用する際には、モデルがプライバシー情報や誤情報、その他の有害な表現を出力しないよう倫理的な配慮が求められるが、倫理に関する普遍的な規範はなく、万人に適した対応は困難である。加えて、深層学習モデルが自然言語を操るメカニズムは人間のそれとは原理的に異なるため、モデル性能の不確実性や限界を認識しておく必要がある。このほか、自然言語処理を念頭においた機械学習モデルに特有の情報セキュリティ・リスクにも注意すべきである。モデルの活用では、適用するタスクに即したモデル性能の評価を継続し、各種のリスク緩和策を講じていくことが求められる。
キーワード：自然言語処理、深層学習、事前学習済みモデル、倫理、コーパス、セキュリティ
掲載論文等の内容や意見は、執筆者個人に属し、日本銀行あるいは金融研究所の公式見解を示すものではありません。