2020-12-212020-12-21IT

【自然言語処理】ファインチューニング(Fine-Tuning)とは何か

当ページのリンクには広告が含まれています。

✓目次

ファインチューニングとは、訓練済のモデルを各タスクに合わせて調整するように訓練することです。

転移学習という言い方もします。大まかな例えでいうと、

- 工場Aには学習済のモデルがある
- 工場Bにはモデルがない
- 工場Bでも同じことができるようにしたい

といった場合は、工場Aのモデルを転用することを考えます。

最初の時点で既存のモデルを適用し、そのモデルに対して訓練させたいデータ(例：自然言語処理であれば文章など)を与え、訓練をさせて、新たなモデルを作る処理がファインチューニングになります。

ファインチューニングにおいて、既存の学習済モデルは、「特徴抽出器」として用いられ、パラメータの更新はされません。

出力側に追加した層のパラメータが更新され、学習が行われる形式です。

すなわち、既存の学習済のモデルに、新しく層を追加して、その追加した層のパラメータを更新することで、ファインチューニングにおける学習が行われます。

ここからはファインチューニングのメリットについていくつかまとめていきます。

学習や訓練にはデータが必要になりますが、必ずしも十分なデータを用意できるとは限りません。
また、実験回数を多く重ねることが難しい領域も多く存在します。

そんなときは、すでに多くのデータを用いて学習させたモデルを活用するのが有効かと思います。

ある領域で訓練したモデルというのは、実は別の領域に適用可能となるケースは多くあります。

複数のタスクにおいて共通的に捉えるべき特徴というのが存在し、少しだけ調整するだけで適用できたりします。

既存の学習モデルを特徴抽出することで学習時間を短縮させることができます。

先でも述べましたが、捉えるべき特徴については共通部分が存在し、それを使い回すことで学習時間を短縮することができます。

世の中には、膨大なデータを用いて、たくさんの試行錯誤により確立された既存モデルがアップロードされています。

それらを簡単にダウンロードして利用することができる仕組みになっています。

最初からモデルを構築していくのではなく、既存の学習済のモデルを活用して、自ら最適化されたモデルを構築していくという方法を取ることで、効率化が図れるのです。