AWS認定AIプラクティショナー（AIF-C01）のドメイン3「基盤モデルの応用」で頻出なのが、基盤モデルを自社用途に寄せるカスタマイズの手法です。中でも「ファインチューニングとRAGはどう違う？」は定番の問い。この記事で、事前学習／継続事前学習／ファインチューニング／蒸留の関係と、コスト順の使い分けを整理します。設計全体は FMアプリ設計 もどうぞ。
モデルを賢くする4つの方法（コスト順）
- ① インコンテキスト学習：プロンプトに例や情報を入れて誘導。再学習なし・最も手軽（→ Few-shot等）
- ② RAG：外部文書を検索して根拠として与える。最新・社内の「知識」を足したいとき。モデルは変えない（→ RAG解説）
- ③ ファインチューニング：ラベル付きデータでモデルを追加学習し、口調・形式など「振る舞い」を変える。中〜高コスト
- ④ 継続事前学習／事前学習：大量データで土台から学習。継続事前学習はラベルなしの専門分野テキストで知識を底上げ。事前学習はゼロから作るため最も高コスト（通常は自前で行わない）
事前学習・継続事前学習・ファインチューニング・蒸留
言葉が似ていて混乱しやすいので、定義を押さえましょう（AWSのAmazon Bedrockではモデルカスタマイズとして提供されます）。
| 手法 | 使うデータ | 目的 |
|---|---|---|
| 事前学習 | 超大量のテキスト | 汎用的な土台モデルをゼロから作る |
| 継続事前学習 | ラベルなしの専門分野テキスト | 特定ドメインの知識を底上げ（ドメイン適応） |
| ファインチューニング | ラベル付き（指示と望む回答のペア） | 特定タスクや口調・形式への適応（指示チューニング） |
| 蒸留(Distillation) | 大きい「教師」モデルの出力 | 小さく速く安い「生徒」モデルへ知識を移す |
関連用語として、人間の好み（ランキング）を学習させて出力を整えるRLHF（人間のフィードバックによる強化学習）もあります。AWSではSageMaker等で実現でき、対話の自然さや安全性の向上に使われます。
- 知識を足す＝RAG／振る舞いを変える＝ファインチューニング（最重要の使い分け）
- ファインチューニング＝ラベル付き／継続事前学習＝ラベルなしのドメインテキスト
- 蒸留＝大→小へ知識移転（安く速く）。RLHF＝人の好みで調整
- 手軽さ順：インコンテキスト学習＜RAG＜ファインチューニング＜事前学習
結論：RAGとファインチューニングの使い分け
試験でも実務でも、判断軸はシンプルです。
- 最新情報・社内文書など「知識」を答えに反映したい → RAG（再学習不要。文書を差し替えれば最新化でき、出典も示せる）
- 特定の口調・出力形式・専門タスクなど「振る舞い」を固定したい → ファインチューニング
- まず手早く試したい → インコンテキスト学習（Few-shot）
AWSも「まずRAGから検討」を推奨しています。両者は排他ではなく、ファインチューニングで振る舞いを整えつつRAGで知識を足すといった併用も有効です。なお、ファインチューニングで作ったカスタムモデルをBedrockで推論するには、原則プロビジョンドスループットの購入が必要な点も押さえておきましょう（一部モデルはオンデマンド対応も拡大中）。
確認クイズ
Q1. 毎日更新される製品カタログの最新情報を正確に答えさせたい。再学習は避けたい。最適なのは？
Q2. ラベルなしの大量の専門分野テキストで、モデルの土台知識をドメインに底上げする手法は？
Q3. 大きく高性能な『教師』モデルの知識を、小さく速く安い『生徒』モデルに移す手法は？
よくある質問（FAQ）
Q. ファインチューニングとRAG、結局どちらを使えばいい？
A. 合言葉は「知識を足すならRAG、振る舞いを変えるならファインチューニング」。最新性・出典が要るならRAG、決まった口調や形式で答えさせたいならファインチューニング。迷ったら手軽なRAGから始めましょう。
Q. 指示チューニング（instruction tuning）とは？
A. 「指示に従う」能力を高めるためのファインチューニングの一種です。指示文と望ましい回答のペアで学習させ、ユーザーの指示にうまく応答できるようにします。
Q. ファインチューニングに必要なデータは？
A. 質の高いラベル付きデータ（プロンプトと望む回答のペア）を用意します。量より質が重要で、偏りのない代表的なデータを揃えることが成功の鍵です。
まとめ
- 知識を足す＝RAG／振る舞いを変える＝ファインチューニング
- ファインチューニング＝ラベル付き、継続事前学習＝ラベルなしドメイン、蒸留＝大→小
- 手軽さ順にインコンテキスト学習＜RAG＜ファインチューニング＜事前学習。まずRAGから
※本記事はAWS公式試験ガイド(AIF-C01)およびAmazon Bedrockモデルカスタマイズ公式ドキュメントに基づき、エンジニアKが作成しています。提供形態は更新されるため、最新は公式ドキュメントをご確認ください。
コメント