モデルはデプロイして終わりではありません。時間とともに世の中のデータが変化すると、学習時の前提がずれて精度が静かに劣化します（ドリフト）。MLA-C01ドメイン4では、本番のモデルを継続的に監視し、異常を検知して保守する力が問われます。この記事では、ドリフト、SageMaker Model Monitorの4種、A/Bテストを解説します。前の記事は M3-3、全体像は シラバスマップ をどうぞ。
ドリフトとは：静かに進む精度の劣化
ドリフトとは、本番で扱うデータの傾向が、学習時から時間とともにずれていくこと。たとえば利用者層の変化や季節要因で入力データの分布が変わると、モデルの精度が落ちます。怖いのは、エラーは出ないのに精度だけが静かに下がること。だから継続的な監視が必要です。
SageMaker Model Monitorの4種
SageMaker Model Monitorは、本番のモデルを継続監視し、基準（ベースライン）からの逸脱を検知します。監視できる観点は4種類です。
- データ品質：本番の入力データに、欠損の増加や範囲外の値など品質の逸脱がないか
- モデル品質：精度・再現率などモデルの性能がベースラインから劣化していないか
- バイアスドリフト：本番運用の中で偏り（バイアス）が時間とともに生じていないか
- 特徴量寄与ドリフト：各特徴量の予測への寄与の分布が変化していないか（SageMaker Clarifyと連携）
2つのモデルを本番で比べる：A/Bテスト
新旧2つのモデルのどちらが本番で優れるかを判断するには、A/Bテストを使います。1つのエンドポイントに複数のバリアントを置き、実トラフィックを分けて両者の成果を比較します。なお、応答に影響を与えずに新モデルを検証したい場合は、前のM2-3で触れたシャドウテストを使い分けます（A/Bは両方を実際に提供して比較、シャドウは新モデルの結果を反映せず比較）。
確認クイズ
Q1. あなたが本番運用するモデルは、デプロイ直後は良好でしたが、数か月かけて少しずつ精度が低下してきました。エラーは出ておらず、原因は入力データの傾向の変化が疑われます。こうした劣化を自動で継続的に検知したい場合、最も適切なアプローチはどれですか。
Q2. あなたは改良した新モデルと現行モデルのどちらが本番で実際に優れているかを判断したいと考えています。両方を実際に利用者へ提供し、実トラフィックを分けて成果を比較したい状況です。最も適切な方法はどれですか。
Q3. あなたは本番の推論エンドポイントに届く入力データそのものの品質を監視したいと考えています。具体的には、想定にない欠損の急増や範囲外の値が混入していないかを、ベースラインと比べて継続的に検知したい状況です。最も適切なのはどれですか。
あなたは「モデルは一度きちんと評価したのだから、本番投入後は監視しなくてよい」という意見をチームで検討しています。この考え方への対応として、最も適切なものはどれですか。
よくある質問（FAQ）
Q. ドリフトはなぜ怖いのですか？
A. エラーが出ないのに精度だけが静かに低下するためです。気づかないうちに判断品質が落ちるので、継続監視で早期に検知します。
Q. Model Monitorは何を監視できますか？
A. データ品質・モデル品質・バイアスドリフト・特徴量寄与ドリフトの4観点です。ベースラインからの逸脱を検知します。
Q. A/Bテストとシャドウテストの違いは？
A. A/Bは両モデルを実際に提供して成果を比較、シャドウは新モデルの結果を反映せずに挙動だけ確認します。目的で使い分けます。
まとめ
- ドリフトはエラーなく精度が静かに劣化する現象。継続監視が必須
- Model Monitorの4種（データ品質・モデル品質・バイアスドリフト・特徴量寄与ドリフト）でベースラインからの逸脱を検知
- 2モデルの本番比較はA/Bテスト、応答に影響を与えない検証はシャドウテスト
- ➡ 次の記事：M4-2 インフラ・コストの監視と最適化（CloudWatch/X-Ray・Cost Explorer・スポット/Savings Plans）※準備中
- ➡ 前の記事：M3-3 CI/CDパイプライン ／ シラバスマップ
※本記事はAWS公式試験ガイド(MLA-C01)および各サービスの公開ドキュメントに基づき、エンジニアKが作成しています。サービス仕様は更新されることがあるため、最新は必ずAWS公式でご確認ください。本サイトはAmazon Web Services, Inc.の公式サイトではありません。AWSは同社の商標です。
コメント