学習したモデルは、使われてはじめて価値を生みます。SageMakerには推論の提供方法が複数あり、リアルタイム・サーバーレス・非同期・バッチの4種を、要件(レイテンシ・ペイロードの大きさ・トラフィックの性質・コスト)で使い分けます。MLA-C01でも頻出の判別ポイントです。この記事で各種別の「向き・不向き」を押さえましょう。前の記事は M2-3、全体像は シラバスマップ をどうぞ。

4つのエンドポイント種別を使い分ける
判別の軸はシンプルです。常時の低遅延が要るか、トラフィックは断続的か、ペイロードが大きく処理が長いか、大量データを一括処理するか。これで選びます。

| 種別 | 向いている場面 |
|---|---|
| リアルタイム推論 | 常時稼働で低レイテンシ。安定したトラフィックの即時応答 |
| サーバーレス推論 | 断続的・予測しづらいトラフィック。アイドル時のコストを抑えたい(コールドスタートは許容) |
| 非同期推論 | 大きなペイロード・長い処理時間。リクエストをキューに入れ、結果はあとで受け取る |
| バッチ変換 | 大量データを一括でスコアリング。常時エンドポイントは不要 |
頻出の引っかけ:「即時応答は不要・大きな入力・処理が長い」なら非同期、「夜間にまとめて大量処理」ならバッチ。常時リアルタイムを選んでしまう誤りに注意します。
コストを抑えるホスティング:マルチモデルエンドポイント
顧客ごと・店舗ごとなど多数の小さなモデルを提供する場合、それぞれに専用エンドポイントを立てるとコストが膨らみます。マルチモデルエンドポイントは、1つのエンドポイントで多数のモデルをホストし、必要なモデルを動的に読み込むことでコストを大きく抑えます。似た用途で複数モデルをまとめるマルチコンテナもあります。

デプロイ先・コンテナ・エッジ
- デプロイ先:SageMakerエンドポイントのほか、Kubernetes(Amazon EKS)・Amazon ECS・AWS Lambda なども選べる。既存の基盤に合わせて選択
- コンテナ:SageMaker提供のコンテナをそのまま使うか、独自環境ならBYOC(Bring Your Own Container)で持ち込む
- エッジ最適化:端末(エッジデバイス)で動かすならSageMaker Neoでモデルを最適化し、軽量・高速に
- オーケストレーション:ワークフロー全体はSageMaker Pipelinesや Apache Airflow で組み立てる
確認クイズ
Q1. あなたは高解像度の医用画像を解析するモデルをデプロイします。1件あたりの入力ペイロードが大きく、推論に数十秒かかります。利用側は即時応答を必要とせず、結果はあとで受け取れれば十分です。最も適切な推論方式はどれですか。
Q2. あなたが運用する社内ツールの推論は、日中にときどき呼ばれる程度で、利用が読みにくく、夜間や週末はほとんど使われません。アイドル時にコストを払いたくなく、多少の初回遅延(コールドスタート)は許容できます。最も適切な推論方式はどれですか。
Q3. あなたは毎晩、その日に蓄積された数百万件の取引データをまとめてスコアリングする処理を実装します。リアルタイム性は不要で、常時稼働するエンドポイントを持ちたくありません。最も適切な方法はどれですか。
Q4. あなたのSaaSでは、顧客ごとに個別に学習した数百個の小さなモデルを提供しています。各モデルに専用のリアルタイムエンドポイントを立てたところ、エンドポイント数が膨大でコストが過大になりました。コストを抑えつつ多数のモデルを提供する最適な方法はどれですか。
よくある質問(FAQ)
Q. 非同期推論とバッチ変換はどう違う?
A. 非同期は1件ずつのリクエストをキュー経由で処理し(大ペイロード・長時間向け)、バッチ変換は大量データをまとめて一括処理します。常時エンドポイントが不要な点は共通ですが、用途の粒度が違います。
Q. サーバーレス推論のデメリットは?
A. アイドルから起動する際のコールドスタートによる初回遅延です。常に低遅延が必須ならリアルタイムを選びます。
Q. マルチモデルエンドポイントが向くのは?
A. 多数の小さなモデルを提供し、すべてを常時稼働させる必要がない場合です。1エンドポイントに集約してコストを抑えられます。
まとめ
- 推論は4種を使い分け:常時低遅延=リアルタイム/断続トラフィック=サーバーレス/大ペイロード・長時間=非同期/大量一括=バッチ
- 多数の小モデルはマルチモデルエンドポイントでコスト集約
- デプロイ先はエンドポイント・EKS・ECS・Lambdaから、独自環境はBYOC、エッジはNeo
- ➡ 次の記事:M3-2 インフラのコード化とオートスケール(CloudFormation/CDK・オートスケーリング・BYOC)※準備中
- ➡ 前の記事:M2-3 モデル性能の評価 / シラバスマップ
※本記事はAWS公式試験ガイド(MLA-C01)および各サービスの公開ドキュメントに基づき、エンジニアKが作成しています。サービス仕様は更新されることがあるため、最新は必ずAWS公式でご確認ください。本サイトはAmazon Web Services, Inc.の公式サイトではありません。AWSは同社の商標です。



コメント