モデルは学習データを鏡のように映します。データに偏り（バイアス）があれば不公平な予測を、品質や保護の不備があれば事故やコンプライアンス違反を招きます。MLA-C01ドメイン1の最後のテーマは、この「データの公平さ」と「守り」。具体的には、学習前にバイアスを測る指標（CI・DPL）、検出ツールのSageMaker Clarify、データ品質の検証、そして暗号化・匿名化・PII保護です。図とクイズで理解しましょう。前の記事は M1-2 データ変換と特徴量、全体像は シラバスマップ をどうぞ。
なぜデータの整合性・バイアス対策が重要か
「ゴミを入れればゴミが出る（Garbage In, Garbage Out）」。偏ったデータで学習したモデルは、特定のグループに不利な予測をしたり、品質の悪いデータで誤った判断を下したりします。さらに医療・金融などでは個人情報の保護が法的に必須。だから学習に入る前に、データを公平に・正しく・安全に整える必要があります。
① 学習前にバイアスを測る：CI と DPL
バイアスは「測れないと直せない」。SageMaker Clarifyは、学習前（pre-training）のデータの偏りを指標で数値化します。代表がCIとDPLです。この2つは測っているものが違うので、判別できるようにしておきましょう。
- CI（Class Imbalance／クラス不均衡）：あるクラスが極端に多い/少ない偏り。例：不正検知で「正常99% / 不正1%」
- DPL（Difference in Proportions of Labels／ラベル割合の差）：性別や年代などのグループ間で、良い結果ラベルの付く割合がどれだけ違うか。例：男性の合格率と女性の合格率の差
ざっくり：CI＝クラスの偏り、DPL＝グループ間のラベル付与のかたより。数値・テキスト・画像いずれのデータでも、学習前に測れます。
② バイアスへの対処と SageMaker Clarify
偏りが見つかったら対処します。クラス不均衡（CI）の代表的な手当ては次の2つ。
- リサンプリング：少数クラスを増やす（オーバーサンプリング）／多数クラスを減らす（アンダーサンプリング）でバランスを取る
- 合成データ生成：少数クラスのデータを人工的に作って増やす
また、偏りの原因（ソース）を理解することも重要です。選択バイアス（selection bias）＝集め方が偏っている、測定バイアス（measurement bias）＝測り方・ラベルの付け方が偏っている、など。SageMaker Clarifyは、これらの偏りを学習前後で検出・可視化し、対処の判断を助けます（モデルの予測根拠の説明にも使えます）。
③ データ品質を検証する（DataBrew／Glue Data Quality）
偏り以前に、そもそも欠損だらけ・範囲外の値・型の不一致があると学習は崩れます。品質はツールで継続的に検証します。
| サービス | 役割 |
|---|---|
| AWS Glue Data Quality | 品質ルール（欠損率・値域など）を定義し、データパイプラインで自動・継続的に検証 |
| AWS Glue DataBrew | データのプロファイリング（統計・欠損・分布）をノーコードで把握 |
④ データを守る：暗号化・匿名化・コンプライアンス
学習データには個人情報が含まれることが多く、保護は技術的にも法的にも必須です。
- 暗号化：保存時（at rest、AWS KMSの鍵で暗号化）と転送時（in transit、TLS）の両方で守る
- 匿名化・マスキング：氏名・住所などのPII（個人を特定できる情報）を伏せる・置き換える。学習に不要な識別子は落とす
- データ分類：どのデータが機微かを分類して扱いを変える（PII検出には Amazon Macie などが使える）
- コンプライアンス：PII（個人情報）・PHI（医療情報）・データレジデンシー（データを特定の国/リージョン内に留める要件）に従う
⑤ 予測の偏りを減らすデータ準備
仕上げに、学習がうまく汎化するようデータを整えます。
- 分割（splitting）：学習用・検証用・テスト用に分ける。未来や答えの情報が漏れない（リーク防止）ように
- シャッフル（shuffling）：並び順の偏りをなくす
- データ拡張（augmentation）：画像の回転・反転などで多様性を増やし、少数パターンを補強
- 整えたデータは、学習リソースへ高速に供給（大規模なら EFS／FSx を活用）
確認クイズ
Q1. あなたはクレジットカードの不正検知モデルを開発しています。学習データのうち不正取引はわずか1%で、残り99%は正常取引です。このまま学習すると、モデルが「すべて正常」と予測してもほぼ正解になってしまい、肝心の不正をほとんど検出できません。少数派の不正クラスを適切に学習させるための前処理として、最も適切なものはどれですか。
Q2. あなたは採用選考を支援するモデルを構築する前に、学習データに性別による偏りがないかを確認するよう求められました。具体的には、性別グループ間で「合格」ラベルの付与割合にどれだけ差があるかを、学習を始める前に定量的に把握したいと考えています。最も適切なアプローチはどれですか。
Q3. あなたは医療スタートアップで、患者の診療記録（PHI）を使った予測モデルを開発します。学習に使う前に、個人を特定できる情報を保護し、かつ保存するデータを暗号化して規制要件を満たす必要があります。最も適切な対応はどれですか。
Q4. あなたは日次で更新される大規模データセットを学習パイプラインに供給しています。ときどき欠損率の急増や範囲外の異常値が混入し、気づかないまま学習が走って精度が劣化することがあります。データが学習に流れる前に品質ルールを定義して自動・継続的に検証したいと考えています。最も適切なサービスはどれですか。
よくある質問（FAQ）
Q. CIとDPLの違いを一言で言うと？
A. CIはクラスそのものの偏り（例：不正1%）、DPLはグループ間での”良い結果”ラベルの付与割合の差（例：男女で合格率が違う）です。測っている対象が異なります。
Q. 性別などの列を消せばバイアスは無くなりますか？
A. 無くなりません。その列と相関する別の特徴（居住地や経歴など）を通じて偏りが残ることがあります。だからこそClarifyで定量的に確認します。
Q. 暗号化はどこを守ればいい？
A. 保存時（at rest）と転送時（in transit）の両方です。保存時はKMSの鍵で、転送時はTLSで守ります。
Q. データレジデンシーとは？
A. データを特定の国やリージョンの外に出してはいけないという要件です。保存・処理するリージョンを限定して順守します。
まとめ
- 学習前にバイアスを測る：CI＝クラスの偏り／DPL＝グループ間のラベル割合の差
- 偏りはリサンプリング・合成データで対処、検出・可視化はSageMaker Clarify
- 品質はGlue Data Quality／DataBrewで検証、保護は暗号化（KMS/TLS）・匿名化・PII/PHI/データレジデンシー順守
- 仕上げに分割・シャッフル・データ拡張で予測の偏りを減らす
- ➡ ここまででドメイン1（データ準備）が完了です。次はドメイン2 モデル開発／M2-1 モデリングアプローチの選択※準備中
- ➡ 前の記事：M1-2 データ変換と特徴量 ／ シラバスマップ
※本記事はAWS公式試験ガイド(MLA-C01)および各サービスの公開ドキュメントに基づき、エンジニアKが作成しています。サービス仕様は更新されることがあるため、最新は必ずAWS公式でご確認ください。本サイトはAmazon Web Services, Inc.の公式サイトではありません。AWSは同社の商標です。
コメント