概要
台湾のUni-President Enterprises Groupが運営するデジタルプラットフォーム「uniopen」が、Amazon Nova 2 Liteを自社のリテール向けコンテンツモデレーションポリシーに合わせてカスタマイズした事例が、AWS Machine Learning Blogで公開されました。Amazon SageMaker AIでの教師ありファインチューニングと、プロンプトレベルの出力最適化を組み合わせることで、本番運用に必要な精度目標を達成したという内容です。
何が発表・更新されたのか
uniopenは、Web・タブレット・モバイルの各チャネルでのやり取りを「どのような行動が起きたか(9カテゴリ)」と「その行動が何を対象としているか(ブランド・その他・禁止対象)」という2つの軸でモデレーション判定しています。この分類は汎用モデルがそのまま学習できるものではなく、uniopen固有のビジネスルールに基づくものです。
AWSブログによると、同社はAmazon Nova 2 LiteをベースにLow-Rank Adaptation(LoRA)による教師ありファインチューニングをAmazon SageMaker AIで実施し、さらにモデル出力形式をJSONから行ベースの形式に変更するプロンプト最適化を加えました。
評価は737件の会話ウィンドウ(保留テストセット)で行われ、次のような結果が報告されています。
- ベースライン(未調整):Per Behavior Macro F1 0.5852、Subject Type Macro F1 0.4162
- ファインチューニング後:Per Behavior Macro F1 0.8364、Subject Type Macro F1 0.8302
- プロンプト最適化後:Per Behavior Macro F1 0.8550、Subject Type Macro F1 0.8491
いずれも本番運用の目標値(それぞれ0.8500、0.8200)を上回ったとされています。
また、正解データの収集から訓練・評価・デプロイまでを一つのワークフローにまとめる運用基盤についても紹介されています。誤りが報告された際は、Amazon Nova 2 Proが修正候補を生成しますが、人によるレビューを経てから訓練データに加える仕組みになっています。Amazon S3に検証済みの修正データを保存し、Amazon DynamoDBでモデル設定を管理、Amazon EKS上のArgo Workflows/Argo CDで評価とデプロイを自動化し、Amazon SNSとAmazon CloudWatchで異常時に運用者へ通知する構成です。品質低下を防ぐための「ハードゲート」「ソフトゲート」という二段階の昇格判定の仕組みも採用されています。
なぜ重要なのか
汎用的な生成AIモデルは、業界や企業固有の分類ルールをそのまま理解できるとは限りません。この事例は、ファインチューニングとプロンプト最適化を組み合わせることで、自社固有のポリシーに適合させつつ、人によるレビューを組み込んだ形で本番運用の精度目標を達成できることを具体的な数値とともに示した点に意義があります。モデルの出力を鵜呑みにせず、人の検証を経た修正のみを訓練データに使う設計も、責任あるAI活用の観点から参考になります。
誰に関係があるのか
- ECサイトやアプリでユーザー投稿・問い合わせのモデレーションを行っている事業者
- 自社固有の分類基準をAIモデルに学習させたいと考えている企業の開発・データ部門
- Amazon BedrockやSageMaker AIを使った生成AIモデルのカスタマイズを検討している担当者
仕事や業務でどう使えるのか
自社特有の判断基準(禁止事項の定義、ブランド名の扱いなど)をAIに学習させたい場合、本事例のように「ファインチューニング+プロンプト調整」の二段階アプローチと、人によるレビューを経た修正データの蓄積という流れが参考になります。また、ハードゲート・ソフトゲートのような品質管理の仕組みは、自動昇格による品質低下を防ぐ設計の一例として、自社のAI運用フロー構築時に参考にできます。
注意点
本記事はAWSブログに掲載された一企業(uniopen)の事例であり、効果や数値は同社のデータ・ポリシーに基づくものです。他の業種・用途でも同様の結果が得られるとは限りません。また、公式情報上では、日本での提供状況や対象プランの詳細は確認できませんでした。Amazon Nova 2 Liteおよび関連サービスの利用可能リージョンは、AWSの公式ドキュメント(Amazon Bedrockでサポートされるモデルとリージョン一覧)で確認する必要がある旨が元記事にも記載されています。
公式情報
関連キーワード
- Amazon Nova
- Amazon SageMaker AI
- Amazon Bedrock
- ファインチューニング(LoRA)
- コンテンツモデレーション
- AIエージェント運用ワークフロー





