目次
概要
Amazon SageMaker AI の非同期推論（Async Inference）で、リクエストの本文に直接データを載せて送る「インラインペイロード」がサポートされました。これまで必須だったAmazon S3への事前アップロードが不要になります。
何が発表・更新されたのか
InvokeEndpointAsync API に新しい Body パラメータが追加され、最大128,000バイトまでのデータを直接送れるようになりました。Body と従来の InputLocation（S3の場所指定）は同時指定できず、出力は引き続きS3に書き込まれます。
なぜ重要なのか
従来は「S3へアップロード→エンドポイント呼び出し」の2ステップが必須でしたが、小さなデータでも余計な通信とS3操作が発生していました。インライン化により通信が1往復減り、コードや権限設定がシンプルになります。
誰に関係があるのか
SageMaker AI の非同期推論を使う開発者・データサイエンティスト、特にKB単位の小さな入力データを扱うワークロードの担当者に関係します。
仕事や業務でどう使えるのか
JSONプロンプトや構造化データなど128,000バイト以下の小さなデータは Body で直接送ると簡単です。画像・音声・大きな文書など大容量データや、入力をS3に保管したい場合は従来の InputLocation を使い分けます。
注意点
公式情報では、利用可能な31の商用AWSリージョンに東京（NRT）・大阪（KIX）が含まれると記載されています。利用には最新のAWS SDK（Boto3）への更新が必要で、エンドポイントやS3出力設定の変更は不要です。なおSageMakerエンドポイントやS3利用には料金が発生します。
公式情報
関連キーワード
- Amazon SageMaker AI
- 非同期推論（Async Inference）
- Amazon S3
- AWS SDK / Boto3
- 生成AI
