目次
概要
IBM Researchが、企業向けJavaアプリのフレームワーク移行をAIエージェントがどこまで自動化できるかを測る公開ベンチマーク「ScarfBench」を発表しました。コードを翻訳するだけでなく、実際にビルド・デプロイ・動作確認まで通るかを評価する点が特徴です。
何が発表・更新されたのか
ScarfBench（Self-Contained Application Refactoring Benchmark）が公開されました。Spring・Jakarta EE・Quarkusという3大Javaエコシステム間の移行タスクを対象とし、34アプリ・204移行タスク・約15万行のコードと専門家作成のテスト1,331件を含みます。
なぜ重要なのか
従来のベンチマークはコード生成やバグ修正で成果を示してきましたが、フレームワーク移行は「振る舞いの維持」「ビルド構成の適応」「実行時依存の解決」が求められる別物の難題です。実際に最先端エージェントでも動作面での成功率は10%未満と報告されています。
誰に関係があるのか
企業システムのモダナイゼーションを担うエンジニアや、AI支援開発ツールを評価・導入する実務担当者、そしてAIエージェントを研究する開発者に関係します。
仕事や業務でどう使えるのか
本番導入の前に、AI移行ツールの実力を標準的な基準で評価する材料として活用できます。データセット・評価基盤・公開リーダーボード・ドキュメントが公開されています。
注意点
記事の知見では、エージェントの自己申告は過信される傾向があり（30件中29件を成功と報告したが実際にビルド成功は22件）、独立したビルド・テスト検証が不可欠とされています。なお、日本での利用条件や料金などは公式情報上では確認できませんでした。
公式情報
関連キーワード
- AIエージェント（AI agent）
- Hugging Face
- 生成AI
- ベンチマーク
- Javaモダナイゼーション
