ThinkingBoxの学習手法が公開|データベース検証をAIエージェントの強化学習報酬に変換する仕組みとは

ThinkingBoxの学習手法が公開|データベース検証をAIエージェントの強化学習報酬に変換する仕組みとはのアイキャッチ画像

本ページはプロモーションが含まれます。広告の取り扱いについてはプライバシーポリシーをご確認ください。

AIニュース重要度
★★★☆☆
3.0 / 5|知っておくと役立つ通常ニュース
知っておくと役立つ通常のアップデートのため★3としました。
目次

PR

生成AIの学び方で悩んでいませんか?

DMM 生成AI CAMP
出典:DMM 生成AI CAMP

「何から学ぶか」「続けられるか」「仕事で使えるか」が大切と分かっていても、独学では難しいですよね。

DMM 生成AI CAMP 学び放題は、DMM.comが提供する月額制の生成AIオンラインスクールです。

総額200万円相当の約1,000レッスンが学び放題。職種別・ツール別のコースを、メンターやAIチューターのサポートを受けながら継続的に学べます。

その第一歩として、入会前に中身を体験できる60分の無料セミナーが用意されています。参加すると、こんなことが分かります。

  • 自分の職種で使えるか - マーケティング・営業・人事など職種別8コースの中身を体感できる!
  • ツールごとの学び方 - ChatGPTやDifyなど、ツール別のマスターコースも確認できる!
  • 学習の進め方 - 約1,000レッスンをどう学べば短期間で身につくか、プロが提案してくれる!
  • 続けられる仕組み - 24時間対応のAIチューターやメンター相談、コミュニティの中身が分かる!
  • 生成AIの最新デモ - 生成AIの最新技術デモをその場で体験できる!

「無料セミナーで体験してから、学び放題に入会して継続的に学ぶ」という流れで始められるので、合うか分からないまま入会する心配がありません。

予約・参加は無料。入会するかはセミナーの後に決められます。

\ 予約は30秒・日時を選ぶだけ /

※無料なのはセミナーで、学び放題本体は月額制の有料サービスです。料金は公式サイトをご確認ください。
※セミナー・コース内容は変更される場合があります。

概要

Hugging FaceとMicrosoftは、AIエージェントの仕事ぶりを「データベースの最終状態」で判定するベンチマーク「ThinkingBox-Bench」の技術を応用し、強化学習(RL)の報酬として使う手法「ThinkingBox-Training」を公開しました。学習コードはGitHubで公開されています。

何が発表・更新されたのか

ThinkingBoxは、エージェントにツールと実際のバックエンドを与えて作業させ、最終的にデータベースに残った記録が正しいかどうかを自動チェックする仕組みです。今回の発表では、このチェック結果(正しければ1、誤りなら0)をそのまま強化学習の報酬として使えることに着目し、ベンチマーク外のタスクで学習データを作成。Qwen3.8-27Bというモデルに対して、50ステップのGRPO(強化学習の手法の一つ)で追加学習を行いました。

結果として、20回試して毎回成功したタスクの割合(Observed 20/20)は7.50%(38件)から21.10%(107件)に上昇し、全試行の平均成功率(pass@1)は51.70%から60.78%に向上しました。一方で、20回中1回でも成功したタスクの割合(pass@20)は89.35%から87.97%へわずかに低下しています。

学習タスクの選定には「オフライン・ポリシー相対難易度」という考え方を採用。学習前のモデルにとって「簡単すぎず、難しすぎない」タスクだけを事前に見極めて学習プールを固定し、効率よく学習させています。

なぜ重要なのか

生成AIエージェントは「完了しました」と報告しても、実際のデータベースや業務システムの状態が正しく更新されていないことがあります。今回の手法は、こうした「口先だけの完了報告」を減らすために、実際のシステム状態を基準にした報酬でモデルを鍛え直すアプローチです。単に平均的な成功率を上げるだけでなく、「毎回確実に成功する」再現性(ディペンダビリティ)を重視している点が特徴です。

誰に関係があるのか

  • AIエージェントを業務システム(予約・保険・銀行・小売など)に組み込もうとしている開発者・エンジニア
  • 社内でAIエージェントのRL学習やファインチューニングを検討しているAI研究者・データサイエンティスト
  • エージェントの信頼性評価方法を探している品質保証(QA)担当者

仕事や業務でどう使えるのか

たとえばホテル予約システムの例では、学習前のモデルは「マネージャー承認が必要」というポリシーを無視して予約変更・返金処理をしてしまうことが20回中15回ありました。学習後は20回すべてで正しく承認待ちの状態を維持できたと報告されています。このように、業務ルールを守った処理を安定して行えるかどうかを検証・改善したい場合に、今回のようなデータベース検証ベースの学習手法が参考になります。

注意点

今回の結果はQwen3.8-27Bという特定モデル・507タスクのベンチマークでの実験結果であり、他のモデルやタスクでも同様の効果が得られるとは限りません。また、pass@20(少なくとも1回成功する割合)はわずかに低下しており、「再現性は上がったが、カバーできる範囲はわずかに狭まった」というトレードオフがある点にも注意が必要です。公式情報上では、日本での提供状況や商用利用時の対象プランなどの詳細は確認できませんでした。

公式情報

Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox(Hugging Face Blog)

関連キーワード

  • ThinkingBox
  • 強化学習(RL)
  • GRPO
  • AIエージェント
  • Hugging Face
  • ベンチマーク評価

PR

生成AIスクール選びの不安、入会前に解消できます!

DMM 生成AI CAMP
出典:DMM 生成AI CAMP

これからの働き方を左右する生成AIの学び方選び、慎重になりますよね。

数あるスクールや教材の中から、自分に合うものを見つけるのは本当に大変です。

「なんとなく話題だから」「YouTubeで見たから」

…そんな理由だけで学び方を決めていませんか?

実は、独学や教材選びで遠回りしてしまう人は少なくありません。

  • 「ツールは触ってみたけど、仕事の成果につながらない…」
  • 「情報が多すぎて、何からどの順で学べばいいのか分からない…」
  • 「質問できる相手がいなくて、結局続かなかった…」

DMM 生成AI CAMP 学び放題は、DMM.comが提供する月額制の生成AIオンラインスクール。総額200万円相当の約1,000レッスンが学び放題で、カリキュラムは生成AIの専門家が監修し、法人での導入事例もあります。

週1回×3ヶ月のライブゼミ(全8種・追加料金なし)、24時間対応のAIチューター、受講生コミュニティなど継続して学ぶための環境がそろっており、DMMの実案件の報酬ありコンペに挑戦することもできます。

スクール選びで大切なのは、「自分の職種で使える内容か」「続けられるサポートがあるか」を入会前に確かめることだと考えています。

しかし、

  • 「公式サイトだけでは、レッスンの中身までは分からない…」
  • 「サポートやコミュニティの雰囲気は、どう確かめればいい?」
  • 「入会してから、自分に合わなかったら…?」

そこで!DMM 生成AI CAMP 学び放題では、入会の前に60分の無料セミナーで中身を体験できるようになっています!

STEP 160分の無料セミナーで体験予約・参加は無料
→
STEP 2学び放題に入会して継続学習職種別・ツール別コース

セミナーに参加すると、入会前に知りたい情報がまとめて分かります!

  • コースの全容 - 職種別8コース+ツール別コースと約1,000レッスンの中身を体感できる!
  • 学習プロセス - 短期間で身につけるための学び方を提案してもらえる!
  • 生成AIの最新デモ - 生成AIの最新技術デモをその場で体験できる!
  • サポート体制 - 24時間対応のAIチューターやプロへの相談の仕組みが分かる!
  • コミュニティ - 受講生コミュニティや限定ウェビナーの紹介もあり!

普通なら有料の生成AI学習に関するプロのアドバイスが、60分・完全無料で受けられる機会です。

予約・参加は無料で、入会するかはセミナーの後に決められます。

合わないと感じたら、入会しなければいいだけ。失うものは60分だけです。

「なんとなく」ではなく、納得したうえで学習をスタートしましょう。

\ 予約は30秒・日時を選ぶだけ /

すでに入会を決めている方や、先にコースの詳細を確認したい方はこちらからどうぞ。

※無料なのはセミナーで、学び放題本体は月額制の有料サービスです。料金は公式サイトをご確認ください。
※セミナー・コース内容は変更される場合があります。

次に読みたいAI・IT用語

この記事を読んだあとに、あわせて知っておきたい用語をピックアップしました。

用語を読み込み中…

AI・IT用語をもっと見る →

この記事が気に入ったら
フォローしてね!

この情報が役立ったら、シェアしてね!
目次