GitHub Copilotがデスクトップアプリを直接操作可能に|Computer Use機能の使い方と注意点

GitHub Copilotがデスクトップアプリを直接操作可能に|Computer Use機能の使い方と注意点のアイキャッチ画像

本ページはプロモーションが含まれます。広告の取り扱いについてはプライバシーポリシーをご確認ください。

AIニュース重要度
★★★☆☆
3.0 / 5|知っておくと役立つ通常ニュース
知っておくと役立つ通常のアップデートのため★3としました。
目次

PR

生成AIの学び方で悩んでいませんか?

DMM 生成AI CAMP
出典:DMM 生成AI CAMP

「何から学ぶか」「続けられるか」「仕事で使えるか」が大切と分かっていても、独学では難しいですよね。

DMM 生成AI CAMP 学び放題は、DMM.comが提供する月額制の生成AIオンラインスクールです。

総額200万円相当の約1,000レッスンが学び放題。職種別・ツール別のコースを、メンターやAIチューターのサポートを受けながら継続的に学べます。

その第一歩として、入会前に中身を体験できる60分の無料セミナーが用意されています。参加すると、こんなことが分かります。

  • 自分の職種で使えるか - マーケティング・営業・人事など職種別8コースの中身を体感できる!
  • ツールごとの学び方 - ChatGPTやDifyなど、ツール別のマスターコースも確認できる!
  • 学習の進め方 - 約1,000レッスンをどう学べば短期間で身につくか、プロが提案してくれる!
  • 続けられる仕組み - 24時間対応のAIチューターやメンター相談、コミュニティの中身が分かる!
  • 生成AIの最新デモ - 生成AIの最新技術デモをその場で体験できる!

「無料セミナーで体験してから、学び放題に入会して継続的に学ぶ」という流れで始められるので、合うか分からないまま入会する心配がありません。

予約・参加は無料。入会するかはセミナーの後に決められます。

\ 予約は30秒・日時を選ぶだけ /

※無料なのはセミナーで、学び放題本体は月額制の有料サービスです。料金は公式サイトをご確認ください。
※セミナー・コース内容は変更される場合があります。

概要

GitHub Copilotに「コンピュータ操作(computer use)」機能が追加され、パブリックプレビューとして公開されました。GitHub Copilot CLIと、macOS・Windows向けのGitHub Copilotアプリで利用できます。この機能により、Copilotはユーザーに代わってデスクトップアプリを直接操作できるようになります。

何が発表・更新されたのか

2026年10月1日、GitHub Copilot Changelogにて「computer use」のパブリックプレビュー開始が発表されました。これにより、Copilotはアプリ画面の内容(アクセシビリティ情報や視覚的な文脈)を読み取り、ボタンのクリック、テキストの入力・編集、キー操作、スクロール、ドラッグ操作、複数アプリをまたいだ作業の進行などを行えるようになります。

公式ブログでは、Safari上で経費精算のワークフローを進める例が紹介されています。APIやコマンドライン、MCP連携を持たない旧来型・GUIのみのソフトウェアでも、Copilotによる自動化の対象になる点が特徴です。

なぜ重要なのか

これまでCopilotの自動化は、APIやCLI、MCP(Model Context Protocol)経由で操作できるツールが中心でした。今回の機能追加により、そうした連携手段を持たないレガシーソフトやGUI専用アプリでも、Copilotが画面を直接操作して作業を代行できるようになります。対応できるタスクの幅が広がる点が、今回の更新の大きなポイントです。

誰に関係があるのか

  • GitHub Copilot CLIやCopilotアプリ(macOS/Windows)を利用している開発者・実務担当者
  • APIやCLIを持たない業務アプリ・社内システムを日常的に使っている方
  • 繰り返し作業や複数アプリをまたぐ定型業務を自動化したい担当者

仕事や業務でどう使えるのか

公式情報で挙げられている活用例としては、以下のようなものがあります。

  • ブラウザ上の通知内容を要約してもらう
  • プレゼンテーション資料の内容を更新してもらう
  • あるワークフロー上で情報を別のステップへ移動させる

利用時は「達成したい結果」「対象となるアプリ」「守るべき制約」を具体的に伝えると、Copilotが意図通りに操作しやすくなるとされています。

注意点

  • Copilotがアプリを操作する前には、都度ユーザーの承認が必要です。常に許可するアプリを選んだ場合も、後から見直しやリセットが可能です。
  • macOSでは、アクセシビリティと画面収録の権限設定が必要で、Copilotがその設定手順を案内します。
  • 組織の管理者設定によって、本機能自体を無効化できます。
  • 利用開始方法は、CLIでは「/computer on」で有効化、「/computer show」で状態確認、「/computer off」で無効化が可能です。Copilotアプリでは「設定」>「Computer Use」から「Enable Computer Use」をオンにするか、同様に「/computer on」コマンドでも有効化できます。
  • 公式情報上では、日本での提供状況や対象プランの詳細は確認できませんでした。

公式情報

GitHub Copilot can now interact with desktop apps with computer use(GitHub Changelog)

関連キーワード

  • GitHub Copilot
  • GitHub Copilot CLI
  • コンピュータ操作(Computer Use)
  • MCP(Model Context Protocol)
  • AIエージェント
  • 業務自動化

PR

生成AIスクール選びの不安、入会前に解消できます!

DMM 生成AI CAMP
出典:DMM 生成AI CAMP

これからの働き方を左右する生成AIの学び方選び、慎重になりますよね。

数あるスクールや教材の中から、自分に合うものを見つけるのは本当に大変です。

「なんとなく話題だから」「YouTubeで見たから」

…そんな理由だけで学び方を決めていませんか?

実は、独学や教材選びで遠回りしてしまう人は少なくありません。

  • 「ツールは触ってみたけど、仕事の成果につながらない…」
  • 「情報が多すぎて、何からどの順で学べばいいのか分からない…」
  • 「質問できる相手がいなくて、結局続かなかった…」

DMM 生成AI CAMP 学び放題は、DMM.comが提供する月額制の生成AIオンラインスクール。総額200万円相当の約1,000レッスンが学び放題で、カリキュラムは生成AIの専門家が監修し、法人での導入事例もあります。

週1回×3ヶ月のライブゼミ(全8種・追加料金なし)、24時間対応のAIチューター、受講生コミュニティなど継続して学ぶための環境がそろっており、DMMの実案件の報酬ありコンペに挑戦することもできます。

スクール選びで大切なのは、「自分の職種で使える内容か」「続けられるサポートがあるか」を入会前に確かめることだと考えています。

しかし、

  • 「公式サイトだけでは、レッスンの中身までは分からない…」
  • 「サポートやコミュニティの雰囲気は、どう確かめればいい?」
  • 「入会してから、自分に合わなかったら…?」

そこで!DMM 生成AI CAMP 学び放題では、入会の前に60分の無料セミナーで中身を体験できるようになっています!

STEP 160分の無料セミナーで体験予約・参加は無料
→
STEP 2学び放題に入会して継続学習職種別・ツール別コース

セミナーに参加すると、入会前に知りたい情報がまとめて分かります!

  • コースの全容 - 職種別8コース+ツール別コースと約1,000レッスンの中身を体感できる!
  • 学習プロセス - 短期間で身につけるための学び方を提案してもらえる!
  • 生成AIの最新デモ - 生成AIの最新技術デモをその場で体験できる!
  • サポート体制 - 24時間対応のAIチューターやプロへの相談の仕組みが分かる!
  • コミュニティ - 受講生コミュニティや限定ウェビナーの紹介もあり!

普通なら有料の生成AI学習に関するプロのアドバイスが、60分・完全無料で受けられる機会です。

予約・参加は無料で、入会するかはセミナーの後に決められます。

合わないと感じたら、入会しなければいいだけ。失うものは60分だけです。

「なんとなく」ではなく、納得したうえで学習をスタートしましょう。

\ 予約は30秒・日時を選ぶだけ /

すでに入会を決めている方や、先にコースの詳細を確認したい方はこちらからどうぞ。

※無料なのはセミナーで、学び放題本体は月額制の有料サービスです。料金は公式サイトをご確認ください。
※セミナー・コース内容は変更される場合があります。

次に読みたいAI・IT用語

この記事を読んだあとに、あわせて知っておきたい用語をピックアップしました。

用語を読み込み中…

AI・IT用語をもっと見る →

この記事が気に入ったら
フォローしてね!

この情報が役立ったら、シェアしてね!
目次