Microsoft は、Windows 11 タスクバーからアプリ ウィンドウを直接 Copilot と共有できるようにしたいと考えています

<本文>

Copilot は、誰もが予想していたとおり、Windows 11 のタスクバーに深く統合されており、現在展開されています。 Windows 11 タスクバー上のアプリにカーソルを合わせると、アプリのウィンドウを Copilot と共有して、Outlook を使用している場合にメールに返信する方法などの質問を開始できるようになりました。ばかげているように聞こえるかもしれませんが、これが Copilot Vision の要点です。

Intel Lunar Lake Copilot+ PC で「Share with Copilot」機能を見つけましたが、この機能は誰にでも展開されており、これらの「AI」PC は必要ありません。これは、AMD や Intel などの通常の非 AI PC を使用している場合でも、タスクバーに Share with Copilot が表示されることを意味します (これについては後で詳しく説明します)。

タスクバーの「Copilot と共有」はどのように機能しますか?

私たちのテストでは、Windows Insight は、タスク バーで開いているアプリの上にマウスを移動すると、Copilot と共有 が表示されることを観察しました。そして、文字通り、VPN のようなサービスである Cloudflare WARP を含む、あらゆるアプリ ウィンドウに表示されます。 DRM で保護されたコンテンツを含む Netflix のトグルも見つけましたが、明らかな理由で正しく機能しません。

アプリ ウィンドウを共有すると、Copilot はクラウドベースの AI を使用してアプリのコンテンツを分析し、洞察を提供します。たとえば、バックグラウンドで Outlook 電子メールを開き、そのウィンドウを Copilot と共有しました。 Copilot は、すでに開いていた私の電子メールを読み始めましたが、他の電子メールを開いたり、移動したり、どこをクリックしたりすることもできませんでした。

副操縦士はあなたに見えるものだけを見ることができ、あなたを導くことができます。たとえば、電子メールにどう返信すればよいかを Copilot に尋ねると、存在すらしない「送信」ボタンを探すように言われました (この段階で Copilot は幻覚を感じました)。しかし、私は Copilot に「どのように」「どこで」クリックするのかを教えてもらいました。

Copilot は独自の「カーソル」をアクティブにして画面に表示し、クリックする必要がある場所を強調表示しました。ありがたいことに、Copilot は私の画面を正しく分析し、画面には存在しないが前回推奨された「送信」ボタンではなく「返信」ボタンを使用するように指示してくれました。

次に、Copilot に電子メールを削除する方法を尋ねると、正しいオプションが再び強調表示されました。

Microsoft はこれを「ガイド付きアシスタンス」と呼んでおり、あるサポート文書では、Copilot Vision が役立つはずであるが、DRM で保護されたコンテンツや機密性の高いコンテンツには機能しないことが確認されています。

Microsoft はどのようにして「Copilot と共有」をタスクバー上のすべてのアプリ ウィンドウに追加しているのでしょうか?

Windows Insight によると、Microsoft は、通信アプリを Windows 11 のシェル (タスクバーや共有 UI など) に接続できるようにする Windows API を使用しているため、Windows は共有開始/共有停止コマンドを表示し、ユーザーが選択した正確な WindowId をアプリに渡すことができます。

この API は Teams などのアプリで使用されることが想定されていますが、Microsoft はわざわざ Copilot に使用しています。これは開発者が使用できるオープン API ではありません。

この API はアクセス制限機能としてマークされています。これは通常、実際の製品で使用する前に Microsoft がユーザーを承認し、ロック解除トークンを与える必要があることを意味します。

OpenAI が同じ動作を再現したい場合は、Microsoft に連絡して承認を待つ必要があります。

Microsoft 自体 (または選択されたパートナー) にアクセスを許可することができ、Copilot はセッション中に「共有コマンド ソース」として登録できるため、これを使用しているのが Copilot だけであることがわかるのはこのためです。

ホーム

シェアする

ニュースレター

WL ニュースレター

WLニュースレターです！

最新の Windows、IT、AI アップデートを常に入手してください。 50,000 人以上の加入者から信頼されています。

名前

電子メール

無料で参加

*️⃣ 出典リンク:

ホーム 、

ニュースレター

、