Wie wir alle erwartet haben, ist Copilot jetzt tief in die Taskleiste von Windows 11 integriert und wird jetzt eingeführt. Wenn Sie mit der Maus über Apps in der Taskleiste von Windows 11 fahren, können Sie jetzt das Fenster Ihrer App mit Copilot teilen und Fragen stellen, z. B. wie Sie auf eine E-Mail antworten, wenn Sie sich in Outlook befinden. So albern das auch klingen mag, das ist der springende Punkt bei Copilot Vision.
Ich habe die Funktion „Mit Copilot teilen“ auf meinem Intel Lunar Lake Copilot+ PC entdeckt, aber sie wird für alle eingeführt und erfordert keinen dieser „KI“-PCs. Das heißt, wenn Sie einen dieser normalen Nicht-KI-PCs haben, einschließlich AMD oder Intel, wird in Ihrer Taskleiste immer noch „Mit Copilot teilen“ angezeigt, und das macht Sinn (dazu später mehr).
Wie funktioniert „Mit Copilot teilen“ in der Taskleiste?
In unseren Tests hat Windows Insight festgestellt, dass „Mit Copilot teilen“ angezeigt wird, wenn ich mit der Maus über geöffnete Apps in der Taskleiste fahre. Und es wird buchstäblich in jedem App-Fenster angezeigt, einschließlich Cloudflare WARP, einem VPN-ähnlichen Dienst. Ich habe auch den Schalter für Netflix entdeckt, der DRM-geschützte Inhalte hat, aber aus offensichtlichen Gründen nicht richtig funktioniert.
Wenn Sie ein App-Fenster teilen, verwendet Copilot cloudbasierte KI, um den Inhalt der App zu analysieren und Erkenntnisse bereitzustellen. Ich habe beispielsweise im Hintergrund eine Outlook-E-Mail geöffnet und das Fenster mit Copilot geteilt. Copilot begann, meine bereits geöffnete E-Mail zu lesen, konnte jedoch keine anderen E-Mails öffnen, sich nicht bewegen oder irgendwo klicken.
Copilot kann nur sehen, was Sie sehen, und er kann Sie führen. Ich fragte Copilot zum Beispiel, wie ich auf die E-Mail antworten könne, und er sagte mir, ich solle nach einem „Senden“-Button suchen, den es noch nicht einmal gibt (Copilot halluzinierte zu diesem Zeitpunkt). Aber ich habe Copilot gebeten, mir zu zeigen, „wie“ und „wo“ ich klicke.
Copilot aktivierte seinen eigenen „Cursor“, der auf dem Bildschirm angezeigt wurde, und markierte dann die Stelle, an der ich klicken musste. Zum Glück hat Copilot meinen Bildschirm korrekt analysiert und mir gesagt, ich solle die Schaltfläche „Antworten“ und nicht „Senden“ verwenden, die auf dem Bildschirm nicht vorhanden ist, aber beim letzten Mal empfohlen wurde.
Als nächstes fragte ich Copilot, wie man die E-Mail löscht, und es wurde erneut die richtige Option hervorgehoben.
Microsoft nennt es „geführte Hilfe“, und in einem Supportdokument wird bestätigt, dass Copilot Vision Ihnen helfen soll, es jedoch nicht für DRM-geschützte oder vertrauliche Inhalte funktioniert.
Wie fügt Microsoft „Mit Copilot teilen“ zu allen App-Fenstern in der Taskleiste hinzu?
Windows Insight hat herausgefunden, dass Microsoft eine Windows-API verwendet, die es einer Kommunikations-App ermöglicht, sich in die Shell von Windows 11 einzubinden (wie die Taskleiste oder die Freigabe-Benutzeroberfläche), sodass Windows die Befehle „Freigabe starten/Freigabe beenden“ anzeigen und der App genau die vom Benutzer ausgewählte WindowId übergeben kann.
Diese API soll von Apps wie Teams verwendet werden, Microsoft geht jedoch aus dem Weg und verwendet sie für Copilot. Es handelt sich nicht um eine offene API, die Entwickler verwenden können.
Diese API ist als Funktion mit eingeschränktem Zugriff gekennzeichnet, was normalerweise bedeutet, dass Microsoft Sie genehmigen und Ihnen ein Freischalttoken geben muss, bevor Sie sie in einem echten Produkt verwenden können.
Wenn OpenAI dasselbe Verhalten reproduzieren möchte, muss es sich an Microsoft wenden und auf die Genehmigung warten.
Aus diesem Grund verwenden wir nur Copilot, da Microsoft sich selbst (oder ausgewählten Partnern) Zugriff gewähren kann und Copilot sich dann während einer Sitzung als „Sharing-Befehlsquelle“ registrieren kann.
Zuhause
Teilen
Newsletter
WL-Newsletter
WL-Newsletter!
Bleiben Sie mit den neuesten Windows-, IT- und KI-Updates auf dem Laufenden. Mehr als 50.000 Abonnenten vertrauen darauf.
Name
Kostenlos beitreten
*️⃣ Quelllink:
Zuhause ,
Newsletter
,