Copilot est désormais profondément intégré à la barre des tâches de Windows 11, comme nous nous y attendions tous, et il est en cours de déploiement. Si vous survolez les applications dans la barre des tâches de Windows 11, vous pouvez désormais partager la fenêtre de votre application avec Copilot et commencer à poser des questions, par exemple comment répondre à un e-mail si vous êtes dans Outlook. Aussi idiot que cela puisse paraître, c’est tout l’intérêt de Copilot Vision.
J’ai repéré la fonctionnalité « Partager avec Copilot » sur mon PC Intel Lunar Lake Copilot+, mais elle est déployée pour tout le monde et ne nécessite pas l’un de ces PC « IA ». Cela signifie que si vous possédez l’un de ces PC classiques sans IA, notamment AMD ou Intel, vous verrez toujours « Partager avec Copilot » sur votre barre des tâches, et cela est logique (nous y reviendrons plus tard).
Comment fonctionne « Partager avec Copilot » dans la barre des tâches ?
Lors de nos tests, Windows Insight a observé que « Partager avec Copilot » s’affiche lorsque je survole les applications ouvertes dans la barre des tâches. Et il apparaît littéralement dans n’importe quelle fenêtre d’application, y compris Cloudflare WARP, qui est un service de type VPN. J’ai également repéré la bascule pour Netflix, dont le contenu est protégé par DRM, mais elle ne fonctionne pas correctement pour des raisons évidentes.
Lorsque vous partagez une fenêtre d’application, Copilot utilise l’IA basée sur le cloud pour analyser le contenu de l’application et fournir des informations. Par exemple, j’ai ouvert un e-mail Outlook en arrière-plan et partagé la fenêtre avec Copilot. Copilot a commencé à lire mon e-mail, qui était déjà ouvert, mais il ne pouvait pas ouvrir d’autres e-mails, se déplacer ou cliquer n’importe où.
Copilot ne peut voir que ce que vous pouvez voir et peut vous guider. Par exemple, j’ai demandé à Copilot comment je pouvais répondre à l’email, et il m’a dit de chercher un bouton « envoyer », qui n’existe même pas (Copilot a halluciné à ce stade). Mais j’ai demandé à Copilot de me montrer « comment » et « où » je clique.
Copilot a activé son propre « curseur », qui est apparu sur l’écran, puis il a mis en évidence l’endroit où je devais cliquer. Heureusement, Copilot a correctement analysé mon écran et m’a dit d’utiliser le bouton « Répondre » et non « Envoyer », qui n’existe pas à l’écran, mais qui a été recommandé la dernière fois.
Ensuite, j’ai demandé à Copilot comment supprimer l’e-mail, et il a de nouveau mis en évidence la bonne option.
Microsoft appelle cela « assistance guidée » et un document d’assistance confirme que Copilot Vision est censé vous aider, mais il ne fonctionnera pas pour le contenu protégé par DRM ou sensible.
Comment Microsoft ajoute-t-il « Partager avec Copilot » à toutes les fenêtres d’application de la barre des tâches ?
Windows Insight a découvert que Microsoft utilise une API Windows qui permet à une application de communication de se connecter au Shell de Windows 11 (comme la barre des tâches ou l’interface utilisateur de partage) afin que Windows puisse afficher les commandes Démarrer le partage/Arrêter le partage et transmettre à l’application l’ID de fenêtre exact choisi par l’utilisateur.
Cette API est censée être utilisée par des applications comme Teams, mais Microsoft fait tout son possible et l’utilise pour Copilot. Ce n’est pas une API ouverte que les développeurs peuvent utiliser.
Cette API est marquée comme une fonctionnalité à accès limité, ce qui signifie généralement que Microsoft doit vous approuver et vous donner un jeton de déverrouillage avant de pouvoir l’utiliser dans un produit réel.
Si OpenAI souhaite reproduire le même comportement, il doit contacter Microsoft et attendre l’approbation.
C’est pourquoi nous voyons que seul Copilot l’utilise, car Microsoft peut s’accorder l’accès (ou à des partenaires sélectionnés), et Copilot peut ensuite s’inscrire au cours d’une session en tant que « source de commande de partage ».
Accueil
Partager
Bulletin
Bulletin WL
Newsletter WL !
Gardez une longueur d’avance grâce aux dernières mises à jour Windows, informatiques et IA. Approuvé par plus de 50 000 abonnés.
Nom
Courriel
Inscrivez-vous gratuitement
*️⃣ Lien source :
Accueil ,
Bulletin
,