Microsoft lance Copilot Vision , et votre PC Windows peut « voir » ce qui se trouve sur votre écran, vous donnant des suggestions et des informations en temps réel sur les applications et le contenu Après les annonces de Gemini , ChatGPT et Apple Intelligence , la firme de Redmond semblait être tombée dans l'ombre, du moins dans le domaine de l'IA, mais les nouvelles fonctionnalités de Copilot présentées il y a trois jours l'ont soudainement relancée. L’un de ces outils est Copilot Vision , qui étend son influence au-delà de Microsoft Edge et permet désormais (au moins pour certains utilisateurs) à l’assistant d’accéder à tout le contenu de l’écran. La firme de Redmond avait en effet introduit la fonctionnalité en décembre 2024, lorsque les abonnés de Copilot Pro aux États-Unis pouvaient l'utiliser pour « lire » du contenu sur le navigateur. La fonctionnalité a depuis été étendue à tous les utilisateurs : il suffit d'ouvrir Edge et d'aller sur un site, puis de cliquer sur le bouton Copilot en haut à droite. Vous pouvez maintenant cliquer sur l'icône du microphone et poser une question sur ce qui se trouve dans la fenêtre, ou la saisir dans l'invite de texte (d'après mon expérience, vous devez être un peu persistant, car l'assistant dit qu'il ne peut pas le faire). Mais désormais, Copilot va au-delà du navigateur et peut voir tout ce qui se trouve sur votre écran, aidant les utilisateurs à utiliser des applications comme Photoshop, à jouer à Minecraft et bien plus encore.

La fonctionnalité, introduite dans la version 1.25034.133.0 de l'application Copilot et ultérieure (elle est mise à jour à partir du Microsoft Store et a également été déployée sur les applications Copilot pour Android et iPhone), n'est actuellement disponible que pour les canaux Insider aux États-Unis, mais Microsoft a expliqué comment cela fonctionne, nous avons donc déjà une idée de ce à quoi nous attendre. Pour commencer, vous devez ouvrir Copilot et cliquer sur l'icône des lunettes en bas à droite de la fenêtre d'invite . À ce stade, un message apparaîtra expliquant les fonctionnalités de l'outil et en dessous une série de vignettes avec les applications actuellement ouvertes. Nous devrons choisir l'application à partager avec l'assistant en cliquant sur Partager et Copilot pourra nous aider en nous expliquant comment l'utiliser ou en répondant à nos questions. Pour arrêter le partage, cliquez simplement sur « Arrêter » ou appuyez sur le « X » dans le compositeur.

Une autre nouveauté annoncée par Microsoft ces dernières heures est la possibilité d'utiliser Copilot pour rechercher des documents dans l'Explorateur de fichiers . Pour utiliser cette fonctionnalité, qui est désormais déployée auprès des Insiders du monde entier , vous devez d'abord vous assurer d'avoir mis à jour votre application Copilot vers la dernière version du Microsoft Store . Ensuite, vous pouvez choisir à quoi Copilot peut accéder en ouvrant l'application Assistant, en cliquant sur la petite icône en forme de bonhomme en bas à gauche et en sélectionnant Paramètres . Sous Autorisations, vous devriez pouvoir faire vos choix. Copilot peut lire les fichiers .docx, .xlsx, .pptx, .txt, .pdf, .json. Vous devriez maintenant pouvoir poser des questions à Copilot comme « Pouvez-vous trouver mon CV ? » ou « Regardez mon fichier budgétaire et dites-moi combien j'ai dépensé pour le dîner le mois dernier ».