Pouls IA

Gemini prend la main sur votre Mac : il pilote l'ordinateur et range vos fichiers

Actualités IA 297 min de lecture

Google annonce que Gemini sur macOS peut désormais utiliser votre ordinateur et mener des tâches multi-étapes entre fichiers locaux, applications de bureau et web. Le même jour, l'API Gemini ajoute Tool Retrieval pour faire tourner des agents avec des centaines d'outils en consommant moins de tokens.

Ce qu'il sait faire

Selon Google, Gemini peut désormais « mener des tâches multi-étapes sur vos fichiers locaux, vos applications de bureau et le web ». Les exemples penchent vers le travail de bureau : ranger des fichiers, remplir des formulaires, rassembler en un seul résultat des informations éparpillées dans plusieurs applications. En pratique, l'automatisation du navigateur entre dans le système d'exploitation.

Le volet API de la même manœuvre

Google DeepMind a aussi lancé un aperçu de Tool Retrieval dans l'API Gemini : face à des centaines d'outils, l'agent ne récupère que les définitions pertinentes au lieu de charger toutes les descriptions dans le contexte. L'inflation des définitions d'outils est l'un des principaux postes de coût des agents, et cette fonction vise directement cette structure de coûts.

Trois conditions pour un agent de bureau

D'abord les autorisations : les applications doivent exposer des interfaces pilotables. Ensuite la réversibilité : l'utilisateur doit voir et interrompre une action en cours. Enfin la gestion des échecs : savoir si l'agent revient en arrière ou poursuit quand l'étape quatre sur six échoue détermine son utilité réelle. Sur les produits grand public, ces trois points sont tout juste acceptables aujourd'hui.

Le paysage concurrentiel

Apple recruterait pour son propre agent Mac, et Muse de Meta est déjà livré sur du matériel. Le bureau devient le premier vrai champ de bataille des agents pour une raison simple : beaucoup d'applications, des tâches à forte valeur, et pas de bac à sable de niveau mobile.

Le risque discret

Laisser un modèle agir sur votre système de fichiers est bien plus risqué que de lui faire écrire du texte. Une suppression, un envoi ou un commit erroné n'est pas annulable. C'est précisément pourquoi l'usage réel de ces fonctions reste souvent loin du poli de la démonstration.

À lire aussi