GuidesIA et agents

Un agent IA qui pilote un navigateur : utile, lent et à encadrer

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

CommanderAgentcliquercaptureVoir la page, choisir une action, recommencer : lent mais universel
L’agent regarde une capture de la page, choisit où cliquer, puis recommence.

La boucle

  1. 1RegarderCapture ou structure de la page.
  2. 2DéciderLe modèle choisit l’action suivante.
  3. 3AgirClic, saisie, défilement.
  4. 4VérifierNouvelle capture, et ainsi de suite.
Deux façons d’agir sur un service
API
  • Rapide et précise
  • Peu de tokens
  • Seulement si le service en a une
Navigateur piloté
  • Marche sur presque tout site
  • Lent, une capture par étape
  • Fragile aux changements de page

Les règles de sécurité

Règle Pourquoi
Navigateur isolé Pas d’accès à vos comptes personnels
Liste de sites autorisés L’agent ne part pas ailleurs
Confirmation avant achat ou envoi Une page piégée ne décide pas
Budget d’étapes Une boucle bloquée s’arrête
Enregistrement des captures Comprendre ce qui s’est passé

Les bases : la boucle d’un agent IA. Les risques : l’injection de prompt.

Questions fréquentes

Comment l’agent voit-il la page ?
Par des captures d’écran, par la structure de la page (accessibilité, DOM), ou les deux. Le modèle décide ensuite de l’action : cliquer, taper, défiler.
Est-ce fiable ?
Moins qu’une API. Une fenêtre qui s’ouvre, un bouton qui bouge ou un captcha peuvent bloquer l’agent. Il faut prévoir des reprises et une vérification du résultat.
Quels risques ?
Une page peut contenir des consignes cachées qui détournent l’agent. On l’utilise dans un navigateur isolé, sans sessions personnelles ouvertes, avec confirmation avant tout achat ou envoi.

À lire ensuite

Tous les guides