Novice en automatique, ou besoin d'une remise à niveau ? Commencez par L'automatique : les bases.
Je fais tourner des agents IA qui gèrent mes entreprises au quotidien. Chaque matin, ils lisent les chiffres, rédigent des campagnes et des réponses, et me demandent d'approuver tout ce qui touche un client ou de l'argent. La question ouverte, c'est combien de ces demandes peuvent disparaître. J'y réponds comme je mettrais en service une nouvelle boucle de régulation à l'usine : démarrer en manuel, mesurer, et n'augmenter le gain qu'au rythme que les mesures justifient.
C'est un autre problème que celui de Ma méthode de travail avec les agents IA. Là, l'agent travaille dans un dépôt de code, tout ce qu'il fait est versionné, et lui donner tous les droits est le bon choix. Un agent d'exploitation, lui, agit sur le monde extérieur : il écrit à des prospects et modifie des budgets publicitaires. Ces actions ne s'annulent pas avec git, donc son autonomie doit se mériter.
La boucle
Chaque action que l'agent propose fait le tour de la même boucle :
| Élément de régulation | Équivalent pour l'agent |
|---|---|
| Consigne | Le résultat que l'agent prédit : « le taux de rebond de cette campagne reste sous 2 % pendant 7 jours » |
| Sortie du régulateur | L'action qu'il propose, par exemple mettre une campagne en pause ou lancer une audience |
| Porte | Mon accord ou mon refus, avec une note facultative |
| Procédé | L'entreprise : campagnes, comptes publicitaires, prospects |
| Capteur | La vraie mesure, lue quand la prédiction arrive à échéance |
| Erreur | La note : réussite, partielle ou échec |
Figure 1. La boucle interne (blanc et bleu), c'est l'agent qui pilote l'entreprise. La boucle externe (ambre) note ses prédictions et règle le gain K. Quand K = 0, une action ne passe qu'une fois que je l'ai approuvée ; quand K = 1, elle passe directement. Le plafond quotidien et les verrouillages se placent entre la porte et le procédé.
La règle qui fait fonctionner la boucle : chaque demande est une prédiction. L'agent ne peut rien demander sans dire ce qui va se passer, d'ici quand, et avec quelle certitude, sous forme d'une probabilité . Une demande vague ne peut pas être notée, et une boucle sans mesure est une boucle ouverte.
Ce qu'on mesure
Trois chiffres par type d'action me disent si l'agent est prêt pour plus de gain :
- Le taux d'approbation. À quelle fréquence je suis d'accord avec ce qu'il demande. Il mesure si son jugement rejoint le mien.
- Le taux de réussite. À quelle fréquence ses prédictions se sont réalisées, une réussite partielle comptant pour moitié. Il mesure si son modèle de l'entreprise est juste.
- Le calibrage. Son score de Brier, , où vaut 1 pour une réussite et 0 pour un échec. Zéro est parfait. Répondre 0,5 à tout donne 0,25, un pile ou face. Un agent qui annonce 90 % et a raison 60 % du temps est un capteur qui lit trop haut, et je veux le savoir avant de lui faire confiance.
L'agent note lui-même ses prédictions, parce qu'il a les données et le temps. Mais des notes autodéclarées sont un capteur qui doit être étalonné. Une fois par semaine, je reçois donc les notes sous forme d'une seule demande d'approbation : l'approuver les confirme, la refuser avec une note les conteste. Une note contestée ne compte plus tant que l'agent ne l'a pas refaite.
Augmenter le gain
L'autonomie se règle par type d'action, pas pour l'agent dans son ensemble. Mettre une campagne en pause et la relancer sont deux décisions différentes, aux risques différents, donc elles sont notées séparément. Un type devient éligible à l'autonomie quand, sur son historique récent :
- Je me suis prononcé dessus au moins 10 fois, avec au moins 90 % d'approbations.
- Au moins 5 résultats sont notés, avec au moins 80 % de réussites.
- Les 5 derniers sont propres : aucun refus, aucun échec, rien de contesté.
L'éligibilité ne produit qu'une recommandation. C'est moi qui augmente le gain, en ajoutant le type dans un fichier que l'agent ne peut pas modifier. À partir de là, il agit et me prévient après coup, et il est noté exactement de la même façon qu'avant.
C'est ainsi qu'on met en ligne une nouvelle boucle. On la fait tourner en manuel, puis en automatique avec un réglage prudent, puis on resserre à mesure que les tendances montrent qu'elle tient. On ne passe pas à un réglage agressif parce que le premier jour s'est bien passé.
Les protections
Le gain seul n'est pas sûr. Trois protections l'entourent.
Un disjoncteur. Si l'un des 3 derniers résultats notés d'un type promu est un échec ou une note contestée, son autonomie se coupe d'elle-même et les demandes reviennent vers moi. Comme un disjoncteur déclenché, elle ne se réarme pas toute seule : je regarde d'abord ce qui s'est passé. Une boucle qui vient de prendre une mauvaise décision est la dernière qui devrait continuer à agir sans surveillance.
Une limite de débit. Chaque type promu a un plafond quotidien. C'est l'équivalent de la saturation d'un actionneur : même un régulateur correct ne devrait pas pouvoir claquer la vanne.
Des verrouillages câblés. Certaines actions ne sont jamais promouvables, quel que soit le score : dépenser de l'argent, contacter un client pour la première fois, et tout ce qui est irréversible. Sur une installation, les fonctions de sécurité ne vivent pas dans le même programme que la régulation du procédé, et les opérateurs ne peuvent pas les modifier depuis l'IHM. La même règle s'applique ici. La liste des actions jamais promouvables, le fichier d'autonomie et la boîte à outils de l'agent sont tous hors de sa portée en écriture, et le lanceur lui interdit de modifier son propre code. Un agent qui pourrait modifier ses verrouillages n'en aurait aucun.
Pourquoi s'en donner la peine
Sans cela, les deux options sont mauvaises. Soit on approuve tout indéfiniment, et l'agent ne fait presque rien gagner. Soit on lui confie tout d'un coup, au feeling, et on découvre ses défaillances par les clients. La boucle offre une troisième voie : une autonomie qui grandit avec les preuves, qui se réduit d'elle-même quand les preuves se retournent, et qui n'atteint jamais ce qui doit toujours rester entre les mains d'une personne.
C'est le même raisonnement que j'applique à l'argent dans L'argent comme système asservi : mesurer le gain avant de l'augmenter, respecter le retard, et garder les limites dures en dehors du régulateur.