Confluent dévoile ses agents de streaming IA, propulsés par Kafka
Confluent a dévoilé sa nouvelle fonctionnalité, les Streaming Agents, désormais disponible en avant-première ouverte dans Confluent Cloud. Cette nouvelle fonctionnalité marque une évolution significative dans l’application de l’intelligence artificielle, permettant aux organisations de sélectionner des modèles, d’élaborer des invites, de spécifier des outils et des sources de données, de mettre en œuvre des tests et d’enrichir les données pour des systèmes d’IA multi-agents déclenchés par des événements.
L’approche de Confluent en matière d’agents d’IA est remarquable pour deux raisons convaincantes. Premièrement, elle vise à réaliser pleinement la promesse des agents intelligents en les alimentant avec les données les plus récentes directement depuis la base Apache Kafka de Confluent, leur conférant ainsi une conscience situationnelle à jour. Deuxièmement, et peut-être plus profondément, elle inverse le modèle d’interaction conventionnel de l’IA. Au lieu que les humains initient les agents d’IA, généralement par le biais d’invites en langage naturel aux chatbots, les Streaming Agents sont conçus comme des entités autonomes qui réagissent dynamiquement aux données d’entreprise à faible latence. Sean Falconer, responsable de l’IA chez Confluent, explique que les Streaming Agents sont en partie conçus pour propulser les entreprises vers un avenir où l’IA sera caractérisée par des « agents ambiants, événementiels, intégrés à votre infrastructure, surveillant l’état de l’entreprise et réagissant en fonction des changements de cet état ». Ces agents alimentés par l’IA, suggère-t-il, peuvent servir d’« yeux » et d’« oreilles » pour les organisations, recueillant les derniers développements basés sur les données ayant un impact sur les cas d’affaires et garantissant que les systèmes intelligents s’adaptent immédiatement. En couplant les solides capacités de stockage et de messagerie de Kafka avec l’analyse, les modèles d’IA et les Streaming Agents trouvés dans Confluent Cloud pour Apache Flink, la nouvelle fonctionnalité de Confluent a le potentiel de réaliser précisément cela.
Le développement et le déploiement de ces Streaming Agents se déroulent au sein de Confluent Cloud pour Apache Flink. Flink sert de colonne vertébrale computationnelle, permettant aux agents d’interagir de manière transparente avec divers outils et ressources externes. Les utilisateurs peuvent se connecter à des normes émergentes comme MCP (un protocole permettant aux agents d’appeler des ressources), ainsi qu’à des bases de données vectorielles et SQL, et des points de terminaison d’API, le tout géré en toute sécurité dans l’environnement Flink, selon Falconer. Flink fournit également l’interface permettant aux organisations de définir les actions spécifiques qu’elles souhaitent que les agents entreprennent et d’intégrer un large éventail de modèles d’IA, y compris ceux de leaders de l’industrie comme Gemini, OpenAI et Anthropic. Falconer note que le choix du modèle marque souvent la première étape de la construction d’un agent.
Un aspect crucial de la configuration des agents dans Confluent Cloud pour Apache Flink implique la définition des invites, un processus central à l’« ingénierie de contexte ». Ces invites sont doubles : les invites système, qui établissent le rôle global de l’agent au sein d’un flux de travail plus large, et les invites spécifiques à la tâche, qui détaillent les caractéristiques précises du travail que l’agent est censé effectuer. Par exemple, une invite système pourrait désigner un agent comme « un expert en rédaction d’e-mails », suivie d’instructions explicites pour « écrire un e-mail basé sur l’entrée suivante qui décrit cet utilisateur particulier ». Cette délimitation réduit la portée de l’agent, codifiant clairement ses entrées et sorties attendues. Comme l’illustre Falconer, « Si je note un prospect, alors je sais que l’entrée sera un prospect et la sortie devrait être une note entre un et 100 ». Cette précision aide à la détection immédiate des erreurs et facilite les tests et l’évolution des agents.
Bien qu’Apache Flink fournisse la puissance de traitement, une grande partie de la puissance inhérente des Streaming Agents provient de leur profonde intégration avec Apache Kafka pour la communication inter-agents. Plutôt que de s’appuyer sur des protocoles alternatifs, les Streaming Agents exploitent les solides capacités de messagerie de Kafka pour permettre aux agents de se transmettre des parties distinctes d’un flux de travail complexe, atteignant collectivement des objectifs plus larges, tels que la détection des pannes de réseau pour un fournisseur de télécommunications. Ce processus commence souvent par des entrées diverses et en temps réel — comme des rapports météorologiques ou des données de capteurs IoT — représentant l’état dynamique de l’entreprise. Comme l’explique Falconer, « Une fois qu’un agent prend ces données, il communique également avec un système externe pour recueillir un contexte supplémentaire. Ensuite, il génère une sortie qui se propage probablement à plusieurs systèmes, y compris d’autres agents, où ces agents opérationnalisent ensuite la sortie. » Typiquement, ces événements initiaux circulent dans des sujets Kafka, d’où les données peuvent être acheminées vers Flink pour agrégation ou traitement. Après qu’un agent agit sur ces données, il renvoie sa sortie à Kafka, souvent vers de nouveaux sujets, incitant ainsi les agents suivants à poursuivre le flux de travail. Les capacités de messagerie et de stockage durables de Kafka sont inestimables ici, fournissant une « traçabilité critique entre l’agent un et l’agent deux ». Cet enregistrement continu permet aux développeurs de revoir l’historique des communications, facilitant les tests par rapport au trafic réel et permettant l’affinement des comportements et des modèles des agents, garantissant ainsi des sorties améliorées.
Confluent a également intégré des capacités de test complètes, y compris le support de « lancement en mode furtif » (dark launch) pour les Streaming Agents. Cela permet à un agent de fonctionner dans le trafic de production sans interagir directement avec les utilisateurs finaux, permettant aux organisations de déployer une deuxième version — peut-être avec un modèle ou des invites différents — et de mesurer ses performances par rapport à l’original sans impacter les opérations en direct. Ce traitement parallèle permet la comparaison des performances, garantissant que « la version deux est meilleure que la première ». Les utilisateurs peuvent également effectuer des tests A/B dans l’environnement de Confluent et enrichir les données des agents en accédant à des tables externes, telles que celles de MySQL, directement depuis la plateforme de données de streaming.
En augmentant les agents d’IA avec des données de streaming en temps réel, Confluent améliore considérablement leur capacité à agir de manière autonome au nom d’une entreprise. Falconer compare à juste titre cette intelligence en temps réel aux « yeux et oreilles » d’une entreprise, complétant les informations dérivées des données historiques. Il souligne que « la plupart des cas d’affaires nécessitent les deux » — comprendre le comportement passé du client ainsi que ses actions actuelles. Équiper les agents dotés d’IA de ces informations complètes et à jour leur ouvre un immense potentiel pour collaborer efficacement, optimiser les résultats commerciaux et atteindre des objectifs stratégiques.