Confluent enthüllt KI-Streaming-Agenten: Kafka-Daten treiben Echtzeit-KI an
Confluent hat seine neue Funktion namens Streaming Agents vorgestellt, die jetzt als offene Vorschau in der Confluent Cloud verfügbar ist. Diese neue Funktionalität markiert eine bedeutende Entwicklung in der Anwendung künstlicher Intelligenz, die es Organisationen ermöglicht, Modelle auszuwählen, Prompts zu entwickeln, Tools und Datenquellen zu spezifizieren, Tests zu implementieren und Daten für ereignisgesteuerte Multi-Agenten-KI-Systeme anzureichern.
Der Ansatz von Confluent für KI-Agenten ist aus zwei überzeugenden Gründen bemerkenswert. Erstens zielt er darauf ab, das Versprechen intelligenter Agenten vollständig zu verwirklichen, indem sie direkt mit den aktuellsten Daten aus Confluents Apache Kafka-Grundlage versorgt werden, wodurch sie mit minutengenauer Situationswahrnehmung ausgestattet werden. Zweitens, und vielleicht noch tiefgreifender, kehrt er das konventionelle KI-Interaktionsmodell um. Anstatt dass Menschen KI-Agenten initiieren, typischerweise durch natürliche Sprachprompts an Chatbots, sind Streaming Agents als autonome Entitäten konzipiert, die dynamisch auf latenzarme Unternehmensdaten reagieren. Sean Falconer, Confluents Leiter für KI, erklärt, dass Streaming Agents teilweise dazu konzipiert wurden, Unternehmen in eine Zukunft zu führen, in der KI durch „umgebungsbezogene, ereignisgesteuerte Agenten gekennzeichnet ist, die in Ihrer Infrastruktur eingebettet sind, den Zustand des Geschäfts überwachen und auf Änderungen dieses Zustands reagieren“. Diese KI-gesteuerten Agenten, so schlägt er vor, können als „Augen“ und „Ohren“ für Organisationen dienen, die neuesten datengesteuerten Entwicklungen, die Geschäftsszenarien beeinflussen, erfassen und sicherstellen, dass intelligente Systeme sich sofort anpassen. Durch die Kopplung von Kafkas robusten Speicher- und Nachrichtenübertragungsfähigkeiten mit den Analyse-, KI-Modellen und Streaming Agents, die in Confluent Cloud für Apache Flink zu finden sind, hat Confluents neue Funktion das Potenzial, genau dies zu erreichen.
Die Entwicklung und Bereitstellung dieser Streaming Agents erfolgt innerhalb der Confluent Cloud für Apache Flink. Flink dient als rechnerisches Rückgrat und ermöglicht es den Agenten, nahtlos mit verschiedenen externen Tools und Ressourcen zu interagieren. Benutzer können sich mit aufkommenden Standards wie MCP (ein Protokoll für Agenten, um Ressourcen aufzurufen) sowie Vektor- und SQL-Datenbanken und API-Endpunkten verbinden, die alle laut Falconer sicher innerhalb der Flink-Umgebung verwaltet werden. Flink bietet auch die Schnittstelle für Organisationen, um die spezifischen Aktionen zu definieren, die Agenten ausführen sollen, und um eine Vielzahl von KI-Modellen zu integrieren, einschließlich derer von Branchenführern wie Gemini, OpenAI und Anthropic. Falconer merkt an, dass die Wahl des Modells oft den ersten Schritt beim Bau eines Agenten darstellt.
Ein entscheidender Aspekt der Agentenkonfiguration in Confluent Cloud für Apache Flink ist die Definition von Prompts, ein zentraler Prozess für das „Kontext-Engineering“. Diese Prompts sind zweigeteilt: System-Prompts, die die übergeordnete Rolle des Agenten innerhalb eines größeren Workflows festlegen, und aufgabenspezifische Prompts, die die genauen Jobmerkmale detaillieren, die der Agent ausführen soll. Zum Beispiel könnte ein System-Prompt einen Agenten als „Experten im Schreiben von E-Mails“ bezeichnen, gefolgt von expliziten Anweisungen, „eine E-Mail basierend auf der folgenden Eingabe zu schreiben, die diesen bestimmten Benutzer beschreibt“. Diese Abgrenzung schränkt den Umfang des Agenten ein und kodifiziert klar seine erwarteten Eingaben und Ausgaben. Wie Falconer illustriert: „Wenn ich einen Lead bewerte, dann weiß ich, dass die Eingabe ein Lead sein wird und die Ausgabe ein Wert zwischen eins und 100 sein sollte.“ Diese Präzision hilft bei der sofortigen Fehlererkennung und erleichtert das Testen und die Weiterentwicklung von Agenten.
Während Apache Flink die Verarbeitungskraft liefert, stammt ein Großteil der inhärenten Leistung von Streaming Agents aus seiner tiefen Integration mit Apache Kafka für die Inter-Agenten-Kommunikation. Anstatt sich auf alternative Protokolle zu verlassen, nutzen Streaming Agents Kafkas robuste Nachrichtenübertragungsfähigkeiten, um Agenten die Übergabe unterschiedlicher Teile eines komplexen Workflows zu ermöglichen, wodurch gemeinsam größere Ziele erreicht werden, wie die Erkennung von Netzwerkausfällen für einen Telekommunikationsanbieter. Dieser Prozess beginnt oft mit vielfältigen Echtzeit-Eingaben – wie Wetterberichten oder IoT-Sensordaten – die den dynamischen Zustand des Geschäfts darstellen. Wie Falconer ausführt: „Sobald ein Agent diese Daten aufnimmt, spricht er auch mit einem externen System, um zusätzlichen Kontext zu sammeln. Dann erzeugt er eine Ausgabe, die sich wahrscheinlich auf mehrere Systeme, einschließlich anderer Agenten, verteilt, wo diese Agenten dann die Ausgabe operationalisieren.“ Typischerweise fließen diese anfänglichen Ereignisse in Kafka-Topics, von wo die Daten zur Aggregation oder Verarbeitung an Flink weitergeleitet werden können. Nachdem ein Agent diese Daten verarbeitet hat, gibt er seine Ausgabe an Kafka zurück, oft an neue Topics, wodurch nachfolgende Agenten den Workflow fortsetzen. Kafkas dauerhafte Nachrichten- und Speicherfähigkeiten sind hier von unschätzbarem Wert und bieten eine kritische „Rückverfolgbarkeit zwischen Agent eins und Agent zwei“. Diese kontinuierliche Aufzeichnung ermöglicht es Entwicklern, den Kommunikationsverlauf zu überprüfen, das Testen mit realem Verkehr zu erleichtern und die Verfeinerung von Agentenverhalten und -modellen zu ermöglichen, um verbesserte Ausgaben zu gewährleisten.
Confluent hat auch umfassende Testfunktionen integriert, einschließlich der Unterstützung für „Dark Launch“ bei Streaming Agents. Dies ermöglicht es einem Agenten, im Produktionsverkehr zu arbeiten, ohne direkt mit Endbenutzern zu interagieren, wodurch Organisationen eine zweite Version – vielleicht mit einem anderen Modell oder Prompts – bereitstellen und deren Leistung gegen das Original messen können, ohne den Live-Betrieb zu beeinträchtigen. Diese parallele Verarbeitung ermöglicht einen Leistungsvergleich, um sicherzustellen, dass „Version zwei besser ist als die erste“. Benutzer können auch A/B-Tests innerhalb der Confluent-Umgebung durchführen und Agentendaten durch den Zugriff auf externe Tabellen, wie die in MySQL, direkt von der Streaming-Datenplattform aus anreichern.
Durch die Erweiterung von KI-Agenten mit Echtzeit-Streaming-Daten verbessert Confluent deren Fähigkeit, autonom im Namen eines Unternehmens zu handeln, erheblich. Falconer vergleicht diese Echtzeit-Intelligenz treffend mit den „Augen und Ohren“ eines Unternehmens, die aus historischen Daten abgeleitete Erkenntnisse ergänzen. Er betont, dass „die meisten Geschäftsszenarien beides benötigen“ – sowohl das Verständnis des vergangenen Kundenverhaltens als auch ihrer aktuellen Aktionen. Die Ausstattung von KI-gestützten Agenten mit diesen umfassenden, minutengenauen Informationen erschließt ein immenses Potenzial für deren effektive Zusammenarbeit, die Optimierung von Geschäftsergebnissen und das Erreichen strategischer Ziele.