Die zentralen Herausforderungen der KI Governance
Die Integration von KI, insbesondere von Large Language Models (LLMs), ist mit Herausforderungen verbunden. Ein bekanntes Problem ist die Tendenz zur sogenannten „Over-Generalization”, bei der Modelle zu stark verallgemeinern und den notwendigen Kontext verlieren. Weitere kritische Schwachstellen, besonders im Enterprise-Kontext, sind die fehlende Validierung der Antworten und die unzureichenden Guard Rails. Ohne Guard Rails ist der Zugriff der KI möglicherweise auf alle Informationen offen und nicht auf die Daten beschränkt, die für die spezifische Aufgabe relevant sind.
Vier zentrale Herausforderungen in Projekten sind: 1. Guard Rails, 2. Orchestrierung von Agent Fleets (Agent-to-Agent-Thematik), 3. AI Governance (einschließlich Auditing und Modellleistung) und 4. Sicherstellung guter, vertrauenswürdiger Daten. Es ist entscheidend, die Modellleistung kontinuierlich zu überwachen, da die Qualität der Antworten mit der Zeit nachlassen oder falsch werden kann.
Die Agentic Data Plane (ADP) von Redpanda
Die Agentic Data Plane ist eine neue Produktlösung von Redpanda, die darauf abzielt, diese Herausforderungen zu adressieren. Die Plattform verbindet die Themenbereiche Data Access, Data Processing, Data Engineering, KI (Agenten) und Governance. In der Architektur ist die ADP zwischen dem Reasoning Layer (den großen KI-Modellen wie OpenAI oder Google) und den KI Agenten angesiedelt. Die Agenten sind dabei frameworkunabhängig und nutzen die Orchestrierung der ADP, um Geschäftsentscheidungen zu treffen.
Im Kern basiert die Lösung auf Redpanda, einer Neuimplementierung von Apache Kafka. Redpanda wurde in C++ geschrieben, ist zu 100 % Kafka-kompatibel und bietet eine bessere Performance sowie eine bessere Hardwareausnutzung. Dadurch werden geringere Latenzen erreicht und es ist möglich, mit weniger Brokern auszukommen. Für latenzempfindliche Anwendungen ist es von Vorteil, dass Redpanda keine Java Virtual Machine (JVM) benötigt und dass Altlasten wie die ZooKeeper-Integration entfernt wurden.
Schlüsselkomponenten: Redpanda Connect und Oxla
Ergänzend zur Kernlösung integriert die Plattform Redpanda Connect, ein Framework mit über 300 verschiedenen Konnektoren, die alle von den KI-Agenten genutzt werden können.
Eine weitere neue Komponente ist Oxla, eine Query Engine. Oxla bietet ein PostgreSQL-Interface mit starker Kompatibilität zu Standard-PostgreSQL-Funktionen und ermöglicht somit Data Querying. Oxla kann direkt mit Redpanda kommunizieren und die Daten in den Kafka-Topics sehr effizient abfragen, was in der Kafka-Welt normalerweise nicht möglich ist. Dabei ist die Schema Registry, die Teil von Redpanda ist, vollständig integriert und unterstützt verschiedene Schemata wie Protocol Buffers, JSON Schema oder Avro. Dadurch ist es in der Analytics Sandbox der ADP möglich, einen normalen PostgreSQL-Client zu nutzen, um mit den Daten zu interagieren. Es ist möglich, Topics zu joinen und somit sofortigen Zugriff auf die Daten zu erhalten.
Auditing, Governance und Agenten-Orchestrierung
Der Ansatz von Redpanda betrachtet alles als Streaming-Problem. KI Agenten schreiben alle ausgetauschten Informationen in Kafka Topics. Dies ist entscheidend für die Auditierfähigkeit und das Monitoring, da alle Informationen unveränderlich (immutable) abgespeichert werden. Die Daten können jederzeit auf einen früheren Zeitpunkt zurückgestellt werden, um Probleme mit Modellen nachzuvollziehen. Die Herausforderungen im Bereich Governance und Auditing werden gelöst, indem alles protokolliert wird: was die Modelle produzieren, was sie lesen und wie sie zu ihren Entscheidungen kommen.
Agenten benötigen APIs, um Aktionen auszuführen oder weitere Daten abzurufen. MCP (ein Protokoll zur Standardisierung von Tool-APIs) ist das Werkzeug der Wahl. Redpanda Cloud Remote MCP erlaubt das Deployment dieser MCP-Server ohne Code, basierend auf Templates und Konnektoren. Die Agenten selbst können als deklarative Agenten konfiguriert werden, wobei die Business-Logik durch Prompting definiert wird, sodass kein Code geschrieben werden muss. Für die Orchestrierung und den Zugriff durch andere Agenten oder Backend-Anwendungen nutzt die Plattform das A2A-Protokoll. Mit Remote MCP können auch Daten verändert oder Transformationen durchgeführt werden (z. B. Kreditkartennummern hashen), bevor sie an das LLM weitergegeben werden. Dadurch wird die Sicherheit erhöht.
Video
Fazit
Die Agentic Data Plane bietet eine spannende Lösung, da sie alle notwendigen Komponenten auf einer Plattform vereint – vom High-Performance-Message-Broker (Redpanda) bis zur High-Performance-Analytics-Datenbank (Oxla). Die Möglichkeit, direkt über PostgreSQL SQL mithilfe von Oxla auf Kafka-Daten zuzugreifen, ist ein weiterer Vorteil. Dies löst eines der größten Hindernisse bei Kafka-Projekten, da nun BI- und SQL-Tools direkt angeschlossen werden können. Da die Plattform sowohl Streaming als auch Batch verarbeiten kann und ein MCP-Server ohne Programmieren generiert werden kann, wird eine schnelle und effiziente Integration von AI Agents ermöglicht. Durch die automatische Protokollierung aller Agentenaktionen in Topics wird zudem eine hohe Auditierbarkeit und Governance gewährleistet.