Kategorien
SAP Produkte

Kafka Adapter für ABAP

SAP ABAP

Kafka Adapter für ABAP

Native, bidirektionale Verbindung zwischen Ihren ABAP-Anwendungen und Apache Kafka — über TCP/TLS, ohne separaten Kafka REST Proxy.

Integrationsarchitektur

ABAP-Anwendungen
Senden / Empfangen
KaTe GmbH KaTe Kafka Adapter für ABAP Natives TCP/TLS
Kafka-Records
Apache Kafka
TCP/TLSVerbindungAvroSchema RegistryJSONDatenformate
Technische Bausteine
IDocs
Eigene ABAP-Typen
JSON
Avro
Schema Registry

Architekturübersicht

ABAP-Anwendungen ↔ KaTe Kafka Adapter für ABAP ↔ Apache Kafka. Senden / Empfangen · Natives TCP/TLS.

ABAP-Anwendungen
KaTe GmbH KaTe Kafka Adapter für ABAP Native ABAP-Integration
Apache Kafka
Senden / EmpfangenNatives TCP/TLS
Direkte Verbindung zwischen ABAP und Kafka

Funktionen

Alle Funktionen auf einen Blick

Erweitern Sie Ihre ABAP-Anwendungen um Kafka-Konnektivität — mit nativen Producer- und Consumer-APIs, konfigurierbarer Datenbindung und zentraler Administration.

Kernfunktionen: Senden und Empfangen

Veröffentlichen Sie Anwendungsdaten als Kafka-Records und verarbeiten Sie eingehende Records direkt in Standardfunktionen von S/4HANA und ECC sowie in ABAP.

  • Flexibler Versand: Kafka-Records aus IDocs, RAP Events (TBA) oder eigenen ABAP-Programmen veröffentlichen — mit blockierendem Versand oder nicht blockierendem Einreihen in die Outbox und Kafka-Broker-Bestätigungen (acks).
  • Kontrollierter Empfang: Kafka-Records werden gelesen und in gängige SAP-Standardintegrationsobjekte wie IDocs und ABAP-Aufrufe übergeben. Consumer verarbeiten Partitionen parallel und bestätigen Kafka-Offsets erst nach erfolgreicher SAP-Receiver-Verarbeitung; fehlgeschlagene Records werden innerhalb ihrer Partition erneut verarbeitet.
  • Konfigurierbare Einrichtung: ein oder mehrere Topics verwenden, Offsets steuern und mit Kafka-Keys, -Values und -Headers arbeiten.

Sicherheit und Verbindungsmanagement

Schützen Sie Ihre Kafka-Verbindungen mit TLS-Verschlüsselung, geschützten Zugangsdaten und zentral verwalteten Verbindungsprofilen.

  • Native TCP/TLS-Verbindung mit SASL/PLAIN-Authentifizierung.
  • Verschlüsselte Zugangsdaten für Kafka-Broker und Schema Registry.

Erweiterte Funktionen: SAP-Integration, Datenformate und Fehlerbehandlung

SAP-Integration und Datenformate

SAP-Objekte mit Kafka integrieren

  • IDocs: vollständige IDocs als Kafka-Records austauschen — mit SAP als Sender oder Empfänger.
  • Eigene ABAP-Datentypen und Tabellen: Anwendungsdaten an explizit konfigurierte oder generische ABAP-Typen, Strukturen und interne Tabellen binden.
  • RAP Events (TBA): Integration von Ereignissen und leistungsfähige Referenzdatenabfragen aus dem ABAP RESTful Application Programming Model.

Unterstützte Serializer und Deserializer

  • Standard-Kafka-Formate: String, Boolean, Short, Integer, Long, Float, Double, UUID, Void und binäre Formate (ByteArray, ByteBuffer und Bytes).
  • Confluent Avro: native binäre Kodierung und Dekodierung, Schema-Registry-Integration und unterstützte Schemaentwicklung.
  • Confluent JSON Schema: Serialisierung und Validierung mit Schema-Registry-Integration im unterstützten Draft-7-Teilumfang.

Key- und Value-Formate lassen sich mit den jeweiligen Serializern/Deserializern und der Bindung an Datenstrukturen frei konfigurieren.

Vorteile

Warum Kafka direkt aus ABAP anbinden?

1

1 · Direkt mit Kafka-Brokern verbinden

Nutzen Sie das binäre Kafka-Protokoll aus ABAP. Ein separater Kafka REST Proxy ist für die Broker-Kommunikation nicht erforderlich; die Schema Registry verwendet ihre eigene HTTPS-API.

2

2 · Mit den Daten Ihrer Anwendung arbeiten

Integrieren Sie IDocs und RAP Events (TBA) oder verwenden Sie generische und typisierte Schnittstellen für eigene ABAP-Daten. Wählen Sie das Serialisierungsformat für Key und Value unabhängig aus.

3

3 · Konfiguration und Diagnose bündeln

Verwalten Sie Verbindungsprofile und Kanäle in einer benutzerfreundlichen Weboberfläche und untersuchen Sie betriebliche Fehler anhand zugeordneter Laufzeitdiagnosen.

Vergleich

Der passende Integrationsansatz für Ihr Szenario

IntegrationsbedarfKafka Adapter für ABAPKafka Adapter für SAP Integration Suite
Integrationslogik nahe an SAP-AnwendungenDirekte ABAP-APIs und SAP-DatenbindungIntegration über Cloud-Integration-iFlows
Individuelle Extraktion von Tabellendaten nach KafkaAnwendungsgesteuerte Extraktion in ABAPOrchestrierung von Daten aus SAP-Schnittstellen
Systemübergreifende Orchestrierung und TransformationBei Bedarf in Ihrer ABAP-Anwendung implementiertZentral in Integrationsflows verwaltet

Einrichtung

Kafka-Integration in drei Schritten einrichten

1

1 · Szenario besprechen

Klären Sie mit unserem Team Ihre SAP-Umgebung, Kafka-Topics, Datenformate und Verarbeitungsanforderungen.

2

2 · Adapter konfigurieren

Bereiten Sie die SAP-Voraussetzungen vor, konfigurieren Sie geschützte Verbindungsprofile und definieren Sie Producer- oder Consumer-Kanäle mit den erforderlichen Datenbindungen.

3

3 · Verarbeitung prüfen und starten

Prüfen Sie die Verbindung, testen Sie Ihre Anwendungsintegration und steuern und überwachen Sie die Verarbeitung in der Administrationsoberfläche.

Kompatibilität

Die passende Anbindung für Ihre SAP-Umgebung

Besprechen Sie mit uns Ihren SAP-Release, Ihre Kafka-Umgebung und die Installationsvoraussetzungen. Für Avro, Schema Registry und JSON Schema gelten dokumentierte Grenzen für Datenbindung, Schemas und Ressourcen.

SAP Process Orchestration (PO)

Vollständige Unterstützung für SAP PO. Bestehende Schnittstellen können ohne Anpassungsaufwand weitergenutzt werden.

SAP Integration Suite (CPI)

Nahtlose Migration von SAP PO zur SAP Integration Suite. Entwickelte Schnittstellen funktionieren ohne Refactoring weiter.

Migrations-Flexibilität

Bestimmen Sie Ihren eigenen Zeitplan. Investitionen in SAP-PO-Integrationen lassen sich problemlos auf die Integration Suite übertragen.

Administrationsoberfläche

Mehr Kontrolle bei Einrichtung und Betrieb

Betrieb und Monitoring

Verwalten Sie Kafka-Kanäle zentral und untersuchen Sie Verarbeitungsprobleme anhand von Laufzeitstatus, Anwendungsprotokollen und gezielten Diagnosen.

  • Verwaltete Kanäle in der Administrationsoberfläche starten, stoppen, pausieren und fortsetzen — mit Consumer-Start am Anfang oder an der neuesten Position des Streams.
  • Consumer-Group-Offsets, Verarbeitungsfortschritt und Partitionsstatus einsehen.
  • Producer-Outbox-Einträge überwachen und ungewisse Zustellergebnisse prüfen.
  • Fehler anhand zugeordneter Anwendungsprotokolle und zeitlich begrenzter Kafka-Protokoll-Traces untersuchen.

FAQ

Häufig gestellte Fragen

Antworten auf häufige Fragen zum Kafka Adapter für ABAP.

Was ist der Kafka Adapter für ABAP?

Der Adapter verbindet SAP-Anwendungen über native ABAP-Producer- und Consumer-APIs direkt mit Kafka. Er integriert IDocs und eigene ABAP-Daten mit konfigurierbarer Serialisierung und einer Weboberfläche zur Administration. Die Integration von RAP Events ist TBA.

Wie werden Kafka-Verbindungen abgesichert?

Die Broker-Kommunikation verwendet TCP/TLS mit SASL/PLAIN-Authentifizierung. Zugangsdaten für Broker und Schema Registry werden unter getrennten, verschlüsselten Aliassen gespeichert. Verbindungsparameter und Geheimnisse bleiben getrennt.

Wie erhält der Adapter die Verarbeitungsreihenfolge?

Records werden innerhalb jeder zugewiesenen Partition der Reihe nach verarbeitet. Ein fehlgeschlagener Record wird erneut verarbeitet, bevor spätere Records derselben Partition folgen. Andere Partitionen können weiterarbeiten. Die Reihenfolge über mehrere Partitionen hinweg bestimmt Ihr Anwendungsdesign.

Können Consumer Records parallel verarbeiten?

Verwaltete Consumer Groups verteilen Partitionen auf die konfigurierten Consumer. So werden Partitionen parallel verarbeitet, während die Reihenfolge innerhalb jeder Partition erhalten bleibt. Die Kapazität hängt von Partitionsanzahl, SAP-Ressourcen und Receiver-Aufwand ab.

Kann ich die Startposition für den Empfang wählen?

Sie können den Empfang am Anfang oder an der neuesten Position des Streams konfigurieren. APIs zum Lesen mit expliziten Offsets unterstützen außerdem ausgewählte Stream-Positionen. Vorhandene Consumer-Group-Offsets beeinflussen, wo eine bestehende Gruppe fortsetzt.

Wie überwache und untersuche ich meine Integration?

Die Weboberfläche bündelt Kanalsteuerung, Verarbeitungsfortschritt, Consumer-Offsets und Producer-Outbox. Anwendungsprotokolle zeigen Fehler- und Wiederholungsdetails; zeitlich begrenzte Kafka-Protokoll-Traces unterstützen die gezielte Diagnose. Wiederholungsgrenzen und Wartezeiten sind konfigurierbar.

Wann sollte ich den ABAP-Adapter statt eines Kafka-Adapters auf Middleware verwenden?

Nutzen Sie den ABAP-Adapter, wenn die Integrationslogik in SAP angesiedelt ist — etwa für die Integration von Anwendungsdaten oder die individuelle Extraktion von Tabellendaten nach Kafka mit ABAP. Senden und empfangen Sie Kafka-Records direkt in Ihren ABAP-Anwendungen und steuern Sie Datenbindung und Verarbeitung, ohne jeden Austausch über eine Middleware-Schicht zu führen.

Nutzen Sie den KaTe Kafka Adapter für SAP Integration Suite für zentrale Orchestrierung, Transformationen oder Routing über mehrere Systeme hinweg. Beide Adapter ergänzen sich innerhalb Ihrer Integrationslandschaft.

Benötige ich einen Kafka REST Proxy?

Anders als bei anderen Lösungen ist für die Broker-Kommunikation kein separater Kafka REST Proxy erforderlich. Der Adapter nutzt das binäre Kafka-Protokoll direkt aus ABAP über TCP/TLS. Die Schema-Registry-Integration verwendet separat HTTPS.

Kann ich Tabellen nach Kafka replizieren?

Ja. Veröffentlichen Sie Tabellendaten in Kafka mit generischer oder explizit typisierter ABAP-Serialisierung und einem einfachen eigenen ABAP-Programm, das Daten liest und über einen Kafka-Kanal sendet. So lässt sich die Datenintegration unkompliziert an Ihre Anforderungen anpassen.

Kann ich IDocs über Kafka austauschen?

Ja. Senden und empfangen Sie vollständige IDocs als Kafka-Records über die Standard-SAP-IDoc-Integration. Ausgehende IDocs werden bestätigt, nachdem Kafka den Record bestätigt hat.

Welche Confluent-Serializer werden unterstützt?

Der Adapter bietet Serializer und Deserializer, die mit Confluent Avro und Confluent JSON Schema kompatibel sind, einschließlich Schema-Registry-Integration. Avro unterstützt Schemaentwicklung; JSON Schema unterstützt die Validierung innerhalb eines dokumentierten Draft-7-Teilumfangs.

Wie unterstützt der Adapter eine zuverlässige Zustellung?

Der Adapter bestätigt Kafka-Consumer-Offsets erst nach erfolgreicher Receiver-Verarbeitung. Fehlgeschlagene Records werden erneut verarbeitet, bevor die Verarbeitung innerhalb ihrer Partition fortgesetzt wird. So werden Records bei Verarbeitungsfehlern nicht einfach übersprungen.

Kontakt

Sie planen Kafka-Integration aus ABAP?

Sprechen Sie mit uns über Ihre SAP-Umgebung, Datenformate und Verarbeitungsanforderungen. Gemeinsam besprechen wir den Integrationsansatz und die unterstützte Konfiguration.

Kategorien
Aktuelles

Scaling Kafka Consumption mit der SAP Integration Suite

Kafka Sender Batching für SAP Integration Suite

Produkt-Update

Kafka Sender Batching für SAP Integration Suite: Records effizient bündeln

Der KaTe Kafka Adapter bündelt Records aus einem Kafka-Poll zu einem Batch-Payload. Damit können SAP Integration Suite und Edge Integration Cell Kafka-Workloads mit weniger wiederholten Integrations- und Netzwerkaufrufen verarbeiten.

Kafka kann deutlich mehr Events bereitstellen, als ein klassisches Backend einzeln pro Anfrage verarbeiten kann. Der Engpass ist dabei häufig nicht Kafka selbst. Er entsteht durch den wiederholten Integrations- und Netzwerk-Overhead, wenn jeder Record eine eigene Message in der SAP Integration Suite und einen eigenen Backend-Aufruf auslöst.

Die Funktion Sender Batch des KaTe Kafka Adapters für SAP Integration Suite verändert diese Gleichung. Statt jeden aus Kafka gepollten Record in eine separate Cloud-Integration-Message zu überführen, kann der Adapter die aus einem Poll zurückgegebenen Records zu einem Batch-Payload zusammenfassen. Ein Integrationslauf kann dann viele Business-Records gemeinsam validieren, mappen und zustellen.

Batching und Partition-Parallelität ergänzen sich: Partitionen liefern parallele Verarbeitungslanes, Batching macht jede Lane effizienter. Das Ergebnis können erheblich weniger Integrations- und Netzwerk-Round-Trips für Kafka-Workloads sein, die über die SAP Integration Suite verarbeitet werden.

Was ändert sich im Batch-Modus?

Im Single-Record-Modus erzeugen 100 Kafka-Records bis zu 100 Cloud-Integration-Messages. Im Batch-Modus kann der Adapter eine Message mit bis zu der konfigurierten Anzahl Max poll records erzeugen. Das Backend erhält weniger, dafür größere Aufrufe. Kafka-Offsets werden erst committed, nachdem der vollständige Batch erfolgreich in die Cloud Integration übertragen wurde.

Zwei Payload-Formate stehen zur Verfügung:

Simple Batch Format
Enthält nur die transformierten Record-Werte unter einem konfigurierbaren Root-Element.
Detailed Batch Format
Enthält zusätzlich Kafka-Metadaten wie Topic, Partition, Key, Offset, Timestamp, Header und Tombstone-Informationen für jeden Record.

Für eine kontinuierliche Verarbeitung sammelt der Adapter verfügbare Records bis zum konfigurierten Poll-Limit. Ist der Batch noch nicht voll, kann er das konfigurierbare Batch-Fenster abwarten, bevor die bereits verfügbaren Records übergeben werden. Die Intervallverarbeitung erzeugt einen Batch aus den Records, die der Poll dieses Intervalls zurückliefert.

Ein illustratives Durchsatzmodell für Kafka Sender Batching

Betrachten wir ein Topic mit vier Partitionen und genügend parallelen Consumern, um alle vier auszulasten. Eine Single-Record-Backend-Interaktion dauert Ende zu Ende 50 ms: 25 ms Netzwerk- und Protokolllatenz plus 25 ms Backend-Arbeit.

Dies sind vergangene Zeiten einschließlich Bestätigung und Commit, sofern zutreffend. Das Modell nimmt vier aktive Verarbeitungslanes an und schließt zusätzliche iFlow-Verarbeitung sowie Batch-Sammelzeiten aus.

4 parallele Partitionen / 0,050 Sekunden = 80 Records pro Sekunde

Batching amortisiert die Integrations- und Netzwerkkosten. Der genaue Gewinn hängt davon ab, ob das Backend eine echte Bulk-Operation unterstützt oder den Großteil der Arbeit weiterhin Record für Record erledigt.

ModusIllustrativer DurchsatzGewinn gegenüber Single Record
Single Record80 Records/s1×
Batch mit 10 Records; vollständiger Batch in 50 ms verarbeitet800 Records/s10×
Batch mit 100 Records; vollständiger Batch in 50 ms verarbeitet8.000 Records/s100×
Batch mit 10 Records; 25 ms Netzwerk pro Batch + 25 ms Arbeit pro Recordca. 145 Records/sca. 1,82×
Batch mit 100 Records; 25 ms Netzwerk pro Batch + 25 ms Arbeit pro Recordca. 158 Records/sca. 1,98×

Der optimistische Fall setzt voraus, dass ein Backend den vollständigen Batch ungefähr in denselben 50 ms wie einen einzelnen Record verarbeiten kann. Der konservative Fall nimmt an, dass nur der Netzwerkanteil von 25 ms geteilt wird, während pro Record 25 ms Arbeit verbleiben. Sein Speed-up lautet:

Speed-up(B) = 50 × B / (25 + 25 × B) = 2B / (B + 1)

Unter diesen Annahmen kann das Vermeiden wiederholter Netzwerk-Round-Trips selbst bei linearer Backend-Arbeit einen Wert nahe 2× erreichen. Eine echte Bulk-API, eine Bulk-Datenbankoperation oder eine vektorisierte Transformation kann das Ergebnis deutlich näher an den Batch-Größen-Multiplikator bringen. Die Werte sind ein Kapazitätsplanungsmodell und kein gemessener Produktbenchmark: Payload-Größe, Mapping-Kosten, Worker-Anzahl, Broker-Latenz, Retries und Backend-Limits beeinflussen den produktiven Durchsatz.

Warum ein JDBC-Batch fast so schnell wie ein einzelnes Insert sein kann

Ein JDBC-Insert von 50 ms einschließlich Netzwerkweg und Commit ist für eine entfernte Datenbank eine plausible Annahme. Ein moderater Batch kann nahe an diesem Wert liegen, wenn der feste Overhead dominiert: JDBC Batching reduziert Round-Trips, während eine Transaktion den Commit-Overhead auf mehrere Zeilen verteilt.

Ein Beispiel: 49 ms fester Overhead + 1 ms pro Zeile ergeben 50 ms für ein Insert und 149 ms für 100 Zeilen. Vier parallele Lanes liefern dann ungefähr 2.685 Records/s – das 33,6-Fache der Single-Record-Basislinie. Dies sind illustrative Eingaben; Indizes, Trigger und Lock Contention beeinflussen die tatsächlichen Ergebnisse. Der zuvor beschriebene Fall nahe 2× nimmt an, dass sich die gesamte Backend-Arbeit pro Zeile wiederholt. Er ist daher kein allgemeines JDBC-Limit.

Weniger gemessene Messages in der SAP Integration Suite

Batching kann auch den Message-Verbrauch der SAP Integration Suite senken. Nach der öffentlichen SAP-Preisdefinition werden Cloud-Integration-Messages in 250-KB-Blöcken – nicht 256 KB gezählt. Eine Outbound-Message bis 250 KB zählt als eine Message; jeder weitere angefangene 250-KB-Block als weitere. Bei synchronen Receiver-Aufrufen betrachtet SAP Request und Response gemeinsam, und spezielle Muster wie Splitter haben eigene Zählregeln. Die konkrete kommerzielle Wirkung hängt von Kundenedition, enthaltenem Volumen, Vertrag und der Frage ab, ob eine Message abrechenbar ist. Prüfen Sie die aktuelle SAP Integration Suite Pricing Definition und validieren Sie den ausgerollten Flow im Message Usage Dashboard des Tenants, bevor eine Schätzung für die Budgetplanung verwendet wird.

Beispielsweise erzeugen 20 einzeln verarbeitete Records unter 250 KB üblicherweise 20 Outbound-Backend-Messages und damit mindestens 20 gemessene Messages. Bilden dieselben Records einen Outbound-Batch, der einschließlich Envelope und – bei synchronem Aufruf – Response bei oder unter 250 KB bleibt, kann dieser Batch als eine gemessene Message zählen. Wächst der Batch auf 600 KB, zählt er als drei statt 20. Batching macht Payload-Volumen nicht kostenlos, beseitigt aber die sonst für jeden kleinen Outbound-Aufruf anfallende Mindestmenge von einer Message.

Single-Record-Einheiten ≈ Anzahl Records × ceil(Größe eines Outbound-Records / 250 KB) Batch-Einheiten ≈ ceil(Gesamtgröße des gebündelten Outbound-Payloads / 250 KB)

Dies ist eine Planungsnäherung. Header, Envelopes, Receiver-Aufrufe, synchrone Responses, Retries, Splitter und der final ausgerollte Flow können den gemessenen Gesamtwert verändern.

Wo Kafka Sender Batching besonders hilft

Sender Batching ist besonders wirksam, wenn das nachgelagerte System bereits Bulk-Requests, Datenbank-Array-Operationen, Massenänderungen oder dateiorientierte Schnittstellen unterstützt. Es kann auch die Anzahl von Cloud-Integration-Message-Processing-Logs und wiederholten Verbindungsaufbauten für dasselbe Geschäftsvolumen reduzieren.

Es gibt einen bewussten Trade-off: Ein Batch ist eine Verarbeitungseinheit. Größere Batches verbessern die Amortisation, können aber die Latenz pro Record, den Speicherverbrauch und den bei einem Fehler erneut zu verarbeitenden Arbeitsumfang erhöhen. Eine Channel-seitige Single-Record-Deduplizierung steht für variable Batches nicht zur Verfügung. Die Downstream-Verarbeitung sollte deshalb idempotent sein oder Records anhand stabiler Business-Identifikatoren deduplizieren. Batching steht zudem nicht für selektive Support-Mode-Reads zur Verfügung.

Entscheidungsmatrix: Soll der Sender Batching verwenden?

Entscheidend ist, ob das angebundene Backend eine Sammlung effizient verarbeiten kann. Das bloße Verpacken von Single-Record-Aufrufen in ein XML-Dokument schafft noch keine Bulk-Operation.

Backend oder AnforderungEignungHinweis
BI-, Data-Warehouse- oder Data-Lake-IngestionStarkDiese Systeme bevorzugen häufig größere Blöcke, Staging-Dateien oder Bulk-Load-APIs.
JDBC Batch Insert/Upsert oder set-basierte DatenbankprozedurStarkEine echte Bulk-Anweisung, Array Binding, Staging-Tabelle oder massenfähige Prozedur nutzen; eine Schleife einzelner Inserts bringt weniger Nutzen.
OData $batchStark, wenn unterstütztPrüfen, ob der Service $batch unterstützt, festlegen, ob Operationen zu einem transaktionalen Change Set gehören, und den Kafka-Batch auf die erforderliche Multipart-Anfrage abbilden.
Datei-, SFTP- oder Object-Storage-ZustellungStarkEin Batch passt natürlich zu einer Datei mit mehreren Records, wenn der Empfänger dies erwartet; er ist ungeeignet, wenn jedes Event eine separate Datei bleiben muss.
Massenfähige BAPI- oder SOAP-OperationBedingtBatching nur verwenden, wenn die Operation oder ein kontrollierter Wrapper eine Tabelle/Liste akzeptiert und das Verhalten bei Teilfehlern definiert.
Standard-BAPI- oder SOAP-Service für ein EinzelobjektMeist schwachViele Standardoperationen führen weiterhin eine Business-Transaktion pro Aufruf aus; Batching kann einen spezifischen Wrapper und sorgfältiges Commit-Handling erfordern.
Response pro Record, unabhängiger Retry oder sehr niedrige LatenzSchwachSingle-Record-Verarbeitung bewahrt granulare Bestätigungen und vermeidet das Warten auf ein Batch-Fenster.
Stark variable oder sehr große PayloadsBedingtKonservative Limits setzen und die kombinierte Anfrage gegen CPI-, Adapter-, Backend- und Netzwerkgrößenlimits testen.
Backend kann keine Sammlungen verarbeitenNicht batchenDer iFlow müsste aufsplitten und loopen. Das verliert einen großen Teil von Durchsatz- und Metering-Vorteil und erhöht zugleich die Komplexität.

Ein praktischer Startpunkt

Beginnen Sie mit einem moderaten Wert für Max poll records, etwa 10 oder 25, richten Sie die Anzahl paralleler Consumer an den verfügbaren Topic-Partitionen aus und prüfen Sie, ob das Backend den Batch tatsächlich effizient verarbeitet. Erhöhen Sie die Batch-Größe anschließend schrittweise und beobachten Sie Ende-zu-Ende-Latenz, gemessenen Message-Verbrauch, Payload-Größe, Speicher, Retry-Verhalten und Backend-Sättigung. Ein Batch-Fenster sollte lang genug sein, um sinnvolle Batches zu bilden, aber kurz genug bleiben, um das Latenzziel des Szenarios einzuhalten.

Batching und Partition-Parallelität ergänzen sich: Partitionen liefern parallele Verarbeitungslanes, Batching macht jede Lane effizienter. Gemeinsam ermöglichen sie der SAP Integration Suite, Kafka-Workloads mit deutlich weniger Integrations- und Netzwerk-Round-Trips zu verarbeiten.

Was dieses Update für SAP-Integrationsteams bedeutet

Die folgenden Kurzantworten bewahren den technischen Umfang des Updates und verbessern die Auffindbarkeit in klassischer sowie KI-gestützter Suche.

Was ist Kafka Sender Batching?

Kafka Sender Batching ist eine Funktion des KaTe Kafka Adapters. Sie gruppiert Records aus einem Kafka-Poll in einem Batch-Payload und übergibt diese Gruppe als eine Cloud-Integration-Message zur weiteren Verarbeitung.

Garantiert Sender Batching einen bestimmten Durchsatzgewinn?

Nein. Die Zahlenbeispiele sind Kapazitätsplanungsmodelle und keine gemessenen Produktbenchmarks. Das Ergebnis hängt von Bulk-Fähigkeit und Limits des nachgelagerten Systems sowie von der vollständig ausgerollten Architektur ab.

Was folgt als Nächstes?

Ein Folgeartikel untersucht, wie Confluent Parallel Consumer das Sender-seitige Design durch kontrollierte Parallelität auf Record-Ebene erweitern kann. Dabei werden Reihenfolgeentscheidungen, Offset-Management und die Situationen betrachtet, in denen dieser Ansatz die klassische an Partitionen gebundene Verarbeitung ergänzt oder ersetzt.

Scaling Kafka Consumption in SAP Integration Suite


This could also be interesting for you:

You can find even more news on our social media channels:

Kategorien
SAP Produkte

Kafka Adapter für SAP Integration Suite

Kafka Adapter für SAP Integration Suite (CPI) – KaTe GmbH
SAP Integration Suite (CPI)

Kafka Adapter für
SAP Integration Suite

Bidirektionale Verbindung zwischen SAP Cloud Integration Iflows und Apache Kafka – nativer Nachfolger des bewährten KaTe Kafka Adapters für SAP PO.

Verifizierter SAP-Partner 30 Tage kostenlos testen
Architektur-Überblick
SAP Cloud
Integration
Iflow
bidirektional
KaTe
Kafka Adapter
CPI
Publish / Subscribe
Apache Kafka
On-Premise / BTP
Avro Protocol Buffers OAuth2 SASL_SSL Schema-Registry Batchverarbeitung CSFLE / CSPE
Verifizierter SAP-Partner
30 Tage kostenlos testen
SAP-Roadmap-kompatibel

Alle Funktionen des Kafka Adapters im Überblick

Der KaTe Kafka Adapter für SAP Integration Suite bietet weit mehr als der SAP Standard-Adapter – von Avro-Unterstützung bis zu Field-Level-Encryption.

Grundfunktionen: Publish & Subscribe
Veröffentlichen von SAP Cloud Integration Iflow-Nachrichten als Kafka-Datensätze und Abonnieren von Kafka Records als Iflow-Nachrichten. Kafka Key, Header und Data werden in Iflow-Messages übersetzt und umgekehrt.
  • Topics, Partitionen flexibel konfigurierbar
  • Ack-Modus und Consumer-Commits anpassbar
  • Vollständig in SAP Cloud Integration integriert
  • Beobachtbar auf Kanal- und Nachrichtenprotokoll-Ebene
Security nach Unternehmensstandard
Alle gängigen Kafka Security Standards werden unterstützt – inklusive erweiterter Verschlüsselung auf Feld- und Payload-Ebene für regulierte Umgebungen.
  • PLAIN, PLAIN_SASL, SASL_SSL
  • SASL-Plain / SASL-SCRAM
  • OAuth2 & Client-Zertifikats-Authentifizierung
  • Field-Level-Encryption (CSFLE) & Payload-Encryption (CSPE)
  • SOC 2, DSGVO, ISO 27001 konform
High Performance & Flow Control
Volle Kontrolle über Nachrichtendurchsatz, Filterung und Batchverarbeitung – für optimale Performance bei hohem Datenvolumen.
  • Filterung nach Headern, Keys und Dateninhalten
  • Batchverarbeitung: n Kafka-Datensätze als eine Iflow-Nachricht
  • Polling und Datensatzanzahl/Zeiteinheit konfigurierbar
  • Verarbeitung vom Anfang, Ende oder beliebiger Stream-Position

Erweiterte Funktionen: Fehlerhandling, Formate & Migration

Automatisierte & manuelle Fehlerbehebung
In „in order“ Streaming-Systemen können Fehler die gesamte Verarbeitung stoppen. Damit das nicht passiert, bietet unser Adapter sowohl manuelle als auch vollständig automatisierte Fehlerbehandlung.
  • Fehlerweiterleitung an ein Fehlerziel
  • Dokumentation und Ignorierung bestimmter Fälle
  • Fehlerhandling auch bei Deserialisierungs-Fehlern
  • Deduplizierung über Offset oder Record-Header
Avro, Protocol Buffers & Schema-Registries
Binäre Datenformate wie Avro und Protocol Buffers sind in Kafka-Umgebungen Standard. Deshalb unterstützt unser Adapter diese vollständig – inklusive automatischer Schema-Generierung über Schema-Registries.
  • Avro und Protocol Buffers ↔ XML Konvertierung
  • JSON ↔ XML Transformation
  • Schema-Registry-Integration
  • Integriertes Schemagenerierungstool
SAP-Roadmap-kompatibel
Weil der Adapter sowohl für SAP Process Orchestration als auch für die SAP Integration Suite verfügbar ist, lassen sich bestehende SAP-PO-Integrationen ohne großen Aufwand übertragen.
  • Verfügbar für SAP PO und SAP Integration Suite
  • Import bestehender Schnittstellen ohne Refactoring
  • Eigenen Migrationsplan und Zeitplan bestimmen
  • Investitionen in SAP-PO-Integrationen bleiben erhalten

Warum der KaTe Adapter
mehr kann

Der KaTe Kafka Adapter bietet entscheidende Funktionen, die der SAP Standard-Kafka-Adapter in der SAP Cloud Integration nicht liefert.

1
Beliebige Stream-Positionen & Gruppen-Namen
Während der SAP Standard-Connector keine beliebigen Positionen oder Gruppen-Namen im Stream unterstützt, bietet unser Kafka-Connector dieses im täglichen Einsatz entscheidende Feature vollumfänglich.
2
Alle Datenformate inkl. Schema-Registry
Avro, Protocol Buffers, JSON sowie Schema-Registries mit automatischer Schema-Generierung werden vollständig unterstützt – obwohl der SAP Standard-Connector hier erhebliche Lücken aufweist.
3
Batchverarbeitung in einer Iflow-Ausführung
Mehrere Kafka-Datensätze lassen sich als eine einzige Iflow-Nachricht bündeln, sodass der Durchsatz erheblich steigt. Da der SAP Standard-Connector diese Funktion nicht bietet, ist dies ein entscheidender Vorteil.
4
Erweitertes Fehlerhandling & Encryption
Sowohl manuelles als auch automatisiertes Fehlerhandling – inklusive Deserialisierungs-Fehlern – sowie Field-Level- und Payload-Encryption (CSFLE/CSPE) sind integriert, während der SAP Standard-Connector diese Funktionen nicht bereitstellt.
5
Privater und öffentlicher Netzwerkzugriff
Der Adapter läuft gleichermaßen auf SAP Cloud Integration und SAP Edge Integration Cell (EIC). Darüber hinaus unterstützt er hybride Szenarien, einschließlich des Zugriffs auf On-Premises-Kafka-Broker, Schema-Registries und OAuth-2.0-Identity-Provider über den SAP Cloud Connector.

Kafka Adapter Vergleich: KaTe vs. SAP Standard

Funktion KaTe Adapter SAP Standard
Beliebige Stream-Positionen
✓ Ja
✗ Nein
Avro / Protocol Buffers
✓ Ja
✗ Nein
Schema-Registry
✓ Ja
✗ Nein
Batchverarbeitung
✓ Ja
✗ Nein
Field-Level-Encryption
✓ Ja
✗ Nein
Erweitertes Fehlerhandling
✓ Ja
Eingeschränkt
Filterung & Deduplizierung
✓ Ja
✗ Nein
OAuth2 & CSFLE/CSPE
✓ Ja
✗ Nein
Unterstützung für SAP Cloud Connector
✓ Ja
✗ Nein

Kafka Adapter einrichten – in 3 Schritten starten

1
Free Trial anfragen

Kontaktieren Sie uns – innerhalb von 48 Stunden erhalten Sie Zugang zum Adapter für Ihre Testumgebung.

2
Adapter installieren

Die Installation in Ihrer SAP Integration Suite ist in wenigen Schritten erledigt, da unser Team Sie beim Onboarding begleitet.

3
Produktiv gehen

Erste produktive Szenarien laufen schnell an, sodass Sie nach Bedarf skalieren können – ohne Vorausinvestitionen.

Kompatibilität: Unterstützte Kafka-Plattformen & Protokolle

Ob On-Premise, Cloud oder hybrid – der KaTe Kafka Adapter für SAP Integration Suite ist kompatibel mit allen gängigen Kafka-Deployments und SAP-Plattformen.

SAP Integration Suite
SAP Cloud Integration (CPI) – vollständig integriert. SAP Docs ↗
Unterstützt
SAP BTP
SAP Business Technology Platform – Cloud-native
Unterstützt
Apache Kafka
On-Premise Kafka-Cluster aller gängigen Versionen. Apache Kafka ↗
Unterstützt
Confluent Platform
Confluent Cloud und Confluent Platform On-Premise. Confluent ↗
Unterstützt
Azure Event Hubs
Kafka-kompatibles Azure Event Hubs Endpoint
Unterstützt
AWS MSK
Amazon Managed Streaming for Apache Kafka
Unterstützt
SAP Edge Integration Cell
Hybride On-Premises-Szenarien mit EIC
Unterstützt
SAP Cloud Connector
Zugriff auf On-Premises-Kafka-Broker und Schema-Registries über den SAP Cloud Connector (SCC).
Unterstützt

KaTe Launchpad – mehr Kontrolle beim Aufbau und Betrieb

Das KaTe Launchpad erweitert den Kafka Adapter um eine integrierte Toolbox für Entwickler und Betriebsteams, sodass alle wichtigen Funktionen direkt aus der SAP Integration Suite heraus nutzbar sind.

Generator

Kafka-Konfigurationen, Topic-Strukturen und SAP Integration Suite Iflow-Channel-Definitionen werden automatisch generiert, sodass Konfigurationsaufwand und Fehlerquellen erheblich sinken.

Service List Display & Tester

Der Service List Display bietet eine Übersicht aller konfigurierten Kafka-Topics, Consumer-Gruppen und Broker-Verbindungen, während der integrierte Tester das Senden und Empfangen von Kafka-Nachrichten direkt aus der SAP Integration Suite ermöglicht.

SAP Technologie- und Migrationsberatung –
Zukunftssichere Integration

Die KaTe GmbH ist Ihr kompetenter Partner für SAP Technologie- und Migrationsprojekte. Unser Fokus liegt auf der sicheren und reibungslosen Transformation von bestehenden SAP PO-Landschaften hin zur modernen SAP Integration Suite – inklusive der SAP Edge Integration Cell für hybride Integrationsszenarien.

  • Migration von SAP PO zu SAP Integration Suiteinklusive Analyse, Architekturdesign und technischer Umsetzung
  • Implementierung und Optimierung der SAP Edge Integration Cellfür eine flexible und sichere Hybridintegration
  • SAP BTP (Business Technology Platform) BeratungNutzung moderner Services und Tools für Innovation und Prozessautomatisierung
  • Technologiebasierte Strategieberatungvon Cloud-Integration bis API-Management
SAP PO → Integration Suite Migration
Strukturierte Migration ohne Betriebsunterbrechung

Wir analysieren Ihre bestehenden Interfaces in SAP PO und entwickeln einen strukturierten Migrationsplan für die SAP Integration Suite, damit der Wechsel ohne Betriebsunterbrechung gelingt.

Mehr erfahren
SAP PO Adapter – 30 Tage kostenlos testen
Alle SAP PO Adapter ohne Vorauszahlung

Testen Sie unsere SAP PO Adapter für Kafka, MQTT, AMQP, AWS, Azure, GCP, GraphQL, gRPC und RESTful – 30 Tage kostenlos.

Alle SAP PO Adapter ansehen
IntegraMon – SAP Monitoring
Zentrales Dashboard für alle SAP CPI-Tenants & EIC-Instanzen

IntegraMon vereint alle SAP CPI-Tenants und Edge Integration Cells in einem einzigen Dashboard – mit proaktivem Alerting, KI-Unterstützung und automatisierten KPI-Reports.

IntegraMon entdecken

Häufige Fragen

Antworten auf die wichtigsten Fragen zum KaTe Kafka Adapter für SAP Integration Suite.

Was ist der Kafka Adapter für die SAP Integration Suite?

Als leistungsstarke Middleware-Komponente verbindet der Kafka Adapter für SAP Integration Suite SAP-Systeme bidirektional mit Apache Kafka – sowohl cloud-nativ als auch in hybriden Szenarien. Damit ermöglicht er die zuverlässige Verarbeitung von Event-getriebenen Datenströmen sowie den Nachrichtenaustausch zwischen SAP Cloud Integration Iflows und Kafka Topics. Als Nachfolger des KaTe Adapter für SAP Process Orchestration (SAP PO) bietet er zudem modernste Funktionen für eine nahtlose SAP-Integration.

Welche Kernfunktionen bietet der Kafka Adapter für SAP Integration Suite?

Mit dem Adapter lassen sich SAP Cloud Integration Iflow-Nachrichten als Kafka-Datensätze veröffentlichen sowie Kafka Records als Iflow-Nachrichten abonnieren. Dabei werden Kafka Key, Header und Nutzdaten automatisch in Iflow-Nachrichten übersetzt – und umgekehrt. Zusätzlich stehen folgende Kernfunktionen zur Verfügung:

  • Volle Unterstützung für Avro, Protocol Buffers und JSON, inklusive Schema-Registry und automatischer Schema-Generierung
  • Topics, Partitionen und Zuverlässigkeitseinstellungen (Ack-Modus, Consumer-Commits) flexibel konfigurierbar
  • Batchverarbeitung: n Kafka-Datensätze als eine Iflow-Nachricht
  • Filterung nach Headern, Keys und Dateninhalten
  • Vollständig in SAP Cloud Integration integriert, beobachtbar und debugbar
Welche Sicherheitsstandards werden unterstützt?

Weil regulierte Umgebungen besondere Anforderungen stellen, entspricht der Kafka Adapter für SAP Integration Suite höchsten Sicherheitsstandards. Konkret werden folgende Protokolle und Verfahren unterstützt:

  • Kafka Security Standards: PLAIN, PLAIN_SASL, SASL_SSL, SASL-Plain/SASL-SCRAM
  • OAuth2 sowie Client-Zertifikats-Authentifizierung für Broker und ServiceRegistry-Verbindungen
  • Field-Level-Encryption (CSFLE) und Payload-Encryption (CSPE) für sensible Daten
  • Compliance-konform für SOC 2, DSGVO und ISO 27001

Technische Details & Vergleich

Wie unterstützt der Adapter hohe Performance und Fehlerbehandlung?

Dank integrierter Batchverarbeitung, Filterung und Flow Control bietet der Adapter High-Performance-Streaming auch bei hohem Datenvolumen, sodass selbst große Datenmengen zuverlässig verarbeitet werden. Nachrichten lassen sich nach Headern, Keys oder Dateninhalten filtern und zu optimierten Batches bündeln.

Für eine stabile Datenverarbeitung stehen darüber hinaus automatisierte und manuelle Fehlerbehandlungen bereit. Serialisierungsfehler, Datentransformationsfehler oder Iflow-Fehler können an ein Fehlerziel weitergeleitet oder dedupliziert werden, sodass der kontinuierliche Betrieb jederzeit sichergestellt ist.

Worin unterscheidet sich der KaTe Adapter vom SAP Standard-Kafka-Adapter?

Während der SAP Standard-Kafka-Adapter nur grundlegende Funktionen abdeckt, bietet der KaTe Kafka Adapter deutlich mehr Flexibilität und Tiefe. Im Einzelnen sind das:

  • Unterstützung von beliebigen Stream-Positionen und frei definierbaren Gruppen-Namen
  • Kompatibilität mit Avro, Protocol Buffers, JSON und Schema-Registries mit automatischer Schema-Generierung
  • Batchverarbeitung in einer einzigen Iflow-Ausführung
  • Erweitertes Fehlerhandling – sowohl manuell als auch automatisiert – auch bei Deserialisierungs-Fehlern
  • Filterung und Deduplizierung für höhere Datenqualität und optimierten Datendurchsatz
  • Field-Level- und Payload-Encryption (CSFLE/CSPE)
  • Flexibler privater Netzwerkzugriff auf Kafka-Broker, Schema-Registries und OAuth-2.0-Identity-Provider über den SAP Cloud Connector.
Wie unterstützt SAP Cloud Connector die hybride Kafka-Integration?

Der KaTe Kafka Adapter unterstützt den SAP Cloud Connector für hybride Integrationsszenarien. Dadurch können SAP Cloud Integration und SAP Edge Integration Cell On-Premises-Kafka-Broker, Schema-Registries und OAuth-2.0-Identity-Provider erreichen, ohne diese direkt für das öffentliche Internet freizugeben.

Ist der KaTe Kafka Adapter SAP-Roadmap-kompatibel?

Ja, der KaTe Kafka Adapter ist sowohl für SAP Process Orchestration als auch für die SAP Integration Suite verfügbar. Bestehende SAP-PO-Integrationen lassen sich daher ohne großen Migrationsaufwand, Anpassungen oder Refactoring auf die Integration Suite übertragen.

Sie bestimmen dabei Ihren eigenen Zeitplan und Ihre Roadmap. Weil Ihre Investitionen in SAP-PO-Integrationen vollständig erhalten bleiben, entstehen weder unvorhergesehene Risiken noch kommerzielle Folgefragen.

Jetzt starten

Bereit für Kafka in der SAP Integration Suite?

Kontaktieren Sie uns für ein kostenloses 30-Tage-Trial oder ein individuelles Beratungsgespräch. Wir richten Ihren Testlauf innerhalb von 48 Stunden ein.

Kategorien
SAP Produkte

Confluent Parallel Consumer Adapter für SAP Integration Suite

Confluent Parallel Consumer Adapter für SAP Integration Suite – KaTe GmbH
SAP Integration Suite (CPI)

Confluent Parallel Consumer Adapter für
SAP Integration Suite

10–500x höherer Durchsatz als der SAP Standard-Adapter. Parallelisierung auf Record-Key-Level, Avro, Protocol Buffers, Schema Registry und automatisiertes Fehlerhandling – für maximale Performance in SAP Integration Suite und Edge Integration Cell.

Verifizierter SAP-Partner 30 Tage kostenlos testen 10–500x höherer Durchsatz Avro & Protocol Buffers
Architektur-Überblick
SAP Cloud
Integration
Iflow / EIC
parallel
KaTe Confluent
Parallel Consumer
SAP CPI
Kafka Protocol
Confluent /
Apache Kafka
Cloud · On-Premise · EIC
10–500x Throughput Avro / Protobuf Schema Registry Batch Processing SASL_SSL OAuth2 Error Handling

High-Throughput Kafka-Integration –
10–500x mehr Durchsatz als der SAP Standard

Der KaTe Confluent Parallel Consumer Adapter enthält alle Funktionen des Kafka Adapters und ergänzt diese mit parallelisierbaren Verarbeitungsfunktionen für maximalen Durchsatz.

Publish & Subscribe
SAP Cloud Integration Iflow-Nachrichten werden als Kafka-Records veröffentlicht, während Kafka-Records als Iflow-Nachrichten abonniert werden – Kafka Key, Header und Data werden dabei vollständig in Iflow Messages übersetzt.
  • Topics, Partitionen, Ack-Modus konfigurierbar
  • Consumer-Commits anpassbar
  • Wildcards und durable Subscriptions
  • Verarbeitung vom Anfang, Ende oder beliebiger Position
Parallelisierung & Durchsatz
Da die Parallelisierung auf Record-Key-Level statt Partition-Level erfolgt, wird ein 10–500x höherer Durchsatz für Single und Batched Records erreicht – ohne Verlust der funktionalen Reihenfolge zusammenhängender Records.
  • 10–500x höherer Durchsatz
  • Parallelisierung auf Record-Key-Level
  • Konfigurierbarer Threadpool
  • Batchverarbeitung (n Records pro Iflow)
Security
Weil Enterprise-Umgebungen höchste Sicherheitsanforderungen stellen, werden alle gängigen Kafka Security Standards für Broker- und ServiceRegistry-Verbindungen unterstützt – sowohl OAuth2 als auch Client Certificate Authentication.
  • PLAIN, PLAIN_SASL, SASL_SSL
  • SASL-Plain / SASL-SCRAM
  • OAuth2 Authentifizierung
  • Client Certificate Authentication
Filterung & Flow Control
Volle Kontrolle über Durchsatz und Verarbeitungsreihenfolge: Kafka-Records können vor dem Auslösen einer Integration gefiltert werden, sodass nur relevante Nachrichten verarbeitet werden.
  • Filterung nach Headern, Keys und Dateninhalten
  • Deduplizierung via Offset oder Record Header
  • Frei definierbare Group Names
  • Unordered und ordered Szenarien
Automatisiertes Fehlerhandling
Fehler bei Deserialisierung, Datentransformation oder nachgelagerter Verarbeitung können automatisch behandelt werden – damit wird Non-blocking und asynchrone Verarbeitung auch bei fehlerhaften Records gewährleistet.
  • Fehlerweiterleitung an Error Topic / Dead Letter Topic
  • Deserialisierungsfehler automatisch behandelbar
  • Non-blocking und asynchrone Verarbeitung
  • Feingranulare Fehlerstrategien konfigurierbar
Avro, Protocol Buffers & Schema Registry
Typische binäre Datenformate werden mit Kafka-typischen Optimierungen unterstützt, sodass Avro und Protocol Buffers direkt in XML übersetzt werden – und umgekehrt.
  • Avro und Protocol Buffers Unterstützung
  • Schema Registry Integration
  • Integriertes Schema-Generierungstool
  • JSON zu XML Transformation

Verarbeitungsmodelle im Vergleich –
Standard vs. Parallel Consumer

Der KaTe Confluent Parallel Consumer Adapter bietet drei Verarbeitungsmodelle: Partition-Based Processing (SAP Standard), Key-Ordered Processing und Unordered Processing – für maximale Flexibilität bei unterschiedlichen Anforderungen.

Verarbeitungsmodelle: Partition-Based Processing (1 Partition = 1 Thread), Key-Ordered Processing (Ordered per Message Key), Unordered Processing (Concurrent & Unordered)

Warum der Confluent Parallel Consumer Adapter
die richtige Wahl ist

High-Throughput Kafka-Integration mit SAP Integration Suite – ohne Erhöhung des Partition-Counts, mit vollständiger Fehlerbehandlung und Avro/Protobuf-Unterstützung.

1
10–500x höherer Durchsatz
Da die Parallelisierung auf Record-Key-Level statt Partition-Level erfolgt, wird ein drastisch höherer Durchsatz erreicht – ohne Erhöhung des Partition-Counts und mit nur einem Single Consumer.
2
Automatisiertes Fehlerhandling
Fehler bei Deserialisierung, Datentransformation oder nachgelagerter Verarbeitung werden automatisch an ein Error Topic oder Dead Letter Topic weitergeleitet – Non-blocking und ohne Betriebsunterbrechung.
3
Avro, Protocol Buffers & Schema Registry
Typische binäre Datenformate werden vollständig unterstützt, sodass integrierte Schema-Generierungstools ohne Drittanbieter-Tool direkt genutzt werden können.
4
Einfache Migration von SAP PO
Bestehende Schnittstellen können einfach importiert werden, weil der Adapter vollständig mit der SAP Integration Suite kompatibel ist – Investitionen in SAP PO-Integrationen lassen sich problemlos übertragen.

KaTe vs. SAP Standard

Funktion KaTe Adapter SAP Standard
Parallelism Model
Record-Key-Level
Partition-Level
Durchsatz-Skalierung
10–500x höher
Partition-Erhöhung nötig
Automatisiertes Fehlerhandling
✓ Ja
✗ Nein
Avro / Protocol Buffers
✓ Ja
✗ Nein
Batchverarbeitung
✓ Ja
✗ Nein
Filterung & Deduplizierung
✓ Ja
✗ Nein
Frei definierbare Group Names
✓ Ja
✗ Nein
Advanced Monitoring
Consumer Lag, 1:1 Record-Tracking
✗ Nicht unterstützt

Zusammenfassung

FeatureSAP Standard Kafka AdapterConfluent Parallel Consumer Adapter
Parallelism modelLimitiert durch Anzahl Kafka partitionsKonfigurierbarer Threadpool ermöglicht hohe Parallelität mit einem Single consumer
Ordering guaranteesOrdering guaranteed nur pro PartitionOrdering garantiert auf Message key level (optional), mit paralleler Ausführung über verschiedene Keys
Throughput scalingBenötigt Erhöhung des Partition counts zur SkalierungSkaliert ohne Erhöhung der Partitions bis zu 10–500× höherer Durchsatz möglich.
Iflow executionBlockierte Aufrufe stoppen das Nachrichtenverarbeitung teilweise oder ganzNon-blocking und asynchronous processing ohne das die Nachrichtenverarbeitung blockiert wird durch Fehler oder einzelne „Slow" Records.
Automated Error handlingNicht unterstützt, manche Fehler sind nicht direkt sichtbar (deserialization)Errorhandling für Deserialization / Data transformation oder iflow execution error kann automatisch eingestellt werden. Fehler werden dann gelogt (als Fehlermessage) und ignoriert oder an eine error topic/deadletter topic geforwardet
Offset /Group Name controlNicht unterstütztJegliche Art des Starts möglich (Start, Ende) des Offsets oder Reprozessierung von beliebigen Offsets. Group Names frei definierbar
Message acknowledgmentOffset commits auf partition levelFeingranulare, message-level acknowledgment und processing control
Advanced MonitoringNicht unterstütztReiche monitoring user experience (consumer lag, 1:1 Erkennen welches Kafka record welche Iflow Ausführung erzeugt hat auf einen Blick und out of the box)
FilteringNicht unterstützt, nur manuel in jedem einzelnen iflow implementierbarFiltering mit Headern oder data contents um unnötige Messagelast zu vermeiden
Avro/Protobuf and JSON with schema registryNicht unterstütztUnterstützt, inklusive der Data transformation und Schema generation zu XML

Einfach starten – flexibel skalieren

1
Free Trial anfragen

Kontaktieren Sie uns – innerhalb von 48 Stunden erhalten Sie Zugang zum Adapter für Ihre Testumgebung.

2
Adapter installieren

Die Installation in Ihrer SAP Integration Suite ist in wenigen Schritten erledigt, da unser Team Sie beim Onboarding begleitet.

3
Produktiv gehen

Erste produktive Szenarien laufen schnell an, sodass Sie nach Bedarf skalieren können – ohne Vorausinvestitionen.

Unterstützte Plattformen & Kafka-Distributionen

Ob Confluent Cloud, Apache Kafka oder Azure Event Hubs – der KaTe Confluent Parallel Consumer Adapter ist kompatibel mit allen gängigen Kafka-Distributionen und SAP-Plattformen.

SAP Integration Suite
SAP Cloud Integration (CPI) – vollständig integriert
Unterstützt
SAP Edge Integration Cell
Hybride On-Premise/Cloud-Szenarien (EIC)
Unterstützt
Confluent Platform
Confluent Cloud und On-Premise mit Schema Registry
Unterstützt
Apache Kafka
Open Source Apache Kafka – alle Versionen
Unterstützt
Azure Event Hubs
Azure Event Hubs mit Kafka-Protokoll
Unterstützt
AWS MSK
Amazon Managed Streaming for Apache Kafka
Unterstützt
SAP BTP
SAP Business Technology Platform – Cloud-native
Unterstützt
Avro / Protocol Buffers
Binäre Datenformate mit Schema Registry
Unterstützt

KaTe Launchpad – mehr Kontrolle beim Aufbau und Betrieb

Das KaTe Launchpad erweitert den Confluent Parallel Consumer Adapter um eine integrierte Toolbox für Entwickler und Betriebsteams, sodass alle wichtigen Funktionen direkt aus der SAP Integration Suite heraus nutzbar sind.

Generator

Kafka-Konfigurationen, Topic-Strukturen, Schema-Definitionen und SAP Integration Suite Iflow-Channel-Definitionen werden automatisch generiert, sodass der Konfigurationsaufwand für neue Kafka-Integrationsszenarien erheblich sinkt und die Inbetriebnahme beschleunigt wird.

Service List Display & Tester

Der Service List Display bietet eine Übersicht aller konfigurierten Kafka-Topics, Consumer-Gruppen, Broker-Verbindungen und Schema-Registry-Einträge, während der integrierte Tester das Senden und Empfangen von Kafka-Records direkt aus der SAP Integration Suite ermöglicht.

SAP Technologie- und Migrationsberatung –
Zukunftssichere Integration

Die KaTe GmbH ist Ihr kompetenter Partner für SAP Technologie- und Migrationsprojekte. Unser Fokus liegt auf der sicheren und reibungslosen Transformation von bestehenden SAP PO-Landschaften hin zur modernen SAP Integration Suite.

  • Migration von SAP PO zu SAP Integration Suite – inklusive Analyse, Architekturdesign und technischer Umsetzung
  • Implementierung und Optimierung der SAP Edge Integration Cell – für eine flexible und sichere Hybridintegration
  • SAP BTP Beratung – Nutzung moderner Services und Tools für Innovation und Prozessautomatisierung
  • Technologiebasierte Strategieberatung – von Cloud-Integration bis API-Management
SAP PO → Integration Suite Migration
Strukturierte Migration ohne Betriebsunterbrechung

Wir analysieren Ihre bestehenden Kafka-Interfaces in SAP PO und entwickeln einen strukturierten Migrationsplan für die SAP Integration Suite – damit Ihre Kafka-Integrationen ohne Betriebsunterbrechung migriert werden.

Mehr erfahren
Kafka Adapter für SAP PO – 30 Tage kostenlos testen
Alle SAP PO Adapter ohne Vorauszahlung

Testen Sie unsere SAP PO Adapter für Kafka, MQTT, AMQP, AWS und weitere – 30 Tage kostenlos.

Alle SAP PO Adapter ansehen
IntegraMon – SAP Monitoring
Zentrales Dashboard für alle SAP CPI-Tenants & EIC-Instanzen

IntegraMon vereint alle SAP CPI-Tenants und Edge Integration Cells in einem einzigen Dashboard – mit proaktivem Alerting, KI-Unterstützung und automatisierten KPI-Reports.

IntegraMon entdecken

Häufige Fragen

Antworten auf die wichtigsten Fragen zum KaTe Confluent Parallel Consumer Adapter für SAP Integration Suite.

Was ist der Confluent Parallel Consumer Adapter für die SAP Integration Suite?

Als spezialisierte High-Throughput-Erweiterung des KaTe Kafka Adapters optimiert der KaTe Confluent Parallel Consumer Adapter die Verarbeitung auf SAP Integration Suite oder Edge Integration Cell (EIC). Er enthält alle Funktionalitäten des KaTe Kafka Adapters und ergänzt diese mit parallelisierbaren Verarbeitungsfunktionen für hohen Durchsatz – bis zu 10–500x mehr als der SAP Standard-Adapter.

Welche Kernfunktionen bietet der Confluent Parallel Consumer Adapter?

Mit dem Adapter lassen sich folgende Kernfunktionen nutzen:

  • Parallelisierung auf Record-Key-Level (statt Partition-Level)
  • Batchverarbeitung (n Records als einzelne Iflow-Nachricht)
  • Filterung nach Headern, Keys und Dateninhalten
  • Deduplizierung via Offset oder Record Header
  • Automatisiertes Fehlerhandling (Error Topic / Dead Letter Topic)
  • Avro/Protocol Buffers mit Schema Registry und automatischer Schema-Generierung
Welche Sicherheitsstandards werden unterstützt?

Weil Enterprise-Umgebungen höchste Sicherheitsanforderungen stellen, unterstützt der Adapter alle gängigen Kafka Security Standards: PLAIN, PLAIN_SASL, SASL_SSL, SASL-Plain/SASL-SCRAM, OAuth2 sowie Client Certificate Authentication für Broker- und ServiceRegistry-Verbindungen.

Wie unterstützt der Adapter hohe Performance und Fehlerbehandlung?

Da die Parallelisierung auf Record-Key-Level erfolgt, ermöglicht der Adapter 10–500x höheren Durchsatz für Single und Batched Records ohne Verlust der funktionalen Reihenfolge zusammenhängender Records. Fehler bei Deserialisierung, Datentransformation oder nachgelagerter Verarbeitung können automatisch an ein Fehlerziel weitergeleitet oder dokumentiert und ignoriert werden – Non-blocking und asynchron.

Worin unterscheidet sich der Adapter von Standardadaptern der SAP Cloud Integration?

Während der SAP Standard-Adapter auf Partition-Level parallelisiert, bietet der KaTe Confluent Parallel Consumer Adapter gegenüber dem SAP Standard:

  • 10–500x höherer Durchsatz ohne Erhöhung des Partition-Counts
  • Parallelisierung ohne Blockierung durch einzelne „Slow" Records
  • Automatisiertes Fehlerhandling auch für Deserialisierungsfehler
  • Avro/Protobuf-Unterstützung mit Schema Registry
  • Batchverarbeitung in einer Iflow-Ausführung
  • Filterung und Deduplizierung bei hohem Datendurchsatz
  • Frei definierbare Group Names und beliebige Stream-Positionen
Auf welchen SAP-Plattformen läuft der Confluent Parallel Consumer Adapter?

Der Adapter ist kompatibel mit SAP Cloud Integration (CPI) und SAP Edge Integration Cell (EIC) – sodass sowohl reine Cloud-Szenarien als auch hybride On-Premise/Cloud-Umgebungen abgedeckt werden. Darüber hinaus ist er im SAP App Center gelistet und damit offiziell als SAP-Partner-Lösung verfügbar.

Welche Kafka-Distributionen werden unterstützt?

Ob Confluent Cloud, Apache Kafka (alle Versionen), Azure Event Hubs mit Kafka-Protokoll oder AWS MSK – der Adapter ist kompatibel mit allen gängigen Kafka-Distributionen, da er das standardisierte Kafka-Protokoll verwendet. Auch Confluent Platform On-Premise mit Schema Registry wird vollständig unterstützt.

Wie funktioniert die Avro- und Protocol-Buffers-Unterstützung?

Der Adapter unterstützt Avro und Protocol Buffers nativ, sodass binäre Datenformate direkt in XML übersetzt werden – und umgekehrt. Dank der integrierten Schema Registry Integration und dem mitgelieferten Schema-Generierungstool entfällt die manuelle Schema-Pflege, während die JSON-zu-XML-Transformation ebenfalls out of the box verfügbar ist.

Wie läuft die Installation und Inbetriebnahme ab?

Nach dem Start des 30-Tage-Trials erhalten Sie innerhalb von 48 Stunden Zugang zum Adapter. Die Installation in Ihrer SAP Integration Suite erfolgt in wenigen Schritten, da das KaTe-Team Sie beim Onboarding begleitet. Erste produktive Szenarien laufen typischerweise innerhalb weniger Tage an – ohne Vorausinvestitionen oder langwierige Projektphasen.

Welche Lizenzmodelle gibt es für den Confluent Parallel Consumer Adapter?

Der KaTe Confluent Parallel Consumer Adapter ist als flexible Lizenz erhältlich, die sich an Ihrem tatsächlichen Nutzungsumfang orientiert. Nach dem kostenlosen 30-Tage-Trial können Sie zwischen verschiedenen Lizenzoptionen wählen – sprechen Sie uns für ein individuelles Angebot an, damit wir gemeinsam das passende Modell für Ihre Anforderungen finden.

Jetzt starten

Bereit für High-Throughput Kafka-Integration?

Kontaktieren Sie uns für ein kostenloses 30-Tage-Trial oder ein individuelles Beratungsgespräch. Wir richten Ihren Testlauf innerhalb von 48 Stunden ein.

Kategorien
SAP Produkte

Kafka Adapter für SAP PO

Kafka Adapter für SAP PO – SAP Integration | KaTe GmbH
SAP Adapter

Kafka Adapter
für SAP PO

Bidirektionale SAP-Kafka-Integration – on-premise und in der SAP Integration Suite

Verbinden Sie SAP Process Orchestration nahtlos mit Apache Kafka. Publish und Subscribe von PO-Nachrichten als Kafka-Datensätze, vollständige Security-Standards, In-Order Processing auf Key-Ebene und Avro/Protobuf-Support – ohne Drittanbieter-Tools.

Verifizierter SAP-Partner
30 Tage Free Trial
Worldwide Available
Verifizierter SAP-Partner
SASL/SSL Security
High-Performance & Resilience
Avro · Protobuf · JSON

Alle Funktionen des KaTe Kafka Adapters für SAP PO

Der KaTe Kafka Adapter für SAP PO bietet eine vollständige Lösung für die bidirektionale Integration Ihrer SAP-Systemlandschaft mit Apache Kafka – ohne Abhängigkeit von Drittanbieter-Tools.

Grundfunktionen: Publish & Subscribe

Der Adapter ermöglicht das bidirektionale Veröffentlichen von PO-Nachrichten als Kafka-Datensätze und das Subscriben von Kafka-Datensätzen als PO-Nachrichten. Kafka Key, Header und Data werden in PO Messages übersetzt und umgekehrt.

  • Topics, Partitionen und Ack-Modus/Consumer-Commits anpassbar
  • Vollständig in SAP PO/NetWeaver-Funktionalität integriert
  • Nachrichtenverarbeitung ohne Drittanbieter-Tools beobachtbar

Security nach Unternehmensstandard

Der Adapter unterstützt alle gängigen Kafka Security Standards und ist damit kompatibel mit den Sicherheitsanforderungen jedes Unternehmens.

  • PLAIN, PLAIN_SASL, SASL_SSL
  • SASL-Plain/SASL-SCRAM, Oauthbearer, Kerberos
  • Client Certificate Authentication

High Performance & Flow Control

Behalten Sie die vollständige Kontrolle über Ihren Nachrichtendurchsatz und schützen Sie Ihre Backend-Systeme vor Überlastung.

  • Filterung nach Headern, Keys und Dateninhalten
  • Batchverarbeitung: n Datensätze als einzelne PO-Nachricht
  • Polling-Intervall und Datensatzanzahl/Zeiteinheit anpassbar

Volle Kontrolle bei der Ausführung

Verarbeiten Sie Datensätze vom Anfang oder Ende des Streams oder von jeder beliebigen Position – mit vollständiger Transparenz über den Consumer Lag.

  • Verarbeiten und erneutes Verarbeiten von Datensätzen
  • Deduplizierung durch Offset- oder Record Header
  • Group Names frei definierbar (kein Anbieter-Lock-in)
  • Consumer Lag pro Senderkanal ohne Drittanbieter-Tools

In-Order Processing auf Key-/Headerebene

Hohe Performance bei gleichzeitiger Einhaltung von Nachrichtenreihenfolgen bis ins Backend-System. Fehlerhafte Datensätze blockieren nicht den gesamten Stream.

  • EOIO-Unterstützung auf Partitions- und Key-Ebene
  • Feinere Sortierung innerhalb der Partition auf Schlüssel-/Headerebene
  • Fehlerhafte ID isoliert – alle anderen Datensätze laufen weiter

Avro, Protobuf, JSON & Schema-Registries

Unterstützung typischer binärer Datenformate mit Kafka-typischen Optimierungen. Der Adapter übersetzt Avro und Protocol Buffers in XML und umgekehrt.

  • Avro und Protobuf ↔ XML Transformation
  • Integriertes Schema-Generierungstool
  • Schema-Registry-Unterstützung
  • JSON ↔ XML Transformation

KaTe Launchpad – mehr Kontrolle beim Aufbau und Betrieb von Kafka-Szenarien

Das KaTe Launchpad erweitert den Kafka Adapter um eine integrierte Toolbox, die Entwicklern und Betreibern den Alltag erleichtert – direkt in der SAP-Umgebung, ohne externe Werkzeuge.

Generator

Automatische Generierung von Kafka-Konfigurationen, Schemas und Integrationsobjekten – spart Entwicklungszeit und reduziert Fehler.

Service List Display & Tester

Übersichtliche Darstellung aller Kafka-Services mit integrierter Testfunktion – Szenarien direkt aus der Oberfläche prüfen und debuggen.

Einfach starten – flexibel skalieren

Alle KaTe Adapter sind darauf ausgelegt, schnell einsatzbereit zu sein – von der Anfrage bis zum produktiven Betrieb.

1
Free Trial anfragen
Kontaktieren Sie uns per E-Mail oder Telefon. Wir richten Ihren persönlichen Free Trial innerhalb von 48 Stunden ein.
Kostenlos · 30 Tage
2
Adapter installieren
Einfache Installation in Ihrer SAP PO- oder Integration Suite-Umgebung. Kein Drittanbieter-Tool erforderlich.
Plug & Play
3
Produktiv gehen
Bidirektionale SAP-Kafka-Integration läuft. Volle Kontrolle über Topics, Security und Nachrichtenreihenfolge.
Go Live
Warum KaTe

Einfach starten –
flexibel skalieren

Alle KaTe Adapter sind darauf ausgelegt, schnell einsatzbereit zu sein und sich Ihren Anforderungen anzupassen – on-premise und in der Cloud.

Kein Vendor Lock-in – Group Names frei definierbar
Keine Drittanbieter-Tools erforderlich
SAP PO und SAP Integration Suite kompatibel
Worldwide available – weltweiter Einsatz
KaTe Launchpad – integrierte Tools für Aufbau & Betrieb

SAP-Roadmap-kompatibel

Der KaTe Kafka Adapter ist für aktuelle und zukünftige SAP-Plattformen verfügbar. Schützen Sie Ihre Investitionen und migrieren Sie in Ihrem eigenen Tempo.

SAP Process Orchestration (PO)

Vollständige Unterstützung für SAP PO. Bestehende Schnittstellen können ohne Anpassungsaufwand weitergenutzt werden.

SAP Integration Suite (CPI)

Nahtlose Migration von SAP PO zur SAP Integration Suite. Entwickelte Schnittstellen funktionieren ohne Refactoring weiter.

Migrations-Flexibilität

Bestimmen Sie Ihren eigenen Zeitplan. Investitionen in SAP-PO-Integrationen lassen sich problemlos auf die Integration Suite übertragen.

Häufige Fragen zum KaTe Kafka Adapter

Antworten auf die wichtigsten Fragen rund um den Kafka Adapter für SAP PO und die SAP Integration Suite.

Der Kafka Adapter für SAP PO ermöglicht die nahtlose bidirektionale Anbindung Ihrer SAP-Systemlandschaft an Apache Kafka, sowohl on-premise als auch in der SAP Integration Suite. Er erleichtert den Austausch von PO-Nachrichten mit Kafka-Datensätzen, inklusive Übersetzung von Kafka Key, Header und Data in SAP PO Messages. So können Unternehmen event-getriebene Datenströme effizient in ihre SAP-Prozesse integrieren.
Ja, der Kafka Adapter unterstützt alle gängigen Kafka Security Standards: PLAIN, PLAIN_SASL, SASL_SSL, SASL-Plain/SASL-SCRAM, Oauthbearer, Kerberos sowie Client Certificate Authentication. Damit ist die Integration kompatibel mit den Sicherheitsanforderungen jedes Unternehmens und gewährleistet einen sicheren Datenaustausch.
Der Kafka Adapter bietet leistungsstarke Funktionen wie Batchverarbeitung, Filterung nach Header, Key und Dateninhalt sowie die Anpassung von Polling-Intervallen und Nachrichtenanzahl pro Zeiteinheit. Dadurch lässt sich der Nachrichtendurchsatz individuell steuern und die Performance optimieren, ohne Backend-Systeme zu überlasten.
Ja, der Adapter unterstützt binäre Datenformate wie Avro und Protocol Buffers sowie JSON. Er ermöglicht die Übersetzung dieser Formate in XML und umgekehrt. Dank einer integrierten Schema-Registry und einem Schema-Generierungstool können Avro- und Protobuf-Schemata einfach transformiert werden – ideal für komplexe Integrationsszenarien.
Der Kafka Adapter ist vollständig SAP-Roadmap-kompatibel und für SAP PO sowie die SAP Integration Suite verfügbar. Bestehende Schnittstellen können ohne großen Anpassungsaufwand übernommen werden. Unternehmen können ihre Migrationsstrategie flexibel planen, ohne hohe Risiken oder unerwartete Kosten.
Der Adapter stellt sicher, dass Nachrichtenreihenfolgen (EOIO) bis ins Backend-System eingehalten werden. Während Kafka Topics die Reihenfolge innerhalb einer Partition garantieren, ermöglicht der Adapter eine noch feinere Sortierung auf Key- und Headerebene. Fehlerhafte Nachrichten blockieren nicht den gesamten Stream, sondern nur den betroffenen Datensatz.
Mit Batchverarbeitung, Filterung, Durchsatzsteuerung und Polling-Intervalleinstellungen behalten Sie die volle Kontrolle über Ihren Datenfluss. Das hilft, Nachrichten gezielt zu verarbeiten und gleichzeitig Backend-Systeme optimal auszulasten.
Der Adapter übersetzt Avro- und Protobuf-Daten in XML und umgekehrt. Mit einer integrierten Schema-Registry werden Schemata automatisch generiert und verwaltet, wodurch binäre Formate nahtlos in SAP PO-Prozesse eingebunden werden können.
Ja, der Adapter wurde für hohe Performance und Resilienz entwickelt. Durch Batchverarbeitung, Filterung und Flow Control ist eine skalierbare und stabile Verarbeitung von großen Datenströmen gewährleistet.
Ja, der Adapter ist SAP-Roadmap-konform und unterstützt sowohl aktuelle SAP PO-Umgebungen als auch zukünftige Entwicklungen der SAP Integration Suite. Damit sind Unternehmen bestens auf kommende Technologien und Integrationsstrategien vorbereitet.

SAP Technologie- und Migrationsberatung

Die KaTe GmbH ist Ihr kompetenter Partner für SAP Technologie- und Migrationsprojekte. Unser Fokus liegt auf der sicheren und reibungslosen Transformation von bestehenden SAP PO-Landschaften hin zur modernen SAP Integration Suite – inklusive der SAP Edge Integration Cell für hybride Integrationsszenarien.

  • Migration von SAP PO zu SAP Integration Suite – inklusive Analyse, Architekturdesign und technischer Umsetzung
  • Implementierung und Optimierung der SAP Edge Integration Cell für hybride Integrationsszenarien
  • Technologiebasierte Strategieberatung – von Cloud-Integration bis API-Management
Beratungsgespräch anfragen
SAP PO → Integration Suite

Wir begleiten Sie bei der Migration – von der Analyse über das Architekturdesign bis zur technischen Umsetzung.

Jetzt anfragen

Jetzt 30 Tage kostenlos testen

Kontaktieren Sie uns per E-Mail oder Telefon – wir richten Ihren Free Trial ein und begleiten Sie bei den ersten Schritten.