Kategorien
SAP Produkte

Kafka Adapter für ABAP

SAP ABAP

Kafka Adapter für ABAP

Native, bidirektionale Verbindung zwischen Ihren ABAP-Anwendungen und Apache Kafka — über TCP/TLS, ohne separaten Kafka REST Proxy.

Integrationsarchitektur

ABAP-Anwendungen
Senden / Empfangen
KaTe GmbH KaTe Kafka Adapter für ABAP Natives TCP/TLS
Kafka-Records
Apache Kafka
TCP/TLSVerbindungAvroSchema RegistryJSONDatenformate
Technische Bausteine
IDocs
Eigene ABAP-Typen
JSON
Avro
Schema Registry

Architekturübersicht

ABAP-Anwendungen ↔ KaTe Kafka Adapter für ABAP ↔ Apache Kafka. Senden / Empfangen · Natives TCP/TLS.

ABAP-Anwendungen
KaTe GmbH KaTe Kafka Adapter für ABAP Native ABAP-Integration
Apache Kafka
Senden / EmpfangenNatives TCP/TLS
Direkte Verbindung zwischen ABAP und Kafka

Funktionen

Alle Funktionen auf einen Blick

Erweitern Sie Ihre ABAP-Anwendungen um Kafka-Konnektivität — mit nativen Producer- und Consumer-APIs, konfigurierbarer Datenbindung und zentraler Administration.

Kernfunktionen: Senden und Empfangen

Veröffentlichen Sie Anwendungsdaten als Kafka-Records und verarbeiten Sie eingehende Records direkt in Standardfunktionen von S/4HANA und ECC sowie in ABAP.

  • Flexibler Versand: Kafka-Records aus IDocs, RAP Events (TBA) oder eigenen ABAP-Programmen veröffentlichen — mit blockierendem Versand oder nicht blockierendem Einreihen in die Outbox und Kafka-Broker-Bestätigungen (acks).
  • Kontrollierter Empfang: Kafka-Records werden gelesen und in gängige SAP-Standardintegrationsobjekte wie IDocs und ABAP-Aufrufe übergeben. Consumer verarbeiten Partitionen parallel und bestätigen Kafka-Offsets erst nach erfolgreicher SAP-Receiver-Verarbeitung; fehlgeschlagene Records werden innerhalb ihrer Partition erneut verarbeitet.
  • Konfigurierbare Einrichtung: ein oder mehrere Topics verwenden, Offsets steuern und mit Kafka-Keys, -Values und -Headers arbeiten.

Sicherheit und Verbindungsmanagement

Schützen Sie Ihre Kafka-Verbindungen mit TLS-Verschlüsselung, geschützten Zugangsdaten und zentral verwalteten Verbindungsprofilen.

  • Native TCP/TLS-Verbindung mit SASL/PLAIN-Authentifizierung.
  • Verschlüsselte Zugangsdaten für Kafka-Broker und Schema Registry.

Erweiterte Funktionen: SAP-Integration, Datenformate und Fehlerbehandlung

SAP-Integration und Datenformate

SAP-Objekte mit Kafka integrieren

  • IDocs: vollständige IDocs als Kafka-Records austauschen — mit SAP als Sender oder Empfänger.
  • Eigene ABAP-Datentypen und Tabellen: Anwendungsdaten an explizit konfigurierte oder generische ABAP-Typen, Strukturen und interne Tabellen binden.
  • RAP Events (TBA): Integration von Ereignissen und leistungsfähige Referenzdatenabfragen aus dem ABAP RESTful Application Programming Model.

Unterstützte Serializer und Deserializer

  • Standard-Kafka-Formate: String, Boolean, Short, Integer, Long, Float, Double, UUID, Void und binäre Formate (ByteArray, ByteBuffer und Bytes).
  • Confluent Avro: native binäre Kodierung und Dekodierung, Schema-Registry-Integration und unterstützte Schemaentwicklung.
  • Confluent JSON Schema: Serialisierung und Validierung mit Schema-Registry-Integration im unterstützten Draft-7-Teilumfang.

Key- und Value-Formate lassen sich mit den jeweiligen Serializern/Deserializern und der Bindung an Datenstrukturen frei konfigurieren.

Vorteile

Warum Kafka direkt aus ABAP anbinden?

1

1 · Direkt mit Kafka-Brokern verbinden

Nutzen Sie das binäre Kafka-Protokoll aus ABAP. Ein separater Kafka REST Proxy ist für die Broker-Kommunikation nicht erforderlich; die Schema Registry verwendet ihre eigene HTTPS-API.

2

2 · Mit den Daten Ihrer Anwendung arbeiten

Integrieren Sie IDocs und RAP Events (TBA) oder verwenden Sie generische und typisierte Schnittstellen für eigene ABAP-Daten. Wählen Sie das Serialisierungsformat für Key und Value unabhängig aus.

3

3 · Konfiguration und Diagnose bündeln

Verwalten Sie Verbindungsprofile und Kanäle in einer benutzerfreundlichen Weboberfläche und untersuchen Sie betriebliche Fehler anhand zugeordneter Laufzeitdiagnosen.

Vergleich

Der passende Integrationsansatz für Ihr Szenario

IntegrationsbedarfKafka Adapter für ABAPKafka Adapter für SAP Integration Suite
Integrationslogik nahe an SAP-AnwendungenDirekte ABAP-APIs und SAP-DatenbindungIntegration über Cloud-Integration-iFlows
Individuelle Extraktion von Tabellendaten nach KafkaAnwendungsgesteuerte Extraktion in ABAPOrchestrierung von Daten aus SAP-Schnittstellen
Systemübergreifende Orchestrierung und TransformationBei Bedarf in Ihrer ABAP-Anwendung implementiertZentral in Integrationsflows verwaltet

Einrichtung

Kafka-Integration in drei Schritten einrichten

1

1 · Szenario besprechen

Klären Sie mit unserem Team Ihre SAP-Umgebung, Kafka-Topics, Datenformate und Verarbeitungsanforderungen.

2

2 · Adapter konfigurieren

Bereiten Sie die SAP-Voraussetzungen vor, konfigurieren Sie geschützte Verbindungsprofile und definieren Sie Producer- oder Consumer-Kanäle mit den erforderlichen Datenbindungen.

3

3 · Verarbeitung prüfen und starten

Prüfen Sie die Verbindung, testen Sie Ihre Anwendungsintegration und steuern und überwachen Sie die Verarbeitung in der Administrationsoberfläche.

Kompatibilität

Die passende Anbindung für Ihre SAP-Umgebung

Besprechen Sie mit uns Ihren SAP-Release, Ihre Kafka-Umgebung und die Installationsvoraussetzungen. Für Avro, Schema Registry und JSON Schema gelten dokumentierte Grenzen für Datenbindung, Schemas und Ressourcen.

SAP Process Orchestration (PO)

Vollständige Unterstützung für SAP PO. Bestehende Schnittstellen können ohne Anpassungsaufwand weitergenutzt werden.

SAP Integration Suite (CPI)

Nahtlose Migration von SAP PO zur SAP Integration Suite. Entwickelte Schnittstellen funktionieren ohne Refactoring weiter.

Migrations-Flexibilität

Bestimmen Sie Ihren eigenen Zeitplan. Investitionen in SAP-PO-Integrationen lassen sich problemlos auf die Integration Suite übertragen.

Administrationsoberfläche

Mehr Kontrolle bei Einrichtung und Betrieb

Betrieb und Monitoring

Verwalten Sie Kafka-Kanäle zentral und untersuchen Sie Verarbeitungsprobleme anhand von Laufzeitstatus, Anwendungsprotokollen und gezielten Diagnosen.

  • Verwaltete Kanäle in der Administrationsoberfläche starten, stoppen, pausieren und fortsetzen — mit Consumer-Start am Anfang oder an der neuesten Position des Streams.
  • Consumer-Group-Offsets, Verarbeitungsfortschritt und Partitionsstatus einsehen.
  • Producer-Outbox-Einträge überwachen und ungewisse Zustellergebnisse prüfen.
  • Fehler anhand zugeordneter Anwendungsprotokolle und zeitlich begrenzter Kafka-Protokoll-Traces untersuchen.

FAQ

Häufig gestellte Fragen

Antworten auf häufige Fragen zum Kafka Adapter für ABAP.

Was ist der Kafka Adapter für ABAP?

Der Adapter verbindet SAP-Anwendungen über native ABAP-Producer- und Consumer-APIs direkt mit Kafka. Er integriert IDocs und eigene ABAP-Daten mit konfigurierbarer Serialisierung und einer Weboberfläche zur Administration. Die Integration von RAP Events ist TBA.

Wie werden Kafka-Verbindungen abgesichert?

Die Broker-Kommunikation verwendet TCP/TLS mit SASL/PLAIN-Authentifizierung. Zugangsdaten für Broker und Schema Registry werden unter getrennten, verschlüsselten Aliassen gespeichert. Verbindungsparameter und Geheimnisse bleiben getrennt.

Wie erhält der Adapter die Verarbeitungsreihenfolge?

Records werden innerhalb jeder zugewiesenen Partition der Reihe nach verarbeitet. Ein fehlgeschlagener Record wird erneut verarbeitet, bevor spätere Records derselben Partition folgen. Andere Partitionen können weiterarbeiten. Die Reihenfolge über mehrere Partitionen hinweg bestimmt Ihr Anwendungsdesign.

Können Consumer Records parallel verarbeiten?

Verwaltete Consumer Groups verteilen Partitionen auf die konfigurierten Consumer. So werden Partitionen parallel verarbeitet, während die Reihenfolge innerhalb jeder Partition erhalten bleibt. Die Kapazität hängt von Partitionsanzahl, SAP-Ressourcen und Receiver-Aufwand ab.

Kann ich die Startposition für den Empfang wählen?

Sie können den Empfang am Anfang oder an der neuesten Position des Streams konfigurieren. APIs zum Lesen mit expliziten Offsets unterstützen außerdem ausgewählte Stream-Positionen. Vorhandene Consumer-Group-Offsets beeinflussen, wo eine bestehende Gruppe fortsetzt.

Wie überwache und untersuche ich meine Integration?

Die Weboberfläche bündelt Kanalsteuerung, Verarbeitungsfortschritt, Consumer-Offsets und Producer-Outbox. Anwendungsprotokolle zeigen Fehler- und Wiederholungsdetails; zeitlich begrenzte Kafka-Protokoll-Traces unterstützen die gezielte Diagnose. Wiederholungsgrenzen und Wartezeiten sind konfigurierbar.

Wann sollte ich den ABAP-Adapter statt eines Kafka-Adapters auf Middleware verwenden?

Nutzen Sie den ABAP-Adapter, wenn die Integrationslogik in SAP angesiedelt ist — etwa für die Integration von Anwendungsdaten oder die individuelle Extraktion von Tabellendaten nach Kafka mit ABAP. Senden und empfangen Sie Kafka-Records direkt in Ihren ABAP-Anwendungen und steuern Sie Datenbindung und Verarbeitung, ohne jeden Austausch über eine Middleware-Schicht zu führen.

Nutzen Sie den KaTe Kafka Adapter für SAP Integration Suite für zentrale Orchestrierung, Transformationen oder Routing über mehrere Systeme hinweg. Beide Adapter ergänzen sich innerhalb Ihrer Integrationslandschaft.

Benötige ich einen Kafka REST Proxy?

Anders als bei anderen Lösungen ist für die Broker-Kommunikation kein separater Kafka REST Proxy erforderlich. Der Adapter nutzt das binäre Kafka-Protokoll direkt aus ABAP über TCP/TLS. Die Schema-Registry-Integration verwendet separat HTTPS.

Kann ich Tabellen nach Kafka replizieren?

Ja. Veröffentlichen Sie Tabellendaten in Kafka mit generischer oder explizit typisierter ABAP-Serialisierung und einem einfachen eigenen ABAP-Programm, das Daten liest und über einen Kafka-Kanal sendet. So lässt sich die Datenintegration unkompliziert an Ihre Anforderungen anpassen.

Kann ich IDocs über Kafka austauschen?

Ja. Senden und empfangen Sie vollständige IDocs als Kafka-Records über die Standard-SAP-IDoc-Integration. Ausgehende IDocs werden bestätigt, nachdem Kafka den Record bestätigt hat.

Welche Confluent-Serializer werden unterstützt?

Der Adapter bietet Serializer und Deserializer, die mit Confluent Avro und Confluent JSON Schema kompatibel sind, einschließlich Schema-Registry-Integration. Avro unterstützt Schemaentwicklung; JSON Schema unterstützt die Validierung innerhalb eines dokumentierten Draft-7-Teilumfangs.

Wie unterstützt der Adapter eine zuverlässige Zustellung?

Der Adapter bestätigt Kafka-Consumer-Offsets erst nach erfolgreicher Receiver-Verarbeitung. Fehlgeschlagene Records werden erneut verarbeitet, bevor die Verarbeitung innerhalb ihrer Partition fortgesetzt wird. So werden Records bei Verarbeitungsfehlern nicht einfach übersprungen.

Kontakt

Sie planen Kafka-Integration aus ABAP?

Sprechen Sie mit uns über Ihre SAP-Umgebung, Datenformate und Verarbeitungsanforderungen. Gemeinsam besprechen wir den Integrationsansatz und die unterstützte Konfiguration.

Kategorien
Aktuelles

KaTe nun auch in Amerika

KaTe nun auch in Amerika

Unternehmensnews

KaTe Group Inc. in Atlanta: SAP-Integrationssoftware für Nord- und Südamerika

Mit KaTe Group Inc. in Atlanta stärkt KaTe seine lokale Präsenz für Kunden und Partner in Nord- und Südamerika – mit bewährter Software für SAP-Integration und SAP-Integrationsbetrieb.

KaTe Group Inc. wurde offiziell in Atlanta, Georgia, gegründet. Mit der neuen Gesellschaft baut KaTe seine Nähe zu Unternehmen, Partnern und SAP-Integrationsteams in Nord- und Südamerika aus.

KaTe beschäftigt sich seit 2008 mit SAP-Integration. Ausgehend von Deutschland entwickelt das Unternehmen primär Softwarelösungen für SAP-Integrationslandschaften – darunter dedizierte SAP Adapter sowie IntegraOps für den Integrationsbetrieb. Die Kernkompetenz umfasst SAP Integration Suite, SAP Edge Integration Cell, SAP PI/PO und SAP ERP-/ABAP-Integration. Beratung und Projektservices ergänzen die Produkte dort, wo Architektur, Umsetzung oder Betrieb zusätzliche Unterstützung erfordern.

Softwarelösungen für moderne SAP-Integration. KaTe Group Inc. bringt dedizierte Adapter, IntegraOps für den SAP-Integrationsbetrieb und praxisnahe SAP-Expertise näher zu Kunden und Partnern in ganz Amerika. Services stehen dort bereit, wo sie Mehrwert schaffen – neben einem klaren Produktfokus.

Ein Standort in Atlanta für Nord- und Südamerika

Das KaTe-Büro befindet sich in Atlanta Buckhead im Three Alliance Center. Atlanta ist der Ausgangspunkt für die Aktivitäten des Unternehmens in Amerika und unterstützt eine engere Zusammenarbeit über Zeitzonen, regionale Geschäftskontexte und individuelle Integrations-Roadmaps hinweg.

Es geht nicht nur um eine neue Adresse. Ziel ist es, KaTes Softwarelösungen, Produktwissen und Erfahrung in der SAP-Integration für Teams mit komplexen Integrationslandschaften in Nord- und Südamerika besser zugänglich zu machen.

Unternehmenspräsenz
KaTe Group Inc., gegründet in Atlanta, Georgia, USA.
Regionaler Fokus
Kunden, Partner und die SAP-Community in Nord- und Südamerika.
Kernkompetenz
SAP Integration Suite, SAP Edge Integration Cell, SAP PI/PO, SAP ERP-/ABAP-Integration und dedizierte SAP-Integrationsadapter.
KaTes Lösung für SAP-Integrationsbetrieb: Monitoring, Transport Management und Disaster Recovery. Mehr zu den Monitoring-Funktionen mit IntegraMon.

Softwarelösungen für SAP-Integration und Betrieb

KaTe ist in erster Linie ein Anbieter von Softwarelösungen. SAP-Integrationslandschaften sind selten statisch: Teams betreiben Cloud-Integrationen neben On-Premise-Systemen, modernisieren SAP PI/PO, erweitern ERP-Prozesse mit ABAP, verbinden geschäftskritische Systeme und entwickeln neue Services auf SAP BTP. KaTe entwickelt Software, mit der Unternehmen diese Integrations- und Betriebsanforderungen adressieren können. Expert Services stehen ergänzend bereit, wenn ein Projekt darüber hinaus Unterstützung benötigt.

LösungsbereichWas KaTe bietet
Dedizierte SAP AdapterSoftwareprodukte zur Verbindung von SAP- und Non-SAP-Systemen in SAP Integration Suite, SAP PI/PO und hybriden Integrationsszenarien.
SAP Integration SuiteIntegrationslösungen und Adapterfunktionen für cloudbasierte SAP-Integrationsarchitekturen.
Edge Integration CellUnterstützung für hybride Integrationsszenarien, die Cloud-Funktionen mit lokalen Anforderungen verbinden.
SAP PI/POProdukte und Know-how für etablierte Middleware-Landschaften, wenn Unternehmen ihre Integrationsarchitektur betreiben, modernisieren oder weiterentwickeln.
SAP ERP / ABAP IntegrationIntegrationskompetenz für die Anbindung von SAP-ERP-Prozessen, ABAP-basierten Erweiterungen und umgebenden Geschäftssystemen.
IntegraOpsKaTes Softwarelösung für den SAP-Integrationsbetrieb: Monitoring, Transport Management und Disaster Recovery. Die Monitoring-Funktionen stehen über IntegraMon zur Verfügung.

Für Teams, die SAP Integration Suite und Edge Integration Cell betreiben, bietet IntegraOps einen produktorientierten Ansatz für den Integrationsbetrieb. Die Lösung verbindet Monitoring, Transport Management und Disaster Recovery; IntegraMon liefert die zentralen Monitoring-Funktionen. Zusammen mit dem Adapter-Portfolio entsteht eine praxistaugliche Softwarebasis zum Verbinden, Betreiben und Weiterentwickeln von SAP-Integrationslandschaften.

Gemeinsam das nächste Kapitel aufbauen

Bernd Baier, Head of Americas, vertritt KaTe von Atlanta aus und arbeitet mit Unternehmen in der Region zusammen. Gemeinsam mit Sebastian Simon und Lars Albrecht freut sich das Team darauf, neue Kontakte aufzubauen, Kunden zu unterstützen und zur wachsenden SAP-Integrations-Community in Amerika beizutragen.

In den kommenden Monaten werden Themen wie SAP Integration Suite, SAP ERP-/ABAP-Integration, Kafka, MQTT, Edge Integration Cell und die operativen Herausforderungen wachsender Integrationslandschaften im Mittelpunkt stehen. KaTe freut sich darauf, Produktwissen zu teilen, Architekturen zu diskutieren und Teams bei den Integrationsaufgaben zu unterstützen, die für ihr Geschäft entscheidend sind.

Was die Präsenz in Atlanta für SAP-Integrationsteams bedeutet

Für Kunden und Partner in Nord- und Südamerika schafft KaTe Group Inc. einen lokalen Ausgangspunkt für Gespräche über Softwarelösungen, Integrationsarchitektur, dedizierte Adapter, SAP ERP-/ABAP-Integration, hybride Szenarien und IntegraOps. Das erfahrene KaTe-Team arbeitet weiterhin regionsübergreifend zusammen, während der Standort Atlanta die lokale Zusammenarbeit stärkt.

Ob ein Unternehmen SAP-PI/PO-Integrationen modernisiert, eine Integration-Suite-Architektur plant, Edge Integration Cell evaluiert, SAP-ERP-/ABAP-Prozesse anbindet oder mehr Kontrolle im Integrationsbetrieb sucht: Im Mittelpunkt stehen passende Softwarelösungen, ein zuverlässiger Betrieb und praxisnahe Unterstützung bei der Umsetzung.

Häufig gestellte Fragen

Antworten auf häufige Fragen zu KaTe Group Inc., den SAP-Softwarelösungen und der Präsenz in Amerika.

Wo befindet sich KaTe Group Inc. in den USA?

KaTe Group Inc. befindet sich in Atlanta Buckhead, Georgia, im Three Alliance Center.

Welche Regionen unterstützt KaTe Group Inc.?

Der Standort Atlanta unterstützt KaTes Arbeit mit Kunden, Partnern und der SAP-Community in Nord- und Südamerika.

Was ist der primäre Fokus von KaTe?

KaTe entwickelt primär Softwarelösungen für SAP-Integration und Integrationsbetrieb. Dazu gehören dedizierte SAP Adapter und IntegraOps. Beratung und Projektservices ergänzen das Softwareportfolio bei Bedarf.

Welche SAP-Technologien gehören zur Kernkompetenz von KaTe?

Zur Kernkompetenz von KaTe gehören SAP Integration Suite, SAP Edge Integration Cell, SAP PI/PO, SAP ERP-/ABAP-Integration und dedizierte SAP-Integrationsadapter.

Was ist IntegraOps?

IntegraOps ist KaTes Lösung für den SAP-Integrationsbetrieb. Sie verbindet Monitoring, Transport Management und Disaster Recovery. Die Monitoring-Funktionen stehen über IntegraMon zur Verfügung.

Wer repräsentiert KaTe in Amerika?

Bernd Baier ist Head of Americas. Gemeinsam mit Sebastian Simon und Lars Albrecht baut er KaTes Präsenz in der Region aus.


This could also be interesting for you:

You can find even more news on our social media channels:

Kategorien
Aktuelles

Scaling Kafka Consumption mit der SAP Integration Suite

Kafka Sender Batching für SAP Integration Suite

Produkt-Update

Kafka Sender Batching für SAP Integration Suite: Records effizient bündeln

Der KaTe Kafka Adapter bündelt Records aus einem Kafka-Poll zu einem Batch-Payload. Damit können SAP Integration Suite und Edge Integration Cell Kafka-Workloads mit weniger wiederholten Integrations- und Netzwerkaufrufen verarbeiten.

Kafka kann deutlich mehr Events bereitstellen, als ein klassisches Backend einzeln pro Anfrage verarbeiten kann. Der Engpass ist dabei häufig nicht Kafka selbst. Er entsteht durch den wiederholten Integrations- und Netzwerk-Overhead, wenn jeder Record eine eigene Message in der SAP Integration Suite und einen eigenen Backend-Aufruf auslöst.

Die Funktion Sender Batch des KaTe Kafka Adapters für SAP Integration Suite verändert diese Gleichung. Statt jeden aus Kafka gepollten Record in eine separate Cloud-Integration-Message zu überführen, kann der Adapter die aus einem Poll zurückgegebenen Records zu einem Batch-Payload zusammenfassen. Ein Integrationslauf kann dann viele Business-Records gemeinsam validieren, mappen und zustellen.

Batching und Partition-Parallelität ergänzen sich: Partitionen liefern parallele Verarbeitungslanes, Batching macht jede Lane effizienter. Das Ergebnis können erheblich weniger Integrations- und Netzwerk-Round-Trips für Kafka-Workloads sein, die über die SAP Integration Suite verarbeitet werden.

Was ändert sich im Batch-Modus?

Im Single-Record-Modus erzeugen 100 Kafka-Records bis zu 100 Cloud-Integration-Messages. Im Batch-Modus kann der Adapter eine Message mit bis zu der konfigurierten Anzahl Max poll records erzeugen. Das Backend erhält weniger, dafür größere Aufrufe. Kafka-Offsets werden erst committed, nachdem der vollständige Batch erfolgreich in die Cloud Integration übertragen wurde.

Zwei Payload-Formate stehen zur Verfügung:

Simple Batch Format
Enthält nur die transformierten Record-Werte unter einem konfigurierbaren Root-Element.
Detailed Batch Format
Enthält zusätzlich Kafka-Metadaten wie Topic, Partition, Key, Offset, Timestamp, Header und Tombstone-Informationen für jeden Record.

Für eine kontinuierliche Verarbeitung sammelt der Adapter verfügbare Records bis zum konfigurierten Poll-Limit. Ist der Batch noch nicht voll, kann er das konfigurierbare Batch-Fenster abwarten, bevor die bereits verfügbaren Records übergeben werden. Die Intervallverarbeitung erzeugt einen Batch aus den Records, die der Poll dieses Intervalls zurückliefert.

Ein illustratives Durchsatzmodell für Kafka Sender Batching

Betrachten wir ein Topic mit vier Partitionen und genügend parallelen Consumern, um alle vier auszulasten. Eine Single-Record-Backend-Interaktion dauert Ende zu Ende 50 ms: 25 ms Netzwerk- und Protokolllatenz plus 25 ms Backend-Arbeit.

Dies sind vergangene Zeiten einschließlich Bestätigung und Commit, sofern zutreffend. Das Modell nimmt vier aktive Verarbeitungslanes an und schließt zusätzliche iFlow-Verarbeitung sowie Batch-Sammelzeiten aus.

4 parallele Partitionen / 0,050 Sekunden = 80 Records pro Sekunde

Batching amortisiert die Integrations- und Netzwerkkosten. Der genaue Gewinn hängt davon ab, ob das Backend eine echte Bulk-Operation unterstützt oder den Großteil der Arbeit weiterhin Record für Record erledigt.

ModusIllustrativer DurchsatzGewinn gegenüber Single Record
Single Record80 Records/s1×
Batch mit 10 Records; vollständiger Batch in 50 ms verarbeitet800 Records/s10×
Batch mit 100 Records; vollständiger Batch in 50 ms verarbeitet8.000 Records/s100×
Batch mit 10 Records; 25 ms Netzwerk pro Batch + 25 ms Arbeit pro Recordca. 145 Records/sca. 1,82×
Batch mit 100 Records; 25 ms Netzwerk pro Batch + 25 ms Arbeit pro Recordca. 158 Records/sca. 1,98×

Der optimistische Fall setzt voraus, dass ein Backend den vollständigen Batch ungefähr in denselben 50 ms wie einen einzelnen Record verarbeiten kann. Der konservative Fall nimmt an, dass nur der Netzwerkanteil von 25 ms geteilt wird, während pro Record 25 ms Arbeit verbleiben. Sein Speed-up lautet:

Speed-up(B) = 50 × B / (25 + 25 × B) = 2B / (B + 1)

Unter diesen Annahmen kann das Vermeiden wiederholter Netzwerk-Round-Trips selbst bei linearer Backend-Arbeit einen Wert nahe 2× erreichen. Eine echte Bulk-API, eine Bulk-Datenbankoperation oder eine vektorisierte Transformation kann das Ergebnis deutlich näher an den Batch-Größen-Multiplikator bringen. Die Werte sind ein Kapazitätsplanungsmodell und kein gemessener Produktbenchmark: Payload-Größe, Mapping-Kosten, Worker-Anzahl, Broker-Latenz, Retries und Backend-Limits beeinflussen den produktiven Durchsatz.

Warum ein JDBC-Batch fast so schnell wie ein einzelnes Insert sein kann

Ein JDBC-Insert von 50 ms einschließlich Netzwerkweg und Commit ist für eine entfernte Datenbank eine plausible Annahme. Ein moderater Batch kann nahe an diesem Wert liegen, wenn der feste Overhead dominiert: JDBC Batching reduziert Round-Trips, während eine Transaktion den Commit-Overhead auf mehrere Zeilen verteilt.

Ein Beispiel: 49 ms fester Overhead + 1 ms pro Zeile ergeben 50 ms für ein Insert und 149 ms für 100 Zeilen. Vier parallele Lanes liefern dann ungefähr 2.685 Records/s – das 33,6-Fache der Single-Record-Basislinie. Dies sind illustrative Eingaben; Indizes, Trigger und Lock Contention beeinflussen die tatsächlichen Ergebnisse. Der zuvor beschriebene Fall nahe 2× nimmt an, dass sich die gesamte Backend-Arbeit pro Zeile wiederholt. Er ist daher kein allgemeines JDBC-Limit.

Weniger gemessene Messages in der SAP Integration Suite

Batching kann auch den Message-Verbrauch der SAP Integration Suite senken. Nach der öffentlichen SAP-Preisdefinition werden Cloud-Integration-Messages in 250-KB-Blöcken – nicht 256 KB gezählt. Eine Outbound-Message bis 250 KB zählt als eine Message; jeder weitere angefangene 250-KB-Block als weitere. Bei synchronen Receiver-Aufrufen betrachtet SAP Request und Response gemeinsam, und spezielle Muster wie Splitter haben eigene Zählregeln. Die konkrete kommerzielle Wirkung hängt von Kundenedition, enthaltenem Volumen, Vertrag und der Frage ab, ob eine Message abrechenbar ist. Prüfen Sie die aktuelle SAP Integration Suite Pricing Definition und validieren Sie den ausgerollten Flow im Message Usage Dashboard des Tenants, bevor eine Schätzung für die Budgetplanung verwendet wird.

Beispielsweise erzeugen 20 einzeln verarbeitete Records unter 250 KB üblicherweise 20 Outbound-Backend-Messages und damit mindestens 20 gemessene Messages. Bilden dieselben Records einen Outbound-Batch, der einschließlich Envelope und – bei synchronem Aufruf – Response bei oder unter 250 KB bleibt, kann dieser Batch als eine gemessene Message zählen. Wächst der Batch auf 600 KB, zählt er als drei statt 20. Batching macht Payload-Volumen nicht kostenlos, beseitigt aber die sonst für jeden kleinen Outbound-Aufruf anfallende Mindestmenge von einer Message.

Single-Record-Einheiten ≈ Anzahl Records × ceil(Größe eines Outbound-Records / 250 KB) Batch-Einheiten ≈ ceil(Gesamtgröße des gebündelten Outbound-Payloads / 250 KB)

Dies ist eine Planungsnäherung. Header, Envelopes, Receiver-Aufrufe, synchrone Responses, Retries, Splitter und der final ausgerollte Flow können den gemessenen Gesamtwert verändern.

Wo Kafka Sender Batching besonders hilft

Sender Batching ist besonders wirksam, wenn das nachgelagerte System bereits Bulk-Requests, Datenbank-Array-Operationen, Massenänderungen oder dateiorientierte Schnittstellen unterstützt. Es kann auch die Anzahl von Cloud-Integration-Message-Processing-Logs und wiederholten Verbindungsaufbauten für dasselbe Geschäftsvolumen reduzieren.

Es gibt einen bewussten Trade-off: Ein Batch ist eine Verarbeitungseinheit. Größere Batches verbessern die Amortisation, können aber die Latenz pro Record, den Speicherverbrauch und den bei einem Fehler erneut zu verarbeitenden Arbeitsumfang erhöhen. Eine Channel-seitige Single-Record-Deduplizierung steht für variable Batches nicht zur Verfügung. Die Downstream-Verarbeitung sollte deshalb idempotent sein oder Records anhand stabiler Business-Identifikatoren deduplizieren. Batching steht zudem nicht für selektive Support-Mode-Reads zur Verfügung.

Entscheidungsmatrix: Soll der Sender Batching verwenden?

Entscheidend ist, ob das angebundene Backend eine Sammlung effizient verarbeiten kann. Das bloße Verpacken von Single-Record-Aufrufen in ein XML-Dokument schafft noch keine Bulk-Operation.

Backend oder AnforderungEignungHinweis
BI-, Data-Warehouse- oder Data-Lake-IngestionStarkDiese Systeme bevorzugen häufig größere Blöcke, Staging-Dateien oder Bulk-Load-APIs.
JDBC Batch Insert/Upsert oder set-basierte DatenbankprozedurStarkEine echte Bulk-Anweisung, Array Binding, Staging-Tabelle oder massenfähige Prozedur nutzen; eine Schleife einzelner Inserts bringt weniger Nutzen.
OData $batchStark, wenn unterstütztPrüfen, ob der Service $batch unterstützt, festlegen, ob Operationen zu einem transaktionalen Change Set gehören, und den Kafka-Batch auf die erforderliche Multipart-Anfrage abbilden.
Datei-, SFTP- oder Object-Storage-ZustellungStarkEin Batch passt natürlich zu einer Datei mit mehreren Records, wenn der Empfänger dies erwartet; er ist ungeeignet, wenn jedes Event eine separate Datei bleiben muss.
Massenfähige BAPI- oder SOAP-OperationBedingtBatching nur verwenden, wenn die Operation oder ein kontrollierter Wrapper eine Tabelle/Liste akzeptiert und das Verhalten bei Teilfehlern definiert.
Standard-BAPI- oder SOAP-Service für ein EinzelobjektMeist schwachViele Standardoperationen führen weiterhin eine Business-Transaktion pro Aufruf aus; Batching kann einen spezifischen Wrapper und sorgfältiges Commit-Handling erfordern.
Response pro Record, unabhängiger Retry oder sehr niedrige LatenzSchwachSingle-Record-Verarbeitung bewahrt granulare Bestätigungen und vermeidet das Warten auf ein Batch-Fenster.
Stark variable oder sehr große PayloadsBedingtKonservative Limits setzen und die kombinierte Anfrage gegen CPI-, Adapter-, Backend- und Netzwerkgrößenlimits testen.
Backend kann keine Sammlungen verarbeitenNicht batchenDer iFlow müsste aufsplitten und loopen. Das verliert einen großen Teil von Durchsatz- und Metering-Vorteil und erhöht zugleich die Komplexität.

Ein praktischer Startpunkt

Beginnen Sie mit einem moderaten Wert für Max poll records, etwa 10 oder 25, richten Sie die Anzahl paralleler Consumer an den verfügbaren Topic-Partitionen aus und prüfen Sie, ob das Backend den Batch tatsächlich effizient verarbeitet. Erhöhen Sie die Batch-Größe anschließend schrittweise und beobachten Sie Ende-zu-Ende-Latenz, gemessenen Message-Verbrauch, Payload-Größe, Speicher, Retry-Verhalten und Backend-Sättigung. Ein Batch-Fenster sollte lang genug sein, um sinnvolle Batches zu bilden, aber kurz genug bleiben, um das Latenzziel des Szenarios einzuhalten.

Batching und Partition-Parallelität ergänzen sich: Partitionen liefern parallele Verarbeitungslanes, Batching macht jede Lane effizienter. Gemeinsam ermöglichen sie der SAP Integration Suite, Kafka-Workloads mit deutlich weniger Integrations- und Netzwerk-Round-Trips zu verarbeiten.

Was dieses Update für SAP-Integrationsteams bedeutet

Die folgenden Kurzantworten bewahren den technischen Umfang des Updates und verbessern die Auffindbarkeit in klassischer sowie KI-gestützter Suche.

Was ist Kafka Sender Batching?

Kafka Sender Batching ist eine Funktion des KaTe Kafka Adapters. Sie gruppiert Records aus einem Kafka-Poll in einem Batch-Payload und übergibt diese Gruppe als eine Cloud-Integration-Message zur weiteren Verarbeitung.

Garantiert Sender Batching einen bestimmten Durchsatzgewinn?

Nein. Die Zahlenbeispiele sind Kapazitätsplanungsmodelle und keine gemessenen Produktbenchmarks. Das Ergebnis hängt von Bulk-Fähigkeit und Limits des nachgelagerten Systems sowie von der vollständig ausgerollten Architektur ab.

Was folgt als Nächstes?

Ein Folgeartikel untersucht, wie Confluent Parallel Consumer das Sender-seitige Design durch kontrollierte Parallelität auf Record-Ebene erweitern kann. Dabei werden Reihenfolgeentscheidungen, Offset-Management und die Situationen betrachtet, in denen dieser Ansatz die klassische an Partitionen gebundene Verarbeitung ergänzt oder ersetzt.

Scaling Kafka Consumption in SAP Integration Suite


This could also be interesting for you:

You can find even more news on our social media channels:

Kategorien
Aktuelles

Publish Many, Commit Once: Atomic Kafka Batches für SAP Integration Suite

Publish Many, Commit Once: Atomic Kafka Batches für SAP Integration Suite

Produkt-Update

Kafka-Batches transaktional publizieren: Viele Records mit einem Commit

Der KaTe Kafka Adapter kann mehrere Records aus einem Austausch der SAP Integration Suite in einer gemeinsamen Kafka-Transaktion publizieren. Consumer mit read_committed sehen einen vollständig bestätigten Batch – oder keinen Record aus einem abgebrochenen Batch.

Events einzeln zu publizieren ist einfach, wird aber aufwändig, sobald ein Quellsystem bereits eine vollständige Gruppe von Records besitzt. Jeder einzelne Aufruf wiederholt Netzwerk-, Authentifizierungs-, Integrationsflow-, Serialisierungs- und Bestätigungsaufwand. Noch wichtiger: Bei einem Teilausfall kann nur ein Teil einer logischen Gruppe in Kafka sichtbar werden.

Beim transaktionalen Kafka Batching für SAP Integration Suite – im Produkt als Transaktionales Receiver Batching (Atomic Receiver Batching) bezeichnet – adressiert der KaTe Kafka Adapter für SAP Integration Suite beide Punkte. Ein Austausch der SAP Integration Suite kann mehrere Kafka-Records in einer Kafka-Transaktion publizieren. Ein Consumer mit read_committed sieht entweder den vollständig bestätigten Batch oder keinen Record einer abgebrochenen Transaktion.

Transaktionales Kafka Batching für SAP Integration Suite macht den Publikationsvertrag explizit: Eine Upstream-Anfrage trägt eine fachlich zusammenhängende Gruppe, eine gemeinsame Kafka-Transaktion verarbeitet den vollständigen Batch, und read_committed macht alle bestätigten Records oder keinen Record einer abgebrochenen Transaktion sichtbar.

Eine Anfrage, eine Transaktion, viele Records

Der Receiver-Channel parst und validiert zunächst das vollständige Batch-Envelope. Anschließend reserviert er einen Producer exklusiv, startet eine Kafka-Transaktion, serialisiert und sendet jeden Record, wartet auf alle Bestätigungen und committet die Transaktion. Tritt vor einem bestätigten Commit ein Fehler auf, wird die Transaktion abgebrochen. Producer, die von Fencing, Transaktions-Timeouts, mehrdeutigen Commit-Ergebnissen oder fehlgeschlagenen Abbrüchen betroffen sind, werden geschlossen und vor der erneuten Verwendung neu erstellt.

Das Feature unterstützt drei Request-Formate:

Simple XML
Für eine Sequenz von Business-Elementen, die nur Werte enthalten.
Simple JSON Array
Für einen JSON-Batch, der nur Werte enthält.
Detailed XML
Für record-spezifische IDs, Keys, Header, Tombstones sowie kontrollierte Topic- oder Partition-Overrides.

Jeder publizierte Record erhält die Korrelationsheader kate.batch.id, kate.batch.index und kate.batch.size. Eine detaillierte Eingabe kann zusätzlich eine recordId liefern, die zu kate.event.id wird. Derselbe Batch-Vertrag kann die im Receiver-Channel konfigurierte Wertserialisierung Avro, JSON, JSON Schema oder Protobuf verwenden.

Durchsatzeffekt durch weniger Integrationsaufrufe

Der erste Gewinn entsteht vor Kafka: Eine Upstream-Anfrage und ein Cloud-Integration-Austausch transportieren viele Records. Um die mögliche Größenordnung zu veranschaulichen, nehmen wir ein Topic mit vier Partitionen, vier parallele Upstream-Publishing-Lanes, eine durchschnittliche Single-Record-Interaktion von 50 ms und einen Netzwerkanteil von 25 ms innerhalb dieser Zeit an.

Single Record: 4 / 0,050 Sekunden = 80 Records pro Sekunde

Kann ein Batch aus 100 Records ungefähr in denselben 50 ms angenommen, transformiert und committed werden, liegt die rechnerische Obergrenze bei 8.000 Records/s – also beim 100-Fachen der Single-Record-Rate. Dies ist der Idealfall einer effizienten Bulk-Verarbeitung.

Wird der Netzwerkkostenanteil geteilt, bleiben aber 25 ms Transformations- oder Applikationsarbeit pro Element bestehen, benötigt ein Batch aus 100 Records ungefähr 25 ms + 100 × 25 ms = 2.525 ms. Vier Lanes erreichen dann rund 158 Records/s beziehungsweise 1,98×. Ein Batch aus 10 Records erreicht rund 145 Records/s beziehungsweise 1,82×.

ModellBatch-GrößeUngefährer DurchsatzGewinn
Single-Record-Basislinie180 Records/s1×
Effiziente Bulk-Verarbeitung10800 Records/s10×
Effiziente Bulk-Verarbeitung1008.000 Records/s100×
Lineare Arbeit pro Record, geteiltes Netzwerk10145 Records/s1,82×
Lineare Arbeit pro Record, geteiltes Netzwerk100158 Records/s1,98×

Dies ist ein illustratives Latenzmodell und kein Produktbenchmark. Auf der Receiver-Seite sind vier Kafka-Partitionen Verteilungs-Lanes, aber keine strikte Parallelitätsgrenze für einen Producer. Die tatsächlichen Ergebnisse hängen von der konfigurierten Zahl paralleler Producer, Record- und Batch-Größen, Serialisierung, Broker-Bestätigungen, Transaktionslatenz, Kompression, Worker-Node-Ressourcen und der Upstream-Parallelität ab.

Einordnung der 50-ms-Annahme

Die 50 ms enthalten Bestätigung und Commit. Wie bei einem JDBC-Batch kann das Teilen fester Aufruf- und Transaktionskosten zusätzliche Records vergleichsweise günstig machen; Kafka-Timings müssen jedoch separat gemessen werden. Benötigen 100 Records beispielsweise 100–200 ms, liefern vier aktive Publishing-Lanes 2.000–4.000 Records/s beziehungsweise das 25- bis 50-Fache der Single-Record-Basislinie. Diese Szenarien sind illustrativ: Für eine Messung sollten gleichwertige Durability-Einstellungen verglichen und die Batch-Sammelzeit in die Ende-zu-Ende-Latenz einbezogen werden.

Ein Austausch kann auch den Message-Verbrauch senken

Transaktionales Receiver Batching kann neben technischem Overhead auch den Message-Verbrauch der SAP Integration Suite reduzieren. Die aktuelle öffentliche SAP-Preisdefinition misst Cloud-Integration-Messages in 250-KB-Blöcken – nicht in 256 KB: Eine Outbound-Message bis 250 KB zählt als eine Message, jeder weitere angefangene 250-KB-Block als weitere. Bei synchronen Receiver-Aufrufen werden Request- und Response-Größe gemeinsam betrachtet. Vertragsbedingungen, enthaltenes Volumen, SAP-zu-SAP-Ausnahmen, Retries und die Struktur des ausgerollten Flows entscheiden, ob eine technische Reduktion die tatsächliche Abrechnung verändert. Bitte prüfen Sie die aktuelle SAP Integration Suite Pricing Definition sowie die eingesetzte Lösung im Message Usage Dashboard des Tenants.

Als vereinfachtes Beispiel erzeugt die Publikation von 20 kleinen Records über 20 separate Receiver-Austausche üblicherweise mindestens 20 gemessene Outbound-Messages. Trägt ein Receiver-Austausch den vollständig bestätigten Batch und bleibt dessen gemessene Outbound-Größe bei oder unter 250 KB, kann er als eine Message zählen. Ein 600-KB-Batch zählt als drei 250-KB-Einheiten statt als 20. Envelopes, Replies, Retries, Splitter und weitere Receiver-Aufrufe müssen bei der Schätzung eines realen Flows berücksichtigt werden.

Transaktionale Alles-oder-nichts-Sichtbarkeit – nicht End-to-End Exactly-once

Der Zustellvertrag bedeutet vollständige oder keine Sichtbarkeit und ist mindestens einmal. Die transaktionale Alles-oder-nichts-Sichtbarkeit verhindert, dass ein read_committed-Consumer einen partiellen Batch sieht. Sie verhindert jedoch nicht, dass ein Upstream-Retry den vollständigen Batch nach einem unsicheren clientseitigen Ergebnis nochmals als neue Transaktion publiziert. Downstream-Consumer sollten deshalb Batch-ID, Batch-Index, optionale Event-ID oder einen stabilen Business-Key für eine idempotente Verarbeitung verwenden, wenn Duplikate relevant sind.

Consumer, die die Transaktionsgrenze für vollständige oder keine Sichtbarkeit einhalten müssen, sollten Read committed wählen. Ein read_uncommitted-Consumer kann Records aus offenen oder abgebrochenen Transaktionen sehen und eignet sich nicht, wenn der All-or-Nothing-Vertrag erforderlich ist.

Entscheidungsmatrix: Soll der Receiver Batches transaktional publizieren?

Szenario oder AnforderungEignungHinweis
Upstream-System liefert bereits eine fachlich zusammenhängende GruppeStarkDie Gruppe als einen Austausch und eine Kafka-Transaktion beibehalten.
Bulk-API, BI-Load, JDBC-Batch, OData $batch oder Multi-Record-Datei speist KafkaStarkEine Sammlung nicht vor der Publikation in viele CPI-Austausche aufspalten.
Downstream-Consumer verwenden read_committed und verstehen Batch-KorrelationStarkSie erhalten alle bestätigten Records oder keinen Record einer abgebrochenen Transaktion.
Publikationsnachweis pro Record erforderlichStarkDie detaillierte Antwort liefert Topic, Partition, Offset und Timestamp für jedes Element.
Unabhängige Records mit strikten Low-Latency-BestätigungenSchwachDas Warten auf einen Batch erhöht die Latenz und koppelt ansonsten unabhängige Records.
Eine Standard-BAPI- oder SOAP-Operation erzeugt nur ein Objekt pro AufrufBedingtBatch-Publishing hilft erst, wenn die Upstream-Seite bewusst eine fachlich sinnvolle Sammlung bildet.
Downstream-Consumer verwenden read_uncommittedNicht für vollständige oder keine Sichtbarkeit einsetzenSolche Consumer können Records aus offenen oder abgebrochenen Transaktionen sehen.
End-to-End Exactly-once-Business-Verarbeitung erforderlichAllein nicht ausreichendDie transaktionale Alles-oder-nichts-Sichtbarkeit verhindert nicht, dass ein vollständiger Upstream-Retry den Batch nochmals erzeugt; Verarbeitung idempotent auslegen.
Ein ungültiger Record soll benachbarte Records nicht beeinflussenSchwachTransaktionales Publizieren bricht bewusst den gesamten Batch ab; für Fehlerisolation kleinere Batches oder Single-Record-Publishing einsetzen.
Sehr große oder stark variable RecordsBedingtTransaktions-Timeouts sowie CPI-, Producer-, Broker- und Request-Größenlimits mit produktionsnahen Daten testen.

Ein Nachweis für jede Publikation

Der Receiver kann keinen Body, eine Zusammenfassung oder detaillierte Record-Metadaten zurückgeben. Eine Zusammenfassung bestätigt generierte Batch-ID, Status COMMITTED und Record-Anzahl. Eine detaillierte Antwort liefert zusätzlich Topic, Partition, Offset und Timestamp für jeden Record und schafft damit einen präzisen Publikationsnachweis. Antworten können XML, JSON oder passend zur Request-Familie sein.

KaTe Launchpad 1.0.6 oder höher kann passende Sender-, Receiver- oder Interoperability-Batch-Verträge aus dem Value Schema generieren. Damit entfallen manuell gepflegte Envelope-Definitionen, während XML-WSDL/XSD- oder JSON-OpenAPI-Verträge mit den konfigurierten Request- und Reply-Modi ausgerichtet bleiben.

Wann ist transaktionales Kafka Batching für SAP Integration Suite sinnvoll?

Das Feature eignet sich besonders für Auftragsgruppen, Stammdatenpakete, synchronisierte Zustandsänderungen oder jede Upstream-Bulk-Schnittstelle, bei der partielle Kafka-Sichtbarkeit irreführend wäre. Starten Sie mit Batches, die sicher in die Payload-Grenzen von Broker und CPI passen, konfigurieren Sie einen Transaktions-Timeout, der Transformation, Bestätigung und Commit abdeckt, und erhöhen Sie Number of producers per worker node nur dann, wenn unabhängige Batches gleichzeitig publizieren müssen.

Das Ergebnis sind nicht nur weniger Aufrufe. Es ist ein klarer Integrationsvertrag: Das Upstream-System übergibt eine logische Gruppe, Kafka macht diese Gruppe vollständig oder gar nicht sichtbar, und der Aufrufer kann einen Record-genauen Publikationsnachweis erhalten.

Was dieses Update für SAP-Integrationsteams bedeutet

Die folgenden Kurzantworten bewahren die technischen Grenzen des Updates und verbessern die Auffindbarkeit in klassischer sowie KI-gestützter Suche.

Was ist transaktionales Kafka Batching?

Transaktionales Kafka Batching publiziert mehrere Records aus einem Austausch der SAP Integration Suite innerhalb einer gemeinsamen Kafka-Transaktion – mit einfachen und detaillierten Eingabeformaten sowie optionalem Publikationsnachweis pro Record.

Wie erhalten Consumer vollständige oder keine Sichtbarkeit?

Consumer, die All-or-Nothing-Sichtbarkeit benötigen, müssen read_committed verwenden und bei notwendiger idempotenter Verarbeitung die Batch-Korrelationsheader oder stabile Business-Keys auswerten.

Ist der dargestellte Durchsatz garantiert?

Nein. Die Werte sind illustrative Planungsszenarien. Performance muss anhand konkreter Producer-Einstellungen, Payloads, Durability-Anforderungen, Transaktions-Timeouts, Broker-Umgebung und Upstream-Parallelität validiert werden.

Atomic Kafka Batches from SAP Integration Suite


This could also be interesting for you:

You can find even more news on our social media channels:

Kategorien
Aktuelles

Kafka über SAP Cloud Connector (SCC)

Kafka über SAP Cloud Connector (SCC)

Produkt-Update

Kafka über SAP Cloud Connector: Sicherer hybrider Zugriff ohne Kompromisse

Der KaTe Kafka Adapter verbindet private Kafka-Infrastruktur nun über SAP Cloud Connector – bei vollständig erhaltener TLS-, SNI- und Hostnamenprüfung.

KaTe GmbH hat den KaTe Kafka Adapter für die SAP Integration Suite um eine sichere Anbindung privater Netzwerke über den SAP Cloud Connector erweitert. Das Update ermöglicht SAP Cloud Integration und SAP Edge Integration Cell den Zugriff auf private Kafka-Umgebungen, ohne Broker Advertisements zu verändern oder die TLS-Sicherheit zu schwächen.

Kafka-Broker, Schema-Registry-Dienste und OAuth-2.0-Identitätsanbieter können jeweils unabhängig über SAP Cloud Connector oder das öffentliche Netzwerk angebunden werden. Dadurch können hybride Kafka-Architekturen für jeden Dienst dem passenden Netzwerk- und Sicherheitskonzept folgen.

Sichere hybride Kafka-Anbindung für die SAP Integration Suite

Organisationen, die Apache Kafka in hybriden Umgebungen betreiben, können private Kafka-Broker, Schema-Registry-Dienste und OAuth-2.0-Identitätsanbieter jetzt bei Bedarf über den SAP Cloud Connector erreichen. Gleichzeitig kann jeder Endpunkt weiterhin unabhängig das öffentliche Netzwerk nutzen, wenn dies architektonisch sinnvoll ist.

Das ist relevant, weil Kafka-Landschaften selten einem einheitlichen Netzwerkmodell folgen. Eine Organisation kann private Kafka-Broker betreiben und gleichzeitig einen öffentlich erreichbaren Identitätsanbieter verwenden oder die Schema Registry in einer separaten Netzwerkzone bereitstellen. Der KaTe Kafka Adapter für SAP Integration Suite unterstützt diese Kombinationen, ohne alle Kafka-bezogenen Dienste auf denselben Verbindungspfad festzulegen.

Apache Kafka-Broker
SAP Cloud Connector oder öffentliches Netzwerk – mit vollständiger TLS-, SNI- und Hostnamenprüfung.
Schema Registry
SAP Cloud Connector oder öffentliches Netzwerk – unabhängig vom Broker-Zugriff konfigurierbar.
OAuth-2.0-Identitätsanbieter
SAP Cloud Connector oder öffentliches Netzwerk – unabhängig von Kafka- und Schema-Registry-Zugriff konfigurierbar.

Keine individuelle Broker-Advertisement-Umschreibung und keine TLS-Kompromisse

Eine häufige Herausforderung in hybriden Kafka-Deployments ist der Umgang mit Broker-Adressen, die Clients mitgeteilt werden. Der aktualisierte Adapter vermeidet für die Anbindung über SAP Cloud Connector eine individuelle Umschreibung der Broker Advertisements. Daher müssen Teams keine zusätzliche Ebene für die Adressübersetzung einführen, um von der SAP Integration Suite aus einen sicheren Zugriff auf private Kafka-Dienste herzustellen.

Ebenso wichtig: Die Verbindung bewahrt TLS, Server Name Indication (SNI) und die Hostnamenprüfung. Die etablierte Zertifikatsprüfung bleibt damit erhalten, statt für eine funktionierende hybride Verbindung umgangen zu werden.

Was dieses Update für SAP-Integrationsteams klarstellt

Die folgenden Punkte sind Teil dieser Produktmitteilung. Sie erläutern die praktische Wirkung des Updates, statt einen separaten FAQ-Bereich darzustellen.

Kann die SAP Integration Suite über SAP Cloud Connector einen privaten Kafka-Broker erreichen?

Ja. Der KaTe Kafka Adapter kann SAP Cloud Integration über den SAP Cloud Connector mit privaten Kafka-Brokern verbinden. Dieselbe Funktion steht auch für SAP Edge Integration Cell zur Verfügung und ermöglicht hybride Integrationsarchitekturen, die cloudbasierte Integration mit privaten Kafka-Diensten verbinden.

Müssen Kafka, Schema Registry und OAuth-2.0-Identitätsanbieter denselben Netzwerkpfad nutzen?

Nein. Jeder Endpunkt kann unabhängig konfiguriert werden. Kafka-Broker, Schema-Registry-Dienste und OAuth-2.0-Identitätsanbieter können entsprechend der jeweiligen Netzwerkarchitektur und Sicherheitsanforderungen über SAP Cloud Connector oder das öffentliche Netzwerk angebunden werden.

Erfordert die private Anbindung eine schwächere TLS-Prüfung oder eine individuelle Adressumschreibung?

Nein. Die Integration bewahrt die vollständige TLS-, SNI- und Hostnamenprüfung. Darüber hinaus ist für den Verbindungspfad über SAP Cloud Connector keine individuelle Umschreibung der Broker Advertisements erforderlich.

Eine praxisnahe Option für SAP Cloud Integration und Edge Integration Cell

Die Erweiterung richtet sich an SAP-Integrationsteams, die SAP-Systeme über Cloud- und private Netzwerkgrenzen hinweg mit ereignisgesteuerten Kafka-Plattformen verbinden müssen. Unabhängig davon, ob eine Architektur SAP Cloud Integration, SAP Edge Integration Cell oder eine Kombination aus beiden nutzt, trennt der Adapter die Integrationslogik klar von den Entscheidungen zur Netzwerkführung.

Das Ergebnis ist eine echte hybride Kafka-Anbindung: privat, wo erforderlich, öffentlich, wo sinnvoll, und durchgängig abgesichert.


This could also be interesting for you:

You can find even more news on our social media channels:

Kategorien
SAP Produkte

Kafka Adapter für SAP Integration Suite

Kafka Adapter für SAP Integration Suite (CPI) – KaTe GmbH
SAP Integration Suite (CPI)

Kafka Adapter für
SAP Integration Suite

Bidirektionale Verbindung zwischen SAP Cloud Integration Iflows und Apache Kafka – nativer Nachfolger des bewährten KaTe Kafka Adapters für SAP PO.

Verifizierter SAP-Partner 30 Tage kostenlos testen
Architektur-Überblick
SAP Cloud
Integration
Iflow
bidirektional
KaTe
Kafka Adapter
CPI
Publish / Subscribe
Apache Kafka
On-Premise / BTP
Avro Protocol Buffers OAuth2 SASL_SSL Schema-Registry Batchverarbeitung CSFLE / CSPE
Verifizierter SAP-Partner
30 Tage kostenlos testen
SAP-Roadmap-kompatibel

Alle Funktionen des Kafka Adapters im Überblick

Der KaTe Kafka Adapter für SAP Integration Suite bietet weit mehr als der SAP Standard-Adapter – von Avro-Unterstützung bis zu Field-Level-Encryption.

Grundfunktionen: Publish & Subscribe
Veröffentlichen von SAP Cloud Integration Iflow-Nachrichten als Kafka-Datensätze und Abonnieren von Kafka Records als Iflow-Nachrichten. Kafka Key, Header und Data werden in Iflow-Messages übersetzt und umgekehrt.
  • Topics, Partitionen flexibel konfigurierbar
  • Ack-Modus und Consumer-Commits anpassbar
  • Vollständig in SAP Cloud Integration integriert
  • Beobachtbar auf Kanal- und Nachrichtenprotokoll-Ebene
Security nach Unternehmensstandard
Alle gängigen Kafka Security Standards werden unterstützt – inklusive erweiterter Verschlüsselung auf Feld- und Payload-Ebene für regulierte Umgebungen.
  • PLAIN, PLAIN_SASL, SASL_SSL
  • SASL-Plain / SASL-SCRAM
  • OAuth2 & Client-Zertifikats-Authentifizierung
  • Field-Level-Encryption (CSFLE) & Payload-Encryption (CSPE)
  • SOC 2, DSGVO, ISO 27001 konform
High Performance & Flow Control
Volle Kontrolle über Nachrichtendurchsatz, Filterung und Batchverarbeitung – für optimale Performance bei hohem Datenvolumen.
  • Filterung nach Headern, Keys und Dateninhalten
  • Batchverarbeitung: n Kafka-Datensätze als eine Iflow-Nachricht
  • Polling und Datensatzanzahl/Zeiteinheit konfigurierbar
  • Verarbeitung vom Anfang, Ende oder beliebiger Stream-Position

Erweiterte Funktionen: Fehlerhandling, Formate & Migration

Automatisierte & manuelle Fehlerbehebung
In „in order“ Streaming-Systemen können Fehler die gesamte Verarbeitung stoppen. Damit das nicht passiert, bietet unser Adapter sowohl manuelle als auch vollständig automatisierte Fehlerbehandlung.
  • Fehlerweiterleitung an ein Fehlerziel
  • Dokumentation und Ignorierung bestimmter Fälle
  • Fehlerhandling auch bei Deserialisierungs-Fehlern
  • Deduplizierung über Offset oder Record-Header
Avro, Protocol Buffers & Schema-Registries
Binäre Datenformate wie Avro und Protocol Buffers sind in Kafka-Umgebungen Standard. Deshalb unterstützt unser Adapter diese vollständig – inklusive automatischer Schema-Generierung über Schema-Registries.
  • Avro und Protocol Buffers ↔ XML Konvertierung
  • JSON ↔ XML Transformation
  • Schema-Registry-Integration
  • Integriertes Schemagenerierungstool
SAP-Roadmap-kompatibel
Weil der Adapter sowohl für SAP Process Orchestration als auch für die SAP Integration Suite verfügbar ist, lassen sich bestehende SAP-PO-Integrationen ohne großen Aufwand übertragen.
  • Verfügbar für SAP PO und SAP Integration Suite
  • Import bestehender Schnittstellen ohne Refactoring
  • Eigenen Migrationsplan und Zeitplan bestimmen
  • Investitionen in SAP-PO-Integrationen bleiben erhalten

Warum der KaTe Adapter
mehr kann

Der KaTe Kafka Adapter bietet entscheidende Funktionen, die der SAP Standard-Kafka-Adapter in der SAP Cloud Integration nicht liefert.

1
Beliebige Stream-Positionen & Gruppen-Namen
Während der SAP Standard-Connector keine beliebigen Positionen oder Gruppen-Namen im Stream unterstützt, bietet unser Kafka-Connector dieses im täglichen Einsatz entscheidende Feature vollumfänglich.
2
Alle Datenformate inkl. Schema-Registry
Avro, Protocol Buffers, JSON sowie Schema-Registries mit automatischer Schema-Generierung werden vollständig unterstützt – obwohl der SAP Standard-Connector hier erhebliche Lücken aufweist.
3
Batchverarbeitung in einer Iflow-Ausführung
Mehrere Kafka-Datensätze lassen sich als eine einzige Iflow-Nachricht bündeln, sodass der Durchsatz erheblich steigt. Da der SAP Standard-Connector diese Funktion nicht bietet, ist dies ein entscheidender Vorteil.
4
Erweitertes Fehlerhandling & Encryption
Sowohl manuelles als auch automatisiertes Fehlerhandling – inklusive Deserialisierungs-Fehlern – sowie Field-Level- und Payload-Encryption (CSFLE/CSPE) sind integriert, während der SAP Standard-Connector diese Funktionen nicht bereitstellt.
5
Privater und öffentlicher Netzwerkzugriff
Der Adapter läuft gleichermaßen auf SAP Cloud Integration und SAP Edge Integration Cell (EIC). Darüber hinaus unterstützt er hybride Szenarien, einschließlich des Zugriffs auf On-Premises-Kafka-Broker, Schema-Registries und OAuth-2.0-Identity-Provider über den SAP Cloud Connector.

Kafka Adapter Vergleich: KaTe vs. SAP Standard

Funktion KaTe Adapter SAP Standard
Beliebige Stream-Positionen
✓ Ja
✗ Nein
Avro / Protocol Buffers
✓ Ja
✗ Nein
Schema-Registry
✓ Ja
✗ Nein
Batchverarbeitung
✓ Ja
✗ Nein
Field-Level-Encryption
✓ Ja
✗ Nein
Erweitertes Fehlerhandling
✓ Ja
Eingeschränkt
Filterung & Deduplizierung
✓ Ja
✗ Nein
OAuth2 & CSFLE/CSPE
✓ Ja
✗ Nein
Unterstützung für SAP Cloud Connector
✓ Ja
✗ Nein

Kafka Adapter einrichten – in 3 Schritten starten

1
Free Trial anfragen

Kontaktieren Sie uns – innerhalb von 48 Stunden erhalten Sie Zugang zum Adapter für Ihre Testumgebung.

2
Adapter installieren

Die Installation in Ihrer SAP Integration Suite ist in wenigen Schritten erledigt, da unser Team Sie beim Onboarding begleitet.

3
Produktiv gehen

Erste produktive Szenarien laufen schnell an, sodass Sie nach Bedarf skalieren können – ohne Vorausinvestitionen.

Kompatibilität: Unterstützte Kafka-Plattformen & Protokolle

Ob On-Premise, Cloud oder hybrid – der KaTe Kafka Adapter für SAP Integration Suite ist kompatibel mit allen gängigen Kafka-Deployments und SAP-Plattformen.

SAP Integration Suite
SAP Cloud Integration (CPI) – vollständig integriert. SAP Docs ↗
Unterstützt
SAP BTP
SAP Business Technology Platform – Cloud-native
Unterstützt
Apache Kafka
On-Premise Kafka-Cluster aller gängigen Versionen. Apache Kafka ↗
Unterstützt
Confluent Platform
Confluent Cloud und Confluent Platform On-Premise. Confluent ↗
Unterstützt
Azure Event Hubs
Kafka-kompatibles Azure Event Hubs Endpoint
Unterstützt
AWS MSK
Amazon Managed Streaming for Apache Kafka
Unterstützt
SAP Edge Integration Cell
Hybride On-Premises-Szenarien mit EIC
Unterstützt
SAP Cloud Connector
Zugriff auf On-Premises-Kafka-Broker und Schema-Registries über den SAP Cloud Connector (SCC).
Unterstützt

KaTe Launchpad – mehr Kontrolle beim Aufbau und Betrieb

Das KaTe Launchpad erweitert den Kafka Adapter um eine integrierte Toolbox für Entwickler und Betriebsteams, sodass alle wichtigen Funktionen direkt aus der SAP Integration Suite heraus nutzbar sind.

Generator

Kafka-Konfigurationen, Topic-Strukturen und SAP Integration Suite Iflow-Channel-Definitionen werden automatisch generiert, sodass Konfigurationsaufwand und Fehlerquellen erheblich sinken.

Service List Display & Tester

Der Service List Display bietet eine Übersicht aller konfigurierten Kafka-Topics, Consumer-Gruppen und Broker-Verbindungen, während der integrierte Tester das Senden und Empfangen von Kafka-Nachrichten direkt aus der SAP Integration Suite ermöglicht.

SAP Technologie- und Migrationsberatung –
Zukunftssichere Integration

Die KaTe GmbH ist Ihr kompetenter Partner für SAP Technologie- und Migrationsprojekte. Unser Fokus liegt auf der sicheren und reibungslosen Transformation von bestehenden SAP PO-Landschaften hin zur modernen SAP Integration Suite – inklusive der SAP Edge Integration Cell für hybride Integrationsszenarien.

  • Migration von SAP PO zu SAP Integration Suiteinklusive Analyse, Architekturdesign und technischer Umsetzung
  • Implementierung und Optimierung der SAP Edge Integration Cellfür eine flexible und sichere Hybridintegration
  • SAP BTP (Business Technology Platform) BeratungNutzung moderner Services und Tools für Innovation und Prozessautomatisierung
  • Technologiebasierte Strategieberatungvon Cloud-Integration bis API-Management
SAP PO → Integration Suite Migration
Strukturierte Migration ohne Betriebsunterbrechung

Wir analysieren Ihre bestehenden Interfaces in SAP PO und entwickeln einen strukturierten Migrationsplan für die SAP Integration Suite, damit der Wechsel ohne Betriebsunterbrechung gelingt.

Mehr erfahren
SAP PO Adapter – 30 Tage kostenlos testen
Alle SAP PO Adapter ohne Vorauszahlung

Testen Sie unsere SAP PO Adapter für Kafka, MQTT, AMQP, AWS, Azure, GCP, GraphQL, gRPC und RESTful – 30 Tage kostenlos.

Alle SAP PO Adapter ansehen
IntegraMon – SAP Monitoring
Zentrales Dashboard für alle SAP CPI-Tenants & EIC-Instanzen

IntegraMon vereint alle SAP CPI-Tenants und Edge Integration Cells in einem einzigen Dashboard – mit proaktivem Alerting, KI-Unterstützung und automatisierten KPI-Reports.

IntegraMon entdecken

Häufige Fragen

Antworten auf die wichtigsten Fragen zum KaTe Kafka Adapter für SAP Integration Suite.

Was ist der Kafka Adapter für die SAP Integration Suite?

Als leistungsstarke Middleware-Komponente verbindet der Kafka Adapter für SAP Integration Suite SAP-Systeme bidirektional mit Apache Kafka – sowohl cloud-nativ als auch in hybriden Szenarien. Damit ermöglicht er die zuverlässige Verarbeitung von Event-getriebenen Datenströmen sowie den Nachrichtenaustausch zwischen SAP Cloud Integration Iflows und Kafka Topics. Als Nachfolger des KaTe Adapter für SAP Process Orchestration (SAP PO) bietet er zudem modernste Funktionen für eine nahtlose SAP-Integration.

Welche Kernfunktionen bietet der Kafka Adapter für SAP Integration Suite?

Mit dem Adapter lassen sich SAP Cloud Integration Iflow-Nachrichten als Kafka-Datensätze veröffentlichen sowie Kafka Records als Iflow-Nachrichten abonnieren. Dabei werden Kafka Key, Header und Nutzdaten automatisch in Iflow-Nachrichten übersetzt – und umgekehrt. Zusätzlich stehen folgende Kernfunktionen zur Verfügung:

  • Volle Unterstützung für Avro, Protocol Buffers und JSON, inklusive Schema-Registry und automatischer Schema-Generierung
  • Topics, Partitionen und Zuverlässigkeitseinstellungen (Ack-Modus, Consumer-Commits) flexibel konfigurierbar
  • Batchverarbeitung: n Kafka-Datensätze als eine Iflow-Nachricht
  • Filterung nach Headern, Keys und Dateninhalten
  • Vollständig in SAP Cloud Integration integriert, beobachtbar und debugbar
Welche Sicherheitsstandards werden unterstützt?

Weil regulierte Umgebungen besondere Anforderungen stellen, entspricht der Kafka Adapter für SAP Integration Suite höchsten Sicherheitsstandards. Konkret werden folgende Protokolle und Verfahren unterstützt:

  • Kafka Security Standards: PLAIN, PLAIN_SASL, SASL_SSL, SASL-Plain/SASL-SCRAM
  • OAuth2 sowie Client-Zertifikats-Authentifizierung für Broker und ServiceRegistry-Verbindungen
  • Field-Level-Encryption (CSFLE) und Payload-Encryption (CSPE) für sensible Daten
  • Compliance-konform für SOC 2, DSGVO und ISO 27001

Technische Details & Vergleich

Wie unterstützt der Adapter hohe Performance und Fehlerbehandlung?

Dank integrierter Batchverarbeitung, Filterung und Flow Control bietet der Adapter High-Performance-Streaming auch bei hohem Datenvolumen, sodass selbst große Datenmengen zuverlässig verarbeitet werden. Nachrichten lassen sich nach Headern, Keys oder Dateninhalten filtern und zu optimierten Batches bündeln.

Für eine stabile Datenverarbeitung stehen darüber hinaus automatisierte und manuelle Fehlerbehandlungen bereit. Serialisierungsfehler, Datentransformationsfehler oder Iflow-Fehler können an ein Fehlerziel weitergeleitet oder dedupliziert werden, sodass der kontinuierliche Betrieb jederzeit sichergestellt ist.

Worin unterscheidet sich der KaTe Adapter vom SAP Standard-Kafka-Adapter?

Während der SAP Standard-Kafka-Adapter nur grundlegende Funktionen abdeckt, bietet der KaTe Kafka Adapter deutlich mehr Flexibilität und Tiefe. Im Einzelnen sind das:

  • Unterstützung von beliebigen Stream-Positionen und frei definierbaren Gruppen-Namen
  • Kompatibilität mit Avro, Protocol Buffers, JSON und Schema-Registries mit automatischer Schema-Generierung
  • Batchverarbeitung in einer einzigen Iflow-Ausführung
  • Erweitertes Fehlerhandling – sowohl manuell als auch automatisiert – auch bei Deserialisierungs-Fehlern
  • Filterung und Deduplizierung für höhere Datenqualität und optimierten Datendurchsatz
  • Field-Level- und Payload-Encryption (CSFLE/CSPE)
  • Flexibler privater Netzwerkzugriff auf Kafka-Broker, Schema-Registries und OAuth-2.0-Identity-Provider über den SAP Cloud Connector.
Wie unterstützt SAP Cloud Connector die hybride Kafka-Integration?

Der KaTe Kafka Adapter unterstützt den SAP Cloud Connector für hybride Integrationsszenarien. Dadurch können SAP Cloud Integration und SAP Edge Integration Cell On-Premises-Kafka-Broker, Schema-Registries und OAuth-2.0-Identity-Provider erreichen, ohne diese direkt für das öffentliche Internet freizugeben.

Ist der KaTe Kafka Adapter SAP-Roadmap-kompatibel?

Ja, der KaTe Kafka Adapter ist sowohl für SAP Process Orchestration als auch für die SAP Integration Suite verfügbar. Bestehende SAP-PO-Integrationen lassen sich daher ohne großen Migrationsaufwand, Anpassungen oder Refactoring auf die Integration Suite übertragen.

Sie bestimmen dabei Ihren eigenen Zeitplan und Ihre Roadmap. Weil Ihre Investitionen in SAP-PO-Integrationen vollständig erhalten bleiben, entstehen weder unvorhergesehene Risiken noch kommerzielle Folgefragen.

Jetzt starten

Bereit für Kafka in der SAP Integration Suite?

Kontaktieren Sie uns für ein kostenloses 30-Tage-Trial oder ein individuelles Beratungsgespräch. Wir richten Ihren Testlauf innerhalb von 48 Stunden ein.