Kategorien
Aktuelles

KaTe nun auch in Amerika

KaTe nun auch in Amerika

Unternehmensnews

KaTe Group Inc. in Atlanta: SAP-Integrationssoftware für Nord- und Südamerika

Mit KaTe Group Inc. in Atlanta stärkt KaTe seine lokale Präsenz für Kunden und Partner in Nord- und Südamerika – mit bewährter Software für SAP-Integration und SAP-Integrationsbetrieb.

KaTe Group Inc. wurde offiziell in Atlanta, Georgia, gegründet. Mit der neuen Gesellschaft baut KaTe seine Nähe zu Unternehmen, Partnern und SAP-Integrationsteams in Nord- und Südamerika aus.

KaTe beschäftigt sich seit 2008 mit SAP-Integration. Ausgehend von Deutschland entwickelt das Unternehmen primär Softwarelösungen für SAP-Integrationslandschaften – darunter dedizierte SAP Adapter sowie IntegraOps für den Integrationsbetrieb. Die Kernkompetenz umfasst SAP Integration Suite, SAP Edge Integration Cell, SAP PI/PO und SAP ERP-/ABAP-Integration. Beratung und Projektservices ergänzen die Produkte dort, wo Architektur, Umsetzung oder Betrieb zusätzliche Unterstützung erfordern.

Softwarelösungen für moderne SAP-Integration. KaTe Group Inc. bringt dedizierte Adapter, IntegraOps für den SAP-Integrationsbetrieb und praxisnahe SAP-Expertise näher zu Kunden und Partnern in ganz Amerika. Services stehen dort bereit, wo sie Mehrwert schaffen – neben einem klaren Produktfokus.

Ein Standort in Atlanta für Nord- und Südamerika

Das KaTe-Büro befindet sich in Atlanta Buckhead im Three Alliance Center. Atlanta ist der Ausgangspunkt für die Aktivitäten des Unternehmens in Amerika und unterstützt eine engere Zusammenarbeit über Zeitzonen, regionale Geschäftskontexte und individuelle Integrations-Roadmaps hinweg.

Es geht nicht nur um eine neue Adresse. Ziel ist es, KaTes Softwarelösungen, Produktwissen und Erfahrung in der SAP-Integration für Teams mit komplexen Integrationslandschaften in Nord- und Südamerika besser zugänglich zu machen.

Unternehmenspräsenz
KaTe Group Inc., gegründet in Atlanta, Georgia, USA.
Regionaler Fokus
Kunden, Partner und die SAP-Community in Nord- und Südamerika.
Kernkompetenz
SAP Integration Suite, SAP Edge Integration Cell, SAP PI/PO, SAP ERP-/ABAP-Integration und dedizierte SAP-Integrationsadapter.
KaTes Lösung für SAP-Integrationsbetrieb: Monitoring, Transport Management und Disaster Recovery. Mehr zu den Monitoring-Funktionen mit IntegraMon.

Softwarelösungen für SAP-Integration und Betrieb

KaTe ist in erster Linie ein Anbieter von Softwarelösungen. SAP-Integrationslandschaften sind selten statisch: Teams betreiben Cloud-Integrationen neben On-Premise-Systemen, modernisieren SAP PI/PO, erweitern ERP-Prozesse mit ABAP, verbinden geschäftskritische Systeme und entwickeln neue Services auf SAP BTP. KaTe entwickelt Software, mit der Unternehmen diese Integrations- und Betriebsanforderungen adressieren können. Expert Services stehen ergänzend bereit, wenn ein Projekt darüber hinaus Unterstützung benötigt.

LösungsbereichWas KaTe bietet
Dedizierte SAP AdapterSoftwareprodukte zur Verbindung von SAP- und Non-SAP-Systemen in SAP Integration Suite, SAP PI/PO und hybriden Integrationsszenarien.
SAP Integration SuiteIntegrationslösungen und Adapterfunktionen für cloudbasierte SAP-Integrationsarchitekturen.
Edge Integration CellUnterstützung für hybride Integrationsszenarien, die Cloud-Funktionen mit lokalen Anforderungen verbinden.
SAP PI/POProdukte und Know-how für etablierte Middleware-Landschaften, wenn Unternehmen ihre Integrationsarchitektur betreiben, modernisieren oder weiterentwickeln.
SAP ERP / ABAP IntegrationIntegrationskompetenz für die Anbindung von SAP-ERP-Prozessen, ABAP-basierten Erweiterungen und umgebenden Geschäftssystemen.
IntegraOpsKaTes Softwarelösung für den SAP-Integrationsbetrieb: Monitoring, Transport Management und Disaster Recovery. Die Monitoring-Funktionen stehen über IntegraMon zur Verfügung.

Für Teams, die SAP Integration Suite und Edge Integration Cell betreiben, bietet IntegraOps einen produktorientierten Ansatz für den Integrationsbetrieb. Die Lösung verbindet Monitoring, Transport Management und Disaster Recovery; IntegraMon liefert die zentralen Monitoring-Funktionen. Zusammen mit dem Adapter-Portfolio entsteht eine praxistaugliche Softwarebasis zum Verbinden, Betreiben und Weiterentwickeln von SAP-Integrationslandschaften.

Gemeinsam das nächste Kapitel aufbauen

Bernd Baier, Head of Americas, vertritt KaTe von Atlanta aus und arbeitet mit Unternehmen in der Region zusammen. Gemeinsam mit Sebastian Simon und Lars Albrecht freut sich das Team darauf, neue Kontakte aufzubauen, Kunden zu unterstützen und zur wachsenden SAP-Integrations-Community in Amerika beizutragen.

In den kommenden Monaten werden Themen wie SAP Integration Suite, SAP ERP-/ABAP-Integration, Kafka, MQTT, Edge Integration Cell und die operativen Herausforderungen wachsender Integrationslandschaften im Mittelpunkt stehen. KaTe freut sich darauf, Produktwissen zu teilen, Architekturen zu diskutieren und Teams bei den Integrationsaufgaben zu unterstützen, die für ihr Geschäft entscheidend sind.

Was die Präsenz in Atlanta für SAP-Integrationsteams bedeutet

Für Kunden und Partner in Nord- und Südamerika schafft KaTe Group Inc. einen lokalen Ausgangspunkt für Gespräche über Softwarelösungen, Integrationsarchitektur, dedizierte Adapter, SAP ERP-/ABAP-Integration, hybride Szenarien und IntegraOps. Das erfahrene KaTe-Team arbeitet weiterhin regionsübergreifend zusammen, während der Standort Atlanta die lokale Zusammenarbeit stärkt.

Ob ein Unternehmen SAP-PI/PO-Integrationen modernisiert, eine Integration-Suite-Architektur plant, Edge Integration Cell evaluiert, SAP-ERP-/ABAP-Prozesse anbindet oder mehr Kontrolle im Integrationsbetrieb sucht: Im Mittelpunkt stehen passende Softwarelösungen, ein zuverlässiger Betrieb und praxisnahe Unterstützung bei der Umsetzung.

Häufig gestellte Fragen

Antworten auf häufige Fragen zu KaTe Group Inc., den SAP-Softwarelösungen und der Präsenz in Amerika.

Wo befindet sich KaTe Group Inc. in den USA?

KaTe Group Inc. befindet sich in Atlanta Buckhead, Georgia, im Three Alliance Center.

Welche Regionen unterstützt KaTe Group Inc.?

Der Standort Atlanta unterstützt KaTes Arbeit mit Kunden, Partnern und der SAP-Community in Nord- und Südamerika.

Was ist der primäre Fokus von KaTe?

KaTe entwickelt primär Softwarelösungen für SAP-Integration und Integrationsbetrieb. Dazu gehören dedizierte SAP Adapter und IntegraOps. Beratung und Projektservices ergänzen das Softwareportfolio bei Bedarf.

Welche SAP-Technologien gehören zur Kernkompetenz von KaTe?

Zur Kernkompetenz von KaTe gehören SAP Integration Suite, SAP Edge Integration Cell, SAP PI/PO, SAP ERP-/ABAP-Integration und dedizierte SAP-Integrationsadapter.

Was ist IntegraOps?

IntegraOps ist KaTes Lösung für den SAP-Integrationsbetrieb. Sie verbindet Monitoring, Transport Management und Disaster Recovery. Die Monitoring-Funktionen stehen über IntegraMon zur Verfügung.

Wer repräsentiert KaTe in Amerika?

Bernd Baier ist Head of Americas. Gemeinsam mit Sebastian Simon und Lars Albrecht baut er KaTes Präsenz in der Region aus.


This could also be interesting for you:

You can find even more news on our social media channels:

Kategorien
Aktuelles

Scaling Kafka Consumption mit der SAP Integration Suite

Kafka Sender Batching für SAP Integration Suite

Produkt-Update

Kafka Sender Batching für SAP Integration Suite: Records effizient bündeln

Der KaTe Kafka Adapter bündelt Records aus einem Kafka-Poll zu einem Batch-Payload. Damit können SAP Integration Suite und Edge Integration Cell Kafka-Workloads mit weniger wiederholten Integrations- und Netzwerkaufrufen verarbeiten.

Kafka kann deutlich mehr Events bereitstellen, als ein klassisches Backend einzeln pro Anfrage verarbeiten kann. Der Engpass ist dabei häufig nicht Kafka selbst. Er entsteht durch den wiederholten Integrations- und Netzwerk-Overhead, wenn jeder Record eine eigene Message in der SAP Integration Suite und einen eigenen Backend-Aufruf auslöst.

Die Funktion Sender Batch des KaTe Kafka Adapters für SAP Integration Suite verändert diese Gleichung. Statt jeden aus Kafka gepollten Record in eine separate Cloud-Integration-Message zu überführen, kann der Adapter die aus einem Poll zurückgegebenen Records zu einem Batch-Payload zusammenfassen. Ein Integrationslauf kann dann viele Business-Records gemeinsam validieren, mappen und zustellen.

Batching und Partition-Parallelität ergänzen sich: Partitionen liefern parallele Verarbeitungslanes, Batching macht jede Lane effizienter. Das Ergebnis können erheblich weniger Integrations- und Netzwerk-Round-Trips für Kafka-Workloads sein, die über die SAP Integration Suite verarbeitet werden.

Was ändert sich im Batch-Modus?

Im Single-Record-Modus erzeugen 100 Kafka-Records bis zu 100 Cloud-Integration-Messages. Im Batch-Modus kann der Adapter eine Message mit bis zu der konfigurierten Anzahl Max poll records erzeugen. Das Backend erhält weniger, dafür größere Aufrufe. Kafka-Offsets werden erst committed, nachdem der vollständige Batch erfolgreich in die Cloud Integration übertragen wurde.

Zwei Payload-Formate stehen zur Verfügung:

Simple Batch Format
Enthält nur die transformierten Record-Werte unter einem konfigurierbaren Root-Element.
Detailed Batch Format
Enthält zusätzlich Kafka-Metadaten wie Topic, Partition, Key, Offset, Timestamp, Header und Tombstone-Informationen für jeden Record.

Für eine kontinuierliche Verarbeitung sammelt der Adapter verfügbare Records bis zum konfigurierten Poll-Limit. Ist der Batch noch nicht voll, kann er das konfigurierbare Batch-Fenster abwarten, bevor die bereits verfügbaren Records übergeben werden. Die Intervallverarbeitung erzeugt einen Batch aus den Records, die der Poll dieses Intervalls zurückliefert.

Ein illustratives Durchsatzmodell für Kafka Sender Batching

Betrachten wir ein Topic mit vier Partitionen und genügend parallelen Consumern, um alle vier auszulasten. Eine Single-Record-Backend-Interaktion dauert Ende zu Ende 50 ms: 25 ms Netzwerk- und Protokolllatenz plus 25 ms Backend-Arbeit.

Dies sind vergangene Zeiten einschließlich Bestätigung und Commit, sofern zutreffend. Das Modell nimmt vier aktive Verarbeitungslanes an und schließt zusätzliche iFlow-Verarbeitung sowie Batch-Sammelzeiten aus.

4 parallele Partitionen / 0,050 Sekunden = 80 Records pro Sekunde

Batching amortisiert die Integrations- und Netzwerkkosten. Der genaue Gewinn hängt davon ab, ob das Backend eine echte Bulk-Operation unterstützt oder den Großteil der Arbeit weiterhin Record für Record erledigt.

ModusIllustrativer DurchsatzGewinn gegenüber Single Record
Single Record80 Records/s1×
Batch mit 10 Records; vollständiger Batch in 50 ms verarbeitet800 Records/s10×
Batch mit 100 Records; vollständiger Batch in 50 ms verarbeitet8.000 Records/s100×
Batch mit 10 Records; 25 ms Netzwerk pro Batch + 25 ms Arbeit pro Recordca. 145 Records/sca. 1,82×
Batch mit 100 Records; 25 ms Netzwerk pro Batch + 25 ms Arbeit pro Recordca. 158 Records/sca. 1,98×

Der optimistische Fall setzt voraus, dass ein Backend den vollständigen Batch ungefähr in denselben 50 ms wie einen einzelnen Record verarbeiten kann. Der konservative Fall nimmt an, dass nur der Netzwerkanteil von 25 ms geteilt wird, während pro Record 25 ms Arbeit verbleiben. Sein Speed-up lautet:

Speed-up(B) = 50 × B / (25 + 25 × B) = 2B / (B + 1)

Unter diesen Annahmen kann das Vermeiden wiederholter Netzwerk-Round-Trips selbst bei linearer Backend-Arbeit einen Wert nahe 2× erreichen. Eine echte Bulk-API, eine Bulk-Datenbankoperation oder eine vektorisierte Transformation kann das Ergebnis deutlich näher an den Batch-Größen-Multiplikator bringen. Die Werte sind ein Kapazitätsplanungsmodell und kein gemessener Produktbenchmark: Payload-Größe, Mapping-Kosten, Worker-Anzahl, Broker-Latenz, Retries und Backend-Limits beeinflussen den produktiven Durchsatz.

Warum ein JDBC-Batch fast so schnell wie ein einzelnes Insert sein kann

Ein JDBC-Insert von 50 ms einschließlich Netzwerkweg und Commit ist für eine entfernte Datenbank eine plausible Annahme. Ein moderater Batch kann nahe an diesem Wert liegen, wenn der feste Overhead dominiert: JDBC Batching reduziert Round-Trips, während eine Transaktion den Commit-Overhead auf mehrere Zeilen verteilt.

Ein Beispiel: 49 ms fester Overhead + 1 ms pro Zeile ergeben 50 ms für ein Insert und 149 ms für 100 Zeilen. Vier parallele Lanes liefern dann ungefähr 2.685 Records/s – das 33,6-Fache der Single-Record-Basislinie. Dies sind illustrative Eingaben; Indizes, Trigger und Lock Contention beeinflussen die tatsächlichen Ergebnisse. Der zuvor beschriebene Fall nahe 2× nimmt an, dass sich die gesamte Backend-Arbeit pro Zeile wiederholt. Er ist daher kein allgemeines JDBC-Limit.

Weniger gemessene Messages in der SAP Integration Suite

Batching kann auch den Message-Verbrauch der SAP Integration Suite senken. Nach der öffentlichen SAP-Preisdefinition werden Cloud-Integration-Messages in 250-KB-Blöcken – nicht 256 KB gezählt. Eine Outbound-Message bis 250 KB zählt als eine Message; jeder weitere angefangene 250-KB-Block als weitere. Bei synchronen Receiver-Aufrufen betrachtet SAP Request und Response gemeinsam, und spezielle Muster wie Splitter haben eigene Zählregeln. Die konkrete kommerzielle Wirkung hängt von Kundenedition, enthaltenem Volumen, Vertrag und der Frage ab, ob eine Message abrechenbar ist. Prüfen Sie die aktuelle SAP Integration Suite Pricing Definition und validieren Sie den ausgerollten Flow im Message Usage Dashboard des Tenants, bevor eine Schätzung für die Budgetplanung verwendet wird.

Beispielsweise erzeugen 20 einzeln verarbeitete Records unter 250 KB üblicherweise 20 Outbound-Backend-Messages und damit mindestens 20 gemessene Messages. Bilden dieselben Records einen Outbound-Batch, der einschließlich Envelope und – bei synchronem Aufruf – Response bei oder unter 250 KB bleibt, kann dieser Batch als eine gemessene Message zählen. Wächst der Batch auf 600 KB, zählt er als drei statt 20. Batching macht Payload-Volumen nicht kostenlos, beseitigt aber die sonst für jeden kleinen Outbound-Aufruf anfallende Mindestmenge von einer Message.

Single-Record-Einheiten ≈ Anzahl Records × ceil(Größe eines Outbound-Records / 250 KB) Batch-Einheiten ≈ ceil(Gesamtgröße des gebündelten Outbound-Payloads / 250 KB)

Dies ist eine Planungsnäherung. Header, Envelopes, Receiver-Aufrufe, synchrone Responses, Retries, Splitter und der final ausgerollte Flow können den gemessenen Gesamtwert verändern.

Wo Kafka Sender Batching besonders hilft

Sender Batching ist besonders wirksam, wenn das nachgelagerte System bereits Bulk-Requests, Datenbank-Array-Operationen, Massenänderungen oder dateiorientierte Schnittstellen unterstützt. Es kann auch die Anzahl von Cloud-Integration-Message-Processing-Logs und wiederholten Verbindungsaufbauten für dasselbe Geschäftsvolumen reduzieren.

Es gibt einen bewussten Trade-off: Ein Batch ist eine Verarbeitungseinheit. Größere Batches verbessern die Amortisation, können aber die Latenz pro Record, den Speicherverbrauch und den bei einem Fehler erneut zu verarbeitenden Arbeitsumfang erhöhen. Eine Channel-seitige Single-Record-Deduplizierung steht für variable Batches nicht zur Verfügung. Die Downstream-Verarbeitung sollte deshalb idempotent sein oder Records anhand stabiler Business-Identifikatoren deduplizieren. Batching steht zudem nicht für selektive Support-Mode-Reads zur Verfügung.

Entscheidungsmatrix: Soll der Sender Batching verwenden?

Entscheidend ist, ob das angebundene Backend eine Sammlung effizient verarbeiten kann. Das bloße Verpacken von Single-Record-Aufrufen in ein XML-Dokument schafft noch keine Bulk-Operation.

Backend oder AnforderungEignungHinweis
BI-, Data-Warehouse- oder Data-Lake-IngestionStarkDiese Systeme bevorzugen häufig größere Blöcke, Staging-Dateien oder Bulk-Load-APIs.
JDBC Batch Insert/Upsert oder set-basierte DatenbankprozedurStarkEine echte Bulk-Anweisung, Array Binding, Staging-Tabelle oder massenfähige Prozedur nutzen; eine Schleife einzelner Inserts bringt weniger Nutzen.
OData $batchStark, wenn unterstütztPrüfen, ob der Service $batch unterstützt, festlegen, ob Operationen zu einem transaktionalen Change Set gehören, und den Kafka-Batch auf die erforderliche Multipart-Anfrage abbilden.
Datei-, SFTP- oder Object-Storage-ZustellungStarkEin Batch passt natürlich zu einer Datei mit mehreren Records, wenn der Empfänger dies erwartet; er ist ungeeignet, wenn jedes Event eine separate Datei bleiben muss.
Massenfähige BAPI- oder SOAP-OperationBedingtBatching nur verwenden, wenn die Operation oder ein kontrollierter Wrapper eine Tabelle/Liste akzeptiert und das Verhalten bei Teilfehlern definiert.
Standard-BAPI- oder SOAP-Service für ein EinzelobjektMeist schwachViele Standardoperationen führen weiterhin eine Business-Transaktion pro Aufruf aus; Batching kann einen spezifischen Wrapper und sorgfältiges Commit-Handling erfordern.
Response pro Record, unabhängiger Retry oder sehr niedrige LatenzSchwachSingle-Record-Verarbeitung bewahrt granulare Bestätigungen und vermeidet das Warten auf ein Batch-Fenster.
Stark variable oder sehr große PayloadsBedingtKonservative Limits setzen und die kombinierte Anfrage gegen CPI-, Adapter-, Backend- und Netzwerkgrößenlimits testen.
Backend kann keine Sammlungen verarbeitenNicht batchenDer iFlow müsste aufsplitten und loopen. Das verliert einen großen Teil von Durchsatz- und Metering-Vorteil und erhöht zugleich die Komplexität.

Ein praktischer Startpunkt

Beginnen Sie mit einem moderaten Wert für Max poll records, etwa 10 oder 25, richten Sie die Anzahl paralleler Consumer an den verfügbaren Topic-Partitionen aus und prüfen Sie, ob das Backend den Batch tatsächlich effizient verarbeitet. Erhöhen Sie die Batch-Größe anschließend schrittweise und beobachten Sie Ende-zu-Ende-Latenz, gemessenen Message-Verbrauch, Payload-Größe, Speicher, Retry-Verhalten und Backend-Sättigung. Ein Batch-Fenster sollte lang genug sein, um sinnvolle Batches zu bilden, aber kurz genug bleiben, um das Latenzziel des Szenarios einzuhalten.

Batching und Partition-Parallelität ergänzen sich: Partitionen liefern parallele Verarbeitungslanes, Batching macht jede Lane effizienter. Gemeinsam ermöglichen sie der SAP Integration Suite, Kafka-Workloads mit deutlich weniger Integrations- und Netzwerk-Round-Trips zu verarbeiten.

Was dieses Update für SAP-Integrationsteams bedeutet

Die folgenden Kurzantworten bewahren den technischen Umfang des Updates und verbessern die Auffindbarkeit in klassischer sowie KI-gestützter Suche.

Was ist Kafka Sender Batching?

Kafka Sender Batching ist eine Funktion des KaTe Kafka Adapters. Sie gruppiert Records aus einem Kafka-Poll in einem Batch-Payload und übergibt diese Gruppe als eine Cloud-Integration-Message zur weiteren Verarbeitung.

Garantiert Sender Batching einen bestimmten Durchsatzgewinn?

Nein. Die Zahlenbeispiele sind Kapazitätsplanungsmodelle und keine gemessenen Produktbenchmarks. Das Ergebnis hängt von Bulk-Fähigkeit und Limits des nachgelagerten Systems sowie von der vollständig ausgerollten Architektur ab.

Was folgt als Nächstes?

Ein Folgeartikel untersucht, wie Confluent Parallel Consumer das Sender-seitige Design durch kontrollierte Parallelität auf Record-Ebene erweitern kann. Dabei werden Reihenfolgeentscheidungen, Offset-Management und die Situationen betrachtet, in denen dieser Ansatz die klassische an Partitionen gebundene Verarbeitung ergänzt oder ersetzt.

Scaling Kafka Consumption in SAP Integration Suite


This could also be interesting for you:

You can find even more news on our social media channels:

Kategorien
Aktuelles

Publish Many, Commit Once: Atomic Kafka Batches für SAP Integration Suite

Publish Many, Commit Once: Atomic Kafka Batches für SAP Integration Suite

Produkt-Update

Kafka-Batches transaktional publizieren: Viele Records mit einem Commit

Der KaTe Kafka Adapter kann mehrere Records aus einem Austausch der SAP Integration Suite in einer gemeinsamen Kafka-Transaktion publizieren. Consumer mit read_committed sehen einen vollständig bestätigten Batch – oder keinen Record aus einem abgebrochenen Batch.

Events einzeln zu publizieren ist einfach, wird aber aufwändig, sobald ein Quellsystem bereits eine vollständige Gruppe von Records besitzt. Jeder einzelne Aufruf wiederholt Netzwerk-, Authentifizierungs-, Integrationsflow-, Serialisierungs- und Bestätigungsaufwand. Noch wichtiger: Bei einem Teilausfall kann nur ein Teil einer logischen Gruppe in Kafka sichtbar werden.

Beim transaktionalen Kafka Batching für SAP Integration Suite – im Produkt als Transaktionales Receiver Batching (Atomic Receiver Batching) bezeichnet – adressiert der KaTe Kafka Adapter für SAP Integration Suite beide Punkte. Ein Austausch der SAP Integration Suite kann mehrere Kafka-Records in einer Kafka-Transaktion publizieren. Ein Consumer mit read_committed sieht entweder den vollständig bestätigten Batch oder keinen Record einer abgebrochenen Transaktion.

Transaktionales Kafka Batching für SAP Integration Suite macht den Publikationsvertrag explizit: Eine Upstream-Anfrage trägt eine fachlich zusammenhängende Gruppe, eine gemeinsame Kafka-Transaktion verarbeitet den vollständigen Batch, und read_committed macht alle bestätigten Records oder keinen Record einer abgebrochenen Transaktion sichtbar.

Eine Anfrage, eine Transaktion, viele Records

Der Receiver-Channel parst und validiert zunächst das vollständige Batch-Envelope. Anschließend reserviert er einen Producer exklusiv, startet eine Kafka-Transaktion, serialisiert und sendet jeden Record, wartet auf alle Bestätigungen und committet die Transaktion. Tritt vor einem bestätigten Commit ein Fehler auf, wird die Transaktion abgebrochen. Producer, die von Fencing, Transaktions-Timeouts, mehrdeutigen Commit-Ergebnissen oder fehlgeschlagenen Abbrüchen betroffen sind, werden geschlossen und vor der erneuten Verwendung neu erstellt.

Das Feature unterstützt drei Request-Formate:

Simple XML
Für eine Sequenz von Business-Elementen, die nur Werte enthalten.
Simple JSON Array
Für einen JSON-Batch, der nur Werte enthält.
Detailed XML
Für record-spezifische IDs, Keys, Header, Tombstones sowie kontrollierte Topic- oder Partition-Overrides.

Jeder publizierte Record erhält die Korrelationsheader kate.batch.id, kate.batch.index und kate.batch.size. Eine detaillierte Eingabe kann zusätzlich eine recordId liefern, die zu kate.event.id wird. Derselbe Batch-Vertrag kann die im Receiver-Channel konfigurierte Wertserialisierung Avro, JSON, JSON Schema oder Protobuf verwenden.

Durchsatzeffekt durch weniger Integrationsaufrufe

Der erste Gewinn entsteht vor Kafka: Eine Upstream-Anfrage und ein Cloud-Integration-Austausch transportieren viele Records. Um die mögliche Größenordnung zu veranschaulichen, nehmen wir ein Topic mit vier Partitionen, vier parallele Upstream-Publishing-Lanes, eine durchschnittliche Single-Record-Interaktion von 50 ms und einen Netzwerkanteil von 25 ms innerhalb dieser Zeit an.

Single Record: 4 / 0,050 Sekunden = 80 Records pro Sekunde

Kann ein Batch aus 100 Records ungefähr in denselben 50 ms angenommen, transformiert und committed werden, liegt die rechnerische Obergrenze bei 8.000 Records/s – also beim 100-Fachen der Single-Record-Rate. Dies ist der Idealfall einer effizienten Bulk-Verarbeitung.

Wird der Netzwerkkostenanteil geteilt, bleiben aber 25 ms Transformations- oder Applikationsarbeit pro Element bestehen, benötigt ein Batch aus 100 Records ungefähr 25 ms + 100 × 25 ms = 2.525 ms. Vier Lanes erreichen dann rund 158 Records/s beziehungsweise 1,98×. Ein Batch aus 10 Records erreicht rund 145 Records/s beziehungsweise 1,82×.

ModellBatch-GrößeUngefährer DurchsatzGewinn
Single-Record-Basislinie180 Records/s1×
Effiziente Bulk-Verarbeitung10800 Records/s10×
Effiziente Bulk-Verarbeitung1008.000 Records/s100×
Lineare Arbeit pro Record, geteiltes Netzwerk10145 Records/s1,82×
Lineare Arbeit pro Record, geteiltes Netzwerk100158 Records/s1,98×

Dies ist ein illustratives Latenzmodell und kein Produktbenchmark. Auf der Receiver-Seite sind vier Kafka-Partitionen Verteilungs-Lanes, aber keine strikte Parallelitätsgrenze für einen Producer. Die tatsächlichen Ergebnisse hängen von der konfigurierten Zahl paralleler Producer, Record- und Batch-Größen, Serialisierung, Broker-Bestätigungen, Transaktionslatenz, Kompression, Worker-Node-Ressourcen und der Upstream-Parallelität ab.

Einordnung der 50-ms-Annahme

Die 50 ms enthalten Bestätigung und Commit. Wie bei einem JDBC-Batch kann das Teilen fester Aufruf- und Transaktionskosten zusätzliche Records vergleichsweise günstig machen; Kafka-Timings müssen jedoch separat gemessen werden. Benötigen 100 Records beispielsweise 100–200 ms, liefern vier aktive Publishing-Lanes 2.000–4.000 Records/s beziehungsweise das 25- bis 50-Fache der Single-Record-Basislinie. Diese Szenarien sind illustrativ: Für eine Messung sollten gleichwertige Durability-Einstellungen verglichen und die Batch-Sammelzeit in die Ende-zu-Ende-Latenz einbezogen werden.

Ein Austausch kann auch den Message-Verbrauch senken

Transaktionales Receiver Batching kann neben technischem Overhead auch den Message-Verbrauch der SAP Integration Suite reduzieren. Die aktuelle öffentliche SAP-Preisdefinition misst Cloud-Integration-Messages in 250-KB-Blöcken – nicht in 256 KB: Eine Outbound-Message bis 250 KB zählt als eine Message, jeder weitere angefangene 250-KB-Block als weitere. Bei synchronen Receiver-Aufrufen werden Request- und Response-Größe gemeinsam betrachtet. Vertragsbedingungen, enthaltenes Volumen, SAP-zu-SAP-Ausnahmen, Retries und die Struktur des ausgerollten Flows entscheiden, ob eine technische Reduktion die tatsächliche Abrechnung verändert. Bitte prüfen Sie die aktuelle SAP Integration Suite Pricing Definition sowie die eingesetzte Lösung im Message Usage Dashboard des Tenants.

Als vereinfachtes Beispiel erzeugt die Publikation von 20 kleinen Records über 20 separate Receiver-Austausche üblicherweise mindestens 20 gemessene Outbound-Messages. Trägt ein Receiver-Austausch den vollständig bestätigten Batch und bleibt dessen gemessene Outbound-Größe bei oder unter 250 KB, kann er als eine Message zählen. Ein 600-KB-Batch zählt als drei 250-KB-Einheiten statt als 20. Envelopes, Replies, Retries, Splitter und weitere Receiver-Aufrufe müssen bei der Schätzung eines realen Flows berücksichtigt werden.

Transaktionale Alles-oder-nichts-Sichtbarkeit – nicht End-to-End Exactly-once

Der Zustellvertrag bedeutet vollständige oder keine Sichtbarkeit und ist mindestens einmal. Die transaktionale Alles-oder-nichts-Sichtbarkeit verhindert, dass ein read_committed-Consumer einen partiellen Batch sieht. Sie verhindert jedoch nicht, dass ein Upstream-Retry den vollständigen Batch nach einem unsicheren clientseitigen Ergebnis nochmals als neue Transaktion publiziert. Downstream-Consumer sollten deshalb Batch-ID, Batch-Index, optionale Event-ID oder einen stabilen Business-Key für eine idempotente Verarbeitung verwenden, wenn Duplikate relevant sind.

Consumer, die die Transaktionsgrenze für vollständige oder keine Sichtbarkeit einhalten müssen, sollten Read committed wählen. Ein read_uncommitted-Consumer kann Records aus offenen oder abgebrochenen Transaktionen sehen und eignet sich nicht, wenn der All-or-Nothing-Vertrag erforderlich ist.

Entscheidungsmatrix: Soll der Receiver Batches transaktional publizieren?

Szenario oder AnforderungEignungHinweis
Upstream-System liefert bereits eine fachlich zusammenhängende GruppeStarkDie Gruppe als einen Austausch und eine Kafka-Transaktion beibehalten.
Bulk-API, BI-Load, JDBC-Batch, OData $batch oder Multi-Record-Datei speist KafkaStarkEine Sammlung nicht vor der Publikation in viele CPI-Austausche aufspalten.
Downstream-Consumer verwenden read_committed und verstehen Batch-KorrelationStarkSie erhalten alle bestätigten Records oder keinen Record einer abgebrochenen Transaktion.
Publikationsnachweis pro Record erforderlichStarkDie detaillierte Antwort liefert Topic, Partition, Offset und Timestamp für jedes Element.
Unabhängige Records mit strikten Low-Latency-BestätigungenSchwachDas Warten auf einen Batch erhöht die Latenz und koppelt ansonsten unabhängige Records.
Eine Standard-BAPI- oder SOAP-Operation erzeugt nur ein Objekt pro AufrufBedingtBatch-Publishing hilft erst, wenn die Upstream-Seite bewusst eine fachlich sinnvolle Sammlung bildet.
Downstream-Consumer verwenden read_uncommittedNicht für vollständige oder keine Sichtbarkeit einsetzenSolche Consumer können Records aus offenen oder abgebrochenen Transaktionen sehen.
End-to-End Exactly-once-Business-Verarbeitung erforderlichAllein nicht ausreichendDie transaktionale Alles-oder-nichts-Sichtbarkeit verhindert nicht, dass ein vollständiger Upstream-Retry den Batch nochmals erzeugt; Verarbeitung idempotent auslegen.
Ein ungültiger Record soll benachbarte Records nicht beeinflussenSchwachTransaktionales Publizieren bricht bewusst den gesamten Batch ab; für Fehlerisolation kleinere Batches oder Single-Record-Publishing einsetzen.
Sehr große oder stark variable RecordsBedingtTransaktions-Timeouts sowie CPI-, Producer-, Broker- und Request-Größenlimits mit produktionsnahen Daten testen.

Ein Nachweis für jede Publikation

Der Receiver kann keinen Body, eine Zusammenfassung oder detaillierte Record-Metadaten zurückgeben. Eine Zusammenfassung bestätigt generierte Batch-ID, Status COMMITTED und Record-Anzahl. Eine detaillierte Antwort liefert zusätzlich Topic, Partition, Offset und Timestamp für jeden Record und schafft damit einen präzisen Publikationsnachweis. Antworten können XML, JSON oder passend zur Request-Familie sein.

KaTe Launchpad 1.0.6 oder höher kann passende Sender-, Receiver- oder Interoperability-Batch-Verträge aus dem Value Schema generieren. Damit entfallen manuell gepflegte Envelope-Definitionen, während XML-WSDL/XSD- oder JSON-OpenAPI-Verträge mit den konfigurierten Request- und Reply-Modi ausgerichtet bleiben.

Wann ist transaktionales Kafka Batching für SAP Integration Suite sinnvoll?

Das Feature eignet sich besonders für Auftragsgruppen, Stammdatenpakete, synchronisierte Zustandsänderungen oder jede Upstream-Bulk-Schnittstelle, bei der partielle Kafka-Sichtbarkeit irreführend wäre. Starten Sie mit Batches, die sicher in die Payload-Grenzen von Broker und CPI passen, konfigurieren Sie einen Transaktions-Timeout, der Transformation, Bestätigung und Commit abdeckt, und erhöhen Sie Number of producers per worker node nur dann, wenn unabhängige Batches gleichzeitig publizieren müssen.

Das Ergebnis sind nicht nur weniger Aufrufe. Es ist ein klarer Integrationsvertrag: Das Upstream-System übergibt eine logische Gruppe, Kafka macht diese Gruppe vollständig oder gar nicht sichtbar, und der Aufrufer kann einen Record-genauen Publikationsnachweis erhalten.

Was dieses Update für SAP-Integrationsteams bedeutet

Die folgenden Kurzantworten bewahren die technischen Grenzen des Updates und verbessern die Auffindbarkeit in klassischer sowie KI-gestützter Suche.

Was ist transaktionales Kafka Batching?

Transaktionales Kafka Batching publiziert mehrere Records aus einem Austausch der SAP Integration Suite innerhalb einer gemeinsamen Kafka-Transaktion – mit einfachen und detaillierten Eingabeformaten sowie optionalem Publikationsnachweis pro Record.

Wie erhalten Consumer vollständige oder keine Sichtbarkeit?

Consumer, die All-or-Nothing-Sichtbarkeit benötigen, müssen read_committed verwenden und bei notwendiger idempotenter Verarbeitung die Batch-Korrelationsheader oder stabile Business-Keys auswerten.

Ist der dargestellte Durchsatz garantiert?

Nein. Die Werte sind illustrative Planungsszenarien. Performance muss anhand konkreter Producer-Einstellungen, Payloads, Durability-Anforderungen, Transaktions-Timeouts, Broker-Umgebung und Upstream-Parallelität validiert werden.

Atomic Kafka Batches from SAP Integration Suite


This could also be interesting for you:

You can find even more news on our social media channels: