Confluent Parallel Consumer Adapter für SAP Integration Suite
Confluent Parallel Consumer Adapter für SAP Integration Suite
Apache Kafka ist ein populäres Open Source Projekt zur Verarbeitung von event getriebenen Datenströmen auf Basis eines Transaktionslogs.
Der KaTe Confluent Parallel Consumer adapter optimiert den existierenden bewährten Kafka Adapter für high throughput optimierte Szenarien auf SAP integration suite oder Edge integration cell (EIC).
Der Adapter beinhaltet alle Funktionalitäten des KaTe Kafka adapter und ergänzt diese mit parallelisierbaren Prozessierungsfunktionen für hohen Durchsatz.
Grundfunktionen
Der Adapter ermöglicht Ihnen das Veröffentlichen von SAP Cloud Integration Iflow Nachrichten als Kafka-Datensätze und das Subscriben von Kafka records als Iflow Nachrichten.
Kafka Key, Header und Data werden in Iflow Messages übersetzt und umgekehrt. Topics, Partitionen und technische Zuverlässigkeitseinstellungen (Ack-Modus/Consumer-Commits) sind je nach Anwendungsfall anpassbar.
Die Nachrichtenverarbeitung ist auf Kanal- und Nachrichtenprotokollebene ohne Drittanbieter-Tools beobachtbar und debuggbar und vollständig in die SAP Cloud Integration integriert.
Security entsprechend ihres Unternehmensstandards
Unser Produkt unterstützt alle gängigen Kafka Security standards wie PLAIN, PLAIN_SASL, SASL_SSL, SASL-Plain/SASL-SCRAM, OAuth2 sowie client certificate authentication für Broker und ServiceRegistry Verbindungen.
Support für high perfomance, resilience & flow control
Der adapter erlaubt Parallelisierung auf Record key Level an Stelle von der typischen Parallelisierung auf Partition Level. Dies erlaubt einen 10-500x höheren Durchsatz für Single und Batched records ohne das funktionale Reihenfolge von zusammenhängenden Records verloren wird.
Desweiteren sind auch „unordered“ Prozessierungszenarien möglich:
Behalten Sie die Kontrolle darüber, was Sie zu einem Topic verarbeiten möchten und wie Sie Ihre verbundenen Backends damit belasten.
Das Produkt unterstützt verschiedene Methoden, um den Nachrichtendurchsatz zu Themen zu ermöglichen, zu filtern und zu steuern:
- Filterung: Kafka-Datensätze können vor dem Auslösen einer Integration anhand von Headern, Keys und Dateninhalten gefiltert werden.
- Batchverarbeitung: Ein Satz von n Kafka-Datensätzen kann als einzelne Iflow Nachricht gebündelt werden, um den Durchsatz zu optimieren.
- Parallelisierung kann auf verschiedenen Ebenen eingestellt werden (no order, order on key level), neben dem Threadcount für die parallele Prozessierung
Volle Kontrolle bei der Ausführung
Verarbeiten Sie Datensätze vom Anfang oder Ende des Streams oder von jeder beliebigen Position im Stream.
- Verarbeiten und erneutes Verarbeiten von Datensätzen
- Deduplizieren Sie Duplikate durch Offset- oder record header
- Group names sind frei definierbar und werden nicht von uns als Anbieter festgelegt.
Automatisierte oder manuelle Fehlerbehebung
Eine häufige Herausforderung bei „in order“ Streaming-Systemen wie Kafka besteht darin, dass auftretende Fehler die Verarbeitung komplett stoppen können, insbesondere wenn die Reihenfolge wichtig ist.
Unser Produkt ermöglicht Ihnen sowohl eine manuelle als auch eine automatisierte Bearbeitung, indem es beispielsweise Fehler an ein Fehlerziel weiterleitet oder bestimmte Fälle dokumentiert und ignoriert.
Serialisierungsfehler, Datentransformationsfehler oder Fehler in der nachgelagerten Verarbeitung (Verarbeitung über den Iflow) können auftreten.
Avro, Protocol Buffers, JSON & Schema-Registries
Unser Produkt unterstützt typische binäre Datenformate wie Avro und Protocol Buffers mit Kafka-typischen Optimierungen wie einem Schema-Registry.
Der Adapter kann Avro- und Protocol Buffers in XML und umgekehrt übersetzen. Erforderliche Übersetzungen von Avro-/Protocol Buffer Schemas werden mit einem integrierten Schemagenerierungstool generiert.
Die Transformation von binären (Avro-/Protokollpuffern) und JSON-Daten in XML und umgekehrt wird unterstützt.
SAP-Roadmap-kompatibel
Unser Kafka Adapter ist für die SAP Process Orchestration & Integration Suite verfügbar.
Dadurch können Sie jede entwickelte Schnittstelle einfach importieren und sie funktioniert ohne großen Migrationsaufwand, Anpassungen, Refactoring oder ähnliches einfach weiter.
Bestimmen Sie Ihren eigenen Zeitplan und Ihre Roadmap für einen möglichen Migrationsplan. Ihre Investitionen in SAP-PO-Integrationen lassen sich problemlos auf die Integration Suite übertragen, ohne dass unvorhergesehene Risiken oder kommerzielle Fragen entstehen.
Unterschiede zum Standardadapter in SAP Cloud-Integration
- 10-500x höherer Durchsatz als der SAP Standard adapter mit Parallelisierungs und Batch Optionen.
- Das Standardprodukt kann keine beliebigen Positionen oder Gruppennamen im Stream für die Verarbeitung/Wiederaufbereitung verwenden. Unser Adapter unterstützt dieses im täglichen Einsatz wichtiges Feature.
- Unser Produkt unterstützt alle Datenformate (Avro, Protokollpuffer und Schemaregister, automatisierte Schemagenerierung).
- Im Gegensatz zum Standard ermöglicht unser Produkt die Batchverarbeitung in einer IFlow-Ausführung.
- Der KaTe Kafka Adapter erlabut manuelles und automatisiertes Fehlerhandling via Konfiguration auch für Fehler die wärhend der Deserialisierung der Kafka records stattfinden
- Filterung und Deduplizierung ermöglichen im Gegensatz zum Standard die gezielte Auswahl der benötigten Daten bei hohem Datendurchsatz.
Zusammenfassung
| Feature | SAP Standard Kafka Adapter | Confluent Parallel Consumer Adapter |
|---|---|---|
| Parallelism model | Limitert durch Anzahl Kafka partitions | Konfigurierbarer Threadpool ermöglicht hohe Parallelität mit einem Single consumer |
| Ordering guarantees | Ordering guaranteed nur pro Partition | Ordering garantiert auf Message key level (optional), mit paralleler Ausführung über verschiedene Keys |
| Throughput scaling | Benötigt Erhöhung des Partition counts zur Skalierung | Skaliert ohne Erhöhung der Partitions bis zu 10–500× höherer Durchsatz möglich. |
| Iflow execution | Blockierte Aufrufe stoppen das Nachrichtenverarbeitung teilweise oder ganz | Non-blocking und asynchronous processing ohne das die Nachrichtenverarbeitung blockiert wird durch Fehler oder einzelne „Slow“ Records. |
| Automated Error handling | Nicht unterstützt, manche Fehler sind nicht direkt sichtbar (deserialization) | Errorhandling für Deserialization / Data transformation oder iflow execution error kann automatisch eingestellt werden. Fehler werden dann gelogt (als Fehlermessage) und ignoriert oder an eine error topic/deadletter topic geforwardet |
| Offset /Group Name control | Nicht unterstützt | Jegliche Art des Starts möglich (Start, Ende) des Offsets oder Reprozessierung von beliebigen Offsets. Group Names frei definierbar |
| Message acknowledgment | Offset commits auf partition level | Feingranulare, message-level acknowledgment und processing control |
| Advanced Monitoring | Nicht unterstützt | Reiche monitoring user experience (consumer lag, 1:1 Erkennen welches Kafka record welche Iflow Ausführung erzeugt hat auf einen Blick und out of the box |
Filtering | Nicht unterstützt, nur manuel in jedem einzelnen iflow implementierbar | Filtering mit Headern oder data contents um unnötige Messagelast zu vermeiden |
Avro/Protobuf and JSON with schema registry | Nicht unterstützt | Unterstüzt, inklusive der Data transformation und Schema generation zu XML |
Für mehr Informationen oder ein 30 Tage Free trial kontaktieren Sie uns bitte unter info@kate-group.com.
Weitere Informationen:
SAP Appcenter listing:
Kate Kafka Adapter for SAP PO im SAP Appcenter
Unser Blog auf dem SAP Community Network
SAP Landschaft an Azure Event Hubs anbinden mit SAP PO und dem KaTe Kafka Adapter
FAQ
Weitere Fragen - schreib uns!
Was ist der Confluent Parallel Consumer Adapter für die SAP Integration Suite?
Der Confluent Parallel Consumer Adapter für SAP Integration Suite ist eine mächtige Erweiterung des KaTe Kafka adapter um SAP-Systeme mit Apache Kafka mit hohem Durchsatz zu verbinden – sowohl On-Premise als auch in der SAP Business Technology Platform (BTP). Der Adapter ermöglicht die zuverlässige Verarbeitung von Event-getriebenen Datenströmen und den bidirektionalen Nachrichtenaustausch zwischen SAP Cloud Integration Iflows und Kafka Topics. Als Nachfolger des Kafka Adapters für SAP Process Orchestration kann er 1:1 Szenarien aus PO übernehmen.
Welche Kernfunktionen bietet der Confluent Parallel Consumer Adapter?
Der Adapter ermöglicht das Veröffentlichen von SAP Cloud Integration Iflow-Nachrichten als Kafka-Datensätze sowie das Abonnieren (Subscriben) von Kafka Records als Iflow-Nachrichten. Dabei werden Kafka Key, Header und Daten in Iflow-Nachrichten übersetzt und umgekehrt.
Anders als bei regulären Kafka Consumern, ist die Parallelisierung der Verarbeitungsreihenfolge nicht auf Partitions limitiert, sondern kann auf Record key level skaliern oder auch als no ordered verwendet werden. Das erlaub extrem hohe Durchsatzraten bei der Verarbeitung von 10-500x.
Er bietet volle Unterstützung für Avro, Protocol Buffers und JSON, inklusive Schema-Registry und automatischer Schema-Generierung, um Daten nahtlos in XML zu konvertieren und umgekehrt. Außerdem sind Topics, Partitionen und Zuverlässigkeitseinstellungen (z. B. Ack-Modus, Consumer-Commits) flexibel konfigurierbar. Die Nachrichtenverarbeitung ist End-to-End in SAP Cloud Integration integriert, vollständig beobachtbar und debugbar.
Welche Sicherheitsstandards werden unterstützt?
Der Kafka Adapter für SAP Integration Suite entspricht höchsten Sicherheitsanforderungen. Er unterstützt Kafka Security Standards wie PLAIN, PLAIN_SASL, SASL_SSL, SASL-Plain/SASL-SCRAM, Oauth2 sowie die Client-Zertifikats-Authentifizierung. Dies ermöglicht eine sichere Datenübertragung, die an Unternehmensrichtlinien angepasst werden kann.
Wie unterstützt der Adapter hohe Performance und Fehlerbehandlung?
Der Adapter bietet High-Performance-Streaming durch Batchverarbeitung, Filterung und Flow Control. So lassen sich Nachrichten nach Headern, Keys oder Dateninhalten filtern und zu optimierten Batches bündeln.
Parallelisierung auf Key Ebene oder als „no order“ erlauben extrem höhere Durchsätze (10x-500x) vs standard Kafka Consumern.
Für eine stabile Datenverarbeitung stehen automatisierte und manuelle Fehlerbehandlungen bereit. Fehler wie Serialisierungsfehler, Datentransformationsfehler oder Iflow-Fehler können an ein Fehlerziel weitergeleitet oder dedupliziert werden, um den kontinuierlichen Betrieb sicherzustellen.
Worin unterscheidet sich der Adapter von Standardadaptern der SAP Cloud Integration?
Im Gegensatz zum SAP Standard-Kafka-Adapter bietet der KaTe Kafka Adapter:
Unterstützung von beliebigen Stream-Positionen und frei definierbaren Gruppen-Namen
Kompatibilität mit Avro, Protocol Buffers, JSON und Schema-Registries mit automatischer Schemagenerierung
Batchverarbeitung in einer einzigen Iflow-Ausführung
Erweitertes Fehlerhandling – sowohl manuell als auch automatisiert
Filterung und Deduplizierung für höhere Datenqualität und optimierten Datendurchsatz
SAP Technologie- und Migrationsberatung –
Zukunftssichere Integration mit der KaTe GmbH
Die KaTe GmbH ist Ihr kompetenter Partner für SAP Technologie- und Migrationsprojekte.
Unser Fokus liegt auf der sicheren und reibungslosen Transformation von bestehenden SAP PO (Process Orchestration) Landschaften hin zur modernen SAP Integration Suite – inklusive der SAP Edge Integration Cell für hybride Integrationsszenarien. Wir begleiten Sie mit maßgeschneiderten Konzepten, bewährten Best Practices und tiefem Expertenwissen, damit Ihre SAP Integration nachhaltig, performant und zukunftsfähig bleibt.
Unsere Schwerpunkte in der SAP Technologieberatung:
Migration von SAP PO zu SAP Integration Suite – inklusive Analyse, Architekturdesign und technischer Umsetzung
Implementierung und Optimierung der SAP Edge Integration Cell – für eine flexible und sichere Hybridintegration
SAP BTP (Business Technology Platform) Beratung – Nutzung moderner Services und Tools für Innovation und Prozessautomatisierung
Technologiebasierte Strategieberatung – von Cloud-Integration bis API-Management
Kontaktieren Sie uns für ein individuelles Beratungsgespräch und erfahren Sie, wie wir Ihre SAP-Integration und Systemlandschaft optimal modernisieren.
