Kurzbeschreibung: Für PLMSynchro wurde ein neuer Datenquellen-Knoten eingeführt, der Daten direkt aus einer SQL-Datenbank statt aus einer CSV-Datei liest. Ziel war es, die bisherige CSV-basierte Datenanbindung durch eine Datenbankanbindung zu ersetzen bzw. zu erweitern. Der neue Knoten verhält sich funktional ähnlich wie der bestehende CSV-Source-Node.
Zur effizienten Verarbeitung großer Datenmengen wurde eine Watermark-Funktion implementiert:
Der Knoten speichert entweder das zuletzt verarbeitete Datum (CREATEDATE) oder die zuletzt verarbeitete ID.
Bei späteren Läufen werden nur neu hinzugekommene oder geänderte Datensätze verarbeitet.
Alternativ kann ein Verarbeitungsstatus direkt in der Quelltabelle gepflegt werden (Pending, Success, Error).
Im Issue wurden mehrere Beispiel-Pipelines und SQL-Skripte bereitgestellt:
Direkte Anbindung von ERP-, PDM- oder Staging-Datenbanken ohne den Umweg über CSV-Dateien.
Unterstützung inkrementeller Importe reduziert Datenmenge und Laufzeiten.
Bessere Integration in bestehende Unternehmensdatenbanken und ETL-Prozesse.[22]
[22] Extract, Transform, Load (ETL) ist ein Prozess, bei dem Daten aus mehreren, gegebenenfalls unterschiedlich strukturierten Datenquellen in einer Zieldatenbank vereinigt werden.