Breve descrizione: Per PLMSynchro è stato introdotto un nuovo nodo di origine dati che legge i dati direttamente da un database SQL anziché da un file CSV. L'obiettivo era quello di sostituire o ampliare il precedente collegamento basato su CSV con un collegamento al database. Dal punto di vista funzionale, il nuovo nodo si comporta in modo simile all'attuale nodo sorgente CSV.
Per garantire un’elaborazione efficiente di grandi quantità di dati, è stata implementata una funzione di watermark:
Il nodo memorizza o la data dell'ultimo trattamento (CREATEDATE) oppure l' ID dell'ultimo trattamento.
Nelle successive esecuzioni vengono elaborati solo i record di dati aggiunti o modificati di recente.
In alternativa, è possibile aggiornare lo stato di elaborazione direttamente nella tabella di origine (In sospeso, Esito positivo, Errore).
In questo numero sono stati forniti diversi esempi di pipeline e script SQL:
Collegamento diretto a database ERP, PDM o di staging senza dover ricorrere a file CSV.
Supporto Le importazioni incrementali riducono il volume dei dati e i tempi di esecuzione.
Migliore integrazione nei database aziendali esistenti e nei processi ETL.[22]
[22] Extract, Transform, Load (ETL) è un processo mediante il quale i dati provenienti da più fonti, eventualmente con strutture diverse, vengono riuniti in un database di destinazione.
