Back to overview

Online Magazin

Wie kann ich meine Daten inkrementell laden?

Hast du eine grosse Menge an Quelldaten, die du in dein DWH (Data Warehouse) laden musst? Durch das inkrementelle Laden dieser Daten wird dieser Vorgang an deine Bedürfnisse angepasst. Du kannst dein Inkrement auf jede numerische oder Datums-Spalte stützen, die in deinen Quelldaten enthalten ist.

 

von Claire Pierreclos

Noob Hack

Du kannst deine Stage-Objekte so konfigurieren, dass sie eine inkrementelle Komponente haben - und zwar sowohl in deinem Operational Data Store (ODS) als auch in deinem DWH, je nach vorhandener Projektkonfiguration.

Dazu musst du die benutzerdefinierte Eigenschaft "IncrementalFilterColumn" konfigurieren. Verwende ein beliebiges Feld aus dem Quellobjekt, um Daten inkrementell zu laden (Datum als Inkrement, Zahl als Inkrement):

Jedes Laden beginnt mit dem letzten bereits geladenen Inkrement (hier entsprechend dem UpdatedAt-Datumsfeld). Es können mehrere Ladestrategien konfiguriert werden, um das inkrementelle Laden an deine Bedürfnisse anzupassen: LastRun, LastExecution, LastExecutionPlan oder Fixed.

Alle Details findest du auf unserer Community-Seite.

Pro Hack

Möglicherweise möchtest du dein inkrementelles Laden auf mehrere Spalten stützen. Zum Beispiel enthält dein Quellobjekt zwei Protokollierungsspalten für Änderungen: CreatedDate und ModifiedDate. Das CreatedDate wird immer gefüllt, wenn du einen neuen Datensatz erstellst, aber das ModifiedDate wird nur gefüllt, wenn du eine Aktualisierung vornimmst. Bei vielen Datensätzen wird also kein ModifiedDate gefüllt.

Du kannst dein inkrementelles Laden auf eine Regel wie COALESCE(ModifiedDate, CreatedDate) stützen.
Dazu musst du einen vorhandenen Begriff auf einer Stufe verwenden und die Regel als Begriffsregel hinzufügen.

 

Alle Details findest du auf unserer Community-Seite.

Tipp: Wenn du bereits biGENIUS-Benutzer bist und keinen Zugang zu unserer Community-Seite hast, kontaktiere bitte den biGENIUS support.

Erfahre mehr über biGENIUS

 

Lies den nächsten biGENIUS Hack

Deine Ansprechperson

WEITERE HACKS FINDEST DU HIER:

Hack of the Week
Key Visual Hack of the week
Analytics Microsoft

Excel Files & Azure Synapse Analytics
Hack of the Week
Key Visual Hack of the week
biGENIUS

Linked project or discovery?
Hack of the Week
Key Visual Hack of the week
biGENIUS

How to model a Business Link?