Online Magazine
Wie kann ich meine Daten inkrementell laden?
Hast du eine grosse Menge an Quelldaten, die du in dein DWH (Data Warehouse) laden musst? Durch das inkrementelle Laden dieser Daten wird dieser Vorgang an deine Bedürfnisse angepasst. Du kannst dein Inkrement auf jede numerische oder Datums-Spalte stützen, die in deinen Quelldaten enthalten ist.
von Claire Pierreclos
Noob Hack
Du kannst deine Stage-Objekte so konfigurieren, dass sie eine inkrementelle Komponente haben - und zwar sowohl in deinem Operational Data Store (ODS) als auch in deinem DWH, je nach vorhandener Projektkonfiguration.
Dazu musst du die benutzerdefinierte Eigenschaft "IncrementalFilterColumn" konfigurieren. Verwende ein beliebiges Feld aus dem Quellobjekt, um Daten inkrementell zu laden (Datum als Inkrement, Zahl als Inkrement):
Jedes Laden beginnt mit dem letzten bereits geladenen Inkrement (hier entsprechend dem UpdatedAt-Datumsfeld). Es können mehrere Ladestrategien konfiguriert werden, um das inkrementelle Laden an deine Bedürfnisse anzupassen: LastRun, LastExecution, LastExecutionPlan oder Fixed.
Alle Details findest du auf unserer Community-Seite.
Pro Hack
Möglicherweise möchtest du dein inkrementelles Laden auf mehrere Spalten stützen. Zum Beispiel enthält dein Quellobjekt zwei Protokollierungsspalten für Änderungen: CreatedDate und ModifiedDate. Das CreatedDate wird immer gefüllt, wenn du einen neuen Datensatz erstellst, aber das ModifiedDate wird nur gefüllt, wenn du eine Aktualisierung vornimmst. Bei vielen Datensätzen wird also kein ModifiedDate gefüllt.
Du kannst dein inkrementelles Laden auf eine Regel wie COALESCE(ModifiedDate, CreatedDate) stützen.
Dazu musst du einen vorhandenen Begriff auf einer Stufe verwenden und die Regel als Begriffsregel hinzufügen.
Alle Details findest du auf unserer Community-Seite.
Tipp: Wenn du bereits biGENIUS-Benutzer bist und keinen Zugang zu unserer Community-Seite hast, kontaktiere bitte den biGENIUS support.
Erfahre mehr über biGENIUS
