ビデオ: FIWARE Wednesday Webinar - How to Get Context Data Out of Robots 2024
データ選択および抽出サービスの主な目的は、データソースから データウェアハウスに移動し、そのデータを品質保証サービスのために用意できる形式に 抽出(抜粋)します。 データウェアハウス環境には、2種類の選択および抽出サービスのいずれかを使用できます。
すべて取得して後で並べ替えます。
特定の要素が持つかどうかにかかわらず、データウェアハウスにロードするソース内のすべてのデータ要素を検索して抽出します以前に抽出された。-
変更指向: データソースに新しく追加された、または最後の抽出以降に更新されたデータ要素のみを検索して抽出します。
-
<!第1のタイプのサービスは、抽出を実行するために、より複雑なロジックを必要としない。しかし、第2のタイプの変更指向型サービスよりも、大量のデータ(時には大量のデータ)を処理する必要があります。 データの行が追加されたときや最後に更新されたときを検出するために使用できるタイムスタンプを持つリレーショナルデータベースの場合、選択と抽出の変更指向の方法はかなり簡単です。
データの行を最後の抽出処理の日時と比較して、データを選択して抽出する必要があるかどうかを判断できます。しかし、データがタイムスタンプを持たないファイル(例えば、VSAMファイル)に格納されている場合、このプロセスはかなり困難になります。
ソースデータがファイルまたはデータベースのいずれかから削除された場合でも、問題に直面する可能性があります。データウェアハウジング環境のビジネスルールで、ウェアハウスから対応するデータを削除する必要がある場合は、最後の抽出プロセス以降に行われた削除を検出して、ウェアハウスで適切な削除が行われるようにする必要があります。
選択と抽出の結果は、追加の処理を行う準備が整ったデータの抽出です。データの品質をチェックします。