ビデオ: State of Unreal | GDC 2019 | Unreal Engine 2024
ほとんどの場合、 2つのミドルウェアサービス(選択と抽出、品質保証)は、データソースが存在する同じプラットフォーム (システム)で行われます。ただし、データウェアハウスをデータソースとは異なるプラットフォームでホストする場合は、データ移動サービスを使用してシステム間でデータを転送する必要があります。 比較的シンプルなサービス(単純なファイル転送プログラムなど)を使用する可能性があります。ムーブメントサービスは、この時点で必要な場合は、QAのデータを追加の変換を行う予定の環境に移動するだけです。
<! - 1 - >
実動データウェアハウスを実行するプラットフォームとは異なるプラットフォームで、変換およびQA処理を実行している場合(たとえば、運用サーバー上ではなく開発サーバー上で)、もう1つのデータ移動サービスを実行して、最終的に存在する場所にデータを取得する必要があります。このプロセスには通常、比較的単純なファイル転送のみが含まれます。<! - 2 - >
データローディングサービスは、抽出されたQAのデータ、変換されたQAのデータ、およびQAされたデータを倉庫に読み込みます。カスタマイズされたプログラム、SQL(INSERTステートメントなど)、またはユーティリティを使用してデータをロードできます。大量のデータをロードする必要がある場合は、高速ロードユーティリティを使用してください。通常、プログラムやSQLベースのアプローチよりもはるかに時間がかかります。
SQLを使用してデータをリレーショナル・データベースにロードする場合は、ロギングをオフにすることで可能な限り効率的にロードを試みてください(DBMS製品が許可する場合)。ローディング・ジョブが異常終了した場合は、DROPまたはTRUNCATE文を使用して、部分的にロードされた表を取り除き、終了の原因となった問題を修正し、ジョブを再起動する必要があります。
<! - 3 - >
このプロセスは通常、OLTPスタイルのデータとトランザクションの整合性(オーバーヘッドを伴う)に必要な機能をオンにするよりもはるかに高速です。