データウェアハウスデラックスのデータの抽出、移動、およびロード - ダミー

データウェアハウスのデラックスな実装は大きく、常に大きくなっています。数百ギガバイト（1ギガバイトは10億バイトに相当）、さらにはテラバイト（1兆バイト）を使用する実装がますます一般的になっています。この量のデータとユーザーアクセスを管理するには、非常に堅牢なサーバーとデータベースが必要です。

挑戦を準備しましょう！データウェアハウスライトを使用すると、通常、データのソースからウェアハウスへの移動を簡単で低テクノロジで処理できますが、デラックスデータウェアハウスでは、多くのデータウェアハウジングプロジェクトが難解ゾーンに入ります。ワーテルロー。

<！多くの異なるデータソースを取り扱っていますが、その中には重複するデータが含まれているものもあります。

たとえば、サプライヤの情報は2つの異なる購買システムから得られ、サプライヤの中には両方のシステムにエントリがあります。

• おそらく、収束する必要のある異なる識別子のセット（たとえば、システムのSUPPLIER_IDとして識別される6文字の英数字と、もう1つのSUP_NUMという固有の整数）を実行することになります。 <！ - 2 - >

  データウェアハウスが大規模（約250ギガバイト以上）の場合、バッチウィンドウの抽出、移動、ロードが困難になる可能性があります。

  バッチウィンドウ

• 、 は、倉庫に更新が行われる時間枠は、処理する必要があるデータソースの数によって複雑です。 混乱した抽出、移動、変換、およびロード処理の可能性は、データウェアハウスにロードするデータ要素の数に指数関数的に関係しています。 <！ - 9 - >

• データを倉庫に取り込むプロセスにいくつかの難易度（たとえば整数）を割り当てることができた場合、以下の措置が成立します。

  n

  データ xの難易度係数を持つデータウェアハウスに含める要素。 2 999 n 999データ要素がある場合、難易度係数は2 999 xではありません。 ではなく、 x 平方です。 この難易度を理解しやすくするために、 n と xにいくつかの数値を割り当てます。 データウェアハウスの要素数が999（n）

  、難易度係数 （x） が5であるとします。要素数を2倍にした場合（999 n > = 200）、あなたの難易度は25（5平方キロメートル）であり、10（5×2）ではありません。 1つの場所（デラックス・データ・ウェアハウス）に向かう、非常に多くのデータ・ソースを扱うプロセスは、キッチン内にたくさんの料理人の要素を含んでいます。 抽出、移動、変換、ロードのプロセスを円滑に進めるには、多種多様なアプリケーション所有者、データベースの公式保持者、および様々な異なる組織の他の人たちに対処する必要があります。彼らがプロの交響楽団の一員であるように協力してください。 現実には、玩具のビンから楽器を選んだ幼稚園の学生のような演奏をしているということです。 「プロセスが必ず失敗するわけではありませんが、データウェアハウスデラックスが正しくロードされるまで、多くの反復が必要です。 データウェアハウスデラックスは、より多くのデータソースと、おそらくは倉庫にアクセスする複数のタイプのユーザーツールを除いて、3つの層（データウェアハウスライトなど）を持つことができます。しかし、データウェアハウスデラックスのアーキテクチャーは、おそらくこの図に示されているように、データの収集ポイントがさまざまです。 データマート： データウェアハウスデラックスからの情報のサブセットを受信し、データウェアハウスデラックスの主要なアクセスポイントとして機能します。 特定の環境に必要な他の「ウェイステーション」に加えて、ユーザー。 暫定変換ステーション：

• パイプラインを倉庫のデータベースに向かって移動する前に、いくつかのソースから抽出されたデータのセットが何らかのタイプの変換処理を受ける領域。

  品質保証ステーション：

  データグループがデータウェアハウスに移動する前に集中的な品質保証チェックを受ける領域。