個人財務 アーカイブデータ宛先としてのHadoop

アーカイブデータ宛先としてのHadoop

Anonim

このユースケースは、パフォーマンスミッションクリティカルなシステムに格納されていないデータに対してHadoopスキルセットを構築することができるため、組織に与える影響は小さくなります。

さらに、データを手に入れるのに苦労する必要はありません。 (アーカイブされたデータは、通常、使用率の低いシステムに保存されるため、データウェアハウスなどのパフォーマンスミッションクリティカルなシステムでは「脚光を浴びている」データよりも簡単に取得できます)。Hadoopを着陸あなたはあなたのアーカイブの基礎を持っています!アーカイブしたいものをそのまま残し、そうでないものは削除します。

<! Hadoopのランディングゾーンについて考えると、図に示すクエリ可能なアーカイブはHadoopの価値を拡大し、すでに企業内に存在する可能性の高い部分を統合し始めます。これは、Hadoopを使用したスケールメリットとコスト削減の機会を見出す素晴らしい例です。

ここで、アーカイブコンポーネントは、ランディングゾーンとデータウェアハウスを接続します。アーカイブされるデータは、倉庫内で発生し、Hadoopクラスタに格納され、Hadoopクラスタはランディングゾーンをプロビジョニングします。要するに、同じHadoopクラスタを使用してデータをアーカイブし、着陸ゾーンとして機能させることができます。

<! - 2 - >

アーカイブを実行するために使用する主なHadoopテクノロジは、データウェアハウスからHadoopにアーカイブするデータを移動できるSqoopです。 Hadoopクラスタでどのような形式のデータを使用するかを検討する必要があります。一般に、圧縮されたハイブファイルは良い選択です。

もちろん、倉庫構造からのデータを他の形式に変換することもできます(たとえば、冗長性を減らすために正規化された形式など)が、これは一般的には良い考えではありません。ウェアハウス内のデータと同じ構造にデータを保持することで、Hadoop内のアーカイブされたデータとウェアハウス内のアクティブなデータ間で完全なデータセットクエリを実行することがはるかに簡単になります。

<!アクティブなデータセットとアーカイブされたデータセットの両方を照会するというコンセプトは、別の考慮事項をもたらします。実際には2つの選択肢があります。つまり、データウェアハウスでデータが追加および変更されるたびにすべてをアーカイブするか、寒いと思われるデータのみをアーカイブします。

すべてをアーカイブすると、データセット全体で1つのインターフェイスからクエリを簡単に発行できる利点があります。完全なアーカイブがなければ、結果を統合する連合クエリソリューションを把握する必要がありますアーカイブとアクティブなデータウェアハウスを管理します。

しかし、ここでの欠点は、データウェアハウスのホットデータの定期的な更新がHadoopベースのアーカイブの頭痛を引き起こすことです。これは、個々の行と列のデータを変更するには、既存のデータセットの完全削除と再カタログ化が必要になるためです。

アーカイブデータはHadoopベースのランディングゾーンに保存されます(前述の圧縮Hiveファイルのようなオプションを使用していると仮定した場合)。これは、Hadoopソリューション上のSQLが面白くなる場所です。

可能なことの優れた例は、Hadoopに格納されたアーカイブされたデータのレポートや分析を直接実行するための分析ツール(図の右側)です。これはデータウェアハウスを置き換えるものではありません。結局のところ、Hadoopは複雑な質問をしている数百人以上の同時ユーザーをサポートするために、倉庫のパフォーマンス特性を一致させることができませんでした。

ここでのポイントは、専用の倉庫やマートで答える新しい質問を試してみるために、Hadoopに対するレポートツールを使用することができることです。

倉庫データをアーカイブする最初のHadoopベースのプロジェクトを開始するときは、新しいHadoopソリューションで完全にテストするまで、現在のプロセスを中断しないでください。つまり、現在の倉庫管理戦略がテープにアーカイブされ、そのプロセスを維持し、シナリオを完全にテストするまでデータをHadoopとテープにデュアルアーカイブすることです(通常、ケースの場合に倉庫データを復元する倉庫の故障の)。

(短期間で)2つのアーカイブリポジトリを管理していますが、実証済みのプロセスを廃止する前に、堅牢なインフラストラクチャを構築し、テストします。このプロセスにより、現在の雇用主と一緒に雇用され続けることが保証されます。

このユースケースは既存の倉庫に変更がないため単純です。まれに使用されているデータをアーカイブに移行することで、ストレージとライセンスのコストを削減するというビジネス目標は変わりません。この場合の違いは、アーカイブの背後にあるテクノロジがテープなどのオフラインストレージではなくHadoopであることです。

さらに、様々なアーカイブベンダーがHadoopをソリューションに組み込み始めています(例えば、独自のアーカイブファイルをHDFS上に置くことを許可するなど)。

Hadoopスキル(Hadoopとリレーショナルデータベースの間でデータを交換し、HDFSでデータを照会するなど)を開発するときに、分析プロジェクトなどのより大きな問題に取り組み、組織のHadoopへの投資価値を高めることができます。

アーカイブデータ宛先としてのHadoop

エディタの選択

自転車の点検チェックリスト - ダミー

自転車の点検チェックリスト - ダミー

すぐに自転車の点検をするために数分。あなたの自転車を一時的に与えることは、あなたの次の乗り心地の安全性、快適性、そして楽しさを高めることができます。乗車準備の一環として、次の手順に従ってください:車輪のクイックリリースレバーを開閉して、確認します。

必須サイクリング用具 - ダミー

必須サイクリング用具 - ダミー

あなたはバイクの乗り心地をさらに楽しくするために何百万ものものを買うことができます。自転車用に必要なアクセサリーをいくつかご紹介します。ヘルメット:ヘルメットを着用することはオーストラリアとニュージーランドの法律です。

自転車の範囲を閲覧可能 - ダミー

自転車の範囲を閲覧可能 - ダミー

あなたはサイクリングをすることに決めましたが、その重要なキットを欠いている - バイク!あなたが望む自転車のタイプを正確に知っていない限り、良いアドバイスは、あなたの時間を費やして、自転車で何をするのか、どこに乗るのかを本当に考えてみることです。

エディタの選択

アプリとプライバシー - ダミーを特定する

アプリとプライバシー - ダミーを特定する

Spotifyアプリケーションに登録すると、あなたの個人的な詳細の一部にアクセスする。たとえば、Top10アプリを使用してプレイリストを公開するには、既存のFacebookアカウントにリンクする必要があります。このプロセス中、Facebookはあなたに特定の種類の共有を許可するかどうか尋ねます。

モバイル対応携帯電話を識別する - ダミー

モバイル対応携帯電話を識別する - ダミー

SpotifyモバイルはiPhoneで最も人気がありますが、優れたAndroidバージョン(basks Androidマーケットの5つ星評価のうち5つの評価では5位に入っています)が急速に追いついています。

特集 - ダミー

特集 - ダミー

スポットメイキングは、モバイルでも、あらゆる音楽への普遍的な即時アクセスを可能にしますデバイスまたはデスクトップコンピュータ。 Facebookは人々が古い友達と再会して新しい友達を作るのを助け、Spotifyの助けを借りて青春の歌を再発見し、友人や検索を通じて新鮮な音楽を発見しました。

エディタの選択

IOSアプリケーションでオブジェクト指向設計を使用する方法 - ダミー

IOSアプリケーションでオブジェクト指向設計を使用する方法 - ダミー

IOSは、動作がオブジェクトに関連付けられているプログラムを設計するさまざまな方法です。説明するために、紅茶とスープの作り方を検討することを検討してください。しかし、即座に代わりに活動に飛び込んではいけません。探偵が犯罪現場に入るように行動してください。

IOSアプリケーションでハイレベル抽象化を使用してビデオを再生する方法 - ダミー

IOSアプリケーションでハイレベル抽象化を使用してビデオを再生する方法 - ダミー

このセクションでは、MPMoviePlayerViewControllerクラスの高レベル抽象化を使用してiOSアプリケーションでビデオを再生する方法を説明します。 - (IBAction)playVideo:(id)sender {MPMoviePlayerViewController * moviePlayer = [[MPMoviePlayerViewController alloc] initWithContentURL:movieURL];このコードは、ビデオビューコントローラ内のTTTVideoViewControllerファイルからです。 [self presentMoviePlayerViewControllerAnimated:moviePlayer];}シンプルさ自体!必要なのはURLです。

IOSアプリケーションでJavaスクリプトオブジェクト表記を使用する方法 - ダミー

IOSアプリケーションでJavaスクリプトオブジェクト表記を使用する方法 - ダミー

JavaScript Object Notation (JSON)はiOSアプリのデータを表現する上で事実上の標準になっています。 JSONを使用して、Web上でデータを転送したり、長期保存データを保存および取得するためのフォーマットとして使用することができます。 JSONは、人間が読める形式であり、マシンが理解しやすい形式です。 JSONのデータは1つにまとめることができます...