個人財務 Hadoopクラスタのサイズ変更 - ダミー

Hadoopクラスタのサイズ変更 - ダミー

ビデオ: TestpassportのCCA 500問題集を利用して、受験の技能を把握できます 2025

ビデオ: TestpassportのCCA 500問題集を利用して、受験の技能を把握できます 2025
Anonim

データ処理システムのサイジングは、 Hadoopでは、リレーショナルデータベースと同じ情報を考慮します。最も重要なことは、データの量を把握し、予想される成長率を見積もり、保持ポリシーを設定する必要があることです

<! - 1 - >

データの量を決定した後で、電話会社を持っていて、コールディテールレコード(CDR)ログファイル用に750TBのストレージスペースが必要であることを確認したとします。 あなたは政府の規制に従うためにこれらの記録を保持しますが、あなたはそれらを分析することもできますo脆弱性のパターンを参照し、ネットワークの状態を監視するなど。必要なストレージスペースと、必要なラックとスレーブノードの数を決定するには、次の点を考慮して計算を実行します。

<!レプリケーション:

HDFSのデータのデフォルトの複製係数は3です。この例のテレコム企業の500テラバイトのCDRデータは1500テラバイトに変わります。

スワップ領域:
  • MapReduceによるデータの分析または処理には、中間結果セットおよび最終結果セットを格納するために、さらに25%のスペースが必要です。 (現在、通信会社は1875テラバイトの記憶容量が必要です。) <! - 3 - >

  • 圧縮: 電気通信会社はCDRを圧縮形式で格納します。平均圧縮率は3:1になると予想されます。現在、625テラバイトが必要です。

    スレーブノードの数:
  • 各スレーブノードにHDFS専用の3TBドライブが12個あると仮定すると、各スレーブノードには36テラバイトのHDFSストレージがあり、18個のスレーブノードが必要です。 ラック数:

  • 各スレーブノードは2RUを使用しており、この例では3つのマスタノード(1RU)と2つのToRスイッチ(1RU)が必要なため、合計41RUが必要です。標準ラックの総容量より1RU少ないため、この配置には1ラックで十分です。 このクラスターの成長には余裕がないので、2番目のラック(および2台のToRスイッチ)を購入し、2つのラック間でスレーブノードを分割することは賢明です。

  • テスト: 本番クラスタの小規模な表現であるテストクラスタを維持することは、標準的な方法です。巨大である必要はありませんが、Hadoopの動作を正確に表現できるように、少なくとも5つのデータノードが必要です。テスト環境と同様に、本番クラスタとは異なるネットワーク上で隔離されている必要があります。

    バックアップと災害復旧:

  • 他の運用システムと同様に、通信会社もバックアップと災害復旧の要件を考慮する必要があります。この会社は、ミラークラスタを作成してシステム全体のホットスタンバイを確保することができます。これは明らかに最も高価なオプションですが、一定の稼働時間が重要な環境に適しています。 テレコム企業は、スペクトルの最も安価な端で(データをまったくバックアップしない)、生産クラスタに格納されているすべてのデータ(データそのもの、アプリケーション、構成ファイル、メタデータなど)を定期的にバックアップできますテープに。テープを使用すると、データにすぐにアクセスすることはできませんが、運用中のHadoopクラスタ全体で障害が発生した場合の惨事復旧作業が可能になります。

  • お使いのパーソナルコンピュータと同様に、メインのハードディスクドライブが空き容量でいっぱいになると、システムはかなり遅くなります。 Hadoopも例外ではありません。また、ハードドライブのパフォーマンスが85〜90%未満であると、パフォーマンスが向上します。この情報を念頭に置いて、パフォーマンスが重要な場合は、スワップスペースの係数を25〜33%にする必要があります。

Hadoopクラスタのサイズ変更 - ダミー

エディタの選択

を探る

を探る

遠く離れた場所でコンタクトを作るためにステーションを押す)は、すべてのハムラジオで2番目に古いアクティビティです。エーテルのどこかで、駅はいつも手の届かないところにあり、その駅に連絡するという挑戦がDX-ingの目的です。何千ものハムを横切っています...

エディタの選択

Excel 2007の開始と終了 - ダミー

Excel 2007の開始と終了 - ダミー

Microsoft Office Excel 2007には、プログラムを開始および終了するためのいくつかの方法があります。 [スタート]メニューまたはデスクトップショートカットを使用してExcelを開くことができます。 Excelを終了するには、Officeボタン、閉じるボタン、またはキーボードショートカットを使用します。 [スタート]メニューからExcel 2007を起動する。

Excelピボットテーブルの小計を抑制する - ダミー

Excelピボットテーブルの小計を抑制する - ダミー

Excelのピボットテーブルを使用すると、ダッシュボードとレポートの管理に時間を費やし、他の有益なことを行う時間を増やします。ピボットテーブルにフィールドを追加するたびに、Excelはそのフィールドの小計を追加します。ただし、小計を含めると小計を含めることができない場合もあります。

Excel 2007にあなたが印刷したいものを伝える - ダミー

Excel 2007にあなたが印刷したいものを伝える - ダミー

Excel 2007には、エリア。ワークエリア上の任意のセル選択を印刷領域として定義することができます。

エディタの選択

SharePoint 2010のダッシュボードデザイナ - ダミー

SharePoint 2010のダッシュボードデザイナ - ダミー

Business Intelligence(BI)サイトのホームページには、SharePoint 2010を使用するための2つのシナリオビジネスインテリジェンスのため。主な2つのシナリオは、Excel ServicesとPerformancePoint Servicesです。 Excel Servicesを使用すると、Excelスプレッドシートの一部をSharePointサイトに表示することができます。 Excel Servicesのサンプルを見ることができます。

SharePoint 2010検索ボックスWebパーツ、結果、および分析 - ダミー

SharePoint 2010検索ボックスWebパーツ、結果、および分析 - ダミー

サイトを検索する。エンドユーザーは、おそらく、すべてのSharePoint 2010サイトの右上隅にある使い慣れた検索ボックスを表示することに驚くことはありません。ユーザーはこの検索ボックスを使用して、表示しているサイトまたはリストを検索できます。サイトのカスタマイズされた検索エクスペリエンスが必要な場合があります。 By ...

SharePoint 2010リストタイプ - ダミー

SharePoint 2010リストタイプ - ダミー

SharePoint 2010は、情報の追跡に使用できるさまざまな種類のリストを提供します。リストは、ExcelスプレッドシートまたはAccessデータベースの表に似ています。最初に作成したときに空白のスプレッドシートとは異なり、SharePointにはいくつかの事前定義リストが用意されています。これらのリストには、列とフォームが含まれています。