パフォーマンスとビッグデータ - ダミー

コンピュータの高速化だけでは、大きなデータを処理するための適切なパフォーマンスを保証するには不十分です。ビッグデータサービスのコンポーネントを一連のノードに分散する必要があります。分散コンピューティングでは、 ノード は、システムのクラスタ内またはラック内に含まれる要素である。

ノードは、通常、CPU、メモリ、およびある種のディスクを含む。ただし、ノードはラック内の近くのストレージに依存するブレードCPUとメモリでもあります。

<！ - 1 - >

大規模なデータ環境では、通常、これらのノードはクラスタリングされて縮尺を提供します。たとえば、大きなデータ分析から始めて、さらに多くのデータソースを追加することができます。成長に対応するために、企業はクラスタに複数のノードを追加するだけで、拡大する要件に合わせて拡張することができます。

<！ - 2 - >

ただし、クラスタ内のノード数を単純に拡張するだけでは不十分です。むしろ、ビッグデータ分析の一部を異なる物理環境に送ることができることが重要です。これらのタスクを送信し、それらを管理する方法は、成功と失敗の違いになります。

複雑な状況によっては、同じクラスタ内であっても、多くの異なるアルゴリズムを並列に実行して、必要な分析速度を達成することができます。なぜ同じラック内で異なる大きなデータアルゴリズムを並列に実行するのですか？関数の分布が近ければ近いほど実行は速くなります。

<！ - 3 - >

利用可能な容量を利用するためにネットワーク全体で大規模なデータ分析を配布することは可能ですが、パフォーマンスの要件に基づいてこのタイプの配布を行う必要があります。場合によっては、処理の速度が後ろから取られます。しかし、他の状況では、結果を速く得ることが求められます。このような状況では、ネットワーク機能が互いに近接していることを確認する必要があります。一般に、ビッグデータ環境は、分析タスクのタイプに合わせて最適化されなければならない。したがって、スケーラビリティは、大きなデータを正常に動作させるための重要な要素です。大規模なデータ環境を単一の大きな環境内で操作することは理論的には可能ですが、実用的ではありません。大規模データにおけるスケーラビリティの必要性を理解するためには、クラウドのスケーラビリティを見て、要件とアプローチの両方を理解していなければなりません。クラウドコンピューティングのように、大きなデータには高速ネットワークと安価なハードウェアクラスターを含める必要があり、ラックを組み合わせてパフォーマンスを向上させることができます。これらのクラスターは、動的スケーリングとロード・バランシングを可能にするソフトウェア自動化によってサポートされています。

MapReduceの設計と実装は、分散コンピューティングが大きなデータを操作上目に見え、手ごろなものにする方法の優れた例です。本質的に、企業は、コンピューティングにおける独創的な転換点の1つで、適切な問題を解決するために適切なタイミングで技術コンセプトが結集されています。分散コンピューティング、改良されたハードウェアシステム、MapReduceやHadoopなどの実用的なソリューションを組み合わせることで、データ管理が大きく変化しています。