HadoopのMapReduceで統計モデルを実行する - 統計モデルを並行して実行するためのダミー

統計モデルを並行して実行することは困難な作業です。並列プログラミングの従来のパラダイムでは、メモリアクセスは、オペレーティングシステムによって作成された スレッド - 複数のプロセッサ間で単一の共有メモリを配布するサブプロセスの使用によって規制されます。

2つ以上のスレッドが同時に共有データを変更しようとする競合スレッド間の競合状態などの要因は、アルゴリズムのパフォーマンスに影響し、プログラムが出力する統計結果の精度に影響を与える可能性があります大規模なサンプルセットの長期間の分析に適しています。

<！この問題の現実的なアプローチは、多くの統計者がMapReduceの機能を知っているとは限らず（その逆もある）、それがすべての落とし穴を認識することは期待できないと仮定することです並列プログラミングが必要となる。 Hadoopプロジェクトの貢献者は、これらの現実を念頭に置いて統計ツールを開発し続けています。結論：Hadoopは、統計的モデリングと分析を実行するために必要なアルゴリズムを実装するための多くのソリューションを提供しています。