ビデオ: Artificial Intelligence Machine Learning Big Data | Neil Jacobstein | Exponential Finance 2024
ビッグデータ環境のコアとビッグデータスタックのレイヤ2では、あなたのビジネスに関連するデータ要素の集合。これらのエンジンは、速く、スケーラブルで、堅牢である必要があります。それらはすべて均等に作成されているわけではなく、ある種の大きなデータ環境では、あるエンジンでは他よりもうまくいくでしょう。
たとえば、すべての大規模データ実装にリレーショナルデータベース管理システム(RDBMS)を使用することは可能ですが、パフォーマンス、規模、またはコストのために実行することは現実的ではありません。さまざまなデータベーステクノロジが利用でき、賢明に選択するように注意する必要があります。
<! - 1 - >データベース言語に関する正しい選択はありません。 SQLは現在使用されているデータベースクエリ言語としては最も一般的ですが、他の言語は大きなデータの問題を解決するために、より効果的または効率的な方法を提供します。エンジンや言語を「実装者のツールボックス」のツールと考えることは有益です。 "あなたの仕事は正しいツールを選ぶことです。
たとえば、リレーショナル・モデルを使用する場合は、おそらくSQLを使用して問合せを行います。ただし、PythonやJavaなどの代替言語を使用することもできます。どのタイプのデータをデータベースが操作できるのか、そしてそれが本当のトランザクション動作をサポートしているかどうかを理解することは非常に重要です。データベース設計者は、この動作を略語 ACIDで記述します。 それは
<! Atomicity:-
トランザクションは、アトミックである場合、「すべてかどうか」です。トランザクションの一部または基礎となるシステムに障害が発生すると、トランザクション全体が失敗します。 一貫性:
-
有効なデータを持つトランザクションのみがデータベース上で実行されます。データが壊れているか不適切な場合、トランザクションは完了せず、データはデータベースに書き込まれません。 分離:
-
複数の同時トランザクションは相互に干渉しません。すべての有効なトランザクションは、完了するまで、および処理のために提出された順序で実行されます。 <! - 3 - >
耐久性: -
トランザクションからのデータがデータベースに書き込まれた後、トランザクションは永遠にそこにとどまります。 " エンジン
クエリ言語 MapReduce データ型 トランザクション 例 リレーショナル SQL、Python、C いいえ 型付き Ruby Hadoop 定義済みで型付き はい、有効になっている場合 HBase グラフ ウォーキング、検索、Cypher いいえ 型なし ACID Neo4J ドキュメント コマンド JavaScript 型付き型 なし MongoDB、CouchDB キー値 Lucene、コマンド JavaScript BLOB、semityped いいえ Riak、Redis あなたの要件を理解し、収集しているデータ、配置場所、これを行うには、分析、レポート、または特定のアプリケーションで消費するように整理する必要があります。