Big Data-Dummiesのアーキテクチャ基盤を設定する方法

ビデオ: FIWARE Wednesday Webinars - IoT Agents 2024

大きなデータを成功させるためには、強力なアーキテクチャー基盤を構築することが重要です。機能要件をサポートすることに加えて、必要なパフォーマンスをサポートすることも重要です。ニーズは、分析している分析の性質によって異なります。正しい計算量とスピードが必要です。

予期しないレイテンシやダウンタイムから保護されるように、アーキテクチャにも適切な冗長性が必要です。

<！次のような質問をしてください。

あなたの組織は、今日と将来どのくらいのデータを管理する必要がありますか？

リアルタイムまたはほぼリアルタイムでデータを管理する頻度は、どのくらいですか？
あなたの組織はどれくらいのリスクを負うことができますか？厳格なセキュリティ、コンプライアンス、ガバナンスの要件に従っているか？
データ管理のスピードはどれくらい重要ですか？
<！ - 2 - >
データの正確性はどの程度正確か？
ビッグデータ用のインタフェースとフィード

実世界でのデータの大きさを理解するには、インタフェースとフィードの必要性を理解することから始めることが重要です。実際、大きなデータを大きくするのは、多くのソースからたくさんのデータを取得することに依存しているという事実です。

<！ - 3 - >

したがって、オープンなアプリケーションプログラミングインターフェイス（API）は、あらゆる大きなデータアーキテクチャの中核となるでしょう。さらに、インターフェイスはすべてのレベルで、スタックの各レイヤ間に存在することに注意してください。統合サービスがなければ、大きなデータは発生しません。

巨大なデータの物理的インフラストラクチャの冗長化

物理的インフラストラクチャをサポートすることは、大規模なデータアーキテクチャの運用とスケーラビリティの基本です。実際に、堅牢な物理インフラストラクチャが利用できない場合、大きなデータがこのような重要な傾向として浮上したとは限りません。予期せぬ、または予期しない大量のデータをサポートするには、ビッグデータの物理インフラストラクチャが従来のデータのインフラストラクチャと異なる必要があります。

物理インフラストラクチャは、分散コンピューティングモデルに基づいています。つまり、データはさまざまな場所に物理的に格納され、ネットワーク、分散ファイルシステム、さまざまなビッグデータ分析ツールおよびアプリケーションを使用してリンクすることができます。

非常に多くの異なるソースからのデータを扱っているため、冗長性は重要です。冗長性には多くの形があります。自社でプライベートクラウドを作成している場合は、プライベート環境内に冗長性を組み込んで、変化するワークロードをサポートするために拡張することができます。

社内でのITの拡大を望む場合、社内リソースを増強するために外部クラウドサービスを使用することがあります。場合によっては、この冗長性は、企業が高度なデータ分析をサービスとして行うことを可能にするSaaS（Software as a Service）の形で提供される場合があります。 SaaSのアプローチは、低コスト、迅速なスタートアップ、基盤技術のシームレスな進化を提供します。

ビッグデータセキュリティインフラストラクチャ

ビッグデータ分析が企業にとって重要になるほど、そのデータを保護することが重要になります。たとえば、医療機関であれば、大規模なデータアプリケーションを使用して、人口動態の変化や患者のニーズの変化を判断することができます。あなたの構成員に関するこのデータは、コンプライアンス要件を満たし、患者のプライバシーを保護するために保護する必要があります。

あなたは、誰がそのデータを見ることを許可されているのか、またどのような状況で許可されているのかを考慮する必要があります。患者の身元を確認するだけでなく、患者の身元を保護する必要があります。

業務上の大きなデータソース

ビジネスの全体像を把握し、ビジネスの運営方法にデータがどのように影響するかを見るためには、すべてのデータソースを組み込む必要があることを理解することが重要です。世界が変化するにつれて、運用データは、すべての形式のソーシャルメディアデータなどの非構造化されたソースを含む、より広範なデータソースを網羅しなければならないことを理解することが重要です。

ドキュメント、グラフ、円柱、および地理空間のデータベースアーキテクチャを含む、大規模データの世界で新しいデータ管理アプローチが見つかりました。集合的に、これらは

NoSQL、またはSQLデータベースだけでなく、本質的に、データ・アーキテクチャーをトランザクションのタイプにマップする必要があります。そうすることで、

正しいデータが必要なときに利用できるようになります。複雑な非構造化コンテンツをサポートするデータ・アーキテクチャーも必要です。ビッグ・データを活用するためのアプローチには、リレーショナル・データベースと非リレーショナル・データベースの両方を含める必要があります。また、360度のビジネスビューに近づくために、コンテンツ管理システムなどの非構造化データソースを含める必要があります。これらの運用データソースには、いくつかの共通の特徴があります。

リアルタイムでのビジネスの日常的な運用に必要な重要なデータを記録するシステムです。

これらは、ビジネスユニット内およびウェブから発生した取引に基づいて継続的に更新されます。
これらの情報源がビジネスの正確な表現を提供するためには、構造化データと非構造化データをブレンドする必要があります。これらのシステムは、一貫して何千人ものユーザーをサポートできるように拡張可能でなければなりません。これらには、トランザクション型eコマースシステム、顧客関係管理システム、コールセンターアプリケーションなどがあります。