目次:
- AmazonのパブリックElastic Compute Cloud(大規模データ用)
- Google Compute Engine:
- 大きなデータをWindows Azureソリューションに統合するための新たな要件に対応するため、MicrosoftはWindows Azure HDInsightも追加しました。 Microsoftによると、Hartonworks Data Platform(HDP)上に構築され、Apache Hadoopとの100%の互換性を提供するHDInsightは、Microsoft Excelや他のBI(Business Intelligence)ツールとの接続をサポートします。 Azureに加えて、HDInsightはWindows Serverにも展開できます。
- OpenStackの目標は、どのハードウェアでも実行できる大規模に拡張されたマルチテナントクラウド仕様を提供することです。 OpenStackは、デル、HP、インテル、シスコ、レッドハット、IBMなどのクラウドプラットフォームと、クラウド製品の基盤としてOpenStackを使用している他の100社以上のクラウドプラットフォームを採用する大きなエコシステムを構築しています。
ビデオ: AI時代のビックデータ 2024
クラウドプロバイダはすべての形とサイズで提供され、大きなデータに対してさまざまな製品を提供します。いくつかは世帯名であり、最近は別の名前が出ています。大きなデータに使用できるIaaSサービスを提供するクラウドプロバイダーにはAmazonがあります。 AT&T、GoGrid、Joyent、Rackspace、IBM、Verizon / Terremarkなど、
AmazonのパブリックElastic Compute Cloud(大規模データ用)
現在、最も注目されているIaaSサービスプロバイダの1つは、Elastic Compute Cloud(Amazon EC2)を使用したAmazon Webサービスです。 Amazonは、大きなインフラストラクチャサービスビジネスを構築するというビジョンから始めなかった。
<!代わりに、同社は小売事業を支える大規模なインフラストラクチャを構築し、そのリソースが十分に活用されていないことを発見しました。この資産をアイドル状態にするのではなく、このリソースを活用して収益を上げることにしました。 AmazonのEC2サービスは2006年に開始され、進化し続けています。Amazon EC2は、ユーザーが1時間単位でリソースを支払うことで、ユーザーのコントロール下でスケーラビリティを提供します。アマゾンのEC2の命名において、
弾性 という用語を使用することは重要です。ここで、弾力性とは、EC2ユーザーが自分のニーズを満たすために割り当てられたインフラストラクチャリソースを増減させる能力を指します。 <! - 2 - >
Amazonは、Amazon Webサービスポートフォリオの顧客に、他の大規模データサービスも提供しています。これらには次のものが含まれます:Amazon Elastic MapReduce:
-
膨大な量のデータを処理することを目標としています。 Elastic MapReduceは、EC2とAmazon Simple Storage Service(Amazon S3)上で実行されるホストされたHadoopフレームワークを利用します。ユーザーはHBaseを実行できるようになりました。 Amazon DynamoDB:
-
完全管理のSQL(NoSQL)データベースサービスだけでなく、 DynamoDBは、自己プロビジョニング、透過的なスケーラビリティ、シンプルな管理を提供する、フォールトトレラントで可用性の高いデータストレージサービスです。 SSD(ソリッド・ステート・ディスク)に実装されているため、信頼性とパフォーマンスが向上します。 <! Amazon Simple Storage Service(S3):
任意の量のデータを格納するためのWebスケールサービス。設計センターの強みはパフォーマンスとスケーラビリティです。そのため、他のデータストアほどの機能はありません。データは「バケット」に格納され、物理ストレージの1つ以上のグローバルリージョンを選択して、レイテンシや規制のニーズに対応することができます。 -
Amazonハイパフォーマンスコンピューティング: 専門的なタスクに合わせて調整されたこのサービスは、低レイテンシのチューニングされた高性能コンピューティングクラスタを提供します。科学者や学者が最も頻繁に使用するHPCは、Amazonやその他のHPCプロバイダが提供するため、主流になりつつあります。Amazon HPCクラスタは特定のワークロード用に設計されたもので、新しいタスクのために簡単に再構成できます。
-
Amazon RedShift: 限られたプレビューで利用可能なRedShiftは、スケーラブルなMPPアーキテクチャ上に構築されたペタバイト規模のデータウェアハウスサービスです。 Amazonによって管理され、社内のデータウェアハウスへの安全で信頼性の高い代替手段を提供し、いくつかの一般的なビジネスインテリジェンスツールと互換性があります。
-
Googleの大規模データサービス インターネット検索の大手であるGoogleは、大きなデータを対象とした多数のクラウドサービスも提供しています。
Google Compute Engine:
仮想マシンコンピューティングのクラウドベースの機能であるGoogle Compute Engineは、エネルギー効率の高いデータセンターから安全で柔軟なコンピューティング環境を提供します。 Googleはまた、Google Compute Engine向けに製品を最適化した複数の技術パートナーのワークロード管理ソリューションも提供しています。
-
Google Big Query: 潜在的に数十億行の大規模なデータセットに対して、高速でSQLライクなクエリを実行できます。データの照会には適していますが、データを照会するとデータを変更することはできません。 Google Big Queryは、大規模データ用のオンライン分析処理(OLAP)システムの一種です。アドホックなレポート作成や探索的な解析に適しています。
-
Google Prediction API: 膨大な量のデータを扱うクラウドベースの機械学習ツール。予測はデータのパターンを識別して覚えておくことができます。パターンが使用されるたびにパターンについてもっと知ることができます。パターンは、詐欺検出、解約分析、顧客感情など、さまざまな目的で分析することができます。
-
大規模データ用のMicrosoft Azure Microsoftは、WindowsとSQLの抽象化に基づいて、PaaS製品に一連の開発ツール、仮想マシンサポート、管理とメディアサービス、モバイルデバイスサービスを製品化しました。.Net、SQLServer、およびWindowsの深い専門知識を持つお客様のために、AzureベースのPaaSの採用は簡単です。
大きなデータをWindows Azureソリューションに統合するための新たな要件に対応するため、MicrosoftはWindows Azure HDInsightも追加しました。 Microsoftによると、Hartonworks Data Platform(HDP)上に構築され、Apache Hadoopとの100%の互換性を提供するHDInsightは、Microsoft Excelや他のBI(Business Intelligence)ツールとの接続をサポートします。 Azureに加えて、HDInsightはWindows Serverにも展開できます。
大規模データ用のOpenStack
OpenStackは、RackspaceとNASAによって開始され、公開クラウドまたはプライベートクラウドを対象としたオープンクラウドプラットフォームを実装しています。組織はRackspaceによって緊密に管理されていますが、別のOpenStack基盤に移行しました。企業は独自の実装を作成するためにOpenStackを活用することができますが、OpenStackの指定では標準的なサービスの実装に準拠する必要があります。
OpenStackの目標は、どのハードウェアでも実行できる大規模に拡張されたマルチテナントクラウド仕様を提供することです。 OpenStackは、デル、HP、インテル、シスコ、レッドハット、IBMなどのクラウドプラットフォームと、クラウド製品の基盤としてOpenStackを使用している他の100社以上のクラウドプラットフォームを採用する大きなエコシステムを構築しています。
本質的に、OpenStackは、Debian LinuxディストリビューションをベースとするオペレーティングシステムであるUbuntu上に構築されたオープンソースのIaaSイニシアチブです。 Red HatのLinux版でも動作します。
OpenStackは、計算、オブジェクトストレージ、カタログとリポジトリ、ダッシュボード、アイデンティティ、ネットワーキングなど、さまざまなサービスを提供しています。大きなデータの点で、RackspaceとHortonworks(Apache Hadoopに基づくオープンソースデータ管理プラットフォームのプロバイダ)は、RackspaceがOpenStackパブリッククラウドベースのHadoopサービスをリリースすると発表しました。これはHortonworksによって検証され、サポートされ、すぐに大きなデータ環境を作成します。