ビデオ: Developer Keynote: Get to the Fun Part (Cloud Next '19) 2025
ビッグデータスタックのレイヤー1のセキュリティおよびプライバシー要件は類似しています従来のデータ環境の要件に準拠しています。セキュリティ要件は、特定のビジネスニーズに密接に関連しなければなりません。大規模なデータが戦略の一部となる場合、いくつかの固有の課題が発生します。
-
データアクセス：生データまたは計算された大規模データへのユーザーアクセスは、大規模でないデータ実装とほぼ同じレベルの技術要件を持ちます。データは、正当なビジネス上の必要性を持っているか、それを調べたり、対話する必要がある人にのみ利用可能でなければなりません。ほとんどのコアデータストレージプラットフォームは厳格なセキュリティスキームを持ち、フェデレーションされたID機能で拡張され、アーキテクチャの多くの層にわたって適切なアクセスを提供します。 <！ - 1 - >
アプリケーションへのアクセス： -
アプリケーションへのデータへのアクセスも、技術的な観点からは比較的簡単です。ほとんどのアプリケーションプログラミングインターフェイス（API）は、不正な使用やアクセスから保護します。このレベルの保護は、大部分の大規模データの実装にはおそらく適切です。 データ暗号化：
-
データ暗号化は、大規模なデータ環境におけるセキュリティの最も困難な側面です。伝統的な環境では、データの暗号化と復号化は実際にシステムのリソースに重点を置いています。この問題は大きなデータで悪化します。最も簡単な方法は、より高速な計算能力を提供することです。より温和なアプローチは、このレベルのセキュリティを必要とするデータ要素を特定し、必要な項目のみを暗号化することです。 <！モバイルデバイスとソーシャルネットワークを含めると、データの量とセキュリティの脅威の機会の両方が急激に増加します。したがって、組織がセキュリティに対するマルチペリメーターアプローチをとることが重要です。
物理インフラストラクチャはあらゆるものを可能にし、セキュリティインフラストラクチャは大きなデータ環境のすべての要素を保護します。スタックの次のレベルは、企業アプリケーションからインターネットのデータフィードまで、スタックのすべてのコンポーネントに双方向のアクセスを提供するインターフェイスです。 -
<！ - 3 - > これらのインタフェースの設計の重要な部分は、社内外、そしておそらく社外だけでなく、技術パートナーやビジネスパートナーと共有できる一貫した構造の構築です。
何十年もの間、プログラマはソフトウェア実装とのアクセスを提供するためにAPIを使用してきました。ツールとテクノロジーの提供者は、自社の製品を使用して新しいアプリケーションを作成することが比較的簡単な作業であることを保証するために、かなりの時間を費やします。非常に有益ですが、ITプロフェッショナルにとって、会社専用のカスタムAPIまたは専用APIを作成する必要があることがあります。
競争上の優位性、組織固有の必要性、またはその他のビジネス上の要求に対して、これを行う必要があるかもしれません。単純な作業ではありません。ビジネスへの価値を維持するためには、APIを十分に文書化し、維持する必要があります。このため、一部の企業では、APIツールキットを使用してこの重要なアクティビティを開始することを選択しています。APIツールキットには、内部的に開発されたAPIに比べていくつかの利点があります。 1つは、APIツールキットが、独立した第三者によって作成、管理、および保守される製品であることです。第2に、特定の技術要件を解決するように設計されています。
大きなデータの課題には、APIの開発や採用に若干異なるアプローチが必要です。大量のデータは構造化されておらず、ビジネスのコントロールの外側で生成されるため、大規模データとアプリケーションプログラム間のインタフェースとして、NLP（Natural Language Processing）と呼ばれる新しい手法が採用されています。
NLPでは、SQLのような正式な照会言語の代わりに自然言語構文を使用して照会を作成できます。ほとんどの大規模なデータユーザーにとっては、回答の30行のSQLクエリを書くよりも、「米国南東部にあり、NASCARのファンである30歳から40歳のすべての既婚の男性消費者をリストする」ことを尋ねる方がずっと簡単です。
大部分のデータ収集と移動は非常に似通った特性を持つため、大容量のデータ項目を収集、クリーンアップ、変換、正規化、および選択したストレージシステムに格納する一連のサービスを設計できます。
必要に応じて柔軟性を高めるために、ファクトリはExtensible Markup Language（XML）で記述されたインタフェース記述で駆動することができます。このレベルの抽象化により、各データソースに対して特定のサービスを構築する必要なく、特定のインターフェイスを簡単かつ迅速に作成することができます。
実際には、XMLのようなものを使用してSAPまたはOracleアプリケーション・インタフェースの説明を作成できます。各インタフェースは、同じ基本ソフトウェアを使用して、SAPまたはOracleの仕様に関係なく、ビッグデータ環境と本番環境の間でデータを移行します。インターネット上のソーシャルサイトからデータを収集する必要がある場合、その練習は同じです。
XMLのサイトへのインタフェースを記述し、データを前後に移動するためにサービスを利用します。通常、これらのインターフェイスは、社内外の技術者が使用するために文書化されています。
