Image Hadoopでの分類

ビデオ: TensorFlow Ecosystem: Integrating TensorFlow with your infrastructure (TensorFlow Dev Summit 2017) 2024

しかし、膨大な量のデータ処理リソースが、配置の規模を制限している。このような大規模で効率的な規模でのこのような高価な処理のために、Hadoopが登場するまでは主流の技術が不可能だったため、画像分類はHadoopの世界では注目されています。

画像分類は、トレーニングセットを構築し、コンピュータが自分が見ているものを識別し、分類することを学ぶという概念から始まります。同様の方法で、より多くのデータを持つことは不正検出とリスクモデルの改善に役立ち、システムが画像をよりよく分類する助けにもなります。

<！ - 1 - >

このユースケースでは、データは分類器と同様にトレーニングセットと呼ばれます。クラシファイアは、サウンド、画像、またはビデオ内の特徴またはパターンを認識し、それらを適切に分類する。クラシファイアは構築され、トレーニングセットから反復的に洗練され、その精度スコア（正確度の測定値）およびリコールスコア（カバレッジの測定値）が高くなります。 Hadoopは、分類子モデルを作成するだけでなく、構造化されていない大量のデータボリューム全体でこれらの分類子を処理し実行するための無制限のスケーラビリティを提供するために、大規模並列処理環境を提供するため、

<！ - 2 - >

YouTube、Facebook、Instagram、Flickrなどのマルチメディアソースはすべて、非構造化バイナリデータのソースです。この図は、Hadoopを使用して、大量の保存されたイメージとビデオをマルチメディアセマンティック分類に合わせて処理する方法の1つを示しています。

Hadoop処理フレームワークに関するすべての概念がこのデータにどのように適用されているかを見ることができます。画像がHDFSにどのように読み込まれているかに注目してください。時間をかけて構築されたクラシファイアモデルは、このソリューションのマップフェーズで余分な画像特徴コンポーネントに適用されるようになりました。右下に表示されているように、この処理の出力は、漫画からスポーツ、場所などの画像分類から構成されています。

<！ - 3 - >

Hadoopはオーディオや音声分析にも使用できます。私たちが取り組んでいるセキュリティ業界のクライアントの1人は、原子炉の周囲に設置された音響に富んだ光ファイバケーブルを介して聞こえる音を分類するためのオーディオ分類システムを作成しています。例えば、このシステムは、人間の声のささやきと比べて、風の囁きをほとんど瞬間的に分類する方法や、周辺の公園で走っている人間の足音の音を野生動物の音から区別する方法を知っています。

この説明には

スタートレック

のような感覚がありますが、実際の例を見ることができます。 IBMは、IBM Multimedia Analysis and Retrieval System（IMARS）を使用して、世界最大の画像分類システムの1つを公開しています。ここでは、アルパインスキーのIMARS検索の結果を示します。

図の上部に、関連付けられたタグクラウドとともにHadoopで処理されたイメージセットにマップされた分類子の結果が表示されます。より細かいものではなく、より粗く定義された親分類子に注目してください。実際には、複数の分類層に注目してください。ロールインするロールインは、すべてがHadoopを使用して構築されスコアリングされたクラシファイアモデルによって自動的に生成されます。これらの写真には、メタデータが追加されていません。誰もiPhotoを開いておらず、冬のスポーツとして画像をタグ付けしてこの分類に表示させることはできません。これは、冬の設定で行われるスポーツの画像属性と特性を認識するために構築された冬のスポーツ分類子です。