ビデオ: Microsoft Ignite 2019 Vision Keynote 日本語同時通訳版 2024
Bloomフィルタはストリームから到着するオブジェクトを追跡できますが、そこに存在するオブジェクトの数はわかりません。 1で満たされたビットベクトルは（ハッシュの数と衝突の確率に応じて）同じアドレスでハッシュされているオブジェクトの真の数を隠すことができます。特定のウェブサイトのページを何人の別個のユーザが見たか、または異なる検索エンジンのクエリの数を知りたい場合など、様々な状況において、オブジェクトの異なる数を知ることは有用である。すべての要素を格納し、その中に重複を見つけることは、特にストリームから来る何百万もの要素では機能しません。ストリーム内の別個のオブジェクトの数を知りたければ、依然としてハッシュ関数に頼る必要がありますが、アプローチには数字のスケッチが必要です。
<！ - 1 - >
スケッチは、近似を取ることを意味します。つまり、不正確ではありませんが、完全に間違った値ではありません。近似値は実際の値がそれほど遠すぎないので許容できます。このスマートなアルゴリズムでは、確率と近似に基づく HyperLogLog は、ストリームから生成された数の特徴を観察します。 HyperLogLogは、コンピュータ科学者ナイジェル・マーティンとフィリップ・フラホレの研究から得られたものです。 Flajoletは、 Flajolet-Martin （またはLogLogアルゴリズム）の初期アルゴリズムを、より強力なHyperLogLogバージョンに改良しました。これは <！ - 2 - >
ハッシュは、ストリームから受け取ったすべての要素を数値に変換します。- アルゴリズムは、数値をコンピュータが使用する基本2の数値標準であるバイナリに変換します。
- このアルゴリズムは、2進数の最初の0の数と、それが見る最大数のトラックをカウントします。これは
- n です。アルゴリズムは、nを使用してストリーム内で受け渡される個別要素の数を推定する。異なる要素の数は2 ^ n
- です。 <！ - 3 - > たとえば、文字列の最初の要素は
アルゴリズムは整数値にハッシュし、結果を01101010としたバイナリに変換します。数字の先頭には1つのゼロしか表示されないため、アルゴリズムはそれを末尾のゼロの最大数として記録します。アルゴリズムは、バイナリ相当語が11101011と01101110である単語 parrot と Wolf を見て、nは変更しません。しかし、単語 cat が合格すると、出力は00101110になるので、nは2になります。別個の要素の数を推定するために、アルゴリズムは2 ^ n、つまり2 ^ 2 = 4を計算します。図はこのプロセスを示しています。 先行ゼロのみを数えます。 アルゴリズムのトリックは、ハッシュが（Bloomフィルタのように）均等に分布したランダムな結果を生成している場合、バイナリ表現を見ることで、一連のゼロが現れる確率を計算することができるということです。 1つの2進数が0になる確率は2の1であるため、0のシーケンスの確率を計算するには、0のシーケンスの長さの1/2倍の確率を掛けます：
HyperLogLogで見られる数字が少ないほど、不正確さが大きくなります。異なるハッシュ関数を使用してHyperLogLog計算を何度も使用し、各計算からの回答を平均化すると、精度が向上しますが、ハッシュに何度も時間がかかり、ストリームが高速です。代わりに、同じハッシュを使用できますが、ストリームをグループに分割します（たとえば、到着順序に基づいて到着するように要素をグループに分けるなど）。グループごとに、末尾のゼロの最大数を追跡します。最後に、各グループの個別要素の見積もりを計算し、すべての見積もりの算術平均を計算します。このアプローチは確率的な平均化であり、アルゴリズムをストリーム全体に適用するよりも正確な推定値を提供します。
