ビデオ: Lesson 1: Deep Learning 2018 2024
機械学習では、クロスバリデーションに頼る必要があることがあります。列車/テストセットの大きな問題は、サンプル内トレーニングデータのサイズを縮小しているため、実際にテストにバイアスを導入していることです。データを分割すると、実際にいくつかの有用な例がトレーニングから守られている可能性があります。さらに、データセットが非常に複雑であるため、トレーニングセットによく似ていますが、値の組み合わせが異なる（高度なディメンションデータセットの典型です）ため、トレーニングセットと似ていますが、実際には似ていません。
<！ - 1 - >これらの問題は、サンプルがあまりないときは、サンプリング結果が不安定になります。データを不適切な方法で分割するリスクは、機械学習の評価と調整が必要なときに、列車/テストの分割が機械学習の実践者によって好まれた解決策ではない理由を説明します。
k-foldに基づくクロスバリデーションは実際の答えです。これはランダム分割に依存しますが、今回はデータを同じサイズの折り返し数k（データの一部）に分割します。次に、各折り目はテストセットとして順番に保持され、他のものはトレーニングのために使用される。各反復では、テストとは異なる折り畳みが使用され、エラーの推定値が生成されます。
<！実際には、トレーニングとして使用された他のものに対して1倍のテストを完了した後、以前のものとは異なる連続するフォールドが放棄され、別のエラー推定値を生成するために手順が繰り返される。このプロセスは、すべてのkフォールドがテストセットとして1回使用され、平均誤差推定値（クロスバリデーションスコア）と推定値の標準誤差に計算できるk個の誤差推定値があるまで続きます。<！ - 3 - >
相互検証の仕組みをグラフで表したもの。
使用されている折り畳みの数を増やすと、実際にはトレーニングセットのサイズが大きくなります（大きなk、バイアスを減らし）、テストセットのサイズを小さくする。
- 個々の折り目の分布の違いはそれほど重要ではありません。フォールドが他と比較して異なる分布を持つ場合、フォールはテストセットとして1回だけ使用され、残りのテストではトレーニングセットの一部として他とブレンドされます。
- あなたは実際にすべての観測をテストしているので、所有しているすべてのデータを使って機械学習仮説を完全にテストしています。
- 結果の平均をとることで、予測パフォーマンスが期待できます。さらに、結果の標準偏差は、実際のサンプル外データでどのくらいの変動が期待できるかを示すことができます。クロスバリデーションされたパフォーマンスのバリエーションが高いほど、多彩なデータが得られます。アルゴリズムでは適切にキャッチできません。
- 使用しているデータに重要な順序がある場合を除いて、k-foldクロスバリデーションを使用するのが最適です。たとえば、販売などの時系列を含む場合があります。その場合は、無作為サンプリング方法を使用するのではなく、元のシーケンスに基づいた列車/テスト分割に依存して、その順序が保持され、その順序シリーズの最後の例についてテストすることができます。
