予測分析モデルをテストする方法 - 作成した予測分析モデルをテストするためのダミー

作成した予測分析モデルをテストするには、データセットをトレーニングセットとテストデータセットの2つのセットに分割する必要があります。これらのデータセットはランダムに選択する必要があり、実際の母集団を適切に表現する必要があります。同様のデータは、訓練データセットおよびテストデータセットの両方に使用されるべきである。

通常、トレーニングデータセットはテストデータセットよりもかなり大きい。
<！ - 1 - >
テストデータセットを使用すると、オーバーフィットなどのエラーを回避できます。
訓練されたモデルがテストデータに対して実行され、モデルがどれだけうまく機能するかを見る。
一部のデータ科学者は、最初の2つのデータセットに類似した特性を持つ第3のデータセット、すなわち

検証データセットを持つことを好みます。モデルを精緻化するためにテストデータを積極的に使用している場合は、モデルの精度をチェックするために別の（3番目の）セットを使用する必要があります。 <！ - 2 - >

モデルの開発プロセスの一部として使用されなかった検証データセットを持つことは、モデルの精度と有効性の中立的な推定を確実にするのに役立ちます。

さまざまなアルゴリズムを使用して複数のモデルを構築している場合、検証サンプルは、どのモデルが最も優れているかを評価するのにも役立ちます。

モデルの開発とテストを再確認してください。特に、モデルの性能や精度があまりにも良いと思われる場合は懐疑的になります。エラーは、少なくともあなたがそれらを予期しないところで起こることがあります。たとえば、時系列データの日付を誤って計算すると、誤った結果につながる可能性があります。

<！ - 9 - >

クロスバリデーションを採用する方法

クロスバリデーション

は、モデルの評価と検証によく使用されるテクニックです。テストとトレーニングに別々のデータセットを使用するのと同じ原理がここに適用されます。トレーニングデータを使用してモデルを構築します。モデルはテストセットに対して実行され、以前には見られなかったデータを予測します。これは、その精度を評価する1つの方法です。クロスバリデーションでは、履歴データをX個のサブセットに分割する。テストデータとして使用するためにサブセットが選択されるたびに、残りのサブセットがトレーニングデータとして使用されます。次に、次の実行では、前のテストセットがトレーニングセットの1つになり、以前のトレーニングセットの1つがテストセットになります。プロセスは、そのX個のセットのすべてのサブセットがテストセットとして使用されるまで続く。たとえば、1から5までの5つのセットに分割したデータセットがあるとします。最初の実行では、テストセットとしてセット1を使用し、トレーニングセットとしてセット2,3,4,5を使用します。次に、2回目の実行では、セット2をテストセットとして使用し、1、3、4、5をトレーニングセットとして設定します。

5つのセットのすべてのサブセットがテストセットとして使用されるまで、このプロセスを続行します。

クロスバリデーションでは、トレーニングデータとテストデータの両方に履歴データのすべてのデータポイントを使用できます。この手法は、履歴データを2つのセットに分割することよりも効果的です。トレーニングセットにはトレーニング用に最も多くのデータを使用し、テスト用には他のセットを使用し、それをそのままにします。

データをクロスバリデーションすると、予測するのが簡単でないテストデータをランダムに選択することから自分を守ります。これは、モデルが正確であるという誤った印象を与えます。また、予測が難しいテストデータを選択した場合は、期待通りにモデルが正常に動作していないと誤って判断する可能性があります。

相互検証は、モデルの精度を検証するだけでなく、複数のモデルの性能を比較するために広く使用されています。

バイアスと分散のバランスをとる方法

バイアスと分散は、分析モデルを構築する際に発生する2つのエラーの原因です。バイアスは、モデルを構築するために使用された履歴データ内のデータポイント間の関係の提示を大幅に単純化するモデルを構築した結果である。

分散

は、モデルを構築するために使用されたデータに明示的に固有のモデルを構築した結果です。バイアスと分散との間のバランスを達成する - 分散を低減し、バイアスを許容することによって、より良い予測モデルにつながる可能性がある。このトレードオフは、通常、あまり複雑ではない予測モデルを構築することにつながります。

バイアスと分散との間のこのトレードオフを考慮に入れるために、多くのデータマイニングアルゴリズムが作成されている。

アイデアのトラブルシューティング方法モデルをテストしているときにどこにも行かない場合は、次のように考え直すことをお勧めします。

常に作業内容を確認してください。あなたは正しいと思われるものを見落としているかもしれませんが、そうではありません。このような欠陥は、データセット内の予測変数の値や、データに適用した前処理の中に（たとえば）表示される可能性があります。選択したアルゴリズムが結果をもたらさない場合は、別のアルゴリズムを試してみてください。たとえば、利用可能ないくつかの分類アルゴリズムを試してみて、データとビジネスモデルのモデルに応じて、それらのモデルの1つが他のモデルより優れているかもしれません。

異なる変数を選択したり、新しい派生変数を作成してみてください。予測力を持つ変数を常に見守ってください。

データを理解し、変数を選択し、モデルの結果を解釈するのに役立つビジネスドメインの専門家に頻繁に相談してください。