強度スコア

Tealium Predictは、訓練された各バージョンに対する静的評価と、デプロイされた各モデルに対する動的評価の2種類の強度評価を提供します。各モデルの訓練された各バージョンに割り当てられた強度評価は、訓練の質とその結果として得られたモデルの評価を理解する簡単な方法を提供します。

まだデプロイされていないモデルには強度スコアは割り当てられません。訓練は一度きりのイベントであり、再訓練するたびに新しいバージョン番号が生成されます。例えば、_バージョン1_を再訓練すると、結果として得られるバージョンは_バージョン2_となります。各再訓練は新たな独立したイベントであり、これによりこの種の強度評価は静的であり、各バージョンに特定のものとなります。バージョンの評価は時間と共に変わりません。

各モデルの訓練された各バージョンの強度スコアは、訓練とその訓練から得られたモデルの質（強度）の評価を提供します。まだデプロイされていないモデルにはまだ強度スコアは割り当てられていません。強度スコアは、訓練詳細画面の訓練モデルと、ライブパフォーマンス画面のデプロイモデルの両方に表示されます。

訓練されたモデルの強度スコア

デプロイされたモデルの強度スコア

各再訓練は新たな独立したイベントを表し、これによりこの種の強度評価は静的であり、各バージョンに特定のものとなります。バージョンの評価は時間と共に変わりません。

再現率

モデルが正しく選択したデータの真のケースの割合。例えば、モデルが高価値の訪問を見逃さない能力を測定します。再現率は偽陰性を減らすための有用な指標であり、予測しようとしている行動の捕捉率と考えることができます。

再現率スコアは、モデルダッシュボードと訓練詳細画面の各バージョンの隣に表示されます。

精度

予測された真のケースが実際に真である割合。例えば、モデルが高価値の訪問の最高比率を予測する能力を測定します。精度は偽陽性を減らすための有用な指標であり、予測しようとしている行動の変換率と考えることができます。

F1スコア

精度と再現率の加重平均。モデルの精度を測定します。F1スコアを計算するためには、精度と再現率の値を以下の式に入力します：

F1スコア = 2 * ( (精度 * 再現率) / (精度 + 再現率) )

正確度

予測されたケースの中で正しかったケースの数を全予測ケース数で割ったもの。一般的な指標ではありますが、不均衡なデータセットに対するモデルの健康度の測定には適していません。

精度と再現率の比較

例として、赤と緑の2色のリンゴがあり、モデルがどのリンゴが赤いかを予測することを考えてみましょう。

モデルが高精度を持っている場合、これはモデルがリンゴが赤いと予測するときに通常正しいことを意味します。モデルが赤いとされるリンゴのリストを作成した場合、高精度はこのリストがほとんど正確であり、リストに載っているリンゴが実際に赤いことを意味します。

モデルが高再現率（感度）を持っている場合、モデルは赤いリンゴのほとんどを識別する能力を持っています。高再現率を持つモデルは、赤いリンゴの包括的なリストを作成するのに優れた仕事をします。

赤と緑のリンゴの同じ例を使用して、以下のリストは、高または低い精度または再現率に基づく予想される結果を説明しています。

高精度、低再現率 = かなり正確な赤いリンゴの短いリスト。
高精度、高再現率 = かなり正確な赤いリンゴの長いリスト
低精度、低再現率 = かなり不正確な赤いリンゴの短いリスト。このリストにはより多くの緑のリンゴが含まれています。
低精度、高再現率 = かなり不正確な赤いリンゴの長いリスト。このリストには緑のリンゴが含まれています。

理想的なモデルは明らかに高精度と高再現率の両方を持つべきです。予測される赤いリンゴの量と、それらの予測の精度の間の潜在的なトレードオフの概念は、機械学習モデルが現実世界でどのように使用されるかに影響を与える反復するテーマです。