交差エントロピー（Cross Entropy）は、情報理論における概念であり、機械学習、特に分類問題において、モデルの予測と真の分布との間の差異を測るために広く用いられる損失関数の一つです。この概念は、2つの確率分布がどれだけ異なっているかを定量化するために使用され、モデルの予測精度を評価し、改善するための重要な指標となります。
交差エントロピーの定義
交差エントロピーは、真の確率分布p(x)と、モデルによって予測された確率分布q(x)との間で定義されます。離散確率分布の場合、交差エントロピーH(p, q)は以下の式で表されます。
H(p, q) = -Σ p(x) log q(x)
ここで、Σは全ての可能な事象xについての和を表し、logは自然対数を表します。この式からわかるように、交差エントロピーは、真の分布p(x)に基づいて、予測分布q(x)の対数を重み付けしたものの負の和として定義されます。
交差エントロピーの解釈
交差エントロピーは、情報理論におけるエントロピーの概念を拡張したものであり、2つの分布がどれだけ「異なっているか」を測る尺度として解釈できます。
- 最小化
- 機械学習においては、交差エントロピーを最小化することが目的となります。これは、モデルの予測分布q(x)を真の分布p(x)に近づけることを意味します。
- 損失関数
- 分類問題において、交差エントロピーは損失関数として用いられ、モデルの予測誤差を評価し、学習プロセスを導くために使用されます。
- 分類問題への応用
- 特に多クラス分類問題において、交差エントロピーはソフトマックス関数と組み合わせて使用されることが多く、モデルの予測精度を向上させるために重要な役割を果たします。
交差エントロピーの重要性
交差エントロピーは、機械学習モデルの学習において、以下の点で重要な役割を果たします。
交差エントロピーの種類
交差エントロピーには、二値交差エントロピー（Binary Cross Entropy）とカテゴリカル交差エントロピー（Categorical Cross Entropy）の2種類があります。
- 二値交差エントロピー
- 二値分類問題（例えば、スパムメールの判定）に使用されます。
- カテゴリカル交差エントロピー
- 多クラス分類問題（例えば、画像の物体認識）に使用されます。
これらの損失関数は、モデルの出力層で適切な活性化関数（シグモイド関数またはソフトマックス関数）と組み合わせて使用され、モデルの学習を効果的に行うために重要な役割を果たします。
