交差検証とは？モデルの汎化性能を正しく評価する方法

交差検証とは

交差検証とは、データセットを複数の部分集合に分割し、学習と検証を繰り返すことでモデルの汎化性能を評価する手法です。英語では Cross-Validation と呼ばれ、CVと略されます。

モデルの性能を評価する際、学習に使ったデータで評価すると過学習の影響で実際よりも高い精度が出てしまいます。かといって、データを学習用と検証用に一度だけ分割する方法では、分割の仕方によって結果が大きく変動します。交差検証は、この問題を解決するための標準的な手法です。

構成要素

k分割交差検証

最も広く使われる手法です。データをk個の等分に分割し、1つを検証用、残りのk-1個を学習用として、k回の学習と検証を行います。

• データをk個に分割（一般的にk=5またはk=10）
• 各回で異なる1つの分割を検証用データとして使用
• k回の評価結果の平均値を最終的な性能指標とする

kの値が大きいほど評価のバイアスは小さくなりますが、計算コストが増大し、分散が大きくなる傾向があります。

層化交差検証

目的変数のクラス比率を各分割で維持する手法です。分類問題で特に重要です。

状況	通常のk分割	層化k分割
クラス不均衡なデータ	一部の分割にクラスが偏る	各分割で比率を維持
少数クラスの評価	不安定になりやすい	安定した評価が可能
推奨場面	回帰問題	分類問題全般

Leave-One-Out交差検証

データを1件ずつ検証用に取り出し、残り全体で学習する手法です。LOOCVと略されます。

• データ件数nに対してn回の学習と検証を実行
• バイアスが最も小さいが、計算コストが最大
• データ件数が少ない場合に有効

時系列交差検証

時系列データに対応した手法です。未来のデータで過去を予測することを防ぐため、常に過去のデータで学習し、未来のデータで検証します。

• 学習データは常に検証データより前の期間
• ウィンドウを順次移動させて複数回評価
• 時間的な依存関係を保持した信頼性の高い評価が可能

実践的な使い方

ステップ1: データの特性に応じた手法を選択する

まず、データの性質を確認します。分類問題であれば層化k分割、時系列データであれば時系列交差検証を選択します。データ件数が少ない（100件未満など）場合はLOOCVも選択肢に入ります。一般的にはk=5の層化k分割が最初の選択として適切です。

ステップ2: パイプラインに組み込んで実行する

特徴量選択やスケーリングなどの前処理を含む全体のパイプラインに対して交差検証を適用します。前処理を交差検証の外で行うと、検証データの情報が学習に漏洩するデータリークが発生します。

ステップ3: 結果を総合的に解釈する

k回の評価結果の平均値だけでなく、標準偏差も確認します。標準偏差が大きい場合、モデルの安定性に問題がある可能性があります。各分割の結果を個別に確認し、特定の分割で極端に性能が低下していないかも検証します。

活用場面

• 予測モデルの精度を客観的に評価し、クライアントに報告する場面
• 複数のモデル候補の中から最適なモデルを選定する場面
• ハイパーパラメータの調整で最適な設定を探索する場面
• 特徴量選択の結果が妥当かを検証する場面
• データ量が限られる状況で信頼性の高い評価を行う場面

注意点

データリークの防止

推定値の限界と計算コスト

交差検証の結果はあくまで推定値であり、真の汎化性能とは異なる場合があります。最終的なモデル性能の確認には、交差検証とは別に保持しておいたテストデータでの評価が推奨されます。計算コストについても考慮が必要です。大規模データセットでk=10の交差検証を行うと、10回分の学習時間が必要になります。ディープラーニングなど学習に時間がかかるモデルでは、k=3やホールドアウト法との併用も検討してください。

まとめ

交差検証は、データを繰り返し分割して学習と検証を行うことで、モデルの汎化性能を安定的に評価する手法です。k分割交差検証を基本に、データの特性に応じて層化、LOOCV、時系列交差検証を使い分けることが重要です。前処理を含むパイプライン全体に適用し、平均値と標準偏差の両面から結果を解釈することで、信頼性の高いモデル評価が実現できます。