ベイズ最適化とは？少ない試行で最適条件を見つけるブラックボックス最適化手法
ベイズ最適化は、ガウス過程回帰と獲得関数を組み合わせ、評価コストの高い関数の最適条件を少ない試行回数で効率的に探索する手法です。仕組み、実装手順、ビジネス活用法を解説します。
ベイズ最適化とは
ベイズ最適化（Bayesian Optimization）は、評価コストの高いブラックボックス関数の最適条件を、少ない試行回数で効率的に見つけ出すための逐次最適化手法です。
「ブラックボックス関数」とは、数式で表現できないが入力を与えれば出力が得られる関数です。たとえば機械学習モデルのハイパーパラメータ調整、A/Bテストの条件探索、製造プロセスの最適化などが該当します。これらは1回の評価に時間やコストがかかるため、むやみに多くの試行を行えません。
ベイズ最適化は、少ない観測データから対象関数の確率的なモデル（サロゲートモデル）を構築し、「次にどこを試すべきか」を賢く選ぶことで効率的な探索を実現します。
Jonas Mockusが1970年代にベイズ最適化の理論的基礎を確立しました。2012年にJasper SnoekらがNIPS論文で機械学習のハイパーパラメータ調整への応用を示して以降、広く普及しました。
ベイズ最適化の核心は「探索（Exploration）と活用（Exploitation）のバランス」です。まだ試していない領域を探索しつつ、すでに良い結果が出ている近傍も活用する。この二律背反を獲得関数が数学的に解決します。
構成要素
サロゲートモデル（ガウス過程回帰）
観測データから対象関数を確率的に近似するモデルです。ガウス過程回帰（GP）が最も広く使われ、各入力点での予測値と不確実性（予測分散）を同時に提供します。
| サロゲートモデル | 特徴 | 適用場面 |
|---|---|---|
| ガウス過程回帰 | 不確実性の推定が自然、少データで有効 | 次元が低い（10次元以下）問題 |
| ランダムフォレスト | カテゴリ変数を直接扱える | 混合型の入力空間 |
| TPE（Tree Parzen Estimator） | 条件付き構造を扱いやすい | ハイパーパラメータ調整 |
獲得関数
サロゲートモデルの予測値と不確実性をもとに、次に評価すべき点を選定する関数です。
| 獲得関数 | 方針 | 特徴 |
|---|---|---|
| Expected Improvement (EI) | 現在の最良値からの期待改善量を最大化 | 最も広く使われる |
| Upper Confidence Bound (UCB) | 予測値 + 不確実性の加重和を最大化 | 探索と活用のバランスを直接調整 |
| Probability of Improvement (PI) | 現在の最良値を改善する確率を最大化 | 活用寄りの戦略 |
逐次的な更新ループ
「サロゲートモデルの更新 → 獲得関数の最大化 → 新しい点の評価 → データの追加」というループを繰り返します。試行ごとに不確実性が減少し、最適点に収束していきます。
実践的な使い方
ステップ1: 探索空間の定義
最適化対象のパラメータとその範囲を定義します。連続変数、離散変数、カテゴリ変数を混在させることも可能です。事前知識があれば探索範囲を絞り込みます。
ステップ2: 初期データの取得
ランダムサンプリングやラテン超方格サンプリングで初期の評価点を取得します。初期点の数はパラメータ次元の5〜10倍が目安です。
ステップ3: 逐次最適化ループの実行
サロゲートモデルを学習し、獲得関数を最大化する次の評価点を選び、実際に評価します。この手順を予算（試行回数）の上限まで繰り返します。
ステップ4: 結果の分析と最適条件の選定
収束の過程を可視化し、最適条件を特定します。サロゲートモデルの予測曲面やパラメータの重要度を分析し、感度の高いパラメータを把握します。
活用場面
- 機械学習モデルのハイパーパラメータ（学習率、正則化係数、ツリー深度など）の効率的な調整
- A/Bテストの次の実験条件を適応的に選択し、最適なUI/UX設計を探索する場面
- 製造プロセスのパラメータ最適化で、各試行のコストが高い場面
- 広告入札戦略のパラメータ調整で、実際のインプレッションデータに基づく逐次改善
注意点
ベイズ最適化はグリッドサーチやランダムサーチに比べて、同じ試行回数で大幅に良い最適値に到達することが実証されています。特に10試行以下の極めて少ない評価回数で効果が顕著です。
高次元問題への制約
ガウス過程回帰は次元数が増えると計算コストが急増し、予測精度も低下します。一般的に20次元を超える問題では、ランダムフォレストベースのサロゲートモデルや、部分空間への射影を併用するアプローチが必要です。
サロゲートモデルの誤特定
サロゲートモデルが対象関数を正しく近似できない場合、獲得関数が不適切な点を選択し、最適化の効率が低下します。カーネル関数の選択や事前分布の設定を慎重に行い、サロゲートモデルの予測精度をモニタリングしてください。
局所最適への収束
獲得関数が活用に偏ると、局所最適に早期収束するリスクがあります。EI関数はこのリスクが比較的低いですが、定期的にランダムな探索点を混ぜる（epsilon-greedy戦略）ことで大域的な探索を補完できます。
まとめ
ベイズ最適化は、サロゲートモデルと獲得関数を組み合わせて、評価コストの高い関数の最適条件を少ない試行で見つけ出す手法です。ハイパーパラメータ調整から実験計画まで幅広く応用できますが、探索空間の次元数とサロゲートモデルの適切な選択が成功の鍵となります。