勾配ブースティングの原理：GBDT・XGBoost・LightGBM

ブースティングの考え方：弱学習器を逐次的に足す

勾配ブースティング（gradient boosting） は、表形式データで今なお最強級の予測精度を出すアンサンブル手法です。中心となる発想は単純で、「単体では弱い学習器（weak learner）を1本ずつ足し合わせ、後から足す木が前までの誤りを補正する」 ことにあります。多数の独立な木を並列に平均する**バギング（ランダムフォレスト）とは対照的に、ブースティングは木を逐次的（sequential）**に積み上げ、前段の予測残差に次段が集中するのが本質です。

弱学習器には通常、深さ数段の浅い決定木（GBDT: Gradient Boosting Decision Trees） を使います。最終予測は、初期値（多くは目的変数の平均やロジット）に、各ステップの木の出力を学習率で縮めて足し込んだ総和です。

F_0(x) = 初期値（例: 平均値、または log-odds）
F_m(x) = F_{m-1}(x) + ν · h_m(x)    （m = 1..M）
  h_m  = m 番目に追加する弱学習器（決定木）
  ν    = 学習率（shrinkage, 0 < ν <= 1）
  M    = 木の本数（ブースティング回数）

関数空間の勾配降下としての定式化

なぜ「勾配」ブースティングと呼ぶのか。Friedman（2001）の定式化では、予測関数そのものを最適化変数とみなした勾配降下として説明できます。通常の勾配降下法がパラメータ空間でパラメータを更新するのに対し、ブースティングは関数空間で「現在の予測関数」を1ステップ更新します。

損失 L(y, F(x))（例: 回帰の二乗誤差、分類のロジスティック損失）に対し、各データ点での現在予測に関する負の勾配を計算します。

擬似残差: r_im = - [ ∂L(y_i, F(x_i)) / ∂F(x_i) ]   at F = F_{m-1}
  二乗誤差 L = (1/2)(y - F)^2 のとき
    r_im = y_i - F_{m-1}(x_i)   ← まさに残差そのもの

この r_im が擬似残差（pseudo-residual） です。二乗誤差では文字通り「実測 − 現予測」の残差になり、「残差に木をフィットする」という直感が、より一般の損失では「負の勾配方向に木をフィットする」へと拡張されます。次の木 h_m は、入力 x からこの擬似残差を予測するよう訓練され、その分だけ予測を勾配方向へ動かします。学習率 ν は勾配降下のステップ幅に対応します。

XGBoost：2次近似と正則化された目的関数

素朴な GBDT が1次勾配（残差）だけを使うのに対し、XGBoost（Chen and Guestrin, 2016）は損失を2次までテイラー展開し、収束と精度を高めました。各点で勾配 g（1次）とヘシアン h（2次）を求め、木を追加したときの目的関数を解析的に近似します。

g_i = ∂L(y_i, F(x_i)) / ∂F           # 1次勾配
h_i = ∂²L(y_i, F(x_i)) / ∂F²         # 2次（ヘシアン）

葉 j の最適重み:   w_j* = - G_j / (H_j + λ)
   G_j = Σ g_i,  H_j = Σ h_i   （葉 j に落ちるサンプルの和）
   λ   = 葉重みへの L2 正則化係数

XGBoost のもう一つの核心は、正則化を目的関数に明示的に組み込んだ点です。葉の数 T への罰則 γ と、葉重みへの L2 罰則 λ を加えることで、木の複雑さと出力の大きさを同時に抑えます。分割を行うかどうかは、分割後の利得（gain）が γ を上回るかで判定されます。

分割の利得（gain）:
  Gain = (1/2)[ G_L²/(H_L+λ) + G_R²/(H_R+λ) - (G_L+G_R)²/(H_L+H_R+λ) ] - γ
  左右の子の構造スコアの和 - 分割前のスコア - 分割コスト γ
  Gain <= 0 なら分割しない（事前枝刈り）

この式は「分割が損失をどれだけ減らすか」を g, h, λ, γ だけで閉じた形で与えるため、全候補分割を高速に比較できます。これが正則化を損失の外側の付け足しではなく、木構造の探索そのものに織り込む設計です。

高速化の三本柱：ヒストグラム・leaf-wise・サンプリング

大規模データで効くのは精度よりも速度とメモリ効率です。XGBoost の hist 法と LightGBM（Ke et al., 2017）は、次の工夫で桁違いに高速化しました。

ヒストグラム法が高速化の土台です。連続値をあらかじめビンに丸めておくと、各分割候補の利得評価が「ビンごとの G, H の累積和」で済み、ソートも不要になります。leaf-wise 成長は LightGBM の特徴で、木全体を一様に深くするのではなく、最も損失を下げる葉だけを選んで深くするため、限られた葉数で誤差を効率よく削れます。ただし非対称に深くなるぶん過学習しやすく、num_leaves や max_depth での制御が前提になります。

過学習を抑える：学習率・サンプリング・木の制約

ブースティングは木を足し続ければ訓練損失をいくらでも下げられるため、過学習との戦いが運用の中心になります。主要なハイパーパラメータは、それぞれ過学習を抑える明確な役割を持ちます。

学習率 ν（shrinkage） と木の本数 M はトレードオフです。ν を小さくすると各木の補正が控えめになり汎化は向上しますが、同じ精度に到達するのに多くの木が要ります。実務では「ν を小さめに固定し、検証損失で early stopping して M を自動決定」する形が定番です。列サンプリング（colsample） は各分割で使える特徴量をランダムに絞ることで、支配的な特徴量への過依存を崩し、木の多様性を高めます——これはランダムフォレスト由来の正則化が勾配ブースティングに取り込まれたものです。これらの効きは過学習とバイアス・バリアンスと二重降下の観点で整理すると、なぜ汎化が改善するのかが腑に落ちます。

まとめ

勾配ブースティングは、弱い決定木を逐次的に足し、各ステップで損失の負の勾配（二乗誤差では残差）に新しい木をフィットする——すなわち関数空間での勾配降下として理解できます。XGBoost は損失を2次近似し、勾配とヘシアンで分割利得を解析的に評価しつつ正則化を目的関数へ織り込みました。LightGBM はヒストグラム分割と leaf-wise 成長で大規模データを高速化しています。学習率・行/列サンプリング・木の深さ・正則化係数は、いずれも「足しすぎによる過学習」を抑える役割を分担します。なぜ速いのか・なぜ効くのかを原理から押さえれば、ハイパーパラメータ調整は当てずっぽうではなく、損失と正則化のバランスを動かす意図的な操作になります。