活性化関数の系譜と設計：Sigmoid から GELU・SwiGLU まで

評価軸は「出力の形」ではなく「導関数の形」

活性化関数の役割は、線形変換 z = W·x + b に非線形性を入れて表現力を持たせることです。しかし設計の良し悪しを決めるのは、出力 σ(z) の形よりも 導関数 σ'(z) の形 です。理由は学習にあります。誤差逆伝播では、層を遡るたびに各層の σ'(z) が掛け算で積み重なります（漸化式は 誤差逆伝播法の数理 を参照）。つまり活性化関数を選ぶことは、逆伝播でどんな数を繰り返し掛けるかを選ぶこと に等しい。この視点で系譜を辿ると、各世代が前世代の導関数の欠陥を1つずつ潰してきた流れが見えてきます。

Sigmoid と tanh：導関数が痩せて勾配が消える

Sigmoid は σ(z) = 1 / (1 + e^(-z)) で出力を (0,1) に潰します。その導関数はきれいな形で書けます。

σ(z)  = 1 / (1 + e^(-z))
σ'(z) = σ(z) · (1 - σ(z))      # 最大値は z=0 のとき 0.25

問題はこの 最大0.25 という上限です。多層で σ' を掛け続けると、0.25^層数 のオーダーで勾配が指数的に縮み、入力に近い層へ届く誤差信号がほぼ消えます。これが 勾配消失 です。さらに |z| が大きい飽和域では σ'(z) ≈ 0 となり、一度飽和したニューロンは更新が止まります。tanh は出力を (-1,1) に取り ゼロ中心 な点で Sigmoid より優れ、導関数 1 - tanh²(z) の最大値も1まで上がりますが、飽和域で勾配が消える本質は変わりません。

ReLU：勾配消失を断ち切る代わりに「死ぬ」

ReLU(z) = max(0, z) の導関数は驚くほど単純です。

ReLU(z)  = max(0, z)
ReLU'(z) = 1  (z > 0),   0  (z < 0)      # z=0 は慣例的に0

正領域で導関数が 常に1 なので、何層重ねても勾配がそのまま素通りし、勾配消失が原理的に起きません。計算も比較演算1つで済み軽い。深層ネットワークが実用化した立役者で、土台の構造は ニューラルネットワーク を参照してください。ただし負領域では 出力も導関数も0。あるニューロンの入力 z が学習中に常に負の側へ追い込まれると、勾配が0なので二度と更新されず、永久に0を出し続けます。これが 死んだReLU（dying ReLU） 問題です。大きすぎる学習率や偏った初期化で、層の相当数のニューロンが一斉に死ぬこともあります。

Leaky ReLU と ELU：負側に「逃げ道」を作る

死活問題の原因は「負領域で勾配が完全に0」な点に尽きます。ならば負側にも微小な傾きを残せばよい。Leaky ReLU は負側に小さな固定傾き α（例 0.01）を与えます。

LeakyReLU(z)  = z (z>0),   α·z (z<0)
LeakyReLU'(z) = 1 (z>0),   α   (z<0)      # 負側でも勾配が消えない

負入力でも σ'=α≠0 なので、追い込まれたニューロンにも誤差が届き復活できます。α 自体を学習する PReLU、負側を指数曲線 α·(e^z − 1) で滑らかにつなぎ出力をゼロ中心寄りにする ELU など派生も同じ発想です。ただしいずれも z=0 で導関数が不連続（折れ点）である点は ReLU と共通で、ここが次の滑らかな世代への動機になります。

Swish と GELU：入力自身を「ゲート」にする

ReLU 系は「通すか・止めるか」の硬いスイッチでした。Swish（z · sigmoid(β·z)、β=1 のとき SiLU）と GELU は、入力の大きさに応じて 滑らかに重み付けして通す自己ゲート型 です。GELU は「入力に、それが標準正規分布で残る確率を掛ける」と解釈でき、Φ を標準正規の累積分布として表します。

GELU(z)  = z · Φ(z)                       # Φ は標準正規分布の累積分布関数
SiLU(z)  = z · sigmoid(z)                 # GELU の実用的な近似に近い挙動
GELU(z) ≈ 0.5·z·(1 + tanh(√(2/π)·(z + 0.044715·z³)))   # tanh近似（高速）

要点は3つあります。(1) 滑らかで全域微分可能 ——折れ点がなく、導関数が連続なので最適化が安定する。(2) 負側に小さな負出力を許す ——z がやや負のとき出力もわずかに負になり、ゼロ中心性に寄与しつつ死活問題を避ける。(3) 大きな負入力では出力がほぼ0に減衰 ——ReLU 的なスパース性も保つ。導関数は積の微分で求まり、z=0 付近でも0でない値を持つため勾配が流れ続けます。「ReLU の利点（正領域で素通し・スパース）を残しつつ、折れ点と死活問題を消した」のが Swish/GELU だと捉えると位置づけが明確です。

SwiGLU：ゲートを「別の線形射影」に分離する

ここが現代 LLM の核心です。Transformer のフィードフォワード層（FFN）は本来 Linear → 活性化 → Linear の2段でした。GLU 系 は活性化を1本の信号にかけるのをやめ、入力を 2本の独立した線形射影 に分け、片方を「値」、もう片方を活性化に通して「ゲート」とし、要素ごとに掛け合わせます。Swish をゲートに使うのが SwiGLU です。

# 通常のFFN（GELU）
FFN(x)    = Linear2( GELU( Linear1(x) ) )

# SwiGLU 版FFN：射影を W と V の2本に分け、片方をゲートに
SwiGLU(x) = Linear2( Swish(x·W) ⊙ (x·V) )    # ⊙ は要素ごとの積

ゲート Swish(x·W) が、もう一方の値経路 x·V を成分ごとに「どれだけ通すか」連続的に制御します。ゲートが入力依存で動くため表現力が上がり、勾配も値経路を素通りしやすく学習が安定します。代償として線形層が1本増える（パラメータが約1.5倍）ため、実装では中間次元を約 2/3 に縮めて総パラメータを揃えるのが定石です。理論的優位の証明はなく経験的に品質が高いことが選定理由ですが、その安定性ゆえ LLaMA や PaLM 系をはじめ主要 LLM の FFN 標準になりました。全体構造は LLM と Transformer と Transformer アーキテクチャ図解 を合わせて参照してください。

一覧で押さえる：導関数と弱点

各関数を「正領域・負領域の導関数の振る舞い」と「主な弱点」で並べると、系譜が一望できます。

まとめ：導関数を見れば選定理由が読める

活性化関数の進化は「逆伝播で掛かる導関数を健全に保つ」物語でした。Sigmoid/tanh は 導関数が痩せて勾配消失、ReLU は正領域 σ'=1 でそれを断つ代わりに 負側で死ぬ、Leaky ReLU/ELU は 負側に傾きを残して 蘇生路を作り、Swish/GELU は 滑らかな自己ゲート で折れ点と死活問題を同時に消し、SwiGLU は ゲートを別射影に分離 して FFN の品質を底上げしました。新しい活性化関数に出会ったら、まず導関数を描き「正領域で勾配が素通りするか」「負領域で0に張り付かないか」「折れ点はあるか」を問えば、その設計意図と適用先がそのまま読み解けます。土台の学習機構は ニューラルネットワーク と 誤差逆伝播法の数理 で固めておくと理解が一段深まります。