GPU

GPU が並列処理に強い理由

GPU（グラフィックスプロセッサ）は、単純な演算コアを数千個並べ、同じ計算を大量のデータへ一斉に適用することに特化したプロセッサです。CPU が少数の高性能コアで複雑な制御を順にこなすのに対し、GPU は多数のコアで「同じ命令を違うデータに」適用する SIMD/SIMT 型で、行列演算や画像処理のような並列度の高い処理を桁違いに速くこなします。ディープラーニングの学習・推論が GPU で加速するのは、その中心が巨大な行列積だからです。

性能を左右するメモリと帯域

GPU の速さは演算コア数だけでなく、専用メモリ（VRAM）の容量と帯域に強く依存します。扱うモデルやデータが VRAM に収まらないと、遅い経路への退避が起き性能が急落します。そのため AI 用途では HBM のような広帯域メモリや、GPU 同士を高速につなぐ NVLink 等のインターコネクトが重視されます。演算精度も重要で、学習は FP16/BF16、推論は INT8 など低精度を使うと、同じチップでスループットを大きく伸ばせます。

選び方と運用の勘所

• VRAM 容量が先: モデル/バッチが収まるかが速度の前提。足りないと極端に遅くなる。
• 精度を使い分ける: 学習と推論で必要精度が違う。低精度対応がスループットに効く。
• 接続と電力: PCIe レーン、GPU 間インターコネクト、電源・冷却の余裕を確認する。
• 用途を見極める: 学習は高帯域メモリ機、推論はコスパ重視、と役割で選ぶ。

総じて GPU は、多数の単純コアと広帯域メモリで並列演算に特化したプロセッサであり、AI・画像・科学計算のように「同じ計算を大量に」行う処理でこそ真価を発揮します。