こんにちは！ AI技術の「なぜ？」を解き明かす、現役インフラエンジニアのコシです。 前回は、Transformerの内部でSelf-Attentionの後に配置される「Feed-Forward Network（FFN）」について解説しました。 FFNが、Self-Attentionによって得られた文脈情報を、より高次の特徴 ...

正規化（Normalization）とは、数学、統計学、機械学習において、データのスケールを一定の範囲や分布に調整する処理を指します。これにより、異なるスケールのデータを比較しやすくしたり、機械学習アルゴリズムの性能を向上させたりすることができます。