深層学習から大規模言語モデル（LLM）へ

1. 深層学習（ディープラーニング）の革新と課題

従来の機械学習では、予測に有効なデータの特徴（特徴量）を人間が考えてモデルに与える必要がありました（例：画像から特定の輪郭線を抽出して入力するなど）。 しかし、層を10層、50層と深く積み重ねた深層学習（Deep Learning）では、浅い層が「単純な点や線」を検出し、中間の層が「形状のパターン」を捉え、深い層が「物体概念」を認識するというように、ネットワーク自体がデータから自動的に多階層の特徴量を自動獲得（表現学習）します。

勾配消失問題（Vanishing Gradient Problem）

層が深くなるにつれ、逆伝播で出力側から入力側へと微分係数を掛け合わせる（チェインルール）過程において、微分値が各層の活性化関数を通るたびに縮小され、入力層に近い初期の層に届く頃には値がほぼ $0$ になってしまう問題が生じました。これが勾配消失問題です。 現代の深層学習では、微分値が縮小しにくい活性化関数（ReLUなど）の採用や、入力を数層先へバイパスして直接足し合わせる接続構造（ResNetの残差接続）などを導入することで、この問題を克服しています。

2. 大規模言語モデルの核心：Transformerアーキテクチャ

2017年にGoogleの研究者らによって発表されたTransformer（トランスフォーマー）は、現在のChatGPTなどの大規模言語モデル（LLM）のほぼすべてに採用されている画期的な計算モデルです。

それまでの時系列データ（文章など）の処理モデル（RNN）は、文章を左から右へ1語ずつ順番に処理しなければならなかったため、並列計算が難しく、長い文章の文脈を記憶することが困難でした。 Transformerは、文章全体のすべての単語の相互関係を一度に並列で計算する自己注意（Self-Attention）機構を導入し、この限界を突破しました。

• Self-Attention（自己注意機構）：
  文章中のある単語を処理する際、他のすべての単語に対して「どれだけ関連が深いか（注意を向けるべきか）」の重みを動的に計算します。 例えば「私は犬と猫を飼っていますが、彼は人懐っこい」という文における「彼」が、直前の単語の関係性（アテンションスコア）の計算を通じて、文脈上「犬」を指している可能性が高いことを数学的に同定できます。
• 圧倒的な並列処理能力：
  時系列を順に追うループ処理を完全に排除し、行列計算として文全体の単語の関連性を一括処理するため、GPUを用いた大規模な並列計算に最適化されています。これが、Web上の膨大なテキストデータを巨大なモデルで事前学習（Pre-training）することを可能にしました。

3. ニューラルネットワークの計算シミュレータ

以下のシミュレータは、2つの入力ノード（$x_1, x_2$）、隠れ層のニューロン（$h_1, h_2$）、および出力ノード（$y$）からなるシンプルな多層ニューラルネットワークです。 入力値や目標値（教師データ）を調整し、「学習を1ステップ進める」をクリックして、順伝播で値が流れ、逆伝播（赤パルス）で重みが自動更新されて「二乗誤差（Loss）」が減少していく様子を観察しましょう。