大语言模型是如何工作的 | LLM | Transformer | 注意力机制 | 位置编码 | 多头注意力 | 前馈网络 | 残差连接 | MoE | RoPE | 人工智能

現代大語言模型的內部工作流程可完整拆解為十數個具體部件，每個部件解決一個工程問題。當你輸入文字時，模型首先不直接讀文本，而是通過分詞器將「今天天氣怎麼樣」轉換為整數序列——這是效率與泛化的折衷方案。分詞器的選擇不是細節：它決定了計算量（序列長度）和多語言覆蓋能力。之後，這些整數在嵌入查表中映射為高維向量（通常4096維），這就是模型真正操作的東西。有趣的是，嵌入空間自然涌現出語義幾何——「國王」向量靠近「女王」，「巴黎」靠近「法國」——完全是訓練過程自發形成的。

但嵌入有個致命缺陷：完全不編碼位置信息。「狗咬人」和「人咬狗」的「狗」字得到完全相同向量，這顯然無法接受。RoPE旋轉位置編碼解決了這問題——不在嵌入中加位置信息，而是根據位置旋轉Query和Key向量，使得注意力計算時真正起作用的是旋轉角度差值，自然編碼了相對位置。

接著進入架構核心：注意力機制。每個token同時扮演三角色——Query(我在找什麼)、Key(我能提供什麼)、Value(真正被傳遞的信息)。Query與所有可見的Key做相似度打分，經softmax轉為權重，再對Value加權求和。以「那只我昨天看到的貓正在睡覺」為例，處理「睡」字時，其Query會與「貓」的Key匹配度最高，所以「貓」的Value主導了新表示。多頭注意力並行運行，每個頭有獨立投影矩陣（不是簡單切割），自然分工處理不同語言現象——有頭追踪語法一致、有頭處理代詞指代、有頭識別「A-B-A」模式然後預測B重現（這就是歸納頭，也是上下文學習的可解釋機制）。

在這之後，前饋網絡獨立處理每個token，結構簡單卻參數眾多：將嵌入擴張到更大維度，經過非線性激活（現代多用SwiGLU），再壓縮回原尺寸。這裡隱藏著驚人的事實——模型的大部分參數存在FFN而非注意力，且FFN內部存儲了知識本身：特定神經元與「巴黎」「鐵塔」等概念或事實強關聯，你甚至可以不重訓模型直接編輯這些權重（ROME方法）來改變生成的內容。

支撐這一切的兩個無名英雄是殘差連接和層歸一化。殘差連接讓每層輸出加到原輸入而非替換，形成「高速公路」——淺層信息可直達深層，深層梯度也能回傳。層歸一化（現代用Pre-Norm + RMSNorm）在層間拉回數值到穩定範圍，否則十數層加法後數值必然爆炸或消失。沒有這兩個部件，幾十層的模型根本無法訓練。

生成時，模型循環預測下一個token：對最後token的最終向量用線性層映射為詞表大小的logits，經softmax轉為概率分布，由Temperature等參數控制多樣性（溫度高則分布平坦更有創意，低則尖銳更確定），再追加到輸入末尾重複。整段回答就是這個循環一次一詞跑出來的。