Attention机制的QKV参数设计详解！

本期視頻從設計者視角系統性地拆解了 Transformer 自注意力機制中三組參數設計的必要性。

首先探討的是最極端的零參數方案。若不使用任何參數矩陣，讓 Query、Key、Value 都直接等於單位矩陣，這在數學上和代碼上確實能跑通。但其代價是致命的：同一詞向量被迫同時扮演三個完全不同的角色。它要主動決定「我現在要看什麼」，同時被動地貼上標籤讓別人來匹配，最後還要充當內容載體決定自己能傳遞什麼信息。在模型反向傳播時，這三個任務會在同一個表示空間裡互相牽制、互相妥協，結果就是三個角色都演不好。

接著分析折衷方案：只給 Q 和 K 加參數投影（Wq 和 Wk），讓 V 保持原始輸入。這個方案在邏輯上確實進步了，條件和標籤終於分家了，模型能獨立學習怎麼匹配才最精準。但它留下了一個關鍵隱患——信息偶合缺陷。視頻用「The animal didn't cross the street because it was tired」這個經典例句深入分析：在匹配階段，模型最關注的是語法和結構特徵（「it」和「animal」都是單數），但一旦配對成功，「animal」接下來要傳遞給「it」的其實是完全不同的語義特徵——它是有生命的實體，會代謝，能感受疲憊。這兩種特徵在邏輯上毫無關係，甚至應該在互相正交的空間裡表達。若沒有 Value 的獨立投影，模型就被迫用同一個表示服務兩種完全不同的需求，那些用於語法匹配的低級特徵會直接流入下游網絡，導致模型無法完成高級語義的抽象。

完整的三組參數設計實現了功能的完全解耦：Query 專門學習主動尋址，決定「我要看什麼」；Key 專門負責被動標識，在身上貼好標籤讓別人來匹配；Value 專門進行語義封裝，提取深層上下文含義，把每一位造詞過濾掉，把包裝成真正對下游有用的核心信息。從幾何角度看，這個設計的優雅性在於雙線性形式和低秩分解。Q 和 K 的參數矩陣相乘，根據線性代數定理，結果矩陣的秩必定不超過任一因子矩陣的秩。以標準 Transformer 配置為例，若直接學習 512×512 的完全矩陣 M，參數量高達 26 萬+，且是無約束的滿秩矩陣，非常容易過擬合。但若分解成 512×64 的 WQ 和 WK 分別相乘，參數量降至 65,536，僅為原來的 25%，同時秩被強制限制在 64 以下，逼迫模型在這個緊湊的低維空間尋找相關性，自動形成正則化效果，過濾掉高頻噪聲，只保留最核心、最具泛化價值的特徵關聯。