根據 Vishal Misra 的觀點，LLM 的「思考」模式是如何將複雜世界資訊壓縮成較低維度的？

Vishal Misra 關於 LLM 如何壓縮複雜世界資訊成低維度的觀點

根據 Vishal Misra 的觀點，大型語言模型（LLM）並非真正的「思考者」，而更像是「知識導航者」。LLM 會將複雜且高維度的世界資訊壓縮成較低維度的「幾何流形」（geometric manifold），這張流形本質上是模型從海量訓練資料中學習到的一張「知識地圖」。LLM 沿著這張地圖進行推理的過程，是一種基於訓練數據的「貝氏推論」（Bayesian reasoning）。

LLM 的「思考」模式與人類的相似性

Misra 認為，LLM 在生成內容時，就像沿著這張已知的「知識地圖」行走。只要沿著既有的路徑，產出的內容就會自信且合乎邏輯；但一旦「偏離了流形」（veers away from the manifold），就會開始「產生幻覺」，用同樣自信的語氣說出看似合理卻完全錯誤的內容。Misra 指出，模型的「自信」程度與其內部地圖上路徑的清晰度直接相關：路徑越明確，回答就越自信。這種 LLM 將複雜世界簡化為內心的認知模型，並在這個模型內進行思考與推理的方式，與人類的推理方式非常相似。

LLM 的局限性

Misra 認為，LLM 擅長連接地圖上已知的知識點、找出最佳路徑，但無法創造出地圖之外的全新知識點。因此，LLM 無法透過遞迴式自我改進來產生真正的新知識，它們或許能解出極其困難的數學競賽題目，但不會發明全新的數學分支。Misra 強調，LLM 學習了古典物理學，也不可能想出量子力學。