核心概念

復旦大學、哈佛大學與石溪大學的聯合研究團隊，以詞嵌入（word embeddings）為核心工具，分析 22 種語言的詞彙演化歷史，識別出跨語言共有的統計結構。這項研究橫跨超過七年，結合了計量地理學的空間統計方法與現代 NLP 技術。

研究問題的核心：新的詞彙與概念持續被創造，但支配「哪些概念可能浮現」的是否存在隱藏的數學規律？語言的演化過程是否可以用簡單的數學模型來描述？

方法論：詞嵌入作為語言學研究工具

詞嵌入將每個詞彙對映至高維語義空間（研究中使用 300 維）中的特定座標點，意思相近的詞彙在空間中距離較近。研究人員透過這種表示方式，分析詞彙如何分布於語義空間，以及詞彙增長的數學過程。

這種方法的突破在於：詞嵌入提供了一種嚴謹的量化手段，使研究者得以在數學意義上比較不同語言的語義結構，而不再依賴於主觀的語言學判斷。

四個普遍模式

研究識別出 22 種語言系統性共享的四個普遍模式：

1. 熱門詞彙聚集效應 高頻詞彙傾向於在語義空間中彼此靠近，形成高頻詞彙的「熱點」區域。這種聚集並非偶然，而是跨語言一致出現的結構性特徵。

2. 階層式詞彙組織 詞彙以階層模式組織，且這種階層結構在所有受分析語言中大致相同。語言的語義空間並非均勻分布，而是具有高度秩序化的層次結構。

3. 新詞群爆式出現 新詞通常與周圍的其他近期詞彙「成群爆發式地產生」，而非孤立地逐一出現。這種動態與生物演化中的快速演化期（顯著基因或形態變化期間）具有相似性，暗示語言演化可能遵循非線性、突發式的規律。

4. 泰勒法則（Taylor's Law）的適用 原本發現於生態群落、後在生物樣本與物理數據中廣泛識別的「泰勒法則」，同樣適用於詞彙系統。在此語境中，這是一種冪律型數學關係，連結了按語義與歷史出現順序排列的詞彙計數之「平均值」與「方差」——使研究者能夠同時在語義維度與時間維度上理解語言。

數學模型

研究的核心貢獻之一是識別出一種能夠生成具有類似屬性詞組的隨機數學過程（stochastic mathematical process）：

  • 累積優勢過程（Preferential Attachment）：廣為人知的機制，解釋「強者愈強」的冪律分布，此前已用於解釋詞頻的單維度分布
  • 馮·米塞斯-費雪分布（von Mises-Fisher Distribution）：鮮少使用的機率分布，適用於高維球面空間中的方向性數據

兩者的結合不僅重現了過去關於詞頻冪律分布的結果，更能解釋在 300 維語義空間和歷史時間維度上的新實證發現——這是一個「驚人簡單」的模型，卻有著廣泛的解釋能力。

關鍵要點

  • 詞嵌入不只是 AI 技術，更是文化研究工具：這項研究展示了 NLP 的機器學習技術如何被應用於人類學與語言學的基礎研究，而非僅用於建構工程工具
  • 語言演化具有跨語言的統計普遍性：22 種語言共享相同的數學結構，意味著語言演化可能存在深層的普遍規律，超越文化差異
  • 冪律是語言的底層邏輯：泰勒法則與累積優勢的組合，讓詞彙的分布與演化遵循與生態系統類似的數學規律
  • 語言演化的非線性：新詞彙群爆式出現的模式，挑戰了語言緩慢線性累積的直觀假設
  • 跨學科整合的潛力：計量地理學方法、空間統計、NLP 的整合，為人文科學的量化研究開闢了新路徑

實務應用

對 AI 與 NLP 從業者而言，這項研究的啟發在於：

  • 語義空間的幾何結構是可研究的：詞嵌入空間並非黑盒，其統計特性（聚集、階層、分布規律）可以被系統性地分析，見 嵌入模型基礎與選型
  • 語言模型的「世界觀」可能反映了語言本身的統計偏差：若訓練語料中高頻詞彙聚集形成熱點，LLM 的語義表示可能繼承了這些偏差
  • 文化演化研究的 AI 化：AI 生成的嵌入向量作為基礎研究工具，可以揭示超越特定語言或文化的人類認知模式

延伸觀點

近期多項研究進一步驗證並延伸了「詞嵌入空間具有跨語言普遍結構」的核心主張。

語義幾何的普遍性獲得多維度支持。Meta 的 NLLB-200 多語言模型（涵蓋 200 種語言）的研究（Mathewson, 2026, arXiv）顯示，模型在訓練過程中隱性地學習了語言的系譜關係——語言間的嵌入距離與語言學上的親緣距離顯著相關（ρ = 0.13）。跨語言的語義類比在類型學差異極大的語言間仍保持高度一致的餘弦相似度（平均 0.84），與本研究發現的「階層式詞彙組織跨語言大致相同」形成直接呼應。

詞嵌入空間的網絡拓撲具有「小世界」特性。Liu et al.（2025, arXiv）分析 LLM 輸入嵌入建構的詞彙語義網絡，發現其呈現典型的「小世界」特性（高聚集係數 + 短平均路徑長度），且更大規模的 LLM 其語義網絡更複雜——聚集性是語言語義空間的內生屬性，與「熱門詞彙聚集成熱點」一致。

歷時維度的延伸：Ma et al.（2025, CogSci）對中文 70 年國家媒體語料的研究表明，歷時詞嵌入能夠區分「穩定的社會刻板印象」與「隨歷史劇變的社會表徵」，為語言演化的動態研究提供了分析框架，支持了本研究對語言歷時演化的方法論意義。見 嵌入模型基礎與選型。

反向連結

以下頁面引用了本頁：