词向量算术 · 语义的几何
词向量把语义变成可计算的几何关系。用一组示意性词向量:做 king − man + woman ≈ queen 这样的类比运算、看余弦相似度、在二维语义地图上看聚簇与平行四边形。对应第3章「01 词向量」。
向量类比:A − B + C ≈ ?
−
+
=
选好三个词,点「计算」求最近邻。
余弦相似度:cos(θ) = (u·v)/(‖u‖‖v‖)
与
两种训练结构:由「谁伴谁而生」学出词向量
句子我 · 爱 · 自然 · 语言 · 处理中心词=自然,窗口=2
CBOW:用上下文(我/爱/语言/处理)求和预测中心词(自然)——从周围猜中间。
Skip-gram:用中心词(自然)分别预测每个上下文词——从中间猜周围,对低频词更好。两者都通过「分布假设:观其伴而知其义」学出稠密向量。
二维语义地图(按语义轴布局,非 PCA)
语义相近的词自然聚在一起;类比运算时会画出平行四边形——「king→queen」与「man→woman」是同一个方向的平移,这正是词向量能做类比的几何本质。