Word2Vec:给每个词一张"语义身份证"

2013年,词向量技术横空出世,彻底改变 NLP 格局

Input
One-hot 编码
笨重的长向量
转换
Word2Vec
词向量
低维稠密向量
2013
关联
Semantic
语义距离
苹果
香蕉
苹果
汽车
运算
Operation
语义运算
国王 - + = 女王
赋能
RNN
循环神经网络
完美输入燃料
核心原理与突破性意义

Word2Vec 不再使用笨重的长向量,而是把每个词转换成一串只有几百个数字低维稠密向量

用数字空间里的距离来表达语义——意思相近的词,它们转化出来的数字向量在数学空间里的位置也会非常接近

1986
RNN 诞生
沉寂27年
2013
Word2Vec 出现
NLP爆发式增长

终于,AI 不再是死记硬背字形,而是通过数字真正"理解"了词与词之间的关系