One-hot 编码的致命缺陷

Input
One-hot 编码
10万词字典
每个词 10万维
导致
Problem 1
体积爆炸
稀疏数据结构
极度浪费存储
同时
Problem 2
语义缺失
词语相互独立
苹果
距离=1
香蕉
苹果
距离=1
汽车
结果
Consequence
系统瘫痪
AI无法理解语义