AI 理解语言的技术架构

科学家们必须依次攻克两道技术难关

Input
人类语言
文字 / 语音 / 句子
原始输入
Layer 1
词义表征
Word2Vec
第一关
词向量
Layer 2
序列建模
RNN
第二关
语义理解
Output
AI 理解
语义 / 逻辑 / 意图
RNN 的困境
"空有一身武艺,却无处施展"

在 RNN 诞生后的很长一段时间里,它其实处于一种尴尬的状态

因为在科学家们死磕第二关的时候,第一关——"如何让 AI 看懂文字"这个底层难题,就整整困扰了 AI 界十几年

核心问题 如果 AI 连最基本的汉字和单词都无法转化成有效的数字格式,那么即使有 RNN 这种处理顺序的利器,它也没法读懂任何一句话。