!"#$%&'()*+, 深层解析 深度学习 1. NLP历史和现状 AI 历史上的NLP两条路线 NLP 近代史 监督学习 AI监督学习 NLP 之痛：领域落地的知识瓶颈 等价（马克思劳动价值论） NLP 现状：突破瓶颈的曙光 预训练模型 下游NLP 解析器 下游NLP DEEP PARSING 是符号NLP应用的核武器 • PASSIVE VOICE • DEVERBAL NOUN • CONJOINED PATTERN • • • HIDDEN SUBJECTS/OBJECTS • • • • RELATIVE CLAUSE AND EMPHATIC PATTERN • • • • • COREFERENCE AND ALIAS • IPHONE 2.0: ITS RELEASE WAS ANNOUNCED YESTERDAY • IPHONE 2.0 WAS THE PRODUCT THAT WAS RELEASED YESTERDAY BY APPLE NEGATION AND FACTNESS • • 2. 殊途同归的符号与神经 剪不断理还乱，符号、神经 符号 神经模型 思考题：上帝用符号还是向量？外星人呢？ 符号模型：结构表示 神经模型：向量空间 Input: 符号 Input: 符号 结构 符号 符号 向量 神经 神经 结构 .............. 结构 符号 符号 向量..............向量 神经 神经 结构 符号 符号 Output: 符号 用符号结构表示非结构化符号（语言） 向量 神经 神经 Output: 符号 所谓端到端（end to end）：输入输出端符号，但满肚子向量 殊途同归：无论架构还是方法论 理性主义拥抱经验主义 巧合还是天意？ 架构 线性结构 方法论 目的 图结构 神经与符号各自的短板 神经系统 出路 符号系统 出路 多层符号模型对机器学习的补足 监督学习搞不定冷启动（但预训练初见成效） 学习系统缺乏定点纠错能力 学习系统本性上缺乏可解释性 NLP 最激荡人心的今后 5-10年 钟摆还能摆得多高？ 天问：神经可以终结符号吗？ 不废江河万古流 更大的两种可能性 3. 低代码是趋势，也是王道 NLP 低代码潮流 AI 开源平台的兴起 深度学习平台 NL P工具箱 符号NLP多层平台 …… 数据科学与工程的兴起 数据为王，数据工作者身处王室 新生的所谓 DATA SCIENCE 学位从来没有如此火热 知识工程师 4. NLP “半自动驾驶” 半自动符号NLP的设计哲学 符号NLP低代码的开发理念 全自动生成规则： 半自动规则泛化：内嵌泛化路径，交互式开发环境 QA（质量控制）半自动：精度靠比对，召回靠统计 角色转变：码农转型为判官 (JUDGE NOT CODER!) 语言工程观：FOLLOW SOFTWARE ENGINEERING BEST PRACTICE 冷启动，快速领域化：核心引擎赋能，领域词典自学习，低代码落地 比较学习系统的训练 不依赖标注数据： 泛化过程半自动： HUMAN IN THE LOOP 迭代式开发， 而不是梯度下降全自动