绪论
(Press ?
for help, n
and p
for next and previous slide)
——《沁园春・雪》
回顾符号学习的发展史,展望机器学习的未来。
具体而言,尝试回答以下几个大问题:
Credit: 2001: A Space Odyssey
Credit: 2001: A Space Odyssey
Geoffrey Hinton. “Introduction to Neural Networks and Machine Learning”
嵌入式表示空间(Embedding space)
视觉上的例子
你能多快判断出以下命题的正误?
Yoshua Bengio, “From System 1 to System 2 Deep Learning”
知行工夫,本不可离。
—— 王守仁
What I cannot create, I do not understand.
—— Richard Feynman
解释就是要获得概括,而不同的词汇体现不同的概括。
假定你站在大街的一个角落,看到描述如下的一系列事件:
请问:出了什么事?为什么行人跑向电话亭?下一步他将做什么?为什么那样做?
请描述一下你下课以后打算做什么。
一个大胆,但又不得不做的假设:认知是一种计算
一个大胆,但又无法避免的结论:认知是关于符号的计算
Concatenate(ToLower(Substring(v,WordToken,1)),
" ", ToLower(SubString(v,WordToken,2)))
通俗来讲:符号学习就是选择“词汇”加寻找“解释”。
通过机器学习算法,从样本\(E\)中学会一个符号模型\(H\),使得在给定背景知识\(B\)的情况下:
表征 | 分布式/向量 | 符号 |
---|---|---|
样本量 | 许多 | 较少 |
数据形式 | 表格 | 灵活 |
模型形式 | 固定形式 | 通用程序 |
可解释性 | 较难 | 较简单 |
知识迁移 | 较难 | 较简单 |
复杂度 | 较低 | 较高 |
命题规则学习、归纳逻辑程序设计:
概率归纳逻辑程序设计、统计关系学习:
神经—符号学习:
尝试用\(x\)实现一个数数模型:当输入任意\(n, m\in\mathbb{N}\)时,不断输出 \(\{n+1,n+2,\ldots\,n+m\}\)。其中\(x\)为以下两种方式:
报告(学号_姓名_报告1.pdf
):
Deadline:3月4日23:59