首页 > 网络 > 云计算 > 正文
《DeepLearning》读书笔记(一)
2017-01-16       个评论    来源:公孙轩辕,一眼千年  
收藏    我要投稿

最近开始准备毕业设计的事情,老师安排的任务之一是了解卷积神经网络(Convolutional Neural Network),所以开始啃这本书,我在机器学习上有一点基础,想有针对性一点,所以直接从第九章看起,在这里记录下读书笔记。

9.1卷积操作

引例:假设我们要用雷达追踪一架太空船,雷达有单值输出x(t),即在时刻t太空船的位置,每个时刻我们都能从雷达得到确定的值。现假设雷达有噪声,要想清除噪声的影响,我们倾向于取多次测量的平均值。越近的测量值越可靠,我们倾向于赋予其更大的权值。假定a为某次测量的“年龄”,那么w(a)即为该次测量的权值,如果每一时刻应用加权平均操作,那么我们就得到了一个平滑地预测飞船位置的新函数s(t)。

9.1

这个操作就叫卷积,卷积操作通常用星号来表示

9.2

只有当w是合法的密度函数时,加权平均才有意义,对于负参数,w应为0(要是a为负那么岂不是在预测未来),这些限制只适用于本例。

对于CNN的专业术语而言,第一个参数(这的x)叫输入(input),第二个参数叫核(kernel),输出叫feature map。

在实际情况下,时间是离散的,雷达每过一段时间才会有一个输出,在本例中假设雷达每秒钟输出一个数值比较合理,若我们假设x和w只能在t为整数时取值,那么离散卷积定义为

9.3

在机器学习应用中,输入经常是一组多维数据,核也是经算法调整后的一个多维参数,在应用中,我们可以假定除了输入和核之外的值皆为0,这样可以把无限个数的和化归为有限。

卷积不只应用于一维情况,对于一个二维图像I作为输入的情况,我们也会使用一个二维的核K。

9.4

卷积操作是可交换的,这意味着上述等式可等价为

9.5

第二个公式更加常用(因为在m,n的合法序列中,其变动更少)。

交换性在证明时常用,但是在实现中很少用到。许多神经网络库使用交叉相关(Cross-Correlation),这和卷积相同但是无需翻转核。

9.6

你也可以管交叉相关叫卷积。

离散卷积可以视为矩阵乘法,但是矩阵中的一些元素必须与另一些元素对应相等。例如对于单变量离散卷积而言的托普利兹矩阵(Toeplitz Matrix)。在二维情况下,一个双块循环矩阵就对应着一个卷积。除此之外,卷积对应的往往是稀疏矩阵,因此核往往比输入图像要小得多。

图9.1

(图9.1)没有核翻转的卷积示例。我们把输出完全限制在核完全位于图像中的位置,在某些情况下这叫做“合法卷积”。

点击复制链接 与好友分享!回本站首页
相关TAG标签 DeepLearning
上一篇:Docker中使用MongoDB
下一篇:OpenStack常见错误:无法开启http服务Jobforhttpd.servicefailedbecausethecontrolprocessexitedwitherror
相关文章
图文推荐
文章
推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做实用的IT技术学习网站