作者:empty 页数:178 出版社:empty |
前言日录人工智能,一个令人熟悉但却始终倍感陌生的词汇,让人熟悉的是科幻作家艾萨克·阳西莫夫笔下的《机械公敌》和《机器管家》,令人陌生的却是到底如何让现有的机器人吧呀学语邯郸学步;让人熟悉的是计算机科学与人工智能之父图灵设想的“图灵测试”,令人陌生的却是如何使如此的高级智能在现实生活中不再子虚乌有;让人熟悉的是2016年初阿尔法狗与李世石的五番棋对决,令人陌生的却是阿尔法狗究竟如何打通了“任督二脉”一不可否认,人工智能就是人类为了满足自身强大好奇心而脑洞犬开的产物,现在提及人工智能,就不得不提阿尔法狗,提起阿尔法狗就又不得不提到深度学习,深度学习究竟为何物?本书从实用角度着重解析了深度学习中的一类神经网络模型——卷积神经网络,向读者剖析了卷积神经网络的基本部件与工作机理,更重要的是系统性的介绍了深度卷积神经网络在实践应用方面的细节配置与工程经验,笔者希望本书“小而精 ,避免像某些国外相关书籍一样浅尝辄止的“大而空 .写作本书的主因源自笔者曾于2015年10月在个人主页(http://lamda.nju.edu.cn/woixs)上开放的一个英文深度学习学习资料“深度神经网络之必会技巧”(Must Know Tips/Tricks in Deep Neural Networks) .该资料随后被转帖至新浪微博,颇受学术界和工业界朋友好评,至今已有途31万的阅读量、后又被国际知名论坛KDnuggets和Data Sci cnc e Central特邀转载。期间曾接收到不少国内外读过此学习资料的朋友微博私信或邮件来信表示感谢,其中不乏有人提到希望开放一个中文版本以方便国人阅读学习。另一方面,随着深度学习领域发展的日新月异,当时总结整理的学习资料现在看来已略显滞后,一些最新研究成果井未涵盖其中,同时加上国内至今尚无一本侧重实践的深度学习方面的中文书籍。因此,笔者笔耕不辍,希望将自己些许的所知所得所感及所悟汇总于本书中,分享给大家供学习和查阅.这是一本面向中文读者轻量级、偏实用的深度学习工具书,本书内容侧重深度卷积神经网络的基础知识和实践应用,为了使更多不同技术背景的读者通过本书对卷积神经网络和深度学习有所了解,笔者试图尽可能少的使用湿的数学公式而尽可能多的使用具体的图表形象表达,本书的受众为对卷积神经网络和深度学习感兴趣的人门者,以及没有机器学习背最但希望能快速掌握该方面知识并将其应用于实际问题的各行从业者,为方便读者,本书附录给出了一些相关数学基础知识简介。全书共14章,除“论”外可分为2个篇章:第篇“基础理论篇”包括第1~4章,介绍卷积神经网络的基础知识、基本部件、经典结构和模型压缩等基础理论内容:第二篇“实践应用篇”包括第5~14章,介绍深度卷积神经网络自数据准备始,到模型参数初始化、不同网络部件的选择、网络配置、网络模型训练,不平衡数据处理,最终直到模型集成等实践应用技巧和经验。另外,本书基本在每章结束均有对应小结,读者在阅读完每章内容后不妨掩卷回忆,看是否完全掌握此章节重点。对卷积神经网络和深度学习感兴趣的读者可通读全书,做到“理论结合实践 ;对于希望将深度卷积神经网络迅速应用来解决实际问题的读者,也可直接参考第二篇的有关内容,做到“有的放矢”,本书写作过程得到笔者很多同学和学术界工业界朋友的支持和帮助,在此谨列出他们的姓名以致谢意(按娃氏拼音序):高斌斌,高如如,罗建豪,屈伟洋,谢晨伟,杨世才,张晨麟,感谢高斌斌和罗建豪帮助起草本书第3.2.4节和第4章的有关内容,此外,特别感谢南京大学,澳大利亚阿德莱德大学等高校的众多师长在笔者求学科研过程中不厌其烦细致人微的指导、教育和关怀。最后非常感谢笔者的父母,感谢他们的养育和一直以来的理解、体贴与照顾,写就本书,笔者自认才疏学浅,仅略知皮毛,更兼时间和精力有限,书中错谬之处在所难免,若蒙读者不弃还望不吝赐教,将不胜感激.2015年10月,一场围棋的人机对决正在进行,但由于是闭门对弈,这场比赛的进行时可请“悄无声息”.围棋,起源于中国,是迄今最古老的人类智力游戏之一,它的有趣和神奇,不仅因为其规则简洁而优雅但玩法却千变万化,而且还因为它是世界上最复杂的棋盘游戏之一,是当时唯一一个机器不能战胜人类的棋类游戏,那场对决的一方是三届欧洲围棋冠军的樊磨二段, 另一方则是Google Deep Mind开发的“阿尔法狗”(Alpha Go) 人工智能(Artificial Intelligence, 简称A I) 围棋系统,双方以正式比赛中使用的十九路棋盘进行了无让子的五局较量,与比赛进行时大相径庭,赛后结局开非无人间津而是举世呼然:阿尔法狗以5:0全胜的纪录击败葵磨二段,而樊二段则成为了世界上第一个于十九路棋盘上被AI围棋系统击败的职业棋手.樊磨段在赛后接受Nature采访时曾谈到:“如果不知道阿尔法狗是部电脑,我会以为对手是棋上,一名有点奇怪的高手。 雾时间消息不胫而走,媒体报道铺天盖地,莫非人类就如此这般轻易的丢掉了自己“尊严?莫非所有棋类游戏均已输给AI?当然没有。樊麾一战过后不少围棋高手和学界专家站出来质疑阿尔法狗取胜的“含金量”为人类“背书”此役机器仅仅胜了人类的围棋职业二段,根本谈不上战胜围棋高手,何谈战胜人类呢!就在人们一到演定的品论这次“小游戏”时,阿尔法狗正在酝酿着下一次“大对决”,因为它即将在2016年3月迎战韩国籍世界冠军李世石九段,近十年来,李世石九段是夺取世界冠军头衔次数最多的超流棋手,所以从严格意义上讲,那才是真正的“人机大战 。与上次不同,2016年3月这次人机“峰对决”堪称举世瞩目万大空巷。不过就在赛前仍有不少人唱衰阿尔法狗,特别是整个闹棋界一路的鄙视,基本上是希望阿尔法狗能赢一盘保住“面子”就善莫大焉了。但是随着比赛的进行,结果逐渐令人错博。第一局李世石输了!“是不是李世石的状态不对,没发挥出真
0.2.什么是深度学习?正的水平?”第二局李世石又输了!“阿尔法狗还是蛮历害的啊.不过阿尔法狗大局观应该不行,世石九段在这方面加强,应该能赢.”第三局李世石再次箱了比赛,赛前对人类棋手乐观一派悲观至极。“完了!虽然比赛已输,但李九段怎么说也要赢盘吧。”果然,第四局78手出现神之手,李世石终于赢了盘,让人有了些许宽慰。但末盘阿尔法狗没有再给李世石机会,最终4:1大胜人类围棋的顶级高手,彻底宣告人类“丧失”了在围棋上的统治地位。7阿尔法狗”则迅速成为全世界热议的话题,在阿尔法狗大红大紫的同时,也让人们牢牢记住了个原本陌生的专有名词—“深度学习 (deep lr arning) 、0.2什么是深度学习?比起深度学习, 机器学习 一词应更耳熟能详.机器学习(machine learning) 是人工智能的一个分支, 它致力于研究如何通过计算的手段, 利用经验(experience)来改善计算机系统自身的性能。通过从经验中获取知识(knowledge) , 机器学习算法摒弃了人为向机器输人知识的操作,转而凭借算法自身来学到所需所有知识, 对于传统机器学习算法面言, “经验”往往对应以“特征 (feature) 形式存储的“数据 (data) , 传统机器学习算法所做的事情便是依靠这些数据产生“模型”(model} .但是“特征”为何?如何设计特征更有助于算法学到优质模型?一开始人们通过“特征工程 (feature r ngineering) 形式的工程试错性方式来得到数据特征.可是随着机器学习任务的复杂多变,人们逐渐发现针对具体任务生成特定特征不仅费时费力,同时还特别敏感,很难将其应用于另一任务。此外对于一些任务,人类根本不知道该如何用特征有效表示数据。例如,人们知道一辆车的样子,但完全不知道怎样设计的像素值配合起来才能让机器“看懂”这是一辆车。这种情况就会导致若特征“造”的不好,最终学习任务的性能也会受到极大程度的制约,可以说,特征工程决定了最终任务性能的“天花板”。聪明而强的人类并没有屈服:既然模型学习的任务可以通过机器自动完成,那么特征学习这个任务自然完全可以通过机器自己实现。于是,人们尝试将特征学习这一过程也用机器自动的“学”出来, 这便是“表示学习 {representation表示学习的发展大幅提高了很多人工智能应用场景下任务的最终性能,同时由于其自适应性使得人工智能系统可以很快移植到新的任务上去。“深度学习”便是表示学习中的一个经典代表.深度学习以数据的原始形态(rawdata) 作为算法输人:经过算法层层抽象将原始数据逐层抽象为自身任务所需的最终特征表示、最后以特征到任务目标的射(mapping) 作为结東, 从原始数据到最终任务目标, 一气呵成”并无夹杂任何人为操作.如图1所示,相比传统机器学习算法仅学得模型这一单一“任务模块”而言,深度学习除了模型学习,还有特征学习,特征抽象等任务模块的参与,借助多层任务模块完成最终学习任务,故称其为“深度”学习。深度学习中的一类代表算法是神经网络算法, 包括深度置信网络(deepbelief network) , 避归神经网络(re eur rent neural network) 和卷积神经网络(Convolution Neural Network, 简称CNN) 等等.特别是卷积神经网络, 目前在计算机视觉、自然语言处理、医学图像处理等领域“一枝独秀”,它也是本书将侧重介绍的一类深度学习算法.有关人工智能、机器学习、表示学习和深度学习等概念同的关系可由图2中的韦恩图表示、
深度学习的前世今生虽说阿尔法狗一鸣惊人,但它背后的深度学习却是由来巳久。相对今日之繁荣,它一路而来的发展不能说一帆风顺,甚至有些跌宕起伏。追根溯源,深度学习的思维范式实际上是人工神经网络(artifi cia I neural networks) , 从古溯今, 该类算法的发展经历了三次高潮和两次衰落,第一次高潮是二十世纪四十至六十年代当时广为人知的控制论(cybe met-ics) 、当时的控制论是受神经科学启发的一类简单的线性模型, 其研究内容是给定一组输人信号r1:2.c,去拟合一个输出信号y,所学模型便是最简单的线性加权:f(ar,w)=1*1+…+1w显然,如此简单的线性模型令其应用领域极为受限, 最为著名的是:它不能处理“异或 问题(X OR function) .因此, 人工智能之父Marvin Minsky曾在当时撰文批判神经网络存在的两点关键