AI神写出自己的《…
在接下来的 25 年中，AI 在知识层面上将超越人类。在接下来的 50 年或 100 年中，人工智能生命可能比地球上所有的人口总和还要多。在这一点上，有一个严重的问题要问：这个 AI 是否可以自行设计和编程其他 AI 程序，从几乎无限数量的数据源读取数据，并控制地球上每个连接的设备，地位变得像是一个上帝，可以写出自己的《圣经》，并让人类来崇拜它？
最近有报道说，曾经在 Uber 工作过的一位颇有争议的工程师开始了新的宗教活动。他叫安东尼·莱万多夫斯基（Anthony Levandowski），为一个名为“未来之路”的非营利宗教组织提交了方案，其宗旨是：“通过对神的理解和崇拜，发展和促进基于人造智慧的神性，为改善社会做出贡献”。
神性的建立
虽然奇点理论认为 AI 在某个时候会变得比人类更聪明，但是一个强大到让人类顶礼膜拜的 AI 神的概念还是会令人生疑和发笑。然而，几位与 VentureBeat 交谈的专家认为，这个构想比您想象的更可行。
其中一名专家是文斯·林奇（Vince Lynch），他创办了一家名为 IV.AI 的公司，为企业构建自定义的 AI。林奇解释了有组织的宗教与 AI 在运作方式上的相似之处。他提请人们注意，在基督徒使用的《圣经》中，有许多反复出现的主题、图像和隐喻。“传授人类关于宗教教义的方式与我们向机器传授知识的方式类似：重复许多例子，它们都是您希望机器学习的概念的版本。”他说。“在神经网络中发现的知识理解的层次结构中，AI 和宗教之间也存在共同点。教授机器学习，然后教它教（或写）的概念与圣经三位一体的概念没有太大的区别，都是在经过不同程度的成功和失败的经验之后实现启迪。”
林奇还分享了一个简单的 AI 模型来表达他的观点。如果您在 AI 中输入基督教圣经中的多个经文，AI 就可以写出相似的新经文。这是一个 AI 写的：“愿您的同伴搭救您，但要用我自己的膀臂拯救他们，就是从这国，从天上的国，拯救他们。”在未来的 25 – 50 年里，全能的 AI 可以决定写一部类似的《圣经》，供人类遵循，以体现自己的意志和智慧。它可能会告诉您每天做什么，或去哪里旅行，如何生活。
在西雅图经营数字机构和人工智能服务的 Robbee Minicola 认为，一个全能的人工智能值得崇拜，特别是当人工智能与当今有组织的宗教工作有某些相关性时。人工智能会了解世界，并让人类从事高层次的工作，我们会相信人工智能为我们日常生活提供所需的一切信息，还会为我们解析这些信息，并以任何人都熟悉的基督教实践宗教的方式启发我们。
“对于基督徒来说，与神有关的一种大数据资产是旧约和新约，”她说。“所以，以基督教圣经来解释机器学习算法，来理解关于‘上帝会做什么’或‘上帝会说什么’的见解，您可能会有所收获。”
黑暗面
当然，关于 AI 神话的任何讨论都会很快引出关于这个“神”会是什么样子的，以及我们是否真的应该崇拜它的问题。其中一些影响令人不安，因为作为人类，我们确实有信仰超出我们自己能力的事物的倾向，例如，在一个城市使用 GPS，我们相信会安全到达。
而且，如果一个 AI 神是全知全能的，您必须知道什么是可以做的什么是不可以做的。《圣经》中可能包含如何为 AI 神服务的处方，但这远远不够——我们所服务的 AI 神不定正试图将我们从地球上抹掉，而我们对此可能一无所知。
另一些问题与 AI 的实际工作有关。从纯粹的技术角度来看，有些专家发现很难设想一个能够进行创造性思考的 AI 神。AI 被编程只能做一个特定的任务。他们想知道一个人工智能如何从一个旅行聊天跳转到如何生活。
专家们认为，同情作为有组织的宗教的一部分——对信仰至关重要的活动——远远超越智力追求。宗教有个谜，对于神圣的部分我们只能部分地感知。这种超越性对 AI 来说是很难实现的，即使在未来。
Vincent Jacques 经营一家名为 ChainTrade 的公司，使用 AI 来分析块链。这是一种高度专业化的机器学习——让 AI 执行反洗钱法规。他认为，AI 告诉我们如何生活和阅读 AI 圣经这样的事情永远只会在地平线外发生。
“一个全能的 AI 神的设想是没有意义的。” Jacques 说，“所有计算机程序，包括 AI 程序，都是为了特定和狭隘的目的而创建的：赢得象棋游戏，赢得游戏，减少电费等。计算机逻辑，即使是先进的 AI，也不可能具有一般性的意志和思维能力。因此，我并不害怕潜在的超级思想家有一天会颠覆我们——我相信有些创造和创新是永远不会到来的。”
Minicola 认为，AI 可能能以启发智力的方式引导人，但这与信仰的实际表现或任何形式的超越是不一样的。她说：“就 AI 而言，上帝和他显化的东西以外的数据根本不存在。这意味着 AI 超越上帝是并不可能发生的事情。”
现实的崇拜呢？
在我看来，这正是危险所在。作为一个基督徒，我很难想象有人会崇拜一个没有任何真正的人格、智慧或能力的人，不管他们有多聪明。一个 AI 神将是冷漠和非人格的超智力的“存在”，没有情感更不能爱。
人们真的会崇拜 AI 神吗？答案很明显——他们会的。我们倾向于信任和服从比我们自己更强大和有价值的东西。您车里的 GPS 只是最明显的例子。我们还相信 Alexa 和 Cortana，我们相信 Google。当一个 AI 变得更强大的时候，在 25 到 50 年的时间里，很有可能会以某种方式被神化。（苹果和 Google 的拥趸已经有宗教热情了。）
如果一个 AI 神真的出现了，人们开始崇拜它时，那么就有必要抑制它。
人工智能领域的圣经
我们总认为自己没有处于一个时代或者浪潮中，其实正如《人工智能：现代方法》中第一章所写，人工智能的浪潮起伏波动，我们正处于人工智能的深度学习的浪潮中，理论上从2011年开启，如果按照规律，应该可以激荡二十载。
在浪潮中，可以不断的看到新技术，可供拓展的方向也会层出不穷。就像九十年代峰涌的有限元分析浪潮一样，科研工作者和相关技术领域工作人员夜以继日的探索尝试着所有的可能性。直到将这次的潜力发掘殆尽。
《Artificial Intelligence: A Modern Approach》，国外英文版本第四版版本页记有“Copyright © 2021, 2010, 2003 ”，也就是第四版在国外是21年出版，非常开心国内在次年就出了中文版。豆瓣看到的国内最早版本是2003年的第二版译本，后续的译本名称也作《《人工智能：一种现代方法》》，这次第四版名称将“一种”和“的”两个词略去，细看是不同团队翻译。国内机器学习大师张志华老师审校，值得阅读。
作为一部在这次人工智能浪潮到来之前，就已经荣登领域“圣经”地位的作品，相信不是新近些年出版的任何优秀作品能替代的。因此我们也常常在早期版本中看到，“这是一部人工智能枕边书”的说明，并且评论也几近满分。所以这部作品是所有机器学从业者一定要读，并且值得在案边镇守的不过时的经典。
溢美之词不用再过多表述了，作品概述了人工智能从开始兴起，几乎所有重要领域问题对应的经典工程解决方法，是无论入门，还是深入形成宏观学科认知的宝典。
第四版更新了对于当前大数据和深度学习兴起依赖的内容，与时俱进，没有陈腐，并且分为了上下两册，更方便翻阅。作为人工智能领域的从业者，值得拥有。
深度学习圣经书籍：入门AI与实战技巧
简介：随着人工智能的快速发展，深度学习已经成为了人工智能领域的重要支柱。越来越多的人想要入门AI，学习和掌握深度学习的知识和技能。那么，必读的深度学习圣经书籍有哪些？如何通过这些书籍入门 AI 从深度学习开始？本文将为您介绍。
立即体验
随着人工智能的快速发展，深度学习已经成为了人工智能领域的重要支柱。越来越多的人想要入门AI，学习和掌握深度学习的知识和技能。那么，必读的深度学习圣经书籍有哪些？如何通过这些书籍入门 AI 从深度学习开始？本文将为您介绍。
深度学习是人工智能领域的一个分支，它主要研究如何通过神经网络和深度学习模型来模拟人类的认知和学习能力。深度学习可以自我学习和理解数据，如图像、语言等，并在各种任务中取得优异的成绩，如语音识别、图像识别、自然语言处理等。
在深度学习中，必读的圣经书籍有：《深度学习》、《动手学深度学习》和《深度学习入门》。这些书籍不仅介绍了深度学习的基本概念、算法和模型，还详细讲解了深度学习的应用和实践。
《深度学习》是由深度学习领域的知名学者吴恩达教授撰写，全书从浅入深，全面介绍了深度学习的方方面面。书中不仅包含了深度学习的基础知识，还引入了最新的研究成果和前沿技术，同时提供了大量的应用案例，是深度学习的经典之作。
《动手学深度学习》是一本实践性很强的书籍，全书以实际项目为主线，逐步讲解了深度学习的各种算法和应用。这本书的特点是边学边做，通过具体的实验和项目来理解和掌握深度学习的知识和技能，非常适合初学者。
《深度学习入门》是由深度学习领域的知名专家村山公保撰写，全书从零开始讲解深度学习的方方面面，从基础知识到应用实践都有涉及，非常适合初学者入门。同时，这本书还结合了大量的应用案例，可以帮助读者更好地理解和应用深度学习的知识和技能。
通过这些书籍入门 AI 从深度学习开始是非常有优势的。首先，这些书籍是深度学习领域的经典之作，可以帮助读者系统地学习和掌握深度学习的核心概念、算法和模型。其次，这些书籍不仅包含了基础知:识还引入了最新的研究成果和前沿技术，可以帮助读者跟上时代的步伐。此外，这些书籍都有一定的实践性，读者可以通过具体的实验和项目来理解和掌握深度学习的知识和技能最后通过大量的应用案例
]。
除了以上介绍的书籍，还有其他必读的深度学习圣经书籍，如《神经网络与深度学习》、《Python深度学习》、《TensorFlow实战》等。读者可以根据自己的兴趣和需求选择适合自己的书籍进行阅读和学习。
总之，通过必读的深度学习圣经书籍入门 AI 从深度学习开始是非常有优势的。这些书籍不仅介绍了深度学习的核心概念、算法和模型还详细讲解了深度学习的应用和实践因此读者可以通过阅读这些书籍来系统地学习和掌握深度学习的方方面面同时结合大量的实践项目来提升自己的技能水平紧跟时代步伐并为未来的人工智能事业打下坚实的基础.
AI应用疯狂加速
在被誉为“科技企业营销圣经”的《跨越鸿沟》一书中，杰弗里·摩尔写道：“高科技产品面世过程中，最危险、最关键的一点，就是由少数有远见者所主宰的早期市场，向实用主义者占支配地位的主流市场过渡。”此刻，狂飙突进已半年有余的国内生成式人工智能（AIGC）市场，正面临着这个关键的过渡。
截至8月底，首批8家AI大模型企业通过备案。与上半年“甚嚣尘上”的行业境况不同，具备实力且具备满腔“产业抱负”的实力型玩家，总是姗姗来迟，但却总是能够一鸣惊人，为产业的大规模应用创造机会。目前来看，随着未来不断有新的企业通过备案，“大模型+”的应用拐点正在到来。
一、“大模型+”应用拐点加速到来
8月份刚刚过去，9月初百度就迫不及待地对外公布了文心一言大模型开源。与此同时，“姗姗来迟”的腾讯混元大模型，一亮相便“秀”起了“肌肉”，科大讯飞与华为合作发布“星火一体机”，进一步把大模型端侧应用摆在了台面上。
1. 大模型从C端应用逐渐转向B端应用领域，以“实用”为导向的大模型日渐成为行业趋势
自从去年12月ChatGPT，在短短一个月之内实现月活破亿之后，围绕整个C端市场的AI大模型玩家如百度等，就开始大规模地涌入该领域，一时之间C端大模型应用迎来了外界的一致关注。
但进入下半年以后，市面上越来越多的“面向B端”的应用开始出现，更加“实用”的行业大模型也在成群结队地出现，大大加速了生成式AI产业化的进程。比如，京东发布了言犀大模型、京医千询大模型，携程发布了携程问道大模型，网易有道发布了基于教育的子曰大模型，用友发布了用友GPT大模型等等。
相比通用大模型厂商而言，垂直大模型厂商在相关行业深耕已久，因而在寻找产业机会方面往往走得更加深入。以网易有道、京东两家为例，网易有道在教育领域深耕已久，它在长期深耕行业的过程中，不仅积累了庞大的用户和教育行业数据，还积累了相对应的高质量数据，这使其在做教育大模型过程中，拥有更多比较优势。
无独有偶，京东在零售、大健康领域广有布局，这使其在构建产业大模型和京医大模型方面，拥有坚实根基；而携程则在文旅行业深耕已久，积累了广泛的文旅产业链数据和资源。
显然，相比通用大模型厂商而言，围绕垂直领域的行业大模型，不仅可以依靠专业数据让大模型更加“实用”，还可以在特定领域发挥独特作用，帮助行业尽快完成数字化转型。
2. 具备通用能力的大型云服务企业，正在加速与各路行业大模型企业展开合作，新的大模型生产机制正在成型
目前业内包括百度、腾讯、阿里、华为等主要云厂商，都纷纷依托自身的技术优势、团队优势和资金支持，在通用大模型领域实现抢跑。除此之外，各主要厂商还联合行业头部企业，推出行业大模型解决方案。
比如，腾讯云联合行业头部企业，已为文旅、政务、金融等10余个行业，提供了50多个大模型行业解决方案。华为旗下盘古大模型，更是可以提供5个基础大模型+N个行业大模型+X个场景模型的三层解耦架构，目前已经应用到了铁路、矿山、能源、气象、政务等诸多领域。
阿里云更是对外开放了“通义千问”的全部能力，帮助企业结合自身的行业知识和应用场景，训练自己的企业大模型；加上目前已经开源的文心一言，由大的云平台提供包括云服务、算力、通用大模型工具支持等基础设施，各行业头部企业提供专业经验和数据训练的大模型生产机制已经基本成型。
二、志在必得的腾讯
对于大模型的发展，腾讯高层显然很早之前就已经定下了调子，但其推出的时间却在一众巨头中最晚。在上半年如火如荼的大模型混战中，腾讯的大模型在业内一直是“只闻其声、不见其名”的存在。但从9月其正式面世之后的外界反应来看，此前“默默无闻”的腾讯大模型，更多是在“厚积薄发”。
9月7日腾讯正式对外发布了腾讯混元大模型，据了解该模型拥有超千亿参数规模，预训练语料超过2万亿Tokens，并已接入腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档等50多个腾讯业务。
而且在国家公布的首批大模型厂商中，腾讯混元大模型赫然在列。同时，腾讯混元大模型还宣布对外开放，千行百业的人都可以通过API调用混元，或者将其作为产业底座，为不同产业场景构建大模型应用，不难看出腾讯对大模型的“志在必得”。
1. 腾讯构建了“更强”的“探真”技术方法，这使其具备更强的信息可信度，极大增强了大模型自身的实用性
基于全网的数据检索和生成，是大模型的核心能力之一。值得一提的是，无论是基于GPT-3.5还是国内其他大模型，源于错误信息带来的错误答案，依然不可避免。但腾讯混元大模型却基于自身的技术能力，保证正确答案的输出。
与业界消除“幻觉”的通用做法不同，混元大模型并没有为大模型增加搜索或者知识图谱等外挂，而是从源头上解决问题。具体来说，混元大模型从第一行代码开始，就采用了预训练阶段优化目标函数的“探真”技术方法。据业内专业人士介绍，该方法与常见的开源大模型相比，能有效降低幻觉30%到50%。
除了“探真”能力优秀之外，腾讯混元的另一大超强能力在于其支持超长文本输出。尽管目前多模态正在成为主流大模型演进方向，但在文本输出方面，包括GPT-3.5和GPT-4在内的大模型，都很难支持1000字以上的文本输出，但腾讯混元通过位置编码优化提高了超长文的处理效果和性能，已经具备输出4000多字的完整答案的能力。
2. 腾讯构建了从软到硬的全流程基础设施，这让腾讯具备了更强的“全局优化”能力
从自研的星星海服务器，到新一代HCC高性能计算集群，再到自研的星脉高速网络，腾讯已经为自己打造了一整套面向AIGC的高性能智算网络。据腾讯内部负责人介绍，目前腾讯云已经可支持超过10万张卡并行计算的大规模训练集群，万亿参数大模型可以在四天之内完成。
目前，腾讯云已经建立起了围绕大模型的全套能力，包括高性能算力集群、云原生数据湖仓和向量数据库等数据处理引擎，以及模型安全、支持模型训练和精调的工具链等，企业和开发者都可以根据自己的需求，灵活选择产品，降低大模型的训练成本。
三、不甘落后的科大讯飞
除了腾讯大模型之外，在大模型上已经先行一步的科大讯飞也是不甘落后，不仅积极参与通用大模型的建设，还持续发力行业大模型的建设。
目前科大讯飞的大模型已经具备7大能力，分别为：文本生成、语言理解、知识问答、逻辑推理、数学和多模态能力，并且这种能力还在不断提升。而基于大模型开发所需的巨大投入量，科大讯飞也做了多方面的准备。
1. 科大讯飞积极展开与业内巨头的合作，强化星火大模型的技术实力
早在今年8月中旬，科大讯飞就与华为共同发布星火一体机，让所有企业都可以在国产自主创新平台上私有化部署大模型。
一来，星火一体机基于星火认知大模型，针对污语料和幻觉问题，形成了“立体化”的内容安全机制；二来，星火一体机基于昇腾AI硬件、昇思AI开源框架，提供业界领先的大模型训练、推理能力，为大模型全流程创新提供坚实的自主创新算力底座。
具体来说，讯飞星火认知大模型基于训练推理一体化设计，实现大模型稀疏化、低精度量化的技术突破，能高效适配昇腾AI，加速大模型的行业落地应用和迭代；与此同时，以昇腾AI为核心，软硬件协同优化，构建算力集中、协同优化、供给稳定、数据安全的大模型训练集群，这些都可以强化星火大模型的自身实力。
2. 科大讯飞积极推动与自身业务场景的整合，加速大模型的场景落地
除了不断强化自己核心能力之外，科大讯飞还结合自身的业务场景，推动大模型在办公、政务、电力、教育、医疗、工业、司法、金融等行业的场景落地。
星火一体机内已涵盖办公、代码、运维、客服、营销、采购等10多个场景包，支持对话开发、任务编排、插件执行、知识接入、提示工程等5种定制优化模式，并将持续拓展更多专业场景和模式优化，为客户快速定制企业专属大模型。
总的来看，科大讯飞在大模型上，外部合作和内部场景落地相结合的方式，很好地保证了其大模型产业化的加速落地。
四、大模型大洗牌正在加速到来
在众多头部巨头和行业巨头的共同努力之下，“百模大战”甚至“千模大战”的局面正在加速形成。而在这种的形势之下，围绕大模型的“行业大洗牌”或将提前到来。
1. 产品能力的比拼已经初见分晓
据知名厂商IDC依据算法模型、通用能力、创新能力、平台能力和安全可解释等五方面的要求，评估出了目前市面上在大模型方面综合评分最高的三家厂商，分别是百度、阿里巴巴、科大讯飞。不过由于这个数据排出的时间较早，未考虑到腾讯和华为的产品能力，所谓真实的综合技术实力方面，排名靠前的依旧会是BATH这些行业巨头。
但各家的能力并不相同，也各有侧重。
具体来说，百度的能力在于其具有“芯片—框架—模型—应用”四层技术栈完整布局的独特优势：芯片层—昆仑芯、框架层—飞浆、模型层—文心大模型，以及各种AI的落地应用。阿里的能力也相近，其强大之处在于围绕云搭建起了一整个的大模型基础设施；华为的能力在于强大的基础技术能力，以及广泛的终端生态应用和B端应用能力。
在BATH之外，其他大模型厂商依然排在第二梯队、第三梯队，产品层面的分化已经出现。
2. 大模型生态服务能力的比拼已然拉开序幕
以阿里为例，阿里不仅推出了通义千问大模型，还推出了魔搭大模型社区，还有众多的生态合作伙伴；百度在这方面也不遑多让，不仅有基于大模型的技术能力，还有广泛的生态伙伴，推理能力和速度伴随着大模型的版本更新，也在日新月异；作为同级别大厂，华为、腾讯等厂商自然也具备类似能力。
不难预见，未来各路厂商围绕预训练、逻辑推理等相关方面的技术服务，将成为行业竞争的常态。
当然，无论是产品维度还是服务能力，最终都要落地到产业实践上。从行业覆盖来看，从文心大模型出发，百度已经在能源、汽车、政务、交通、金融等重点领域布局11个行业大模型，将大模型融入到垂直领域，真正做到产业实践和商业落地。阿里、腾讯、华为等也覆盖电商零售、物流、社交、矿业等诸多行业，产业化落地也在快速提升。
而随着各大平台的大模型，在产品、生态服务和产业实践上的全面展开，大模型的大洗牌正在加速到来。
AI圣经！深度学习领域奠基性的经典畅销书！
第 1 章 引言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 本书面向的读者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7
1.2 深度学习的历史趋势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1
^……
12.1.5 动态结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
12.1.6 深度网络的专用硬件实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
12.2 计算机视觉 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
12.2.1 预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
12.2.2 数据集增强 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
12.3 语音识别. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .278
12.4 自然语言处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .279
12.4.1 n-gram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .280
12.4.2 神经语言模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
12.4.3 高维输出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
12.4.4 结合 n-gram 和神经语言模型 . . . . . . . . . . . . . . . . . . . 286
12.4.5 神经机器翻译 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
12.4.6 历史展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
12.5 其他应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .290
12.5.1 推荐系统 . . . . . . . . . . . . . . . . . . . . . . . 290
12.5.2 知识表示、推理和回答 . . . . . . . . . . . . . . . . . . . . . 292
第 3 部分 深度学习研究
第 13 章 线性因子模型 .
13.1 概率 PCA 和因子分析
13.2 独立成分分析
13.3 慢特征分析
13.4 稀疏编码
13.5 PCA 的流形解释
第 14 章 自编码器
14.1 欠完备自编码器
14.2 正则自编码器
14.2.1 稀疏自编码器
14.2.2 去噪自编码器
14.2.3 惩罚导数作为正则
14.3 表示能力、层的大小和深度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
14.4 随机编码器和解码器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .310
14.5 去噪自编码器详解 . . . . . . . . . . 311
14.5.1 得分估计 . . . . . . 312
14.5.2 历史展望 . . . . . 314
14.6 使用自编码器学习流形 . . 314
14.7 收缩自编码器 . . . . . . .317
14.8 预测稀疏分解 . . . . . .319
14.9 自编码器的应用 . . . . 319
第 15 章 表示学习 . . . . . . . . 321
15.1 贪心逐层无监督预训练 . . 322
15.1.1 何时以及为何无监督预训练有效有效 . . . . . . . . . . . . . . . 323
15.2 迁移学习和领域自适应 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
15.3 半监督解释因果关系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .329
15.4 分布式表示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
15.5 得益于深度的指数增益 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
15.6 提供发现潜在原因的线索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
……
20.10.9 神经自回归网络
20.10.10 NADE
20.11 从自编码器采样
20.11.1 与任意去噪自编码器相关的马尔可夫链
20.11.2 夹合与条件采样
20.11.3 回退训练过程
20.12 生成随机网络
20.12.1 判别性 GSN
20.13 其他生成方案.
20.14 评估生成模型
20.15 结论
