ResNet网络结构,resnet网络结构( 二 )

跟题主分享几个超级高频的机器学习面试题，希望能祝你一臂之力！Q1：如何对贝叶斯网络进行采样 (8.6)对一个没有观测变量的贝叶斯网络进行采样，最简单的方法是祖先采样（Ancestral Sampling），它的核心思想是根据有向图的顺序，先对祖先节点进行采样，只有当某个节点的所有父节点都已完成采样，才对该节点进行采样。
以场景描述中的图8.9 为例，先对Cloudy 变量进行采样，然后再对Sprinkler 和Rain 变量进行采样，最后对WetGrass 变量采样，如图8.10 所示（图中绿色表示变量取值为True，红色表示取值为False）。根据贝叶斯网络的全概率公式可以看出祖先采样得到的样本服从贝叶斯网络的联合概率分布。
如果只需要对贝叶斯网络中一部分随机变量的边缘分布进行采样，可以用祖先采样先对全部随机变量进行采样，然后直接忽视那些不需要的变量的采样值即可。由图可见，如果需要对边缘分布p(Rain) 进行采样，先用祖先采样得到全部变量的一个样本，如（Cloudy=T，Sprinkler=F，Rain=T，WetGrass=T），然后忽略掉无关变量，直接把这个样本看成是Cloudy=T 即可。
接下来考虑含有观测变量的贝叶斯网络的采样，如图8.11 所示。网络中有观测变量（Sprikler=T，WetGrass=T）（观测变量用斜线阴影表示），又该如何采样呢？最直接的方法是逻辑采样，还是利用祖先采样得到所有变量的取值。如果这个样本在观测变量上的采样值与实际观测值相同，则接受，否则拒绝，重新采样。
这种方法的缺点是采样效率可能会非常低，随着观测变量个数的增加、每个变量状态数目的上升，逻辑采样法的采样效率急剧下降，实际中基本不可用。因此，在实际应用中，可以参考重要性采样的思想，不再对观测变量进行采样，只对非观测变量采样，但是最终得到的样本需要赋一个重要性权值：其中E 是观测变量集合。这种采样方法称作似然加权采样（Likelihood Weighted Sampling），产生的样本权值可以用于后续的积分操作。
人工智能、机器学习和深度学习的区别是什么？
先来一张图镇楼：人工智能从广义上讲，人工智能描述一种机器与周围世界交互的各种方式。通过先进的、像人类一样的智能——软件和硬件结合的结果——一台人工智能机器或设备就可以模仿人类的行为或像人一样执行任务。机器学习机器学习是人工智能的一种途径或子集，它强调“学习”而不是计算机程序。一台机器使用复杂的算法来分析大量的数据，识别数据中的模式，并做出一个预测——不需要人在机器的软件中编写特定的指令。
在错误地将奶油泡芙当成橙子之后，系统的模式识别会随着时间的推移而不断改进，因为它会像人一样从错误中吸取教训并纠正自己。深度学习深度学习是机器学习的一个子集，推动计算机智能取得长足进步。它用大量的数据和计算能力来模拟深度神经网络。从本质上说，这些网络模仿人类大脑的连通性，对数据集进行分类，并发现它们之间的相关性。
如果有新学习的知识(无需人工干预)，机器就可以将其见解应用于其他数据集。机器处理的数据越多，它的预测就越准确。人工智能是一类非常广泛的问题，机器学习是解决这类问题的一个重要手段。深度学习则是机器学习的一个分支。在很多人工智能问题上，深度学习的方法突破了传统机器学习方法的瓶颈，推动了人工智能领域的发展。
是否可以通过增加神经网络的深度来提高其性能？
【ResNet网络结构,resnet网络结构】深度学习的根本理论问题之一是「深度有何作用」？虽然增加神经网络的层数可以提高其性能，但是训练和优化的难度也随之增加。本文却给出了一个相反观点，有时增加深度反而可以加速网络优化；同时提出端到端更新规则，证明深度网络过度的参数化（overparameterization）也可能是件好事。深度学习理论中有一个根本的问题：即「网络的深度有何作用？」传统观点（如：Eldan