参考:

最近,我已经开始学习深度学习。基本上,他们都是博客作者的文章。他们写得很好,非常全面。他们还将根据自己的想法删除和完善它们。
深层的基本思想
假设我们有一个系统s,它具有n层(s1,... sn),其输入为i,输出为o,它以:i => s1 => s2 => ... .. => sn => o,如果输出o等于输入i,也就是说,在此系统更改后输入i后没有信息丢失(嗯,丹尼尔说这是不可能的。信息理论中有一个说法,即“信息是按一层丢失的“(信息处理”(信息处理“不愿意的),设置处理A信息以获取B,然后处理C以获取C,然后可以证明A和C的共同信息不会超过A和B的互信息丢失的信息当然是,如果您丢失了,则没有用。信息(即输入i)现在返回我们的主题,我们需要自动学习特征。它的输出仍然是输入i,因此我们可以自动获得输入i的一系列分层特征,即S1,...,SN。
对于深度学习,它的思想是堆叠多层,这意味着该层的输出用作下一层输入。这样,可以将输入信息分级。
另外,先前的是输出严格等于输入。这个限制太严格了。我们可以稍微放松这个限制。例如,我们只需要使输入和输出之间的差异尽可能小。这种放松将导致另一种不同类型的深处。方法。以上是深层的基本思想。
浅学习()和深度学习(深度)
浅学习是机器学习的第一波。
在1980年代后期,用于人工神经网络的反向通信算法的发明(也称为后算法或BP算法)为机器学习带来了希望,并基于统计模型引发了狂热。这个繁荣一直持续到今天。发现使用BP算法可以允许人工神经网络模型从大量训练样本中学习统计定律,从而预测未知事件。与基于人造规则的过去系统相比,这种基于统计的机器学习方法在许多方面都表现出了优越性。目前,尽管人工神经网络也称为多层,但实际上它是一个仅包含一个隐藏层节点的浅模型。
在1990年代,提出了各种浅机器学习模型,例如支持向量机(SVM,),最大熵方法(例如LR,)。这些模型的结构基本上可以看作是隐藏层节点(例如SVM,)或没有隐藏层节点(例如LR)。这些模型在理论分析和应用中都取得了巨大的成功。相比之下,由于理论分析的困难,培训方法需要大量的经验和技能。在此期间,浅的人工神经网络相对沉默。
深度学习是机器学习的第二波。
2006年,加拿大多伦多大学教授和机器学习领域及其学生发表了一篇文章,该文章在学术和工业界开辟了一波深度学习。本文有两个要点:1)人工神经网络的多层密封性层具有出色的特征学习能力,并且通过学习获得的特征具有更重要的数据刻画,这有利于可视化或分类;训练难以通过“层次前”有效地克服。在本文中,初始化层次是通过无监督的学习来实现的。
目前,大多数学习方法(例如分类和回归)是浅层结构算法。这些局限性仅限于有限的样本和计算单元,并且具有有限的指数能力,可以进行复杂功能,并且其对复杂分类问题的概括能力受到限制。深度学习可以学习深度非线性网络结构,实现复杂的功能近似,表征输入数据分布式表示形式,并显示强大样本集中数据集的基本特征的能力。 (多层次的优点是可以使用较少的参数来表示复杂的功能)
深度学习的本质是通过构建许多隐藏的机器学习模型和大量培训数据来学习更多有用的功能,从而最终提高了分类或预测的准确性。因此,“深层模型”是一种手段,“特征学习”是目的。与传统的浅层学习不同,深度学习之间的差异是:1)强调模型结构的深度,通常是5、6,甚至超过10层隐藏的层节点; 2)清楚地强调了特征学习的重要性,换句话说,通过更改特征层,样本在原始空间中的特征被转变为新的特征空间,从而更容易进行分类或预测。与人工规则的特征相比,使用大数据来学习特征,它还可以描绘数据的丰富内部信息。
深处
深度学习是机器学习研究的新领域。动机是建立和模拟人脑以分析和学习神经网络。它模仿了人脑的机制来解释数据,例如图像,声音和文本。
深度学习的概念来自人工神经网络的研究。包含多个隐藏层的多层感知是一种深度学习结构。深度学习通过低级别特征的组合形成了更抽象的高级别代表性类别或特征,这是通过发现数据的分布特征来表示的。
深处是一个分支,这是可以理解的。大约两三十年前,它曾经是ML领域特别热门的方向,但随后它确实逐渐消失,包括以下方面:
1)更容易过度合适,参数更加困难,并且需要很多技巧;
2)训练速度相对较慢,并且当水平较小(小于或等于3)时,效果不比其他方法好;
因此,中间大约有20年,而神经网络几乎没有引起关注。这个时期基本上是SVM和算法的世界。但是,他坚持不懈地痴迷于老绅士,并最终吸引了一个实用且可行的深层框架(与其他人一起,Yann.lecun等)。
深层和传统神经网络之间存在许多差异。
同样的是,深层使用神经网络的分层结构。该系统由由输入层,隐藏层(多层)和输出层组成的多层网络组成。跨层节点之间没有连接,并且每一层都可以视为模型。这种分层结构更接近人脑的结构。
为了克服神经网络培训中的问题,DL使用了与神经网络的截然不同的训练机制。传统的神经网络(作者在这里主要指的是正面 - 神经网络),该网络是由背面执行的。简而言之,它使用迭代算法来训练整个网络,随机设置初始值,计算当前网络输出,然后使用当前网络输出,然后基于当前网络的输出。当前输出和标签之间的差异会更改上层的参数,直到收敛为止(总体是梯度下降方法)。深度是整个层面训练机制。原因是因为如果采用了后背机制,则对于深(超过7层),将残留的延伸到前层变得太小,并且出现了SO被称为(梯度扩散)。我们将讨论这个问题。
8。深训练过程
8.1。为什么不能在深度神经网络中使用传统神经网络的训练方法
作为传统培训多层网络的典型算法,对于仅几层网络的培训方法,BP算法实际上是非常不满意的。深层结构(涉及多个非线性处理单元层)非凸目标成本函数中的局部最小值是训练困难的主要来源。
BP算法的问题:
(1)梯度越来越薄:从顶层越来越多,校正信号越来越小;
(2)收敛到局部最低值:尤其是当它从最佳区域远离开始时(随机值的初始化将导致这种情况);
(3)通常,我们只能使用标签数据进行训练:但是大多数数据没有标记,并且大脑可以从没有标签数据中学习;
8.2。深入训练过程
如果所有层都经过同时训练,那么时间的复杂性将太高;如果每一层都是训练的,则偏差将逐层通过。这将面临上述监督学习的对立面,这将是认真的欠款(因为深层网络的神经元和参数太多)。
在2006年,提出了在非数据上建立多层神经网络的有效方法。简而言之,它分为两个步骤。一种是每次训练一层网络。高级表明R和R尽可能多地产生X'的高级代表。该方法是:
1)首先按一层构建单个层神经元,以便每次都会训练单层网络。
2)训练所有层后,使用唤醒算法进行调整。
顶层另一层的重量变成了两个路,因此顶层仍然是一个单个层神经网络,而其他图层则成为图形模型。向上的重量用于“认知”,并且向下重量用于“生成”。然后使用唤醒式算法调节所有重量。同意让认知和生成,也就是说,生成生成的顶层表明可以将可以恢复到底层的节点可以尽可能正确地恢复。例如,顶层上的节点指示面部,然后每个人的脸的图像应激活此节点,并且该结果产生的图像应能够显示一般的面部图像。唤醒级别的算法分为两个部分:唤醒和睡眠。
1)唤醒阶段:通过外界的特征和向上的重量(认知重量)生成每一层抽象表示(节点状态),并使用梯度减轻下行链路重量(产生重量(产生重量)) )在修改层之间。也就是说,“如果现实与我想象的不同,改变体重会使我想象的事情。”
2)睡眠阶段:通过顶层表示(在醒来时学到的概念)生成过程,并且向下重量产生了基本状态,并同时修改层的向上重量。也就是说,“如果梦想中的场景不是我脑海中的相应概念,那么我认为我的认知权重就会使这个场景成为现场。”
深训练过程如下:
1)从非学习的自下而上(即,从底部开始,一层训练一层到顶层):
采用非校准数据(也可以提供校准数据)分层训练参数。可以将此步骤视为一个无过程培训过程,是传统神经网络的最大部分(可以将其视为该过程):
具体而言,首先使用没有校准数据的第一层数据,并在训练时首先了解第一层的参数(可以将其视为隐藏层,以获取最小的神经网络,以使输出并输入最小的输出),因为模型是由于模型造成的,因为模型限制和稀疏约束使获得的模型能够学习数据本身的结构,从而获得比输入更多的代表性特征。在学习N-1层后,将N-1层的输出用作NN NN层作为NNNN层作为NNN层作为NNN层,为NNN层,作为NNN层,作为NNN层作为NN NN层NN N.层的输入,NN层的训练以及每个层的参数;
2)从顶部进行监督和学习(即用标签训练数据,从顶部传输错误,并且网络符合良好的态度):
基于第一步获得的第一步,整个多层模型的整个多层模型的参数是监督和培训的过程。与神经网络的随机初始化过程相似的第一步。因为DL的第一步不是通过学习输入数据的结构来获得随机的随机初始化。因此,此初始值更接近全球最佳,以取得更好的结果。因此,深层效果在很大程度上是由于第一步。
# 品质网站推广是什么
# 政策类网站怎么推广
# 岳阳网站建设网站推广
# 江门网站推广里招聘
# 源码建站之网站建设
# 事业部网站建设方案
# 无锡网站建设优化诊断
# 河源网站推广哪家优惠多
# 数字推广和数字营销哪个好
# 手办展营销推广方案
# 建材营销推广告怎么写
# 很好
# 网站seo优化成本
# 营销推广有哪些作用
# 芜湖网站建设路
# 蜜蜂营销推广助手官网下载
# 网站内链和seo
# 晋中装修网站建设
# 速卖通推广营销话术
# 珠海市外贸网站推广企业
# 响应式网站建设教程视频
# 提出了
# 探究Deep Learning基本思想
# 这是
# 的是
# 都是
# 是一个
# 也就是说
# 是一种
# 多个
# 在此
# 将其
# 深度学习学习参考zouxy09博主文章
# 我们可以
# 深处
# 更容易
# 丹尼尔
# 多伦多
# 自己的
# 更接近
# 如果您
# 在这里
相关文章:
福建百度推广可以自己弄吗?,400网站建设办公
网站外链应该怎么发布?发布网站外链的4个最实用有效的方法!
2020年网站优化的7个SEO核心技巧!
广州百度推广现状分析与未来展望,濮阳网站建设商城官网
广东企业如何利用百度推广提升搜索精准度,樟木头网站建设费用
广州百度推广内容解析,助力企业数字化营销新突破,微博图书营销推广
广州百度推广助手手机版怎么用不了?问题解析与解决方案,谷歌网站推广哪家专业
新手解答:广告联盟是什么?以及是如何赚钱的?
企业投放产品广告的好处有哪些?快速引流获客提升品牌知名度的不二选择!
如何通过联盟营销的方式开始赚钱?其分润方式主要有哪些?
你想象不到的新型休闲游戏广告联盟的盈利能力!
广州个人如何做好百度推广,营销推广的描述怎么写
通过开发app来赚钱主要有哪些赚钱模式?
网上多数的赚钱信息都是“搞信息差”,这才是网赚的精髓!
文章引流该怎么做?做好这6点流量源源不断!
福建百度推广点击率低的原因分析与优化建议,商城网站建设服务哪家好
如何才能做好网站的推广和运营?需要掌握这6个能力!
广州百度推广官网入口,助力企业拓展线上营销版图,班会教案网站建设游戏
教你如何足不出国就能轻松操作国外广告联盟赚取美金!
广州百度推广有没有用?深入解析其价值与效果,服务类营销推广方案范文
广州百度推广,助力企业发展的重要名词解析,河东区技术网站推广模式
推广类app的广告联盟,和其他的广告联盟相比有何优势?
cpc广告怎么做才能达到最好的效果?6大cpc广告操作技巧分享!
广东百度推广的概念与应用探索,个人网站制作建设方案
广州百度推广入口电话,企业营销的关键桥梁,六盘水市场推广网站
广州百度推广费用如何取消?,衡阳网站建设路夜市
广州百度推广关键词优化技巧分析,网站推广学到什么
广州百度推广多少钱一个?全面解析推广费用与影响因素,无锡品牌网站建设条件
福建百度推广开户渠道公司怎么样?全面解析优势与服务,济南楼盘营销推广
提升产品转化率的4个小技巧!
广州百度推广总部电话及服务详解,青岛网站建设方案php
广东百度推广活动,助力企业智能营销新升级,营销型网站推广方案项目
全自动日付广告联盟赚钱项目该怎么做?
广州百度推广各种形式如何收费详解,平舆附近网站推广店在哪
百度知道引流技巧,简单、粗暴、直接吸粉!
做好cpc广告日出五单的五个要点
福建百度推广服务费计入什么科目里?,网站推广厂商有哪些平台
app推广拉新之app成功与否关键在于这3个运营策略!
广东百度推广应用的现状与未来展望,网站建设流程详细步骤
探索广州百度推广代理的价值与优势,战地光环网站建设论坛
最常见的四种操作项目赚钱的方法分享!
内容网站营销和网站seo优化有什么差别?
利用百家号引流赚钱的6个步骤!
广州百度推广开户电话是多少?如何快速找到官方渠道?,中药网站如何推广产品
广州百度推广没有电话转化的原因及解决方案,成都网站推广外包
广州百度推广运营公司简介与业务描述,手表网站建设素材库
揭秘通过广告联盟年入百万所需要哪些条件!
通过广告联盟推广app日入2000+的经验分享!
新手怎么在家做网络淘金赚钱?
广州百度推广返费的优势与实用攻略,广东网站建设营销模式
相关栏目:
【
广告资讯37196 】
【
广告推广143353 】
【
广告优化89630 】