您好、欢迎来到现金彩票网!
当前位置:秒速牛牛投注 > 统计模型 >

由统计机器学习的观点如何在概念上理解预训练的过程?

发布时间:2019-07-09 21:13 来源:未知 编辑:admin

  可选中1个或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个问题。

  展开全部预训练指的是train model的过程。感觉从概率的角度看,一般是用概率上的统计模型拟合数据,

  例:数据源自高斯,或类高斯的模型,那么就可以用高斯模型拟合数据,进而得到该高斯模型的(均值,方差),然后对于一个新来的输入,就可以根据这个高斯模型,预测其属于该类别的概率。

  目前机器学习的一个比较热门的方向是统计机器学习(另外一个可能是图模型,按照Jordan的说法是统计机器学习属于频率主义,而图模型属于贝叶斯主 义), 对于每一个做统计机器学习的研究者来说,他们大致可以分为两类:一类做统计学习理论相关工作,如泛化界、约简或一致性;一类做优化算法,如支持向量机、 Boosting等。作为一个纯统计机器学习的学者来说,我想这两块内容都得了解。优化算法的门槛低点,可能比较容易上手,了解并不太难,比如支持向 量机本质上是求解一个RKHS上的二次优化问题,Boosting是函数空间上的梯度下降优化问题。统计学习理论的门槛高点,需要的基础数学知识多点,离 计算机出生的人比较远,因而常常使人望而生畏。对统计学习理论这块做了些整理,发现其实这块东西并非如想象的那么难,本质无非是概率集中不 等式在机器学习上的应用,下面以泛化界为例讲一下自己对那块内容的理解。

  中文上的意思是,依赖于许多独立随机变量的随机变量本质上是个常量,举个例子,经验风险就是一个依赖于一个随机训练样本集合的随机变量,因而经验风险本质 上应该是个常量。

  例:数据源自高斯,或类高斯的模型,那么就可以用高斯模型拟合数据,进而得到该高斯模型的(均值,方差),然后对于一个新来的输入,就可以根据这个高斯模型,预测其属于该类别的概率了。

  如果你听说过猴子和打字机的故事就好理解了,猴子打出来的名著就是人工智能,所谓的机器学习就是猴子打字,而预训练就是培训猴子打字

  以作画为例。这个本身可以当成一个随机过程。可参考lda对比。可以是 想法-轮廓画-成画。预训练,可以认为,给定一幅成画,找出其最可能的轮廓画的样子。

  第二点,想廓画和成画都有一定的关联关系。预训练,可以发现各种局部全局的频繁模式和两者之间的对应关系。这是降维成立的条件。

  不好说。直觉上,第一点,预训练后,新的表示只留了骨架,类似一张图片的速写素描版本,信息量减少了,但表达的意思都还在。

http://duchtech.com/tongjimoxing/329.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有