金沙js333娱乐场官网使计算机拥有通过学习解决问题的能力

当前位置:金沙js333娱乐场 > 金沙js333娱乐场官网 > 金沙js333娱乐场官网使计算机拥有通过学习解决问题的能力
作者: 金沙js333娱乐场|来源: http://www.qdshidiwei.com|栏目:金沙js333娱乐场官网

文章关键词:金沙js333娱乐场,正规函数

  首先说一些关于课程的题外话。对于 Ng 的这个课程,笔者没有选择在 Coursera 上学习课程,一来是因为 Coursera 有自己的课程周期,但这个周期不一定适合所有人。其次 Coursera 的课程作业是使用 Octave 语言,而笔者个人觉得不管是学习还是未来使用 Python 都会是更合适的语言。所以最终笔者选择了 课程视频 + Python 实现作业 的形式。

  为了更好的阅读体验你可以在网站中查看,点击课程视频你就能不间断地学习 Ng 的课程,关于课程作业的 Python 代码已经放到了 Github 上,点击课程代码就能去 Github 查看( 无法访问 Github 的话可以点击Coding查看 ),代码中的错误和改进欢迎大家指出。

  什么是机器学习?Arthur Samuel 给出的一个非正式定义是:不通过明确地编程,使计算机拥有通过学习解决问题的能力。

  机器学习的算法包括监督学习,无监督学习,强化学习,推荐系统等。我们第一周学习的线性回归属于监督学习。

  学习的目的是为了解决问题。回归问题是非常常见的一类问题,目的是为了找寻变量之间的关系。比如要从数据中找寻房屋面积与价格的关系,年龄与身高的关系,气体压力和体积的关系等等。而机器学习要做的正是要让机器自己来学习这些关系,并为对未知的情况做出预测。

  首先要有一个训练数据集( Training Set ),其中包含数据对应问题的正确结果。通过我们的学习算法 ( Learning Algorithm ) 学习训练数据集,最终获得一个函数 ( Hypothesis ),这个函数就是我们需要的预测函数,能够对 训练集的数据 与 其它数据输入 做出比较准确的预测。

  那么如何学习预测函数中的 θi呢?我们需要引入代价函数的概念,它的作用是评估真实与预测值之间的差异。一旦有了这个函数,学习算法的目标就是找到 θi使得这个函数的值尽可能的小。对于线性回归,金沙js333娱乐场官网我们使用的代价函数是:

  式中 X 为所有训练特征数据组成的矩阵,y 为训练数据集已知答案的列向量:

  右图是 J(θ) 的等高图,每一条线表示代价函数的值相同,红 X 表示代价函数的最低点。

  接着刚刚看的单个特征所对应的代价函数图像加上之前所说的 “学习算法的目标就是找到 θi使得代价函数尽可能的小” 。一个很直观的想法就是,在坡上任意取一点,然后沿着下坡方向走最后到达最低点。这也正是梯度下降算法的思路,我们沿着梯度的反向更新 θi的值( 沿着最陡的方向下坡 ),直到代价函数收敛到最小值。梯度下降算法更新 θi的方式为:

  其中 α 为学习率,:= 表示使用右式的值替换 θi原有的值。对于线性回归,我们更新 θi的方式为:

  到这里我们就能够完成整个线性回归的机器学习算法了。设定 θi的初始值,使用梯度下降算法迭代更新 θi的值,直到 J(θ) 收敛。至于为什使用梯度的反向可以看这篇文章,作者从数学角度解释了原因。

  对于线性回归,我们完全可以使用数学方法来得到 J(θ) 取最小值时 θi的值。这涉及一些导数和线性代数的知识,有兴趣的同学可以详细看课程视频中的推导过程。这里直接给出求解 θ 的公式:

  在使用时正规方程有一定的限制,比如 XTX 矩阵需要是可逆的。那么有了直接求解问题的方法,为什么我们还需要梯度下降的概念呢?因为梯度下降方法更具有广泛性,可以用于很多 问题的求解,比如非线性的代价函数。

  在实际的运用中我们选取的特征,比如长度,重量,面积等等,通常单位和范围都不同,这会导致梯度下降算法变慢。所以我们要将特征缩放到相对统一的范围内。通常的方法有Standardization和Normalization。Standardization是把数据变成符合标准正态分布,即使原来是些奇奇怪怪的分布,由中心极限定理可知,数据量够大,一样变成正态,更新公式为:

  Normalization对于梯度下降算法友好,可能可以让算法最终收敛并且提高训练速度和精度,更新公式为:

  有时候线性的Hypothesis不一定合适我们需要拟合的数据,我们会选择多项式拟合例如:

  这时候我们可以将它转化为线性回归问题,只要令新的特征 x3=x1x2,x4=x12,x5=x22就可以了。

  2吴恩达Meachine-Learing之单变量线性回归(Linear Regression ...

  未经允许,不得擅自改动和转载 我们的第一个学习算法是线性回归算法。在这段视频中,你会看到这个算法的概况,金沙js333娱乐场官网更重要的是...

  春笋:立春后踩挖的笋。种类、金沙js333娱乐场官网吃法繁多,有“菜王”之称。 过去文人雅士,特别是江南才子之地,常以“居不可无竹”,来彰...

  雨水,是很重要的节气,所以我要了解、记录一下。 首先,雨水是二十四节气中的第二个节气, 雨水之前天气寒冷,但见雪...

  01 小明一个人坐在秋千上。 以前有句老话说的很有道理,不经历风雨,怎么见彩虹。 其实,身边所有的人包括小明都明白...

网友评论

我的2016年度评论盘点
还没有评论,快来抢沙发吧!