课程---吴恩达老师
学习路线
本来准备边看视频边看周志华大佬的西瓜书,结果第三章看完就给跪了,全是数学公式,总之,在没有把数学基础打好之前还是先别看这本书了(
数学学习参考上面的学习路线,主要是微积分,概统,线性代数矩阵)否则完全看不懂的...相反视频里的是相对简单的,还有专门介绍线性代数的课程
可以先看这个入门,然后再继续西瓜书
第一周课程内容
基础名词
- 回归与分类
- 监督与不监督学习
- 我们的目标是,在给定训练集的情况下,学习函数h:X→Y,使得h(x)是y的对应值的“好”预测器
- 假设函数
方法
线性回归
1.cost function使用代价函数来衡量假设函数的准确性
房价预测(线性回归问题):choose i0,i1 so that h(x)is close to y for our training examples(x,y)
mini
目标:假设函数的斜率和截距 更符合样本
代价函数:---计算样本与计算的差距
J(i0,i1)= 1/2m∑(h(xi)-yi)^2--平法差代价函数
2.梯度下降--计算 cost function--min j(i0,i1);
不断递归计算,到函数收敛
3.正规方程
多特征的线性回归
- 代价函数,参数梯度下降的变化,(偏导数)
- 特征缩放
线性回归 逻辑回归
减小过拟合
- 过拟合,表示由于features太多,虽然cost function趋近于零,但是对于新的数据的预测并不好(可能很好的拟合了实验数据)
- 欠拟合:表示模型不是一条直线,但却训练成了一条直线(比如),所以不能很喝的预测数据
减小过拟合:
- 减少选择的特征
- 正则化---在代价函数中“惩罚”某些参数,在cost function后加上theta,减小每个theta这样可以使其跟光滑,减小过拟合
- 如果正则化参数lambda过大时(惩罚过大,会造成欠拟合)
向量化
减少迭代(for循环)---将其向量化代替
神经网络
training set(x,y)
—>h(x)==y(约等)