携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第19天，点击查看活动详情
前言
随着互联网产生了海量的数据，和算力逐年不断的提升，今天深度学习变得越来越强大。无论你是在网上购物、订餐、上班刷脸打卡还是享受自动巡航带不一样驾驶体验，这些背后都是深度学习的技术在支撑。当然随着深度学习的广泛应用，也带来一大批高薪的岗位。那么应该如何掌握深度学习，来加入到高薪人群中呢?
网上关于深度学习的教程遍地都是，触手可得。自己也看了学多线上关于深度学习的课程，也读到了一些大牛们对论文的解读，从中受益匪浅。不过在这些分享中，很少涉及到其背后应用的数学知识，只会给出一堆公式来支持他们提出观点。
因为分享视频和解读论文的人几乎都是业界学者，至少也是博士或是硕士，可想而知他们都具有很好数学功底，跳过一些基础知识也是自然而然的。不过这样一来对于基础知识相对薄弱的人，就造成对于一些关键点理解上的障碍。
自己离开校门很多年，该忘得都忘了，不该忘得也都忘了。又是一个喜欢刨根问底的一个人，所以在学习深度学习过程，几乎使出了洪荒之力。为了让大家更容易更深入理解深度学习。我想录制一套完成一步一步从原理去解释深度学习，再通过实践帮助大家真正理解其背后理论，加深印象。
今天我们会聊一聊什么是回归，然后延伸到一种比较简单的回归线性回归
回归
什么是回归
回归是统计学和机器学习的一个重要领域，在统计学中，回归分析（regression analysis)指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。下面通过一个例子给大家解释什么是回归问题。
假设想要招聘一名 java 研发人员，需要在招聘信息中给出一个合理工资范围，那么落实到具体某一个应聘人员工资，到底应该给出多少工资呢? 会考虑他的教育背景、工作经验以及技能等级，根据这些因素来确定到底应该给他多少的薪酬。
还有就是房屋定价例子，我们给一个房屋定价、会考虑影响价格的因素，例如房屋位置、面积、布局等等。
这些都是回归问题，对于第一个问题，将应聘人看做一个对象，那么教育背景、工作经验、技能等级和工资待遇这些都是应聘人员的特征，其中我们关心的他的工资待遇这个特征，将这个特征作为研究对象，看其他特征和该特征的关系。
###值 自变量和因变量
任何一个系统(或模型)都是由各种变量构成的，当我们分析这些系统（或模型)时，可以选择研究一些变量对另一些变量的影响。那么我们选择的这些变量就称为自变量，而被影响的量就被称为因变量。
受到影响的变量称为自变量、输出或者响应变量。而影响其他变量的变量称为因变量、输入变量
对于因变量，可以是连续的、离散的、甚至可以是一个类别数据，例如性别、国籍等特征
常用表示方法预测值用 yy 来表示，也就是模型的输出，而模型的输入可以用 x={x1,x2,⋯ ,xr}x= {x_1,x_2,cdots, x_r} 也就是有 rr 个特征。
回归的应用
回归应用场景非常多，在我们生活中随处可见。根据房子的位置，距离地铁口距离、面积和布局等因素来预测房屋的价格，或者是根据室外温度、家庭成员数来预测该家庭一小时耗电量。
回归被用于许多不同领域，经济学、计算机科学和社会科学。随着大量数据的出现和对数据实际价值认识的提高，其重要性与日俱增。
线性回归
在进行回归分析时，函数 ff 的形式必须预先指定，有时函数 ff 是建立在自变量 XX 和因变量 YY 之间关系，他们之间关系建立是知识上。那么如果没有已知知识，可以选择便于回归的 ff 方程。通常自变量 yy 与因变量 xx 之间线性关系为
y=β0+β1×1+⋯+βrxr+ϵy = beta_0 + beta_1x_1 + cdots + beta_r x_r + epsilon
- 其中 β0,β1,⋯ ,βrbeta_0,beta_1,cdots,beta_r 是线性系数
- ϵepsilon 是随机数，也可以理解为随机误差
线性回归是计算对回归系数的估计值，也就是计算函数中因变量xix_i 的权重系数，权重用 b0,b1,⋯ ,brb_0,b_1,cdots,b_r
每个样本 xix_i 输入方程来计算估计值 f(xi)f(x_i), 然后计算估计值和真实值 yiy_i 之间差 yi−f(xi)y_i – f(x_i) ,估计值和真实值之间差称为残差，找到最佳的权重对应最小残差
那么对于模型应该如何选择目标函数呢?
SSR(最小化残差平方和)
SSR=∑i(yi−f(xi))2SSR = sum_{i} (y_i – f(x_i))^2
线性回归
线性回归
线性回归是回归的一种，可以说是最简单也是最广泛应用的一种回归方法，优点是具有可解释性
线性问题的表示
在进行回归分析时，函数 ff 的形式必须预先指定，有时函数 ff 是建立在自变量 YY 和因变量 XX 之间关系，他们之间关系建立是知识上。那么如果没有已知知识，可以选择便于回归的 ff 方程。通常因变量 yy 与自变量 xx 之间线性关系为
y=β0+β1×1+⋯+βrxr+ϵy = beta_0 + beta_1x_1 + cdots + beta_r x_r + epsilon
- 其中 β0,β1,⋯ ,βrbeta_0,beta_1,cdots,beta_r 是线性系数
- ϵepsilon 是随机数，也可以理解为随机误差
线性回归计算回归系数的估计值或简单的预测权重(b0,b1,⋯ ,brb_0,b_1,cdots,b_r)。这些回归系数的估计值确定回归函数 f(x)=b0+b1x1+⋯brxrf(x) = b_0 + b_1x_1 + cdots b_rx_r 这个函数很好反应输入和输出之间的依赖关系。
通过数据可以拿到一系列样本(x1,y1),(x2,y2),⋯ ,(xn,yn)(x_1,y_1),(x_2,y_2),cdots,(x_n,y_n),每个样本 xix_i 输入方程来计算估计值 f(xi)f(x_i), 然后计算估计值和真实值 yiy_i 之间差 yi−f(xi)y_i – f(x_i) ,估计值和真实值之间差称为残差，找到最佳的权重对应最小残差
SSR=∑i(yi−f(xi))2SSR = sum_{i} (y_i – f(x_i))^2
线性回归的性能
接下来我们介绍决策系数 R2R^2,这个决策系数用来评估一个模型好坏。在开始介绍这个系数作用前，我们看一看通常要评估一个预测结果，我们会怎么做，给我们一堆数据，然后给我们一个新的数据，让我们对其进行估计。通常做法是计算这些数据平均值，然后估计值就是这个平均值，显然这对整体数据统计量，这是没有考虑影响该因变量的其他自变量前提。
SELine=(y1−(mx1+b))2+(y2−(mx2+b))2+⋯+(yn−(mxn+b))2SE_{Line} = (y_1 – (mx_1 + b))^2 + (y_2 – (mx_2 + b))^2 + cdots + (y_n – (mx_n + b))^2
方差可以表示 yy 波动范围，也就是方差是衡量随机变量的波动性，
SEy⃗=(y1−y⃗)2+(y2−y⃗)2+⋯+(yn−y⃗)2SE_{vec{y}} = (y_1 – vec{y})^2 + (y_2 – vec{y})^2 + cdots + (y_n – vec{y})^2
这里看做 yy 相对于 y=y⃗y=vec{y} 这条线残差
R2=1−SELineSEy⃗=1−∑i(y^i−yi)2∑i(yi−y⃗)2R^2 = 1 – frac{SE_{Line}}{SE_{vec{y}}} = 1 – frac{sum_i(hat{y}_i – y_i)^2}{sum_i(y_i – vec{y})^2}
SELineSEy⃗frac{SE_{Line}}{SE_{vec{y}}} 表示在方差有多少比例没有由回归线所表示，那么如果用 1 减去那些没有通过回归描述的方差部分，就表示有多方差是可以通过预测模型所表示的，记做 R2R^2。那么 R2R^2 值越大越好，当 R1R^1 表示这条回归线和好拟合这些点
可以将我们定义模型和均值模型对比，在统计通过将模型和标准模型对比来看模型好坏程度。对于 R2R^2 表示预测模型相对于均值模型。
