0 机器学习 通用步骤
模型：根据具体问题，确定空间假设； 策略：根据评价标准，确定选取最优模型的策略，即产生损失函数 求解：采用相关算法求解损失函数，确定最优模型。
本次笔记将按照以上通用步骤对一元线性回归模型进行相应的学习总结。
1 模型A.1 - 一元线性回归模型
1.1 模型A.1的表达式
一元线性回归模型的表达式见式(1)。式(1)表明输出 和输入 之间的机器学习模型为 。
1.2 模型A.1的评价策略
假定给了一个数据集, 且数据集 满足式(1)。那么，为了度量数据集中 的 和模型 的输出量之间的差异，可采用的评价指标一般为均方误差策略，进而可以得到如式(2)所示的损失函数。
最大似然估计和均方误差是等效的
具体解释为，损失函数可以写成误差 的形式，如式（3）所示。一般来说，自然界的误差可以近似认为是符合一种正态分布的，其均值为0，方差为 。
按照这一规律，可将求 最小的问题转化为估计 正态分布参数的问题，评价正态分布参数估计好坏的评价策略一般使用最大似然估计，其具体求解过程如下。 将数据集 里面的 看成是 个独立同分布的样本, 那么 它们的联合概率可用式 (4) 表示。按照最大似然估计，只要求出一个 ，使式（4）的值最大，那么这个 就是一个最优的 。
进而, 在已经假定好满足正态分布的前提下，对式 (3) 和 说, 它似然函数如式 (5)所示。将式 (3) 代 入, 可得式 (6), 对式 (6) 两边取对数, 可得式 (7)。
由于式 (7) 中的 和 是常数, 所以要想求式 (7) 的最大值, 也就是求 的最小值, 于是得证。
1.3 模型A.1的算法求解
求解方法主要就是基于凸优化理论, 首先, 要说一下在最优化理论下凸函数的定义, 它主要可以表示为式 (8)。也即, 函数曲线为 U 型的通常是凸函数。进而对于凸函数而言, 它是具有最小值的, 而且它的最小值对应的参数可通过求导获取。因此, 对于一元线性回归模型最优参数求解而言, 它第一步就要证明 是一个凸函数。
由于 有两个参数, 所以 可以看成是一个二元函数, 那么, 要证明它是凸函数, 就需要利用多元函数凸函数定理, 简而言之, 就是末知数集合是非空开凸集, 函数是多维实数空间映射到一维实数空间, 函数在位置上集合内二阶连续可微, 那么当函数的海森矩阵在末知数集合上是半正定, 那么这个函数就是凸函数 所以, 证明 是凸函数就转化为证明式 (9)所示的海森矩阵半正定。对式（9）进一步化简可得式 (10)。然后, 需要判断式 (10) 的行列式是否大于0。 式 (10) 的行列式可写成式 (11)。
对式 (11) 进行一系列操作, 可得式 (12), 由式 (12) 可知, 其肯定是大于 0 的, 所以得证，美丽数学！！！
其中,
有了凸函数后, 就可以根据凸函数的定义, 一阶导数等于0所求得的自变量 为最优量，将其代入对应函数所获得的函数值就是最小值。进而，可以列写出式(13), 通过式 (13) 就可以求得最优的和, 最优的值见式(14)，最优的见式(15),详细推导见式(16)。
以上，就是一元线性回归模型的学习笔记。
参考资料
周志华．机器学习[M]．北京：清华大学出版社. http://product.dangdang.com/29158396.html
谢文睿. 《机器学习公式详解》（南瓜书）. http://product.dangdang.com/29206216.html
