最小二乘法是一种常用的线性回归方法，用于拟合数据并找到最优的模型参数。它通过最小化实际观测值与模型预测值之间的残差平方和来确定最优参数。以下是对最小二乘法的详细讲解，包括公式和代码示例。
- 理论背景：
假设我们有一个包含 n 个样本的数据集，每个样本包括 d 个特征和一个目标值。用 X 表示特征矩阵，y 表示目标值向量。线性回归模型的一般形式可以表示为：y = Xβ + ε，其中 β 是待估计的模型参数，ε 是误差项。
- 最小二乘法的目标：
最小二乘法的目标是找到最优的 β，使得残差平方和最小化。残差表示实际观测值与模型预测值之间的差异，即 ε = y – Xβ。最小二乘法通过最小化残差平方和来确定最优的 β，即 min ||y – Xβ||^2。
- 最小二乘法的解：
最小二乘法的解可以通过求解正规方程（normal equation）得到。正规方程可以表示为：X^T X β = X^T y。通过求解这个方程，可以得到最优的 β 的闭式解。
- 代码示例（使用 Python 和 NumPy）：
下面是一个使用最小二乘法进行线性回归的代码示例：
import numpy as np
# 生成样本数据
X = np.array([[1, 1], [1, 2], [1, 3], [1, 4]])
y = np.array([3, 4, 5, 6])
# 计算最小二乘法解
X_T = np.transpose(X)
X_T_X = np.dot(X_T, X)
X_T_y = np.dot(X_T, y)
beta = np.linalg.solve(X_T_X, X_T_y)
# 打印最优参数
print("最优参数 beta：", beta)
在上面的代码中，我们首先生成了一个简单的样本数据集，其中 X 是一个包含两个特征的矩阵，y 是对应的目标值向量。然后，我们通过计算正规方程的解，使用 np.linalg.solve()函数求解线性方程组，得到最优的 β 值。最后，打印出最优参数 beta。
最小二乘法是线性回归中常用的方法之一，但在实际应用中也可能存在一些限制和假设。因此，在具体问题中，需要根据情况选择合适的回归方法和评估指标。
当使用最小二乘法进行线性回归时，还可以通过计算残差、确定模型的拟合优度以及进行预测。
- 计算残差：
在最小二乘法中，我们可以计算实际观测值与模型预测值之间的残差。残差可以用于评估模型的拟合效果。计算残差的公式为：ε = y – Xβ。
# 计算残差
residuals = y - np.dot(X, beta)
print("残差：", residuals)
在上述代码中，我们通过计算 y – Xβ 得到了残差。
- 模型的拟合优度：
可以使用不同的指标来评估线性回归模型的拟合优度。常见的指标包括均方误差（MSE）、均方根误差（RMSE）和决定系数（R^2）等。
# 均方误差（MSE）
mse = np.mean(residuals**2)
print("均方误差（MSE）：", mse)
# 均方根误差（RMSE）
rmse = np.sqrt(mse)
print("均方根误差（RMSE）：", rmse)
# 决定系数（R^2）
ssr = np.sum((y - np.dot(X, beta))**2) # 回归平方和
sst = np.sum((y - np.mean(y))**2) # 总平方和
r2 = 1 - (ssr / sst)
print("决定系数（R^2）：", r2)
在上面的代码中，我们分别计算了均方误差（MSE）、均方根误差（RMSE）和决定系数（R^2）。这些指标可以帮助我们评估模型的拟合优度。
- 预测：
在得到最优参数后，我们可以使用模型进行新数据的预测。假设我们有一个新的特征向量 x_new，使用模型预测对应的目标值 y_new 的方法如下：
# 新数据预测
x_new = np.array([1, 5]) # 新特征向量
y_new = np.dot(x_new, beta) # 预测目标值
print("新数据预测：", y_new)
在上述代码中，我们使用最优参数 beta 对新的特征向量 x_new 进行预测，得到对应的目标值 y_new。
最小二乘法是一种常用的线性回归方法，通过最小化残差平方和来找到最优的模型参数。通过计算残差、评估拟合优度以及进行预测，我们可以更全面地理解和应用最小二乘法。
