一、定义
最小二乘法（Least Squares Method，简称LSM），又称最小平方法，是一种数学优化技术。它通过最小化误差的平方和来寻找数据的最佳函数匹配。具体来说，就是寻找一个函数，使得该函数与观测数据之间的误差（即实际观测值与计算值之差）的平方和最小。这种方法在回归分析、曲线拟合、误差估计、系统辨识及预测等多个领域有广泛应用。
二、基本原理
最小二乘法的基本原理是：未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后得和为最小。在实际应用中，由于观测数据往往存在误差，因此需要通过某种准则来拟合信号之间的关系，使该模型最贴近实际信号映射关系。最小二乘法正是通过最小化误差平方和来实现这一目标。
三、详细描述
设定量测方程为形式如\(Y=HX\),其中\(X\)为我们要估计的一个定值,是一个\(m \times 1\),\(H\)为量测矩阵，其维度为\(n \times m\),\(Y\)为一个测量值其维度为\(n \times 1\)。假设我们总共测量了\(k\)次。选择如下代价函数：
\[J=\sum_{i=1}^{k}[(Y_i-H_iX)^T(Y_i-H_iX)]
\]
使此代价函数取最小值的X就是最小二乘估计。上式展开后对\(X\)求导并令导数等于0；可得：
\[\hat{X} =(\sum_{i=1}^{k} H^T_iH_i)^{-1}(\sum_{i=1}^{k}H^T_iY_i )
\]
四、历史
最小二乘法的历史可以追溯到18世纪。据记载，德国数学家高斯（Carl Friedrich Gauss）在1794年就已经应用这一理论推算了谷神星的轨道，但直到1809年他才正式发表相关理论。然而，法国数学家马里·勒让德（Adrien-Marie Legendre）也在1806年独立发明了最小二乘法，并首次发表了相关理论。尽管勒让德的工作稍早，但由于高斯在天文学领域的卓越成就和广泛影响力，使得最小二乘法得以迅速传播和应用。
此后，随着科学技术的不断发展，最小二乘法在各个领域得到了广泛应用和深入研究。它不仅成为数理统计中的一种重要方法，还在工业技术、经济分析、社会科学等多个领域发挥着重要作用。