在自动控制、通讯、航空与航天等学科领域中，常常会遇到“估计”问题。所谓估计，就是从带有随机干扰的观测数据中，提取有用信息。
估计问题可叙述为：如果假设被估计量\(X(t)\)是一个\(n\)维向量，而\(m\)维向量\(Z(t)\)是其观测量，并且观测量与被估计量之间具有如下关系：
Z(t)=h[X(t),V(t),t]
\]
其中，\(h\)是已知的m维向量函数，它由观测方法决定；\(V(t)\)是观测误差向量，它通常是一个随机过程。那么，所谓估计问题，就是在时间区间\([t_0,t]\)内对\(X(t)\)进行观测，从而在得到观测数据\(Z=\{Z(\tau),t_0\leq\tau\leq t\}\)的情况下，要求构造一个观测数据的函数\(\hat{X}(Z)\)去估计\(X(t)\)的问题，并称\(\hat{X}(Z)\)是\(X(t)\)的一个估计量，或称X(t)的估计为\(\hat{X}(Z)\)。
估计理论是概率论和数理统计的一个分支。它所研究的对象是随机现象，它是根据受干扰的观测数据来估计关于随机变量、随机过程或系统的某些特性的一种数学方法。
估计问题大致可分为两类：状态估计和参数估计。状态和参数的基本差别在于，前者是随时间变化的随机过程，后者是不随时间变化或只随时间缓慢变化的随机变量。因此，可以说，状态估计是动态估计，而参数估计一般是静态估计。动态估计和静态估计是有联系的，可以这样说，把静态估计方法与动态随机过程或序列的内部规律性结合起来，就可得到动态估计方法。
估计准则和最优估计
如上所述，所谓估计问题，就是要构造一个观测数据\(Z\)的函数\(\hat{X}(t)\)来作为被估计量\(X(t)\)的一个估计量。我们总希望估计出来的参数或状态变量愈接近实际值愈好。为了衡量估计的好坏，必须要有一个衡量的标准，这个衡量标准就是估计准则。估计常常是以“使估计的性能指标达到极值”作为准则的。估计准则可以是多种多样的。常用的估计准则有：最小方差准则、极大似然准则、极大验后准则、线性最小方差准则、最小二乘准则等。
一个估计问题能否得到可行的明确解答，固然与随机过程、随机变量或系统的状态特点有关，但它与估计准则的选择关系也极大。可以说，估计准则在很大程度上将决定估计的性能、求解估计问题所使用的估计方法及估计量的性质(是线性的还是非线性的)等。因此，要使估计问题得到好的结果，选择合理的估计准则是极其重要的。估计准则的选择在很大程度上取决于对被估计量的了解，对估计精度的要求，以及实现方便等。
所谓最优估计，是指在某一确定的估计准则条件下，按照某种统计意义，使估计达到最优。因此，最优估计是针对某一估计准则而言的。某一估计对某一估计准则为最优估计，但换一个估计准则，这一估计值就不一定是最优的了。这就是说，最优估计不是惟一的。
估计方法
选取不同的估计准则，就有不同的估计方法，估计方法与估计准则是紧密相关的。根据观测Z与被估计值X的统计特性的掌握程度，可有下列一些估计方法：
- 1.最小方差估计
最小方差估计是以“估计误差的方差阵达到最小”为估计准则的。按照这种准则求得的最优估值叫最小方差估计。为了进行最小方差估计，需要知道被估计值\(X\)和观测值\(Z\)的条件概率密度值\(p(X|Z)\)或\(p(Z)\)以及它们的联合概率分布密度\(p(X,Z)\)。
- 2.极大似然估计
极大似然准则是使“条件概率分布密度\(p(Z|X)\)达到极大”的那个\(X\)值作为估值的。按照这种估计准则求得的\(X\)的最优估值称为极大似然估计。为了求出极大似然估计，需要知道条件概率分布密度\(p(Z|X)\)。
- 3.极大验后估计
极大验后准则是使“验后概率分布密度\(p(X|Z)\)达到极大”的那个\(X\)值作为估值的。按照这种估计准则求得的\(X\)的最优估值称为极大验后估计。为了求出极大验后估计，需要知道验后概率分布密度\(p(X|Z)\)。
- 4.线性最小方差估计
如上所述，为了进行最小方差估计和极大验后估计，需要知道条件概率分布密度\(p(X|Z)\)；为了进行极大似然估计, 需要知道\(p(Z|X)\)。如果我们“放松对概率分布密度知识的要求”，只要求知道观测值和被估计值的一、二阶矩，即\(E\{X\}\)、\(E\{Z\}\)、\(Var\{X\}\)、\(Var\{Z\}\)、\(Cov\{X,Z\}\)、\(Cov\{Z,X\}\)。在这种情况下，为了得到有用的结果，必须对估计量的函数形式加以限制。若我们“假定所求的估计量是观测值的线性函数(注意这是我们为了估计设置的，他与\(X\)和\(Z\)的实际函数关系无关)，并以估计误差的方差阵达到最小作为最优估计准则”，则按这种方式求得的最优估值称为线性最小方差估计。
- 5.最小二乘估计
当我们不知道\(X\)和\(Z\)的概率分布密度，也不知道它们的一、二阶矩时，就只能采用高斯提出的最小二乘法进行估计。最小二乘估计是以残差的平方和为最小作为估计准则的。