更新时间：2024-03-19 05:14
通常定义为不牺牲任何总目标和各分目标的条件下，技术上能够达到的最好的解。它表示所有的总目标和分目标都可以达到的理想的解。而实际上这样的解是很少存在的。工程问题固有的内在因素总是包含各种矛盾的，由于科学水平的限制，很多设计因素和系统的约束还不是很了解;许多判别准则。例如： 社会上的相互关系、生活的质量、生态学，以及兴趣、爱好等等，是不容易确定的，更不容易定量化。而工程系统的设计问题或规划问题中劳动力、设备、财力以及时间总是有限的。所以，最优化过程只是产生一个在设计和工艺约束条件下所能达到的“最令人满意解”。
数学规划的基本概念之一。指在数学规划问题中，使目标函数取最小值（对极大化问题取最大值）的可行解。使目标函数取最小值的可行解称为极小解，使其取最大值的可行解称为极大解。极小解或极大解均称为最优解。相应地，目标函数的最小值或最大值称为最优值。有时，也将最优解和最优值一起称为相应数学规划问题的最优解。
线性规划的最优解不一定只有一个，若其有多个最优解，则所有最优解所构成的集合称为该线性规划的最优解域。
例如:已知变量x，y满足约束条件：
1、y≤3;
2、x+y≥1;
3、x-y≤1，
则z=2x-y的最优解为（4，3）或（-2，3）；
设D = 非空， 则它的极点集非空且包含有限多个点 而且D 的极方向集非空当且仅当D 无界。若D 无界， 则它的极方向集包含有限个向量 此外， x ∈D 当且仅当x 可以表示为 的凸组合与的非负线性组合之和， 即
其中，，；，
设（SL P）有最优解， 则必存在基最优解（最优极点） ， 记（SL P）的最优极点集为另外， 由(1) 式不难看出，（SL P）有最优解当且仅当对于所有的极方向有。
设 为（SL P） 的最优解， 若D 的某极方向 满足 （即与c正交） ， 则易见， 对于任意的， 都是最优解。 我们称满足的极方向为最优极方向。 记（SL P）的最优极方向集为。
最小二乘法估计是建立在模型服从高斯分布的假设之上。当从模型总体随机抽取M组样本观测值后，最合理的参数估计值应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小。而对于最大似然估计，当从模型总体随机抽取M组样本观测值后，最合理的参数估计值应该使得从模型中抽取该M组样本观测值的概率最大。
最大似然估计代表了频率派的观点：参数虽然未知但是客观存在的，当参数求出来后，x，y也就知道了。
假设我们观察的变量是x，观察的变量取值（样本）为，要估计的模型参数是θ，x的分布函数是。那么最大似然函数就是θ的一个估计值，它使得事件发生的可能性最大：
通常认为x是独立同分布的：
所以最大似然估计的一般求解流程就是：
最大似然估计中，参数θ是一个固定的值，只要能够拟合样本数据就可以了。但是当样本过少的时候就容易出现过拟合现象，会得到诸如只要没见过飞机相撞，飞机就一定不会相撞的扭曲事实。
贝叶斯派将参数θ作为随机变量，服从某一分布。正因为参数是不固定的，对于给定的x无法用确定的y来表示，而是用概率的方式来表达。
我们希望求出观察到样本x的情况下，θ的分布情况。根据贝叶斯定理可得：
上面的后验概率通常是很难计算的，因为要对所有的参数进行积分，而且，这个积分其实就是所有θ的后验概率的汇总，其实它是与最优θ是无关的，而我们只关心最优θ（相同）。在这种情况下，我们采用了一种近似的方法求后验概率，这就是最大后验估计：
最大后验估计相比最大似然估计，只是多了一项先验概率，它正好体现了贝叶斯认为参数也是随机变量的观点，在实际运算中通常通过超参数给出先验分布。最大似然估计其实是经验风险最小化的一个例子，而最大后验估计是结构风险最小化的一个例子。如果样本数据足够大，最大后验概率和最大似然估计趋向于一致，如果样本数据为0，最大后验就仅由先验概率决定。尽管最大后验估计看着要比最大似然估计完善，但是由于最大似然估计简单，很多方法还是使用最大似然估计。