牛顿法?牛顿法基本思想
一、牛顿法的成立条件
牛顿第一定律成立的条件是:一切物体在任何情况下,在不受外力的作用时,总是保持着静止或者是匀速直线运动状态;从定律中可以很清楚的明白它的条件,就是物体不受外力的作用,即是物体不受力或者受到平衡力的时候;这个定律就成立。
二、牛顿法的迭代思想和原理
牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模型,然后通过多次迭代,多次修正回归系数,使回归系数不断逼近非线性回归模型的最佳回归系数,最后使原模型的残差平方和达到最小。
三、牛顿法解题步骤
从t=0开始,初始化为随机值;
计算目标函数f(x)在点的梯度和海森矩阵
计算移动方向:(一般用线性方程组计算。线性方程组求解可用共轭梯度等方法求解)。
根据迭代公式,更新x的值:
判断是否满足迭代终止条件。如果满足,循环结束,返回最佳参数和目标函数最小值否则转到第2步。