恩佐2登录 > SEO攻略 > 数值计算] 一些经典的优化算法

数值计算] 一些经典的优化算法

admin SEO攻略 2020年01月04日

  方向做一次line search(用比如牛顿法),选择在这条线上能到达的最小的f对应的x作为下一步的起始点。新宝7恩佐登录

  方法2:恒定步长(太小的话收敛太慢,太大会jitter、diverge),或者动态调整,比如逐步减小步长、RProp、Quick Prop、 RMSprop。

  特点:不再具有二阶收敛性,新宝7登录但通常还是要快于一阶的(superlinear convergence)

  BFGS仍需要对B矩阵求逆,改进措施是,直接迭代逼近Hessian Matrix的逆。

  前面在[数值计算] 数据拟合——非线性最小二乘法提到过,对于非线性最小二乘,Gauss-Newton是一种特别的近似Hessian Matrix的方法:忽略掉文中Eq.(7) 的二阶求导项,只取两个一阶导数的乘积。

  而Quasi-Newton对目标函数的形式没有这种假设,所以Gauss-Newton及其变种Levenberg–Marquardt算法相对来说更少用。不过对于非线性最小二乘,Gauss-Newton可能会更好,因为利用了目标函数特殊性质。

标签: seo算法