恩佐2登录 > SEO算法 > 优化算法新观点新宝7恩佐登录

优化算法新观点新宝7恩佐登录

admin SEO算法 2020年01月07日

  我上面report的更详细,而且有更多我的数值佐证一些观点,做出来的实验和一些文章里assert的理解不太符合

  [这里其实我有一个更深刻的理解,因为很少有数值ode社区的人来看这个问题,这个\ddot X在步长变小的时候会消失,新宝7恩佐登录恩佐2登录其实最后还是收敛到原来的梯度流,变快的原因是\ddot X是修正方程(就是原来的梯度流是O(\Delta t)逼近,二阶方程是更高阶的逼近,这个想法我们想继续做一些工作)]

  [3]、[4]用这个想法证明了优化算法脱离鞍点的速度[随机的部分后面会说

  然后MJ这篇文章还基于了他的同事的工作[6],我觉得因为[1]有boyd和candes,[5]有MJ,[6]这篇文章虽然有大牛peter但是关注的人却很少

  [2]还推广到了坐标下降,newton类算法[坐标下降这个其实是自然,新宝7恩佐登录就是一个类似蒜子分裂的想法吧

  张志华老师最近还有一系列工作用nesterov做到了newton类算法里

  所以这里就把贝叶斯采样和优化算法联系起来了,这样也能理解一个著名的结果sgd会“train faster generalize better”,因为贝叶斯会采样到flat的minima,所以会更加robust

  在有限时间的时候王立威老师做了有限时间sgld的generalize的bound

标签: seo算法