avatar

Catalog
为什么神经网络中参数的初始化要接近0?

当参数初始化接近0时,整个函数的斜率比较小,函数较为平滑。函数平滑的好处如下:

以$y=wx+b$为例,如果$w$比较大,即时$x_1$和$x_2$相差很小的$\Delta x$,他们的$y$值也会相差很大,这是不符合直觉的,所以应该将$w$初始化比较小的值。

Author: realLiuSir
Link: http://yoursite.com/2020/02/24/%E4%B8%BA%E4%BB%80%E4%B9%88%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%AD%E5%8F%82%E6%95%B0%E7%9A%84%E5%88%9D%E5%A7%8B%E5%8C%96%E8%A6%81%E6%8E%A5%E8%BF%910%EF%BC%9F/
Copyright Notice: All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.
Donate
  • 微信
    微信
  • 支付寶
    支付寶