重要性
万能近似定理是深度学习最根本的理论依据 。In the mathematical theory of artificial neural networks, the universal approximation theorem states that a feed-forward network with a single hidden layer containing a finite number of neurons can approximate continuous functions on compact subsets of R, under mild assumptions on the activation function.
原理
首先言简意赅的说明，万能近似定理实际是以分段函数的方式来拟合任意函数，类似于微积分的思想。
阶跃函数：
脉冲函数(sigmoid函数)：
当我们给激活函数一个参数时，就可以将激活函数看作阶跃函数，比如$ \sigma(t)={1\over1+e^-1000t}$,此时就算给t一个很小的值，$\sigma(t)$也会很接近1，此时$\sigma(t)$就变成以0为阶跃点的阶跃函数，如果再将t根据左加右减原则进行平移，理论上可以得到以任意点为阶跃点的阶跃函数。
但是此时，我们得到的阶跃函数都是两段的，
如果要得到一个三段的函数，
我们需要将不同的阶跃函数进行组合。
所以通过含有一个隐藏层的神经网络，我们可以得到任意分段.
再配合输出层的权值，可以拟合任意函数。
同理，使用ReLU做激活函数也可以做到任意精度拟合，从形式上看ReLU也是两段的，他不仅可以表示水平线还可以表示斜线。所以一样能做到任意精度拟合。
