什么是神经网络—神经网络基本思想：曲线拟合器

一句话总结，神经网络的基本思想就是一个曲线/曲面拟合器。

‍‍‍‍‍

    图片中的左上角的绿色曲线是我们想要通过神经网络拟合的曲线。图片右下角蓝色和橙色的曲线就是神经网络拟合过程。

    假设我们在Dosage输入一个点0，我们看蓝色这条线。经过wx+b得到一个线性变换的数值。其中，w是-34.4，b是2.14，x是0，wx+b=2.14。线性变换在神经网络中的作用是什么呢？

    在神经网络中，线性变换主要有以下作用：

    首先，线性变换可以对输入数据进行特征提取和表示。它将原始输入数据通过权重  重新组合和缩放，使得数据转换为一种新的表示形式，这种形式可能更有助于后续的处理。例如，在图像识别神经网络中，输入的像素值通过线性变换可以突出图像中的某些边缘、纹理等特征，为识别物体轮廓等提供基础。

    其次，线性变换能够对数据进行空间变换。它改变了数据在特征空间中的分布，在一定程度上对数据进行降维或者升维操作。假设原始数据是高维的，通过合适的线性变换，可以将其映射到一个相对低维的空间，这样有助于减少计算量并且去除一些冗余信息。

    最后，线性变换是构建复杂神经网络的基础模块。虽然神经网络整体是非线性的，但它是由多个线性变换与非线性激活函数交替组合而成。这些线性变换逐步调整数据的表示，使得神经网络能够逐步学习输入和输出之间的复杂映射关系。

Dosage经过线性变换后得到2.14，然后我们将2.14作为一个输入输入到激活函数中，比如说sigmoid函数，sigmoid函数的公式我们都知道：‍‍

    我们得到0.895。

    我们都知道激活函数的作用是引入非线性，什么是非线性，就是弯曲性，就是让直线可以弯曲，就是让平面可以凹凸。

Dosage的值是0.1，经过wx+b和激活函数后，我们得到0.214。我们继续增大Dosage的值到1， 经过wx+b和激活函数后，我们得到0。这里我们可以得到一个曲线图形如下图所示：

然后我们再将其乘以-1.3后得到这样的曲线。‍‍‍‍‍‍

我们意识到，其实这个曲线就是激活函数的一个切片的翻转。

这就是为什么我们说激活函数拥有非线性。

接下来讲下面的橙色曲线，和上面的蓝色曲线同理。w是-2.52，b是1.29。我们将Dosage的输入范围设置为（0，1），经过sigmoid激活函数。                      

然后再将其乘以2.28我们可以得到这样的一条橙色曲线。

我们意识到，其实这个曲线就是激活函数的一个切片的拉伸。

我们将蓝色和橙色的曲线相加就可以得到我们想要的绿色曲线。这条绿色曲线就是我们想要拟合的用来预测的曲线图形。‍‍‍‍

由此我们可以得到如下结论：

神经网络的输入就是将影响输出的因素量化并且进行线性组合，使其可以反应各个因素的权重，多重的线性组合可以表示更复杂的关系。然后使用多层每层多个激活函数进行非线性组合，使直线拥有拐点和曲线去拟合我们想要得到的曲线。然后使用反向传播去校正各个权重参数，这就是神经网络的基本思想。

本文转载自 ​​人工智能训练营​​，作者： 小A学习