
生物学上具体的专业术语我们这里不展开描述,我们总结一下神经元结构的特点:
每个神经元都是一个多输入单输出的信息处理单元;
神经元输入分兴奋性输入和抑制性输入两种类型;
神经元具有空间整合特性和阈值特性;
神经元输入与输出间有固定的时滞,主要取决于突触延搁。
由此两位大牛提出了神经网络的早期M-P模型,如下图:
该模型的基本思想很简单,就是仿照神经元接受多个输入信号,由于突触的性质和突触强度不同,所以对神经元的影响程度不同,我们加上了权重的概念,其正负模拟了神经元中的兴奋和抑制作用,最后所有信号累加整合,其值为:
输入信号有了,神经元是否被激活,要看输入信号是否超过了某一阈值电位,如果被激活神经元输出脉冲,否则神经元不会输出信号,其过程如下函数:
当然这里我们也可以写成矩阵的形式
类似神经元结构的特点,经典的M-P模型的特点可以总结如下:
每个神经元都是一个多输入单输出的信息处理单元;
神经元输入分兴奋性输入和抑制性输入两种类型;
神经元具有空间整合特性和阈值特性;
神经元输入与输出间有固定的时滞,主要取决于突触延搁;
忽略时间整合作用和不应期;
神经元本身是非时变的,即其突触时延和突触强度均为常数。(神经网络中权重在训练结束后是固定的)
结合两个公式来看这几个特点:对于特点1,我们的公式有多个x输入信号,但我们的输出信号只有一个o;权重的正负体现了特点2中输入分兴奋和抑制;对于第3个特点,我们第2个公式中只有当输入信号的累加和超出电位阈值才会有输出;另外我们的公式只考虑了所有输入信号的整合,并没有去考虑时间整合(就是不管你信号早到晚到,只要到了都是好信号),体现了特性4和5。
随着M-P模型的提出,神经网络的研究有三次兴起,最近的一次就是随着卷积神经网络提出的深度学习的火热。
早期神经网络
M-P模型很简单,仅仅是一种单个神经元上的建模,并没有形成网络,没法去完成一些特定的任务。由此人们提出了神经网络的概念,而早期的研究,由于当时硬件水平和计算条件的限制,神经网络结构一般比较简单。
两层神经网络
由此1958年,计算科学家Rosenblatt提出了由两层神经元组成的神经网络。他给它起了一个名字“感知器”(Perceptron)
其结构如下图:
这种简单的单层神经网络有点类似于逻辑回归,通过简单的权重训练,能够处理简单的线性分类问题,类似下图:
而对于非线性的分类问题(如经典的异或问题)却无能为力,后来研究人员也发现了这一点,神经网络研究遍进入了低谷期(好伤心TT)

