GAN只能用于深度神经网络。

支持向量机仅能处理二分类问题,产生线性平面。

梯度为0的点只能是局部极小点或局部极大点。

如果增加多层感知机(Multilayer Perceptron)的隐藏层层数,分类误差便会减小。

神经网络被称为通用函数拟合器,所以它理论上可以表示任何决策边界。

单计算层感知器只能解决线性可分问题。

一个不包含非线性的神经元可以看作是线性回归函数(Linear Regression Function)。

在数据很稀疏和神经网络参数量较少的场景下,偏向于使用L-BFGS而不是SGD。

负对数似然度损失函数和欧式距离损失函数都是用于计算像素区域的修复。

RNN可以被展开为一个完全连接的,具有无限长度的普通网络。

循环神经网络可以被认为是一个具有无限时间长度的神经元序列。

Dropout率(神经元的激活率)越高,正则化程度越高。

与普通反向传播不同的是,随时间的反向传播算法会在每个时间步长内叠加所有对应权重的梯度。

在神经网络中,每个参数可以有不同的学习率。

将Sigmoid激活函数改为ReLU,将有助于克服梯度消失的问题。