0. 前言
从经典算法————线性神经网络开始，介绍神经网络的基础知识。 经典统计学习技术中的线性回归和softmax回归可以视为线性神经网络。
对应实践：https://github.com/silenceZheng66/deep_learning/blob/master/d2l/0x03.ipynb
0.1. 各章总结
- 机器学习模型中的关键要素是训练数据、损失函数、优化算法，还有模型本身。
- 矢量化使数学表达上更简洁，同时运行的更快。
- 最小化目标函数和执行极大似然估计等价。
- 线性回归模型也是一个简单的神经网络。
- 我们可以使用PyTorch的高级API更简洁地实现模型。在PyTorch中，data模块提供了数据处理工具，nn模块定义了大量的神经网络层和常见损失函数。可以通过
_结尾的方法将参数替换，从而初始化参数。 - softmax运算获取一个向量并将其映射为概率。
- softmax回归适用于分类问题，它使用了softmax运算中输出类别的概率分布。
- 交叉熵是一个衡量两个概率分布之间差异的很好的度量，它测量给定模型编码数据所需的比特数。
- 数据迭代器是获得更高性能的关键组件。依靠实现良好的数据迭代器，利用高性能计算来避免减慢训练过程。
- 借助softmax回归，我们可以训练多分类的模型。
- 训练softmax回归循环模型与训练线性回归模型非常相似：先读取数据，再定义模型和损失函数，然后使用优化算法训练模型。大多数常见的深度学习模型都有类似的训练过程。
- 使用深度学习框架的高级API，我们可以更简洁地实现softmax回归。
- 从计算的角度来看，实现softmax回归比较复杂。在许多情况下，深度学习框架在这些著名的技巧之外采取了额外的预防措施，来确保数值的稳定性。这使我们避免了在实践中从零开始编写模型时可能遇到的陷阱。
1. 线性回归
回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。 在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。
在机器学习领域中的大多数任务通常都与预测（prediction）有关。 当我们想预测一个数值时，就会涉及到回归问题。 常见的例子包括：预测价格（房屋、股票等）、预测住院时间（针对住院病人等）、 预测需求（零售销量等）。 但不是所有的预测都是回归问题，比如分类问题也属于预测，目标是预测数据属于一组类别中的哪一个。
1.1. 线性回归基本元素
线性回归（linear regression）基于几个简单的假设： 首先，假设自变量x和因变量y之间的关系是线性的， 即y可以表示为x中元素的加权和，这里通常允许包含观测值的一些噪声； 其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。
为了解释线性回归，我们举一个实际的例子： 我们希望根据房屋的面积（平方英尺）和房龄（年）来估算房屋价格（美元）。 为了开发一个能预测房价的模型，我们需要收集一个真实的数据集。 这个数据集包括了房屋的销售价格、面积和房龄。 在机器学习的术语中，该数据集称为训练数据集（training data set） 或训练集（training set）。 每行数据（比如一次房屋交易相对应的数据）称为样本（sample）， 也可以称为数据点（data point）或数据样本（data instance）。 我们把试图预测的目标（比如预测房屋价格）称为标签（label）或目标（target）。 预测所依据的自变量（面积和房龄）称为特征（feature）或协变量（covariate）。
1.1.1. 线性模型
线性假设是指目标（房屋价格）可以表示为特征（面积和房龄）的加权和，如下面的式子：
其中的w1和w2称为权重（weight），分别对应面积（area）和房龄（age），权重决定了每个特征对我们预测值的影响。b称为偏置（bias）、偏移量（offset）或截距（intercept）。 偏置是指当所有特征都取值为0时，预测值应该为多少。 即使现实中不会有任何房子的面积是0或房龄正好是0年，我们仍然需要偏置项。 如果没有偏置项，我们模型的表达能力将受到限制。 严格来说，上式是输入特征的一个仿射变换（affine transformation）。 仿射变换的特点是通过加权和对特征进行线性变换（linear transformation）， 并通过偏置项来进行平移（translation）。
给定一个数据集，我们的目标是寻找模型的权重w和偏置b， 使得根据模型做出的预测大体符合数据里的真实价格。 输出的预测值由输入特征通过线性模型的仿射变换决定，仿射变换由所选权重和偏置确定。
而在机器学习领域，我们通常使用的是高维数据集，建模时采用线性代数表示法会比较方便。 当我们的输入包含d个特征时，我们将预测结果$\hat{y}$（通常使用“尖角”符号表示y的估计值）表示为：$\hat{y}=w_{1} x_{1}+\ldots+w_{d} x_{d}+b$.
将所有特征放到向量x∈Rd中， 并将所有权重放到向量w∈Rd中， 我们可以用点积形式来简洁地表达模型：$\hat{y}=\mathbf{w}^{\top} \mathbf{x}+b$，其中向量x对应于单个数据样本的特征。 用符号表示的矩阵X∈Rn×d可以很方便地引用我们整个数据集的n个样本。 其中，X的每一行是一个样本，每一列是一种特征。
对于特征集合X，预测值y^∈Rn可以通过矩阵-向量乘法表示为：$\hat{\mathbf{y}}=\mathbf{X} \mathbf{w}+b$。
这个过程中的求和将使用广播机制。给定训练数据特征X和对应的已知标签y， 线性回归的目标是找到一组权重向量w和偏置b：当给定从X的同分布中取样的新样本特征时， 这组权重向量和偏置能够使得新样本预测标签的误差尽可能小。
虽然我们相信给定x预测y的最佳模型会是线性的， 但我们很难找到一个有n个样本的真实数据集，其中对于所有的1≤i≤n，$\boldsymbol{y}^{(i)}$完全等于$\mathbf{w}^{\top} \mathbf{x}^{(i)}+b$。 无论我们使用什么手段来观察特征X和标签y， 都可能会出现少量的观测误差。 因此，即使确信特征与标签的潜在关系是线性的， 我们也会加入一个噪声项来考虑观测误差带来的影响。
在开始寻找最好的模型参数（model parameters）w和b之前， 我们还需要两个东西： （1）一种模型质量的度量方式（损失函数）； （2）一种能够更新模型以提高模型预测质量的方法（比如随机梯度下降）。
1.1.2. 损失函数（loss function）！
在开始考虑如何用模型拟合（fit）数据之前，我们需要确定一个拟合程度的度量。损失函数（loss function）能够量化目标的实际值与预测值之间的差距。 通常我们会选择非负数作为损失，且数值越小表示损失越小，完美预测时的损失为0。
回归问题中最常用的损失函数是平方误差函数。当样本i的预测值为y，其相应的真实标签为ty时， 平方误差可以定义为以下公式：l(w,b)=0.5(y−ty)^2其中常数0.5不会带来本质的差别，但这样在形式上稍微简单一些 （因为当我们对损失函数求导后常数系数为1）。由于训练数据集并不受我们控制，所以经验误差只是关于模型参数的函数。经验误差即l，w和b是线性模型参数。
由于平方误差函数中的二次方项， 估计值和观测值之间较大的差异将导致更大的损失。为了度量模型在整个数据集上的质量，我们需计算在训练集n个样本上的损失均值，也就是对每一个样本计算损失然后求和再除样本数。
在训练模型时，我们希望寻找一组参数（w∗,b∗）， 这组参数能最小化在所有训练样本上的总损失。
1.1.3. 解析解
线性回归刚好是一个很简单的优化问题。 与在d2l中所讲到的其他大部分模型不同，线性回归的解可以用一个公式简单地表达出来， 这类解叫作解析解（analytical solution）。 首先，我们将偏置b合并到参数w中，合并方法是在包含所有参数的矩阵中附加一列。 我们的预测问题是最小化$|\mathbf{y}-\mathbf{X} \mathbf{w}|^{2}$。 这在损失平面上只有一个临界点，这个临界点对应于整个区域的损失极小点。 将损失关于w的导数设为0，得到解析解：
像线性回归这样的简单问题存在解析解，但并不是所有的问题都存在解析解。 解析解可以进行很好的数学分析，但解析解对问题的限制很严格，导致它无法广泛应用在深度学习里。
1.1.4. 随机梯度下降（Stochastic Gradient Descent）！
即使在我们无法得到解析解的情况下，我们仍然可以有效地训练模型。 在许多任务上，那些难以优化的模型效果要更好。 因此，弄清楚如何训练这些难以优化的模型是非常重要的。
本书中我们用到一种名为梯度下降的方法， 这种方法几乎可以优化所有深度学习模型。它通过不断地在损失函数递减的方向上更新参数来降低误差。
梯度下降最简单的用法是计算损失函数（数据集中所有样本的损失均值） 关于模型参数的导数（在这里也可以称为梯度）。 但实际中的执行可能会非常慢：因为在每一次更新参数之前，我们必须遍历整个数据集。 因此，我们通常会在每次需要计算更新的时候随机抽取一小批样本， 这种变体叫做小批量随机梯度下降（minibatch stochastic gradient descent）。
在每次迭代中，我们首先随机抽样一个小批量B， 它是由固定数量的训练样本组成的。 然后，我们计算小批量的平均损失关于模型参数的导数（也可以称为梯度）。 最后，我们将梯度乘以一个预先确定的正数η，并从当前参数的值中减掉。
总结一下，算法的步骤如下： （1）初始化模型参数的值，如随机初始化； （2）从数据集中随机抽取小批量样本且在负梯度的方向上更新参数，并不断迭代这一步骤。
|B|表示每个小批量中的样本数，这也称为批量大小（batch size）。η表示学习率（learning rate）。 批量大小和学习率的值通常是手动预先指定，而不是通过模型训练得到的。 这些可以调整但不在训练过程中更新的参数称为超参数（hyperparameter）。调参（hyperparameter tuning是选择超参数的过程。 超参数通常是我们根据训练迭代结果来调整的， 而训练迭代结果是在独立的验证数据集（validation dataset）上评估得到的。
在训练了预先确定的若干迭代次数后（或者直到满足某些其他停止条件后）， 我们记录下模型参数的估计值，表示为$\hat{\mathbf{w}}, \hat{b}$。 但是，即使我们的函数确实是线性的且无噪声，这些估计值也不会使损失函数真正地达到最小值。 因为算法会使得损失向最小值缓慢收敛，但却不能在有限的步数内非常精确地达到最小值。
关于噪声的解释：深度神经网络的成功依赖于高质量标记的训练数据。训练数据中存在标记错误（标记噪声，即Noisy Labels）会大大降低模型在干净测试数据上的准确性。大型数据集几乎总是包含带有不正确或不准确的标签。这导致了一个悖论：一方面，大型数据集对于深度网络的训练是非常必要的，而另一方面，深度网络往往会记住训练标签噪声，从而在实践中导致较差的模型性能。
线性回归恰好是一个在整个域中只有一个最小值的学习问题。 但是对于像深度神经网络这样复杂的模型来说，损失平面上通常包含多个最小值。 深度学习实践者很少会去花费大力气寻找这样一组参数，使得在训练集上的损失达到最小。 事实上，更难做到的是找到一组参数，这组参数能够在我们从未见过的数据上实现较低的损失， 这一挑战被称为泛化（generalization）。
1.1.5. 用模型进行预测
给定“已学习”的线性回归模型$\hat{\mathbf{w}}^{\top} \mathbf{x}+\hat{b}$， 现在我们可以通过房屋面积和房龄来估计一个（未包含在训练数据中的）新房屋价格。 给定特征估计目标的过程通常称为预测（prediction）或推断（inference）。
1.2. 矢量化加速
在训练我们的模型时，我们经常希望能够同时处理整个小批量的样本。 为了实现这一点，需要我们对计算进行矢量化， 从而利用线性代数库，而不是在Python中编写开销高昂的for循环。矢量化代码通常会带来数量级的加速。而且将更多的数学运算放到库中，而无须自己编写那么多的计算，从而减少了出错的可能性。
1.3. 正态分布与平方损失
这一部分通过对噪声分布的假设（假设符合正态分布）来解读平方损失目标函数（1.1.2决定的损失函数），也就是解释为什么均方误差可以用来作为线性回归的损失函数。
回顾一下，最大似然估计，就是利用已知的样本结果信息，反推具有最大概率导致这些样本结果出现的模型参数值。
正态分布和线性回归之间的关系很密切。 正态分布（normal distribution），也称为高斯分布（Gaussian distribution）。设随机变量x具有均值μ和方差 $\sigma^{2}$（标准差σ），概率密度函数如下。
从正态分布的图像上看，改变均值会产生沿x轴的偏移，增加方差将会分散分布、降低其峰值。
均方误差损失函数（简称均方损失）可以用于线性回归的一个原因是： 我们假设了观测中包含噪声，其中噪声服从正态分布。噪声正态分布如：$y=\mathbf{w}^{\top} \mathbf{x}+b+\epsilon$,其中，$\epsilon \sim \mathcal{N}\left(0, \sigma^{2}\right)$。
通过把 $\epsilon$ 以外的项移到式子右侧可以得出 $y-\mathbf{w}^{\top} \mathbf{x}-b=\epsilon$，所以可以写出通过给定的x观测到特定y的似然（likelihood）：
然后根据极大似然估计法，参数w和b的最优值是使整个数据集的似然最大的值：
根据极大似然估计法选择的估计量称为极大似然估计量。 通过最大化似然对数来简化使许多指数函数的乘积最大化的问题。 优化通常是说最小化而不是最大化，我们可以改为最小化负对数似然$-\log P(\mathbf{y} \mid \mathbf{X})$，由此得到：
只需要假设 $\sigma$ 是某个固定常数就可以忽略第一项， 因为第一项不依赖于w和b，改变参数不会对负对数似然的大小造成影响。 现在第二项除了常数 $\frac{1}{\sigma^{2}}$ 外，其余部分和前面介绍的均方误差是一样的。 可以看到标准差作为系数也不影响结果的大小，也就是说上面式子的解并不依赖于 $\sigma$。 因此，在高斯噪声的假设下，最小化均方误差等价于对线性模型的极大似然估计。
1.4. 从线性回归到深度网络
用描述神经网络的方式来描述线性模型， 从而把线性模型看作一个神经网络。 首先，我们用“层”符号来重写这个模型。线性回归是单层神经网络（通常我们在计算层数时不考虑输入层），只有输入层和输出层构成，其中输入层有d个节点，输出层有1个节点。
如输入为x1,…,xd， 因此输入层中的输入数（或称为特征维度，feature dimensionality）为d。 网络的输出为o1，因此输出层中的输出数是1。 需要注意的是，输入值都是已经给定的，并且只有一个计算神经元。 我们可以将线性回归模型视为仅由单个人工神经元（输出层的一个）组成的神经网络，或称为单层神经网络。
对于线性回归，每个输入都与每个输出（在本例中只有一个输出）相连， 我们将这种变换（图中的输出层） 称为全连接层（fully-connected layer）或称为稠密层（dense layer）。
1.5. 线性回归的从零实现与框架实现
从零实现：从零开始实现包括数据流水线、模型、损失函数和小批量随机梯度下降优化器。 虽然现代的深度学习框架几乎可以自动化地进行所有这些工作，但从零开始实现可以确保你真正知道自己在做什么。 同时，了解更细致的工作原理将方便我们自定义模型、自定义层或自定义损失函数。 在这一部分中将只使用张量和自动求导。
框架实现：成熟的开源框架可以自动化基于梯度的学习算法中重复性的工作。除了张量和自动求导外，数据迭代器、损失函数、优化器和神经网络层很常用， 现代深度学习库为我们实现了这些组件。
细节代码放在实践notebook中，关于框架实现中采用求和方式后如何修改学习率的问题还是没有答案，希望以后可以搞明白。
2. softmax回归
回归可以用于预测多少的问题。 比如预测房屋被售出价格，或者棒球队可能获得的胜场数，又或者患者住院的天数。
事实上，我们也对分类问题感兴趣：不是问“多少”，而是问“哪一个”：
- 某个电子邮件是否属于垃圾邮件文件夹？
- 某个图像描绘的是驴、狗、猫、还是鸡？
- 某人接下来最有可能看哪部电影？
通常，机器学习实践者用分类这个词来描述两个有微妙差别的问题： 1. 我们只对样本的“硬性”类别感兴趣，即属于哪个类别； 2. 我们希望得到“软性”类别，即得到属于每个类别的概率。 这两者的界限往往很模糊。其中的一个原因是：即使我们只关心硬类别，我们仍然使用软类别的模型。
2.1. 分类问题
从一个图像分类问题开始。 假设每次输入是一个的2X2灰度图像。灰度图像是每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度，尽管理论上这个采样可以任何颜色的不同深浅，甚至可以是不同亮度上的不同颜色。（注意：与黑白图像不同）
我们可以用一个标量表示每个像素值，每个图像对应四个特征x1,x2,x3,x4。此外，假设每个图像属于类别“猫”，“鸡”和“狗”中的一个。
接下来，我们要选择如何表示标签。 我们有两个明显的选择：最直接的想法是选择y∈{1,2,3}， 其中整数分别代表猫、鸡、狗。 这是在计算机上存储此类信息的有效方法。 如果类别间有一些自然顺序， 比如说我们试图预测{婴儿,儿童,青少年,青年人,中年人,老年人}， 那么将这个问题转变为回归问题，并且保留这种格式是有意义的。一般的分类问题并不与类别之间的自然顺序有关。
表示分类数据的简单方法：独热编码（one-hot encoding）。
独热编码是一个向量，它的分量和类别一样多。 类别对应的分量设置为1，其他所有分量设置为0。 在我们的例子中，标签y将是一个三维向量， 其中(1,0,0)对应于“猫”、(0,1,0)对应于“鸡”、(0,0,1)对应于“狗”：
2.2. 网络架构
为了估计所有可能类别的条件概率，我们需要一个有多个输出的模型，每个类别对应一个输出。 为了解决线性模型的分类问题，我们需要和输出一样多的仿射函数（affine function）。 每个输出对应于它自己的仿射函数。 在我们的例子中，由于我们有4个特征和3个可能的输出类别， 我们将需要12个标量来表示权重（带下标的）， 3个标量来表示偏置（带下标的）。 下面我们为每个输入计算三个未规范化的预测（logit）：o1,o2和o3。
可以用下面的单层神经网络图来描述计算过程，与线性回归一样，softmax回归也是一个单层神经网络。 由于计算每个输出(o1,o2,o3)取决于所有输入(x1,x2,x3,x4)，所以softmax回归的输出层也是全连接层。
模型通过向量形式表达为：$\mathbf{o}=\mathbf{W} \mathbf{x}+\mathbf{b}$
这是一种更适合数学和编写代码的形式。 到此，我们已经将所有权重放到一个3X4矩阵中。 对于给定数据样本的特征x， 我们的输出是由权重与输入特征进行矩阵-向量乘法再加上偏置b得到的。
2.3. 全连接层的参数开销
深度学习中，全连接层无处不在。全连接层是“完全”连接的，可能有很多可学习的参数。 具体来说，对于任何具有d个输入和q个输出的全连接层， 参数开销为O(dq)，这个数字在实践中可能高得令人望而却步。 幸运的是，将d个输入转换为q个输出的成本可以减少到O$\left(\frac{d q}{n}\right)$， 其中超参数n可以由我们灵活指定，以在实际应用中平衡参数节约和模型有效性。
2.4. softmax运算
现在我们将优化参数以最大化观测数据的概率。 为了得到预测结果，我们将设置一个阈值，如选择具有最大概率的标签。
我们希望模型的输出 $\hat{y}_{j}$ 可以视为属于类 $j$ 的概率， 然后选择具有最大输出值的类别argmax $\boldsymbol{}_{j} y_{j}$ 作为我们的预测。例如, 如果 $\hat{y}_{1}$ 、 $\hat{y}_{2}$ 和 $\hat{y}_{3}$ 分别为 $0.1$ 、 $0.8$ 和 $0.1$, 那么我们预测的类别是2，在我们的例子中代表“鸡”。
然而我们不能将未规范化的预测o直接视作我们感兴趣的输出。因为将线性层的输出直接视为概率时存在一些问题： 一方面，我们没有限制这些输出数字的总和为1。 另一方面，根据输入的不同，它们可以为负值。
要将输出视为概率，我们必须保证在任何数据上的输出都是非负的且总和为1。 此外，我们需要一个训练目标，来鼓励模型精准地估计概率。 在分类器输出0.5的所有样本中，我们希望这些样本有一半实际上属于预测的类。 这个属性叫做校准（calibration）。
softmax函数正是这样做的： softmax函数将未规范化的预测变换为非负并且总和为1，同时要求模型保持可导。 我们首先对每个未规范化的预测求幂（就是把预测作为e的指数），这样可以确保输出非负。 为了确保最终输出的总和为1，我们再对每个求幂后的结果除以它们的总和。如下式：
这里, 对于所有的 $j$ 总有 $0 \leq \hat{y}_{j} \leq 1_{\circ}$ 因此, $\hat{\mathbf{y}}$ 可以视为一个正确的概率分布。 softmax运算不会改变末规范化的预测o之间的顺序, 只会确定分配给每个类别的概率。因此，在预测过程中, 我们仍然可以用下式来选择最有可能的类别。
softmax是一个非线性函数，但softmax回归的输出仍然由输入特征的仿射变换决定。 因此，softmax回归是一个线性模型（linear model）。
2.5. 小批量样本的矢量化
为了提高计算效率并且充分利用GPU，我们通常会针对小批量数据执行矢量计算。假设我们读取了一个批量的样本X, 其中特征维度 (输入数量) 为 $d$, 批量大小为 $n$。 此外, 假设我们在输出中有 $q$ 个类别。那么小批量特征为 $\mathrm{X} \in \mathbb{R}^{n \times d}$ ， 权重为 $\mathbf{W} \in \mathbb{R}^{d \times q}$ ，偏置为 $\mathbf{b} \in \mathbb{R}^{1 \times q}$ 。 softmax回归的矢量计算表达式为：
相对于一次处理一个样本, 小批量样本的矢量化加快了 $\mathbf{X}$ 和 $\mathbf{W}$ 的矩阵-向量乘法。由于 $\mathbf{X}$ 中的每一行代表一个数据样本, 那么softmax运算可以按行 (rowwise) 执行：对于 $\mathrm{O}$ 的每一行, 我们先对所有项进行幂运算, 然后通过求和对它们进行标准化（规范化，对应线性代数中的正交规范化比较好理解）。在上式中, $\mathbf{X W}+\mathbf{b}$ 的求和会使用广播（每行都加）, 小批量的末规范化预测 $\mathbf{O}$ 和输出概率 $\hat{\mathbf{Y}}$ 都是形状为 $n \times q$ 的矩阵。
2.6. 损失函数
损失函数用来度量预测的效果。使用与线性回归中相同的最大似然估计。
2.6.1. 对数似然
softmax函数给出了一个向量 $\hat{\mathbf{y}}$, 我们可以将其视为“对给定任意输入 $\mathbf{x}$ 的每个类的条件概率”。例如, $\hat{y}_{1}=$ $P(y=$ 猫 $\mid \mathbf{x})$ ，因为猫1鸡2狗3嘛。 假设整个数据集 ${\mathbf{X}, \mathbf{Y}}$ （也就是n个（特征，标签）对）具有 $n$ 个样本, 其中索引 $i$ 的样本由特征向量 $\mathbf{x}^{(i)}$ 和独热标签向量 $\mathbf{y}^{(i)}$ 组成。 我们可以将估计值与实际值进行比较：
根据最大似然估计，我们最大化 $P(\mathbf{Y} \mid \mathbf{X})$ ，相当于最小化负对数似然：
其中, 对于任何标签 $\mathbf{y}$ 和模型预测 $\hat{\mathbf{y}}$ ，损失函数为：
上面式子中的损失函数 $l$ 被称为交叉熵损失（cross-entropy loss）。由于y是一个长度为q的独热编码向量， 所以除了一个项以外的所有项j都消失了。 由于所有 $\hat{y}_{j}$ 都是预测的概率，所以它们的对数永远不会大于0（因为预测概率小于1）。 因此，如果正确地预测实际标签，即如果实际标签 $P(\mathbf{y} \mid \mathbf{x})=1$， 则损失函数不能进一步最小化，虽然这往往是不可能的，因为数据集中可能存在标签噪声（比如某些样本可能被误标）， 或输入特征没有足够的信息来完美地对每一个样本分类。
2.6.2. softmax及其导数
将softmax函数代入到损失函数中：
代入后的损失函数相对于任何末规范化的预测 $o_{j}$ 求导：
可以看出，该导数是我们softmax模型分配的概率与实际发生的情况（由独热标签向量表示）之间的差异。 从这个意义上讲，这与我们在回归中看到的非常相似（哪里？）， 其中梯度是观测值y和估计值 $\hat{\mathbf{y}}$ 之间的差异。
这不是巧合，在任何指数族分布模型中，对数似然的梯度正是由此得出的。这使梯度计算在实践中变得容易很多。
2.6.3. 交叉熵损失
如果考虑整个结果分布的情况，即观察到的不仅仅是一个结果。 对于标签y，我们可以使用与以前相同的表示形式。 唯一的区别是，我们现在用一个概率向量表示，如（0.1，0.2，0.7）， 而不是独热编码的向量，如（0，0，1）。
使用 $l(\mathbf{y}, \hat{\mathbf{y}})=-\sum_{j=1}^{q} y_{j} \log \hat{y}_{j}$来定义损失$l$，它是所有标签分布的预期损失值。 此损失称为交叉熵损失（cross-entropy loss），是分类问题最常用的损失之一。
2.7. 信息论基础
信息论（information theory）涉及编码、解码、发送以及尽可能简洁地处理信息或数据。
2.7.1. 熵
信息论的核心思想是量化数据中的信息内容。 在信息论中，该数值被称为分布的熵（entropy）。可以通过以下方程得到：
信息论的基本定理之一指出，为了对从分布 p 中随机抽取的数据进行编码， 我们至少需要 $H[P]$ “纳特（nat）”对其进行编码。 “纳特”相当于比特（bit），但是对数底为 $e$ 而不是2。因此，一个纳特约为1.44比特。
2.7.2. 信息量
信息量是指信息多少的量度。信息量用 $\log \frac{1}{P(j)}即-\log P(j)$ 表示，在观察一个事件 $j$ 时，并赋予它（主观）概率 $P(j)$。
当我们赋予一个事件较低的概率时，该事件的信息量就更大。熵就是当分配的概率真正匹配数据生成过程时的信息量的期望。（这个地方比较晦涩）
2.7.3. 重新审视交叉熵
熵 $H[P]$，交叉熵从P到Q，记为 $H(P,Q)$。可以把交叉熵想象为“主观概率为Q的观察者在看到根据概率P生成的数据时的预期‘惊讶’程度”。 当P=Q时，交叉熵达到最低。 在这种情况下，从P到Q的交叉熵是 $H(P, P)=H(P)$。
可以从两方面来考虑交叉熵分类目标：
- 最大化观测数据的似然
- 最小化传达标签所需的信息量。
2.8. 模型预测和评估
在训练softmax回归模型后，给出任何样本特征，我们可以预测每个输出类别的概率。 通常我们使用预测概率最高的类别作为输出类别。 如果预测与实际类别（标签）一致，则预测是正确的。
在后续的实验中将使用精度（accuracy）来评估模型的性能。 精度等于正确预测数与预测总数之间的比率。
2.9. 图像分类数据集
MNIST数据集（一个手写数字集）是图像分类中广泛使用的数据集之一，但作为基准数据集过于简单。因为很多算法在测试集上的性能已经达到 99.6%！一个算法即便在这个数据集上work在其他数据集上也很可能不怎么样。
Fashion-MNIST 是一个替代 MNIST 手写数字集的图像数据集。 它是由 Zalando（一家德国的时尚科技公司）旗下的研究部门提供。其涵盖了来自 10 种类别的共 7 万个不同商品的正面图片。Fashion-MNIST 的大小、格式和训练集/测试集划分与原始的 MNIST 完全一致。60000/10000 的训练测试数据划分，通道数为1，28x28（28像素）的灰度图片。
关于通道（channels）：描述一个像素点，如果是灰度，那么只需要一个数值来描述它，就是单通道。如果一个像素点，有RGB三种颜色来描述它，就是三通道。常用图片形式还有四通道的，即再加一个透明度。
该数据集样子大致如下（每个类别占三行）：
数据集的存储方式如下：
其中样本标注如下，十个类别：
深度学习框架中的内置函数可以将Fashion-MNIST数据集下载并读取到内存中。具体操作在本笔记对应实践中。
2.10. softmax回归的从零实现与框架实现
从零实现：softmax回归也是重要的基础，因此应该知道实现softmax回归的细节，从零实现他。每个样本都将用固定长度的向量表示。 原始数据集中的每个样本都是28x28的图像。 在这里通过展平每个图像，把它们看作长度为784的向量，即暂时只把每个像素位置看作一个特征。引入的交叉熵损失函数可能是深度学习中最常见的损失函数，因为目前分类问题的数量远远超过回归问题的数量。
框架实现：通过深度学习框架的高级API也能更方便地实现softmax回归模型。 框架实现中继续使用Fashion-MNIST数据集，并保持批量大小为256。同时在softmax函数的实现上进行了优化（具体如何优化翻书看），解决了数值可能上、下溢出的问题。
