构建一个大脑：服装图像分类网络

学习目标（完成本课后能够）：① 说明 28×28 灰度图如何编码为输入向量；② 写出单层全连接网络的前向公式并计算参数量；③ 解释稀疏类别交叉熵与准确率的分工；④ 通过训练曲线判断拟合状态；⑤ 用验证集与错例分析网络的局限。

符号约定：输入向量 x ∈ [0,1]^784，标签 y ∈ {0,…,9}，权重矩阵 W ∈ R^{10×784}，偏置向量 b ∈ R^{10}，输出 ŷ = Wx+b ∈ R^{10} 称为 logits。

运行环境：TensorFlow（含 Keras）、Matplotlib。GPU 可加速但非必需；本课单层网络在 CPU 上约 1–2 分钟完成 5 个 epoch。固定随机种子以保证结果可比（约 80%，浮动 ±2% 属正常）。代码细节与排错见代码工程版。

Fashion-MNIST 含 70,000 张 28×28 灰度图。单张样本为二阶张量，形状 (28,28)，展平后为 784 维向量。5×5 缩略示意如下（实际为 28×28），边缘 0 对应背景：

原始取值范围 0–255。若直接输入网络，在常用初始化（权重约 0.1 量级）下，线性输出可达数十量级，导致 softmax 饱和、初始损失过大（可达十几，而正常初值约 2.3）、梯度范数过大，在默认学习率（约 1e-3）下更新震荡、收敛困难。因此作如下重标度：

# 形状：(60000,28,28) 与 (10000,28,28)；uint8 → float32，值域 [0,1]
(train_images, train_labels), (valid_images, valid_labels) = tf.keras.datasets.fashion_mnist.load_data()
train_images = train_images / 255.0
valid_images = valid_images / 255.0

检验标准：单个样本形状为 (28,28)，最小值 0.0、最大值 ≤1.0；首行前 8 个值多为 0（边缘背景）。满足即表示编码正确，可进入下一节。

该划分对应学习方法论的基本要求：拟合能力须在未见分布上检验。后续各课的“换新题考查”均为同一原则的应用。

以 3 维为例：设 x=[0.9, 0, 0.5]，w=[2.0, 1.0, −1.0]，b=0.2，则 y=0.9×2.0+0×1.0+0.5×(−1.0)+0.2=1.5。其中取值为 0 的分量（背景）对输出无贡献。784 维情形完全类推：

10 个类别需要 10 个神经元并行，各持独立的 (w,b)，输出 10 维向量，称为 logits（未归一化的类别得分，可正可负）。决策规则为 argmax（取最大分量下标）。Keras 实现如下：

model = tf.keras.Sequential([
    tf.keras.layers.Input(shape=(28, 28)),  # 声明输入形状
    tf.keras.layers.Flatten(),  # (28,28)→(784,)：仅重塑形状，0 参数
    tf.keras.layers.Dense(10)   # 全连接：每个输出连接全部 784 个输入，y=Wx+b
])
model.summary()  # Dense 层 7,850 参数；Total 7,850（30.66 KB）

数据流：(batch,28,28) → Flatten → (batch,784) → Dense(10) → (batch,10)。Flatten 不含参数；Dense 的权重矩阵形状为 (784,10)（Keras 按输入×输出存储），偏置为 (10,)。

结构正确性以 summary 总数为准。进一步的直观验证：将某类别的权重向量重塑为 28×28 并可视化，可观察到近似该类服装平均轮廓 —— 表明权重编码了类别模板。

logits 需转化为概率分布方可度量误差。设 logits 为 z ∈ R^10，则：

梯度性质（严谨形式）：交叉熵对 logits 的梯度为 p − y_true（预测分布减真实独热分布）。即分错的概率质量越多，回传的修正信号越大。概率总和为 1 决定了“给错类一分，即从正确类抢走一分”。

准确率（accuracy）：猜对数 / 总数，约 80% 为本课典型值（人类约 83–85%）。它是人类可读的监控指标，不参与求导。若损失下降而准确率停滞，表明概率校准改善但决策边界未移动，需检查数据处理或模型假设。

model.compile(optimizer='adam',
  loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
  metrics=['accuracy'])  # 绑定：优化器 + 损失 + 监控指标

# 前向打分 → 计算损失 → 反向求梯度 → 更新参数；训练集重复 5 个 epoch
# validation_data 仅做前向评估，不产生梯度
history = model.fit(train_images, train_labels, epochs=5, verbose=2,
  validation_data=(valid_images, valid_labels))

术语说明：epoch 指完整遍历训练集一次（60,000 样本）；本课 epochs=5。固定随机种子（如 42）可固定参数初始化与样本顺序，使不同运行结果可比；不固定则期望相近、单次方差稍大。典型过程：训练准确率 0.79→0.85，验证准确率 0.82→0.84，验证损失 0.50→0.45。

归一化（第 1 节）在此显现作用：输入量级决定梯度量级；未归一化时梯度过大，默认步长下易震荡。优化器、损失、归一化三者须在同一量级下协同。

# history.history 含 loss / val_loss / accuracy / val_accuracy 四条序列
# 左图损失越低越好，右图准确率越高越好；须对照训练与验证两条线
plt.plot(history.history['loss'], label='训练'); plt.plot(history.history['val_loss'], label='验证')

单样本决策：model.predict 要求 batch 维度，单张形状 (28,28) 须扩展为 (1,28,28)。输出 10 维 logits，argmax 为预测类别。下图为一组示意 logits 的柱状表示：衬衫（6）与 T恤（0）双高，表明两类后验接近 —— 此类混淆与人类标注的不一致性一致，是线性假设空间容量不足的预期表现：

示意值。切换不同样本索引（0–59999）可观察不同样本的 10 维输出；验证集前 500 样本中约 15–20% 为错例，多集中于 6↔0（衬衫/T恤）、4↔3（外套/连衣裙）。

单层网络的决策边界为线性。在同一数据与同一学习规则下，插入非线性隐藏层可扩大假设空间：

# 64 单元 ReLU 隐藏层：relu(x)=max(0,x)，负值截零、正值保留，引入分段线性
# 前层为非线性特征提取，后层仍为线性读出；学习闭环不变
model2 = tf.keras.Sequential([tf.keras.layers.Input(shape=(28,28)),
  tf.keras.layers.Flatten(), tf.keras.layers.Dense(64, activation='relu'),
  tf.keras.layers.Dense(10)])
# 参数量 (784×64+64)+(64×10+10)=50240+650=50890；准确率约 80%→87%

参数量增长约 6.5 倍，仍不足 1 MB，CPU 仍可在数分钟内完成训练。提升完全来自容量扩大。进一步提升需卷积结构（利用平移不变性），此处不展开。

两者的学习方程形式一致（仿射变换堆叠、交叉熵、大规模梯度优化），差异在量级与数据模态。第 02 课将权重获取、推理引擎与对话接口三部分分解为可部署流程。

参考：NVIDIA DLI《Building a Brain in 10 Minutes》；Fashion-MNIST（Zalando Research）；TensorFlow / Keras 文档（Sequential、Input、Flatten、Dense、SparseCategoricalCrossentropy、fit、predict、summary）。配图 BruceBlaus, CC BY 3.0。口径：7850 / ~80% / 50890。