用一张图讲清 Transformer 的完整计算流程
从输入嵌入到多头注意力,再到残差与前馈网络,一步步推导每个张量的维度变化。
6 个方向 · 102 篇文章 · 持续更新中
每一条记录包含学了什么、花了多久、有哪些收获。坚持记录让我的学习变得可回顾、可量化,也更容易坚持下去。
对比了 rank=8/16/32 三组配置,rank=16 时验证集损失最低,记录了显存占用变化规律。
重新推导 Q/K/V 的矩阵运算过程,整理了 2 页手写学习笔记,标注易混淆点。
重点研读检索器与生成器的联合训练部分,标注了 3 个待验证疑问点。
尝试 OpenPose 与 Depth 两种控制方式,整理参数组合对照表。
用数据见证每一天的积累