几个人来问这个UE8M0 FP8，我仔细解释下，不是很容易懂_风闻

1.  AI大模型和神经网络都是系数，是浮点数。最简单就是C语言编程的float，4个字节。这是原始版本，32个bit，也叫FP32。那32个bit怎么表示浮点数？正负要1个符号bit，指数位（exponent)是8bit，尾数位（mantissa）是23个bit。8bit的指数值范围是-126到127，是说拿尾数乘以2的这么多次方，负的次方是来表示0.0156这种小数。尾数位多精度高，它是23个bit表示的2进制正整数，乘以指数次方就是最终float的数值。有个细节，指数位全0代表数值0，全1代表无穷大。

2. 同理，FP16就是1个bit正负符号，5个bit指数值范围-14到15，10个bit尾数。这能表示的数值大小和精度小多了，FP16的最大数值是65504，而FP32最大是3.4X10^38。但是很多神经网络用FP16就够了。谷歌还搞了一种适合神经网络训练的BF16，是8个bit指数，7个bit尾数。BF16能表示的数值范围大，但是精度低一些，一些深度学习训练环节合适。

3. 还有种非常管用的神经网络技术，叫“量化”（Quantization），如把网络系数从浮点数整体变为整数，应用效果一样或者稍微差一点点，但是计算速度快多了，因为芯片整数计算比浮点数快多了。这非常实用，在NPU低成本神经网络芯片里都要用，大模型用来加快推理速度。量化是把FP32和FP16的系数，压缩成INT8、INT16、INT4、甚至可以二值。INT8就是8个bit，INT16是16个bit。实践中INT8成为事实上的标准，英伟达等一堆公司都把它作为指令集第一选择。INT8取值范围-128到127，一般精度就够用了，如果还不够就用INT16。要注意，训练时不能用INT8，范围和精度不够，一般都是推理时用。所以训练需要的算力比推理时高多了，要浮点数。

4. 但是量化在训练中其实也很有用，如将32与16个bit代表的数值，降维用8bit表示，精度下降，但效果维持，就能对训练加速。如大模型训练加速，一种办法就是用FP8，连FP16都嫌慢。具体技术是“混合精度”，与FP16、BF16 乃至FP32混合使用。如GEMM矩阵乘法占了90%算力，就用FP8加速，效果很好。其它的激活函数、softmax、LayerNorm，这些就用BF16与FP16。Loss、学习率要求精度，要用FP32。GPU设计一个大招就是搞这些，FP8操作怎么搞得极快。

5. FP8有两种，一种是5bit指数2bit尾数，一种是4bit指数3bit尾数，分别叫E5M2、E4M3，都要1个符号bit。E4M3精度高一点适合前向传播计算，E5M2数值范围大一点适合反向传播计算。当然FP8精度和范围都很小了，大模型矩阵系数弄成这样，还行不行？国内外好多家试了真很难，都搞不出来，训练一会就崩了，好多人失去信心认为做不出来。DeepSeek之所以厉害，就是在国内第一家用FP8把大模型训练成功了，确实可行，加速效果很好。

6. 现在终于可以说DeepSeek V3.1用的UE8M0 FP8是什么了。首先它是FP8，是浮点数，看样子是用在大模型矩阵系数的。U就是unsigned，就是无符号的，省掉一个bit。E8M0就是8个bit全部都是指数，尾数位是0个！那这怎么表示数值？其实尾数位为0，意思就是默认尾数是1，值的范围就是2的-128次方至127次方。

7. 注意在大模型应用中，还有一个8bit或者16bit的scale参数。这里的创新是，128个系数的group，或者128*128的tile，共用一个scale！先选一个scale除它，把tile里的数值“量化”到FP8，算完了再用这个scaler乘“反量化”恢复到原值范围。至于FP8，就有三种选择，E4M3、E5M2、UE8M0，各有优缺点。UE8M0速度快，表示范围大，缺点是精度低、不能表示负数。E4M3、E5M2能表示负数，有一点精度， 但范围小。

8. DeepSeek说，“UE8M0 FP8是针对即将发布的下一代国产芯片设计”，我的理解是和英伟达技术路线有关。英伟达设计GPU，从Hopper系列到Blackwell系列都重点优化FP8支持，但主打的是E4M3、E5M2！里面一堆很难的技术细节，在芯片设计、制程与CUDA配合上，有不少很细的活。国内GPU设计者，对这些技术就不太掌握。看意思，国内摩尔线程、寒武纪这些芯片设计商，设计出UE8M0干得不错的FP8电路是可以的，UE8M0计算用的功耗低，适合国产芯片设计与制造平台。

9. 具体技术细节肯定不少，但感觉是“技术分叉”了，不按英伟达与CUDA路线走。国产AI体系，软硬件配合动起来了，DeepSeek等大模型公司搞软件，GPU设计公司搞硬件，以符合自身技术体系特性的办法，自主创新发展软硬件技术。