NPU缘何从同构走向异构_风闻

日前，华为、苹果等公司的新款手机密集发布，在发布会上，大家都把人工智能和拍照功能作为宣传的一个亮点。出现这种情况的主要原因在于，智能手机经过多年的发展，其硬件已经趋于成熟，特别是几大芯片公司的CPU、GPU IP核都从ARM购买，进而带来了手机CPU、GPU高度同质化的问题。因此，NPU和拍照功能成为手机厂商差异化竞争的亮点。

人工智能芯片的发展演变

最初，行业里并没有独立的NPU，英特尔、英伟达、高通等公司用CPU、GPU、DSP等传统芯片运行AI应用。这样做的好处是可以利用现有技术，可以较快的切入市场。但缺点很明显，那就是性能功耗比偏低。

为了追求更好的用户体验，工程师以牺牲通用性换取市场高性能的方式开发了专门的NPU。在几年前，手机NPU是一个单核NPU，进行卷积运算。随着行业的需求，市场上出现了大小核的NPU，这种NPU演变类似于以前CPU从单核变到大小核的架构，大核心与小核心基于同一个架构设计，大小核该怎样工作就怎样工作，唯一的区别是小核是大核的裁减，小核的频率低一点或者性能低一点，这样省一些功耗。同时，当出现高负载任务时，大核心能够凭借较强的性能顶上去，进而使芯片具有较强性能的同时，降低芯片的功耗。

大小核NPU也是延续大小核CPU的设计逻辑，只不过，这种大小核NPU依然是同构的，这使其在AI应用上已有点跟不上时代了。

这主要是因为随着人工智能场景以及需求的变化，在某些应用领域，AI神经网络模型还在发展，应用场景也越来越丰富。这就对硬件也提出越来越多样化的要求，如果仍以原有的单核NPU架构加速，效率上和灵活性上会受到如何影响。

正是因此，专门用于AI加速的NPU从单核走向了大小核，但这些NPU的一个共性是满足于现在已经固定下来的场景和应用，是一个很不错的选择，但这在AI领域是不够的，因为AI应用还在不断的发展。基于这一点异构NPU应运而生。

异构NPU实现择善而用 高效协同

由于CPU、GPU、DSP、AISC等芯片各具特点，有各自擅长的能力，从CPU到AISC，上述几款芯片的专用性越来越强。由于通用性和绝对性能不可兼得，上述几类芯片在性能提升的同时通用性缺越来越弱。因而可以将这几类芯片组合使用，让各类跑其擅长的事情——让农夫去种菜，让屠夫去杀猪，让厨师去烹饪，让专业的人做专业的事情，实现效率和资源配置的最优化。

异构计算在超算上已经有很成功的应用，比如曾经位列TOP500第一的神威太湖之光和天河二号超算，都属于异构超算——神威太湖之光超算使用SW26010芯片上的管理核心做任务管理，让芯片上256个小核心做加速去负责运算；天河二A用英特尔至强CPU做任务管理，让矩阵2000做加速器负责运算。这使这两台超算在取得超高性能的同时，将功耗控制的比较好。

美国最新两台超算，在性能上超越了神威太湖之光，这两台超算也是异构超算，目前，中美正在研发的E级超算，也属于异构超算，这充分展现了异构计算的优势。无独有偶，英特尔公司在收购阿尔特拉之后，也推出CPU+FPGA新型至强处理器，并宣称这种处理器对于传统的处理器具有明显优势。

很显然，展锐开创异构双核NPU，也是立足于异构计算的独特优势。

移动AI发展到现在，经过这两到三年的探索和实践，大家逐渐发现在图像类的应用，可以用8比特定点量化的方式大幅的减少计算代价，从FP32到FP16，人脸识别算法已经相对成熟，模式相对固定，但是整个AI神经网络模型还在发展，因为还有很多类应用，比如语音对精度的要求更高，需要浮点能力，仍然没有确定下来什么样的精度模式最适合，这是在发展过程中必然的现象，在这个时间点上，如果基于目前应用的设计架构，会对NPU的通用性和灵活性造成影响，对效率有影响。而大小核NPU只能平衡性能和功耗，却无法解决效率问题，这也是前文铁流指出大小核NPU在AI应用中已有点跟不上时代了。正是因此，锐引进了异构双核NPU设计，来解决效率问题。

对于已经相对成熟的图像分类的神经网络，基本上都是量化，用一种固化的方式做更高效的实现，另一部分，则必须要考虑灵活性。展锐用一个核做固化的图像类的模型，几乎拥有这个领域里面最好的效率，另一面，由于模型还在发展，应用还在发展，因而必须考虑兼容性，必须考虑到针对不同场景采用不同的模型，必须给未来可能的应用足够的弹性空间，这就是展锐的异构双核NPU的设计思路。

借助异构双核NPU的设计，展锐实现了择善而用，高效协同，动态调度，虽然在铁流的介绍中说起来好像很简单，但要实现却并不容易，比如AI Benchmark有新的模型，怎么通过调度的方式去跑，哪些模型更适合这个核，这个需要不断调试完善的过程。可以说，就异构双核NPU来说，展锐是第一个吃螃蟹的，是具有开创性的新颖设计。

结语

除了可以用于智能手机之外，虎贲T710还是一个高性能AI边缘计算平台，在工业、商业、医疗、家居、教育等领域商用的潜力。目前，已经有行业客户基于虎贲T710搭建高性能AI边缘计算平台。

目前，人工智能应用还是比较粗浅的，还有很大提升和挖掘空间，相信随着人工智能对人民生活和生产的影响越发深入，AI应用越来越多样化，异构NPU会取得更多客户的青睐。