中国工程院院士、清华大学计算机科学与技术系教授郑为民
7月7日，在信息技术百人论坛（IT百人论坛）2024年度研讨会上，中国工程院院士、清华大学计算机科学与技术系教授郑为民发表演讲。
郑为民表示，AI大模型从单模向多模发展，应用众多，导致算力爆发式增长，算力已供不应求。但与此同时，与英伟达相比，国产AI芯片体系生态还不够完善。
总体来看，大模型算力主要分为模型开发、模型训练、模型微调、模型推理四个层级，因此算力存在于大模型生命周期的每一个环节。
郑为民提到，算力非常昂贵，成本居高不下。例如GPT-4使用了800台 A100，每月的模型开发成本为200万美元。其中1万台A100的算力训练成本为2亿美元，每天的推理成本为70万美元。大模型企业的模型训练成本中，算力占70%，模型推理成本中，95%都是算力。
其中，郑为民指出，目前大模型训练的支撑体系主要有三方面：
第一种是基于芯片的GPU系统，硬件性能不错，编程生态也不错，但是不卖给国内，所以一卡难求，价格也贵很多倍。
第二是基于国产AI芯片的系统。
“这几年国产芯片无论在软件还是硬件上都有了很大的进步，但是由于国产卡的生态系统不太好，用户不太喜欢使用。”
郑为民在2024世界人工智能大会分论坛上详细阐述，虽然国内有上海天枢智芯、牧野metaX等20多家公司在做AI芯片，芯片做得还是很不错的，进步很大，但问题在于国内AI体系短板，特别是软件体系不够成熟。
什么是好的生态？郑为民的定义是，如果一个原本用写的AI CUDA软件，现在能很轻松移植到国产的系统上，而且编写方式跟国内差不多，那么这个生态就是好的。如果移植需要一两年以上的时间，那么就不算好。
“我们现在的情况是，生态系统不是很好，所以大家不太喜欢用。”郑为民认为，这需要好的系统设计和相关的软件优化，具体包括编程框架、并行加速、通信库、算子库、AI编译器、编程语音、调度器、内存分配系统、容错系统、存储系统等十个方面。
他说，AI芯片厂商一定要把这十个方面做好，做好了，人们才会喜欢用。在郑为民看来，当国产算力支撑大模型训练时，国产AI芯片只需要达到国外芯片60%的性能，但如果以上十个方面的软件生态有新的完善，客户也会满意而用。
“大部分任务不会因为芯片性能只有60%而显得突兀，让人觉得不好用或者生态不好。就算你的硬件性能是人家的120%，这十个软件如果没有做好，还是没什么用。”郑为民说。
第三类是依靠超级计算机的体制，目前我国有14个国家超级计算机中心，但机器空置率较高，没有得到充分利用。
那么，能否利用超算训练大模型？郑为民认为是可以的，但需要软硬件协同设计，有望节省训练成本。现场的Llama-7B和百川大模型演示显示，使用国产超算训练，相比集群可节省约82%的成本。
除了算力，存储也存在于大模型生命周期的每一个环节，包括数据采集、数据预处理、模型训练、模型推理等。郑为民强调，内存对于AI推理尤为重要，如果存储系统完善了，性能可以提升好几倍，意味着可以少买很多卡。
郑为民指出，国产芯片不应盲目追求大模型训练中常用的半精度（FP16）浮点计算性能的提升，而应注重半精度与双精度（FP64）浮点计算性能的平衡，两者比例应为100：1，这样才能适配更广泛的AI算法。此外，大模型任务需要的训练量很大，往往需要多卡互联，芯片层的网络参数、架构、存储性能等越来越关键。
他认为，国产AI芯片亟待解决网络均衡设计、I/O子系统平衡设计、存储器设计等技术能力。
近年来，包括天玑1000、慕课、摩尔线程、百度昆仑芯等多家GPU初创公司纷纷发布新品并投入量产，但由于软件生态等原因，采购尚未启动，生态建设有待加强。同时，据第一财经报道，尽管性能大幅下滑，但英伟达预计未来几个月将在中国交付超过100万片“中国特别版”H20芯片，今年中国AI芯片总销售额将达到约120亿美元。这些芯片不受美国对华AI芯片出口管制，每片H20芯片售价在1.2万至1.3万美元之间。
“如果我们在大型模型基础设施均衡设计上做好了，别人用1万张卡，我们用9千张卡就够了。如果不考虑这一点，胡乱搞，可能别人用1万张卡，你也要3万张卡才能达到（差不多）效果。”郑为民在演讲最后说。
（本文首发于钛媒体App，作者：林志嘉，编辑：胡润峰）
