能效提升3倍，登临科技展示国内唯一量产GPU实力

　　机器之心报道
　　机器之心编辑部
　　AI时代应该构建什么样的GPU？这家创业公司给出了自己的答案。
　　去年5月，1750亿参数的超大预训练模型GPT3让世人惊艳，AI模型体量大规模增长之后产生的效果出乎预料，引发了新一轮的技术发展。今年，一些AI模型的体量已经达到了万亿参数，这样的超级模型需要无数GPU进行并联计算。
　　然而不断膨胀的算力需求成为了挑战：摩尔定律已逐渐走向尽头。而在算力之外，硬件功耗与散热的挑战也阻碍着AI应用的落地。
　　7月10日，在上海举行的2021年世界人工智能大会（WAIC）开发者论坛上，登临科技创始人兼CEO李建文围绕GPU：AI新时代下的软硬件协同异构计算平台为主题进行了演讲。在活动中，李建文给线上线下两万多位观众展示的了登临科技GPU产品的卓越能效。这家国内少有的，选择GPU赛道、直面英伟达的创业公司在近期受到了社会各界的强势围观。
　　登临科技创始人兼CEO李建文在AI开发者论坛上。
　　在服务器及云端大规模应用GPU，是因为它的通用性好，可以运行各类神经网络，这也与云端计算的需求非常吻合。但另一方面，GPU计算AI负载时的效率还不是很高，李建文说道。登临科技GPU的核心理念是继承现有软件生态和GPU的通用性，又通过架构创新来弥补GPU的缺点。
　　在深度学习引领的最近一波AI浪潮中，GPU扮演着重要作用，大量开源生态的应用开发基础设施是在英伟达CUDA软件生态上完成的。如何保持客户已有的投入，是AI技术产业化的重要课题。
　　与很多科技公司选择特定领域体系结构ASIC的方向不同，登临科技希望能够找到一种与现有GPU产品兼容，同时又可以大幅度提高AI模型计算效率的技术路线。
　　登临科技提出的GPU是一种软件定义的片内异构通用人工智能处理器。传统的异构计算是以不同种类的芯片在系统上实现的，这种方式面临着芯片间数据传递的瓶颈。登临科技的GPU则在片内集成了多种计算引擎，从而解决了这个难题。
　　我们把不同的计算引擎，GPGPU和针对张量计算相关的计算引擎集成到了一起，调度引擎可以在高维度来控制算力的分配。登临的片内异构计算可以扩展到其他的异构引擎，这些引擎既可以并行计算，也可以独立工作。另外我们还有自主研发的高吞吐数据交换网络。李建文介绍道。
　　这种架构在数据流、执行模型、内存管理和数据存储上，相对于传统GPU都有非常大的改进。由于在更高的抽象维度上进行调度和算力分配，它增加了计算密度，提高了效率，极大地降低了GPU对于外部带宽的需求。
　　目前，登临科技Goldwasser系列产品已实现规模量产。Goldwasser系列产品：包括边缘计算产品GoldwasserUL，功率2535W，INT8算力3264TOPS；半高半长的服务器计算卡GoldwasserL，功耗4070W，提供128256TOPS算力；另有一种全高全长的GoldwasserXL，输出512TOPS算力。
　　在实测过程中，登临的GPU在40WTDP时输出了128TOPS算力，和国际主流产品对比其功耗更低，性能更高。在同样的工艺上，GPU可以以更小的芯片面积，在同样功耗下，在不同神经网络上提升310倍计算效率，并同时可减低芯片性能对外存吞吐的依赖。
　　在软件层面上，Goldwasser支持目前开发者最常用的GPU编程方式，李建文介绍说，GPU在提供兼容CUDAOpenCL硬件加速能力的前提下，全面支持各类流行的人工智能网络框架及底层算子。
　　登临开发的Hamming工具链，不仅支持传统GPU使用的硬件加速方式，PyTorch、TensorFlow、飞桨等国内外主流深度学习框架，在CPU适配上也支持国内外主流X86和ARM产品。登临也和多家服务器厂商合作，适配了多种服务器。对于企业客户来说，原本在GPU及CUDA平台上开发的程序，可以无缝迁移至登临的产品上。
　　从应用场景来看，今天在GPU上运行的所有应用都能在我们的产品上运行。而针对AI应用，Goldwasser可以用更高的效率来完成。李建文说道。
　　GPU的异构设计让客户可以在现有生态投入的基础上无缝转换，同时显著提升计算效率，并降低外部计算带宽的需求，这种方式可以大幅度降低服务器总体使用成本（TCO）。登临选择GPU异构架构的首个产品化方向，将成为未来芯片AI算力提升的一个有效途径。
　　登临科技成立于2017年11月，总部位于上海，在硅谷、成都、杭州等城市均设有研发中心。目前，首款基于GPU架构的Goldwasser系列产品已在多个行业的领军企业进行量产导入，并得到客户的积极反馈。