英特尔推出比H100更快更便宜的新型AI加速器向Nvidia施加压力

在英特尔Vision2024大会上，英特尔推出了Gaudi3AI加速器，该公司将其定位为NvidiaH100的直接竞争对手，声称它可以在领先的GenAI模型上提供更快的训练和推理性能。

预计Gaudi3在各种任务中的性能将比H100高出50%，包括训练时间、推理吞吐量和功效。

据报道，Gaudi3以Gaudi2AI加速器的性能和效率为基础，与前身相比，BF16的AI计算能力提高了4倍，内存带宽提高了1.5倍，网络带宽提高了2倍，可实现大规模系统横向扩展。

Gaudi3采用5nm工艺制造，具有64个AI定制和可编程TPC以及8个能够进行64,000次并行操作的MME。它提供128GB内存(HBM2e而非HBM3E)、3.7TB内存带宽和96MB板载SRAM，可有效处理大型数据集。它具有24个集成200Gb以太网端口，可实现灵活的系统扩展和开放标准网络。

英特尔声称Gaudi3在各种模型上均优于H100，包括Llama7B和13B参数以及GPT-3175B模型的训练时间加快了50%。此外，Llama7B和70B参数以及Falcon180B模型的推理吞吐量提高了50%，功效提高了40%。英特尔表示，Gaudi3在Llama7B和70B参数以及Falcon180B参数模型的推理速度上也优于H20030%。由于这些是英特尔基准测试，因此请随意接受它们。

Tom'sHardware指出：“归根结底，主导当今人工智能训练和推理工作负载的关键在于将加速器扩展到更大集群的能力。英特尔的Gaudi采用了与Nvidia即将推出的B200NVL72系统不同的方法，使用快速200Gaudi3加速器之间的Gbps以太网连接以及将服务器与叶交换机和主干交换机配对以创建集群。”

英特尔执行副总裁兼数据中心和人工智能事业部总经理贾斯汀·霍塔德(JustinHotard)表示：“在不断发展的人工智能市场格局中，当前的产品仍然存在巨大差距。我们的客户和更广泛的市场的反馈强调了增加选择的愿望。企业权衡可用性、可扩展性、性能、成本和能源效率等因素。英特尔Gaudi3作为GenAI替代方案脱颖而出，呈现出令人信服的性价比、系统可扩展性和价值实现时间优势的组合。”