Chiphell - 分享与交流用户体验

标题: 多家行业巨头参与，OCP基金会宣布MX系列窄精度数据格式，可提升AI计算效率 [打印本页]

作者: 埃律西昂 时间: 2023-10-22 22:07
标题: 多家行业巨头参与，OCP基金会宣布MX系列窄精度数据格式，可提升AI计算效率
本帖最后由埃律西昂于 2023-10-22 22:12 编辑

来源： OCP基金会官网
原英文标题： AMD, Arm, Intel, Meta, Microsoft, NVIDIA, and Qualcomm Standardize Next-Generation Narrow Precision Data Formats for AI

实现下一代深度学习的全部潜力需要高效的 AI 基础设施。为了使计算平台具有可扩展性和成本效益，优化 AI 堆栈的每一层（从算法到硬件）至关重要。窄精度AI数据格式和相关优化算法的进步对这一旅程至关重要，使行业能够从传统的32位浮点精度过渡到目前只有8位精度（即OCP FP8）。

更窄的格式允许芯片在每个时钟周期内执行更高效的 AI 计算，从而加快模型训练和推理时间。AI 模型占用的空间更少，这意味着它们需要从内存中获取的数据更少，并且可以以更好的性能和效率运行。此外，更少的位传输减少了互连上的数据移动，从而可以提高应用程序性能或降低网络成本。

汇集主要行业领导者以制定标准
今年早些时候，AMD、Arm、Intel、Meta、Microsoft、NVIDIA 和 Qualcomm Technologies， Inc. 成立了微缩放格式（MX）联盟，旨在创建和标准化用于 AI 训练和推理的下一代 6 位和 4 位数据类型。使亚 8 位格式工作的关键使能技术（称为微尺度）建立在多年设计空间探索和研究的基础上。 MX 增强了现有 8 位格式（如 FP8 和 INT8）的稳健性和易用性，从而降低了更广泛采用个位数位训练和推理的门槛。

最初的 MX 规范引入了四种具体的浮点和基于整数的数据格式（MXFP8、MXFP6、MXFP4 和 MXINT8），它们与当前的 AI 堆栈兼容，支持跨硬件和软件的实现灵活性，并在硬件级别实现细粒度微缩放。广泛的研究表明，MX 格式可以轻松部署在许多不同的现实世界案例中，例如大型语言模型、计算机视觉和推荐系统。MX 技术还可以实现 6 位和 4 位精度的 LLM 预训练，而无需对传统训练配方进行任何修改。

使 AI 功能民主化
在不断发展的人工智能环境中，开放标准对于促进创新、协作和广泛采用至关重要。这些标准提供了一个统一的框架，可在整个 AI 生态系统中实现一致的工具链、模型开发和互操作性。这进一步使开发人员和组织能够利用人工智能的全部潜力，同时减轻可能扼杀进步的碎片化和技术限制。

本着这种精神，MX 联盟通过开放计算项目基金会（OCP）以开放、免许可的格式发布了微缩放格式（MX）规范 v1.0，以实现和鼓励广泛的行业采用，并为未来潜在的窄格式创新奠定基础。此外，还发布了白皮书和仿真库，以提供有关数据科学方法的详细信息以及MX的实际结果。这种包容性不仅加快了人工智能发展的步伐，还促进了人工智能应用程序的开放性、问责制和负责任的开发。

“AMD 很高兴成为 MX 联盟的创始成员，并且一直是 OCP MX 规范 v1.0 的关键贡献者。这种标准化 MX 数据格式的行业合作为持续的 AI 创新提供了一种开放和可持续的方法，同时为 AI 生态系统提供了时间为未来硬件和软件中使用 MX 数据格式做好准备。AMD 致力于推动开放的 AI 生态系统的发展，并乐于将我们在 MX 数据格式方面的研究成果贡献给更广泛的 AI 社区。

——迈克尔·舒尔特，AMD 高级研究员

“作为一个行业，我们有一个独特的机会来合作并实现人工智能技术的好处，这将实现从云到边缘再到端点的新用例。这需要致力于人工智能训练和推理的标准化，以便开发人员可以专注于真正重要的创新，而OCP MX规范的发布是这一旅程中的一个重要里程碑。

——Ian Bratt，Arm 研究员兼技术高级总监

“OCP MX规范是相当广泛的跨行业合作的结果，代表了在统一和标准化AI应用的新兴亚8位数据格式方面迈出的重要一步。由此实现的AI模型的可移植性和互操作性应该会让AI开发人员非常高兴。受益的人工智能应用程序应该看到更高水平的性能和能源效率，并减少内存需求。

——Pradeep Dubey，英特尔高级研究员兼并行计算实验室主任

“为了跟上人工智能不断增长的需求，创新必须在堆栈的每一层进行。OCP MX 工作是实现最高级训练和推理工作负载的更大可伸缩性和效率的重大飞跃。MX建立在多年的内部工作基础上，现在与我们尊贵的合作伙伴合作，已经发展成为一个开放标准，将使整个人工智能生态系统和行业受益。

——Brian Harry，技术研究员，Microsoft

“MX 格式具有广泛的 8 位以下支持，可提供高效的训练和推理解决方案，可应用于各个领域的 AI 模型，从具有严格准确性要求的推荐模型到对延迟敏感和计算密集型的最新大型语言模型。我们相信，与OCP和更广泛的ML社区共享这些MX格式将导致AI建模的更多创新。

——Ajit Mathews，Meta AI高级工程总监

“OCP MX 规范是加速具有亚 8 位数据格式的 AI 训练和推理工作负载的重要一步。这些格式通过减少内存占用和带宽压力来加速应用程序，还允许数学运算实现方面的创新。开放格式规范实现了平台互操作性，使整个行业受益。

——Paulius Micikevicius，NVIDIA 高级杰出工程师

新的OCP MX规范将有助于加速向低成本、低功耗的基于服务器的AI推理形式的过渡。我们热衷于通过低成本推理使人工智能民主化，我们很高兴加入这一努力。

——Colin Verrilli，Qualcomm Technologies， Inc高级总监

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)