为 AI SoC 选择存储器IP以及架构

简介

深度机器学习 (ML) 和人工智能 (AI) 的发展步伐，正在改变计算领域的各个层面，涉及硬件架构、软件、芯片制造和系统封装等。我们在两个方面取得的重大进展敞开了实施机器学习新技术的大门。第一项进展，即拥有海量数据（即“大数据”）可供系统处理。第二项进展，即先进的 GPU 架构现已支持分布式计算并行化。有了这两项重大进展，设计师可以利用依托密集计算和大量分布式存储器的新技术，提供强大的新型计算能力。

基于神经形态计算的机器学习，可利用脉冲神经网络 (SNN)、深度神经网络 (DNN) 和受限玻尔兹曼机器 (RBM) 技术。“大计算”结合大数据，利用基于统计的高维计算 (HDC)，这种计算以模式为基础，支持基于联想记忆和持续学习的推理，以模仿人类记忆的学习和保留序列。

新兴的存储器有存算一体 SRAM、STT-MRAM、SOT-MRAM、ReRAM、CB-RAM 和 PCM。每种开发类型都会同时尝试实现 AI 计算的转换。各种类型共同提高了在计算能力、能源效率、密度和成本方面的优势。

为 ML/AI 计算选择存储器架构时面临的九大挑战

在选择最佳计算体系结构以及支持其 ML/AI 应用目标的相关存储器组合时，系统设计人员面临若干挑战。尽管设计人员目前仍在使用传统的嵌入式 SRAM、缓存和寄存器文件，但是对于开发过程中 AI 负载的新需求，并没有通用或外来的存储器解决方案可以予以满足。但是，预计机器学习会消耗大部分能量，所以优化机器学习的存储器，可以帮助设计人员达到其功率预算要求。这对系统设计有重大影响。

在以下九个主要挑战中，设计人员会确定在某个特定时间哪一个挑战至关重要，进而平衡其设计需求：

1. 吞吐量与能量的关系（千万亿次运算/瓦）
2. 确保设计重用的模块化和可扩展性
3. 通过热管理降低成本、复杂性和尺寸
4. 支持基于 AI 作出实时决策的速度
5. 可靠性，特别是人类性命攸关的应用
6. 与构成系统组件的 CMOS 的处理兼容性。例如，STT-MRAM 能够和基于 CMOS 的处理器轻松集成
7. 功率传输
8. 成本；最好以功能和集成（封装）成本的“最佳位置”节点表示
9. 展示模仿人类神经元的模拟行为

每一个存储器挑战都可以通过多种方式解决，因为同一个目标通常有多种实现方案。每种方案都有优缺点，包括对架构决策的进一步可扩展性影响。

例如，对于存算一体，设计人员必须选择使用 SRAM 或是 ReRAM 阵列。这两种选项对功率和可扩展性，有着截然相反的影响。如果存储器模块的尺寸相对较小、所需的执行速度较高并且在片上系统 (SoC) 中集成存内计算，则自然就成为最合乎逻辑的选项，而 SRAM 就是理想之选（尽管 SRAM 的尺寸大且功耗大 - 包括动态功耗和漏电）。另一方面，深度神经网络中高度并行的矩阵乘法，通常需要大量的存储器，因而使用具有密度优势的 ReRAM 较为合理。

布尔逻辑函数是涉及多输入的运算，必需能够从多个可寻址位置同时读取数据，并将结果写回所需的存储器位置，因此多端口 SRAM 在存算一体架构中发挥着特殊作用。多端口 SRAM 和寄存器文件能够保证既精准的灵活性。另外，多端口 SRAM 可以用来为 GPU 构建寄存器文件，这是实现高效多线程的关键。

Synopsys 为神经形态计算解决存储器问题

只有解决 SRAM 存储器最典型的问题，神经形态计算相关的存储器列表才算完整。SRAM 和寄存器文件仍然是用于神经形态计算的 AI/ML 架构的骨干，在所有存储器类别中，其延迟最小。然而，为 AI 应用和 Von-Neumann 架构最大化 TOPS/W 指标的首要任务决定了必需使用并行，可以通过多端口存储器实现最大的配置灵活性，以适应存算一体和近存储器计算。Synopsys 积极支持存算一体的研究工作，但同时也支持近存储器计算，因为这是最节能且用途广泛的计算形式。 

总结

大数据和大计算时代已经来临。根据 OpenAI 的数据，在过去 8 年里，深度学习的计算需求每三个月就会翻一番。采用深度神经网络的神经形态计算推动了 AI 的发展；然而，它严重依赖紧凑、非易失性节能存储器，这些存储器具有各种诱人的特性，能够适应不同的情况。其中包括 STT-MRAM、SOT-MRAM、ReRAMs、CB-RAM 和 PCM。神经形态计算依赖于新的架构和新的存储器技术，并且比当前的处理架构更高效，而且需要进行存算一体和近存储器计算，以及需要拥有存储器良率、测试、可靠性和实现方面的专业知识。