人工智能驱动内存互连演变

 

在芯片、元件和系统之间移动以及处理优先处理顺序不明确的情况下，设计团队只能在合并和共享存储之间取得平衡以降低成本，或增加更多不同类型的存储来提升效能、降低功耗。

 

但这个问题不仅仅是内存供应商面临的挑战;其他AI利益相关者也在发挥作用，解决方案最关键的一部分是内存互联，即内存离计算越来越近。在人工智能硬件峰会内存互联的挑战和解决方案圆桌讨论上Rambus研究员Steve Woo表示：“我们都在人工智能的不同方面工作。”

 

从目前来看，内建SRAM和DRAM存储仍是当前主推技术。DRAM密度高、使用电容储存结构相对简单，又具有低延迟、高效能和接近无限次存取的耐用度，功耗也比较低。SRAM速度非常快，但较为昂贵且密度有限。这些不同的需求会影响存储的类型、数量以及内建或外接存储的选择。

 

Marvell ASIC业务部门的CTO Igor Arsovski在SRAM方面有着丰富的经验，他表示，用啤酒来比喻内存互连并不坏。 “SRAM就好比一瓶啤酒。它很容易使用，使用它的能耗很低，它只提供你所需的。“但如果内存不够，你就会走得更远，而且需要消耗更多的能量，就像需要走得更远才能买到啤酒一样。”

 

HBM vs LPDDR

 

外接存储的竞赛，基本上以DRAM-GDDR和HBM为主。从工程和制造角度来看，GDDR比较像DDR和LPDDR等其他类型的DRAM，可以放在一个标准的印刷电路板上并使用类似的制程。

 

HBM是比较新的技术，牵涉到堆叠和矽中介层，每个HBM堆叠都有上千个连接，因此需要高密度的互连，这远远超过PCB的处理能力。HBM追求最高效能和优质的电源效率，但成本更高，需要更多的工程时间和技术。GDDR的互连没这么多，但会影响讯号的完整性。

 

Arsovski表示，在内存方面，高带宽内存(HBM) 正在被越来越多的人工智能采用。

 

“它会花费你60倍多的能量来访问内存。那里的容量要大得多，但访问它的带宽也显著减少了。啤酒的类比可以扩展到LPDDR(DDR SDRAM的一种)等技术，它超过了SRAM。“LPDDR功率要高得多，但你可以装更多的容量。”“这就像沿路走到你最喜欢的酒吧。”

 

Arsovski预计，下一代加速器的发展方向是将这些小桶放在加速器的正上方，通过计算将内存压缩到更近的位置。MLCommons是一个提供机器学习标准和推理基准的组织，其成员包括学术界和工业界。MLCommons的执行董事David Kanter介绍：“这让我们对不同的工作量有了一个非常广泛的了解。我们开始改变这个组织的一件事是，让它专注于一点，那就是建立顾问团，引入特定应用领域的一些深度专业知识。” MLCommons还将为培训人工智能模型的任何人编制大型公共数据集，并计划扩大服务范围，吸引其他专家加入。

 

当谈到内存时，Kanter介绍，整个系统上下文很重要。“你必须思考你想做什么与系统。”芯片、封装和电路板都是必须考虑的元素。对于存储被放置和连接的地方，有很多不同的角落，你可以优化的阵列结构，单元类型，以及距离。”

 

Kanter：“了解哪里需要带宽和非挥发性也是关键的考虑，这会引导你做出正确的选择。”

 

对于那些传统上不参与整个内存系统构建过程的公司来说，这些考虑相当重要。谷歌软件工程师Sameer Kumar长时间研究编译器和可伸缩系统，他认为其中网络和内存带宽对于不同的机器学习模型至关重要，包括大规模批量学习的能力。“人工智能训练涉及到大量的记忆优化，这是编译器获得高效率最关键的一步，这意味着记忆需要更智能。“

 

由于数据移动开始主导人工智能应用的某些阶段，由此看来内存互联变得越来越重要。Woo：“在性能和功效方面，这是一个日益严重的问题。提高数据传输速率有些难，因为每个人都希望保持数据传输速度翻倍和能源效率翻倍。“我们所依赖的许多技术对我们来说已经不存在了，或者正在放慢速度。我们有机会来思考新的架构和创新我们移动数据的方式。”

 

Woo：这不仅包括存储设备本身的创新，还包括封装和新技术的创新，如堆叠，同时还要确保mind data安全，美国内存技术公司Rambus认为这一点越来越受到关注。

 

Rambus已经在关注3D堆叠，但是如果带宽没有随着堆叠容量的增加而增加，可用性就会受到限制。