教育新闻网大型 AI 神经网络中长期存在的限制因素之一是在处理器和内存之间发送大量数据所需的时间和精力。但是如果处理器在内存中呢?这就是内存巨头三星本周在IEEE Hot Chips 上详细介绍的解决方案。今年早些时候，该公司在其高带宽内存 (HBM) 中开发了计算核心，这是一种围绕一些顶级 AI 加速器芯片的动态随机存取存储器 (DRAM)。本周，三星详细介绍了其在客户系统中对内存处理器 (PIM) 技术进行的首次测试 —Xilinx Virtex Ultrascale+ (Alveo) AI加速器——为语音识别神经网络提供近 2.5 倍的性能提升以及超过 62% 的能耗降低。三星是全球最大的 DRAM 制造商，现在也在为移动设备中使用的低功耗内存开发 HBM-PIM 技术。
“随着 [神经网络] 模型变得越来越大、越来越复杂，新兴的人工智能需要越来越多的内存带宽，”三星内存业务部高级副总裁兼 IEEE 院士Nam Sung Kim说。“由于连接到芯片封装的[印刷电路板]电线数量有限，加上这些芯片封装的功率和一些限制，继续增加带宽变得非常困难和昂贵。”
神经网络是如此之大，以至于定义它们的数据通常必须分部分加载到 GPU 和其他处理器上。设计人员试图通过将 DRAM 放入带有处理器芯片的封装内，或者至少通过实验，在逻辑晶体管上方的互连层中构建内存来加快进程。极端的解决方案是使处理器如此之大，以至于它可以包含所有数据而无需任何外部存储器。但是最大的神经网络最终甚至会超过这个方案。
工程师推断，通过在 DRAM 中进行一些计算，需要进入处理器的数据总量减少了，从而有效地加速了神经网络并节省了传输数据所需的功率。三星开发了 HBM-PIM 作为其现有 HBM2 产品的直接替代品，这是一种多千兆位的 DRAM 芯片堆栈，通过称为硅通孔的互连垂直连接在一起。在名为 Aquabolt XL 的新产品中，8 个内存芯片中的底部 4 个被替换为包含 DRAM 和计算核心的芯片。
