大数据应用推动了让内存更接近计算资源的架构需求,与此同时人工智能和机器学习进一步证明了硬件和硬件架构在成功部署中发挥的关键作用。不过有一个关键问题,那就是内存应该驻留在哪里。
由美光(Micron Technology)委托进行的研究发现,有89%的受访者表示,计算和内存在架构上紧密相连是至关重要的。这项由Forrester Research进行的调查还发现,内存和存储是目前关于人工智能和机器学习存在硬件局限性方面的最常见问题。有超过75%的受访者认识到,他们需要升级或重新构建内存和存储以控制架构上的局限性。
人工智能调和了大数据和数据分析过程中已经发现的挑战,因为机器学习通过神经网络对庞大的数据矩阵进行多次累积操作。随着有更多结果产生,这些操作也会反复进行,以生成每次都是最佳路径和最佳选择的算法,而且算法是通过处理数据进行学习的。
美光公司企业战略副总裁Colm Lysaght表示,因为有太多的数据,获得必要内存的常见解决方案就是增加更多的DRAM。这将使性能瓶颈从原始计算转移到数据所在的位置。“内存和存储就是数据所在的地方。我们必须把数据带入CPU,然后再返回,如此反复,因为这些庞大的数据集需要被处理。”
Lysaght说,让计算和内存更紧密地结合在一起,意味着可以节省电力,因为在内存和计算之间就不需要往返太多次。“这会提高性能,因为数据处理直接在在所需的位置。”
美光认为,现有内存和存储技术(例如DRAM和3D NAND SSD)为人工智能架构提供了硬件,同时美光也在研究更新的技术(如内存处理器架构)同时支持开创性的初创公司。
Lysaght说,有很多不同的方法可以打造出更好的架构。拿神经形态处理器举例来说,它在内部使用神经网络,并将内部核心数量分解为更多的较小核心。“因为要大量的数据要进行处理,所以让更多的核心反复执行相对简单的操作是一种更好的解决方案,”Lysaght说。
有一家对开发新架构感兴趣的内存公司是Crossbar。与Gyrfalcon Technology、mtes Neural Networks(mtesNN)、RoboSensing等公司一起,Crossbar打造了SCAiLE(用于边缘学习的SCABLE AI),一个致力于提供加速、节能型人工智能平台的联盟。
Crossbar公司战略营销和业务开发副总裁Sylvain Dubois表示,该联盟将结合先进的加速硬件、电阻式RAM(ReRAM)和优化神经网络,打造就绪的低功耗解决方案,无需监督学习和事件识别能力。
Dubois表示,很多企业面临的挑战是,他们希望在设备上采用人工智能但是又不知道该怎么做,无论是智能扬声器、智能摄像头还是智能电视。该联盟的目标,是提供一个将所有必要部分组合在一起的平台。
Crossbar的贡献在于内存(特别是ReRAM),将通过各种输入(包括文本、关键字、GPS坐标、传感器可视数据,所有这些都是非结构化数据)处理机器学习系统中的数据。
Dubois设想了一种存储器阵列架构能够以非常宽且高度并行的方式由这些实例中的每一个特定处理代码读取,其中在边缘设备中并行读取一千个字节。
“如果匹配了,你就会知道该怎么做。如果没有匹配,那么这就是我们所说的学习曲率。”
例如,对摄像头传感器来说,该系统将能够在ReRAM阵列备用位置保存新事件或一组功能。“下次当有类似事件在这个摄像头前发生的时候,摄像头本身就能够在没有任何训练的情况下检测到该事件,”Dubois说。
这提供了一种完全不同的人工智能方式,因为如果出现需要快速决策的意外事件(例如关注安全性的交通场景)时,它不需要依赖于云中的大量训练能力。
Forrester Research的这项研究表明,有越来越多的企业将在公有云和边缘位置运行分析,从而在边缘实现更多的机器学习。有51%的受访者表示,他们正在公有云中运行分析,预计未来三年这一比例将增加到61%。此外,有44%的人现在处于分析阶段,预测到2021年这一比例将增长到53%。
Forrester基础设施和运营高级分析师Chris Gardner对于硬件的重要性感到惊讶,特别是存储和内存。
“我预计会看到更为围绕硬件和治理问题的软件可编程性问题。当然,确实会出现这种情况,但不会达到其他因素那样的程度。“
他表示,一个主要的研究结果是,有大量工作是在内存本身进行的,避免了对存储的需求。但值得注意的是,对内存和存储的需求取决于你正在做什么。根据Gardner的说法,训练模型需要大量的内存和存储空间。除外之外,你根本不需要任何东西。
Crossbar最近成立了一个打造人工智能平台的联盟,提供针对人工智能应用的内存产品,例如带有嵌入式ReRAM的P系列MCU。
Gardner说,在完美的情况下,企业希望拥有一个数百GB的RAM大型环境。但实际上,他们不得不自己构建或者付费让供应商来实现,而且他补充说,所需要的是硬件方面的转变。
Gardner说:“我们需要更多以内存为中心的架构,”计算需要围绕内存以及存储,而不是让计算本身成为中心。
“这并不是说当前计算架构和我们接近计算架构的方式很糟糕,但这可能并不是做人工智能和机器学习最有效的方式。”
Gardner还提到的边缘计算,有一个场景是某个举行大型体育赛事的体育场内安装了很多摄像头,产生了大量需要快速处理的数据,以确定是否存在危险情况。“他们可以把这些数据发送到云端并返回,但是他们没有时间去这么做,他们必须尽快处理这些数据。”
未来还将有一些机器学习是在云中进行的,然后返回到物联网设备,但是其中一些设备将变得越来越智能化,并且可以自主地进行机器学习,共享回云端,以及其他设备。对于内存制造商来说,这意味着商用组件制造商要持续进行转型,而且要重新编译应用以利用人工智能和机器学习工作负载所需的、以内存为中心的架构。
但是我们现在还处于实验阶段,还没有一个真正的采用内存为中心、在实验环境之外有很多延迟表现的架构。
Gardner说:“几十年来我们一直是CPU为中心的心态,想要摆脱这种想法是非常具有革命性的。”
去年秋天,美光宣布投资1亿美元用于人工智能,并在实验室中打造了一个类似DRAM的产品,目标是在2021年进行采样,同时美光的研究人员也在研究处理器内存架构,这也是其他很多初创公司正在研究的领域。