东方时讯网图神经网络(GNN)是一种很有前途的机器学习架构，旨在分析可以表示为图的数据。这些架构在各种实际应用中取得了非常有希望的结果，包括药物发现、社交网络设计和推荐系统。
由于图结构数据可能非常复杂，因此应谨慎有效地设计基于图的机器学习架构。此外，理想情况下，这些架构应该在高效的硬件上运行，以支持其计算需求而不会消耗太多电力。
香港大学、中国科学院、InnoHK中心和全球其他机构的研究人员最近开发了一种软硬件系统，将GNN架构与电阻存储器相结合，这是一种以电阻状态存储数据的存储器解决方案。他们发表在NatureMachineIntelligence上的论文展示了基于电阻式存储器的新硬件解决方案在高效运行图形机器学习技术方面的潜力。
“数字计算机的效率受到冯诺依曼瓶颈和摩尔定律减速的限制，”进行这项研究的研究人员之一王少聪告诉TechXplore。“前者是物理上分离的内存和处理单元的结果，由于在运行图形学习时这些单元之间频繁和大量的数据穿梭而导致大量的能量和时间开销。后者是因为晶体管缩放正在接近其时代的物理极限3nm技术节点。”
电阻式存储器本质上是可调电阻器，它们是阻止电流通过的器件。事实证明，这些基于电阻器的存储器解决方案对于运行人工神经网络(ANN)非常有前途。这是因为单个电阻式存储单元既可以存储数据又可以执行计算，从而解决了所谓的Naumann瓶颈的局限性。
“电阻式存储器也具有高度可扩展性，保留了摩尔定律，”Wang说。“但普通的电阻式存储器对于图形学习来说仍然不够好，因为图形学习经常改变电阻式存储器的电阻，这导致与使用SRAM和DRAM的传统数字计算机相比需要大量的能量消耗。更重要的是，电阻变化不准确，阻碍了精确的梯度更新和权重写入。这些缺点可能会抵消电阻记忆在高效图学习方面的优势。”
Wang和他的同事最近工作的主要目标是克服传统电阻式存储器解决方案的局限性。为此，他们设计了一种基于电阻式内存的图形学习加速器，无需电阻式内存编程，同时保持高效率。
他们专门使用回声状态网络，这是一种基于具有稀疏连接隐藏层的递归神经网络的水库计算架构。大多数这些网络的参数(即权重)可以是固定的随机值。这意味着它们可以让电阻式存储器立即可用，而无需编程。
“在我们的研究中，我们通过实验验证了图学习的这一概念，这非常重要，实际上也很普遍，”Wang说。“实际上，图像和顺序数据，例如音频和文本，也可以表示为图形。甚至transformers这种最先进和占主导地位的深度学习模型也可以表示为图形神经网络。”
Wang和他的同事开发的回声状态图神经网络由两个不同的组件组成，称为回声状态和读出层。回声状态层的权重是固定的和随机的，因此它们确实需要随着时间的推移反复训练或更新。
“回声状态层充当图卷积层，递归地更新图中所有节点的隐藏状态，”Wang说。“每个节点的隐藏状态根据自身特征和上一时间步相邻节点的隐藏状态进行更新，两者都是用回声状态权重提取的。这个过程重复四次，然后所有节点的隐藏状态求和成一个向量来表示整个图，使用读出层进行分类。这个过程重复四次，然后将所有节点的隐藏状态求和成一个向量，作为整个图的表示，是由读出层分类的。”
王和他的同事们提出的软硬件设计有两个显着的优点。首先，它所基于的回声状态神经网络需要的训练要少得多。其次，该神经网络是在不需要编程的随机固定电阻存储器上高效实现的。
“我们研究最显着的成就是随机电阻记忆和回声状态图神经网络(ESGNN)的集成，它保留了内存计算的能量面积效率提升，同时还利用电介质击穿的固有随机性来提供低成本和ESGNN的纳米级硬件随机化，”Wang说。“具体来说，我们提出了一种用于图形学习的硬件-软件协同优化方案。这种协同设计可能会激发阻性存储器的其他下游计算应用。”
在软件方面，Wang和他的同事介绍了一种ESGNN，该ESGNN由大量具有随机和循环互连的神经元组成。该神经网络采用迭代随机投影来嵌入节点和基于图形的数据。这些投影在混沌边缘生成轨迹，从而实现高效的特征提取，同时消除了与传统图神经网络开发相关的艰苦训练。
“在硬件方面，我们利用电阻开关中电介质击穿的内在随机性来物理地实现ESGNN中的随机投影，”Wang说。“通过将所有电阻单元偏置到它们的击穿电压的中值，如果一些单元的击穿电压低于施加的电压，它们将经历电介质击穿，形成随机电阻阵列来表示ESGNN的输入和递归矩阵。与伪相比-使用数字系统生成随机数，这里随机性的来源是电阻性存储单元的成分不均匀性引起的随机氧化还原反应和离子迁移，为内存计算提供低成本和高度可扩展的随机电阻器阵列。”
在初步评估中，Wang和他的同事创建的系统取得了可喜的成果，运行ESGNN的效率高于数字和传统电阻式存储器解决方案。将来，它可以应用于需要分析可以表示为图形的数据的各种现实问题。
Wang和他的同事认为他们的软硬件系统可以应用于广泛的机器学习问题，因此他们现在计划继续探索其潜力。例如，他们希望评估其在序列分析任务中的性能，他们在忆阻阵列上实现的回声状态网络可以消除编程需求，同时确保低功耗和高精度。
“这项工作中展示的原型是在相对较小的数据集上进行测试的，我们的目标是通过更复杂的任务来突破它的极限，”Wang补充道。“例如，ESN可以作为用于特征提取的通用图形编码器，增加内存以执行少样本学习，使其适用于边缘应用。我们期待探索这些可能性并扩展ESN和忆阻器的功能未来的阵列。”