首页科技快讯荷兰研究人员开发出新技术，通过AI芯片的片上训练来降低功耗

荷兰研究人员开发出新技术，通过AI芯片的片上训练来降低功耗

来源：晰数塔互联网快讯时间：2024年07月22日 15:31

7月22日消息，荷兰埃因霍温理工大学的研究人员开发了一种能够进行片上训练的设备，无需将训练好的模型传输到芯片上，从而在未来开辟了更节能的人工智能（AI）芯片。

据了解，该开发使用神经形态架构，但已适应主流人工智能框架，而不是脉冲网络。训练神经形态网络可能很乏味、耗时且能源效率低下，因为模型通常首先在计算机上训练，然后传输到芯片上。

“在神经形态芯片中，有忆阻器。这些电路设备可以'记住'过去有多少电荷流过它们。”TU/e.机械工程系副教授Yoeri Van de Burgt说，他与Evaline van Doremaele合作参与了该项目。“而这正是以大脑神经元如何存储信息和相互通信为模型的设备所需要的。”

在计算机上完成训练后，来自网络的权重被映射到芯片硬件。另一种方法是在原位或硬件中进行训练，但当前设备需要逐个编程，然后进行错误检查。这是必需的，因为大多数忆阻器都是随机的，如果不检查设备，就不可能更新设备。

“这些方法在时间、能源和计算资源方面成本高昂。为了真正利用神经形态芯片的能源效率，需要直接在神经形态芯片上进行训练，“Van de Burgt说。

对于研究人员来说，主要的挑战是将芯片上训练所需的关键组件集成到单个神经形态芯片上。

“例如，要解决的一项主要任务是包含电化学随机存取存储器（EC-RAM）组件，”Van de Burgt说。“这些是模仿大脑中神经元的电荷储存和发射的组件。

研究人员制造了一个基于由有机材料制成的EC-RAM组件的两层神经网络，并通过广泛使用的训练算法反向传播和梯度下降的演变来测试硬件。

反向传播算法的硬件实现使用原位随机梯度下降逐步更新每一层，避免了存储要求。该设计包括原位误差计算和多层硬件实现的神经网络中的渐进式反向传播方法。与软件中的传统反向传播相比，这具有相同的学习特性和分类性能，研究人员表明，它可以扩展到大型和深度神经网络，从而实现人工智能系统的高效训练。

“我们已经证明这适用于小型两层网络，”van de Burgt说。“接下来，我们希望让工业界和其他大型研究实验室参与进来，这样我们就可以建立更大的硬件设备网络，并用现实生活中的数据问题来测试它们。

下一步将使研究人员能够证明这些系统在训练以及运行有用的神经网络和人工智能系统方面非常有效。“我们希望将这项技术应用于几个实际案例，”Van de Burgt说。“我的梦想是让这些技术在未来成为人工智能应用的常态。

编辑：芯智讯-林子

发布于：广东