导读：为什么Open AI要收购这家类脑芯片公司呢？大家都知道类脑芯片公司商业化迟迟不能落地。这次的收购有望给我们带来哪些新奇的技术突破呢？一起跟着我们的故事，深入了解这个神秘的类脑芯片公司，看看他们是如何为未来的人工智能描绘出一幅充满可能性的画面！

本文总结：

• Rain Neuromorphic AI芯片关键词：模拟，忆阻器，局部学习，基于稀疏性的可扩展架构。

  
  

• Rain Neuromorphic AI的不同之处：三维随机连接的忆阻器阵列设计，同时基于这个创新结构设计出了相应的局部学习算法：忆阻器活动差异能量最小化。

  
  

• Rain neuromorphic AI成功的关键因素之一就是：基于该系统的局部学习算法是否性能可以强大到和反向传播算法媲美？或者是否可以以极低的资源来实现反向传播算法。

  
  

• Rain neuromorphic AI成功的关键公式：基于现象的算子电路定义+基于算子电路架构的学习算法。

目录：

类脑芯片编年史(一) 起源：能量都去哪了？

类脑芯片编年史(二) 创新：群雄割据

三 希望：迈向通用人工智能和下一代AI的可能性？

四 反思：不对，好像有些不对，我们的“反向传播”算法和“基元操作”在哪里？

五 机会：大模型和人形机器人时代下的类脑芯片机遇。

-------------------------------------------------

• Rain AI 类脑芯片愿景

在前面一章我们提到了类脑芯片商业化的不成功是因为缺乏上层核心算法的支持，来释放类脑芯片潜在的优势，所以导致类脑芯片陷在泥潭里苦苦挣扎。那么最近的一条新闻无疑给类脑芯片打了一针强心剂。就是世界上最厉害的Open AI 公司现在花5100万美金收购一家类脑芯片Rain AI（https://rain.ai/approach）。

图一：Open AI收购Rain neuromorphic芯片公司新闻。

毫无疑问，Open AI希望有自己的AI加速器和硬件基础设施来运行大模型算法和上层应用。Rain neuromorphic AI的近期目标可能会是一个低功耗的推理AI芯片，但是长期远景想做一个端侧集训练和推理一体的AGI芯片应用于机器人，自动驾驶等。那么，让我们来看看这家类脑芯片的基本技术思路和特点。

• Rain Neuromorphics 芯片关键词: 忆阻器，基于物理现象进行计算。

首先，Rain AI 是一个模拟电路芯片，进行模拟电路设计来仿真神经元和突触，这一点在本质上让Rain Neuromorphic AI芯片的功耗远远低于现在主流的数字类脑芯片。也在本质上更接近真实大脑的计算方式，高扩展性和低功耗。

图二：Rain Neuromorphic AI 芯片概念图。

那么，这个模拟芯片是怎么进行算法实现的呢？数字AI芯片建立运算法则从最基本的0 和1 开始，然后进行精准的数据分割和搬运得到结果。而Rain neuromorphic采用物理量来表达梯度信息，比如电压，电阻，电流。然后利用这些物理量之间的关系来实现算子运算。我们具一个简单的例子，矩阵向量相乘(matrix vector multiplications)是一个最基本的深度学习的算子，在Rain Neuromorphic 芯片中，神经元的activation这里用voltage来表达，权重W用忆阻器的电阻来表达， 因此，一个乘法的输出就是电流来表示了。这和Carve Mead最开始的类脑芯片设计思路一致，基于物理现象来设计和实现算子(见类脑芯片编年史(一) 起源：能量都去哪了？。)，正是因为这个最本质的原因，让Rain Neuromorphic 芯片的能耗可能1000倍优于现有的AI芯片。

对了，当我们讨论"忆阻"（Memristor）时，我们实际上在谈论一种特殊的电子器件，它具有一些很酷的性质。以下是对"忆阻"的通俗科普：

1. 记忆性： "忆阻"有点像电子的记忆单元。它能够存储一个电阻状态，并且即使断电也能够记住这个状态。这意味着它可以在电子设备中做到类似于存储信息的功能，而不需要一直保持通电。

2. 电阻变化： "忆阻"的电阻值能够根据流过它的电流而改变。这种电阻的变化可以根据电流的方向进行控制。这使得"忆阻"在电子电路中能够用于存储和处理信息。

3. 模拟人脑： 有人认为"忆阻"的工作原理类似于神经元之间的突触，这使得它在模拟人脑结构方面具有潜在应用。因此，"忆阻"被认为是一种可能用于开发更先进的人工智能和神经网络的技术。

总的来说，"忆阻"是一种引人注目的电子元件，具有独特的存储和处理信息的能力，这使得它在未来的电子设备和计算领域可能发挥重要作用。

• Rain Neuromorphics 芯片特点: 局部学习(local learning)和基于稀疏性(sparsity)的芯片扩展技术（scalability）

Rain Neuromorphic 芯片有两大特点：1）采用局部学习的算法；2）利用连接洗属性来提高芯片架构的可扩展性。这两点都是从大脑的宏观学习法则上受到启发学习来的。

• 局部学习(local learning)
  

这个局部算法是指：“我们报告了一种基于协同设计的氧化钽模拟忆阻器交叉点的基于活动差异的训练方法。我们的方法被称为忆阻器活动差异能量最小化，将网络参数视为受限制的优化问题，并通过使用训练目标硬件中的行为差异在类似于Hopfield的能量最小化中数值计算局部梯度。我们使用该技术训练了能够高精度分类盲文单词的单层和多层神经网络。通过建模，我们展示了我们的方法在比数字方法规模扩大的问题上可以提供超过四个数量级的能量优势。” 大家有兴趣可以具体看下面的文章。

图三：基于忆阻器的局部学习算法文章。

• 利用稀疏性性来提高芯片架构的可扩展性。

Rain Neuromorphic AI的第一代测试芯片采用的是三维随机连接的忆阻器阵列。这表示一种沿三个维度排列的忆阻器设备，其连接方式是随机的。这种排列意味着忆阻器并不按照规律或预定的模式组织，而是它们的连接以一种更为随机或随机的方式建立。这样的三维阵列可能表示一种空间配置，其中忆阻器沿着三个维度放置，它们的连接没有特定的顺序或结构。这种随机连接对于某些应用可能是有益的，提供了一定的灵活性，并有可能模拟生物神经网络的一些方面，其中连接模式并非严格预定。

同时芯片采用了一种叫做忆阻的元素排列成的阵列，而商用芯片通常使用一些类似于闪存的存储单元。Rain公司之前使用了一种随机排列的电阻性纳米线，但现在选择了电阻式RAM（ReRAM）作为忆阻元素，并结合了来自NAND闪存工艺的三维制造技术。这种芯片的结构完全基于光刻技术。

为了更好地理解，可以将这个过程比喻成一座城市的建设过程。在这个城市中，忆阻元素就像是城市的建筑物，而它们被有序地排列成一个有机的整体。相比之前随机排列的设计，现在的布局更加有序和高效。此外，这项技术还借鉴了用于闪存阵列的一种叫做垂直位线的技术。这就好比城市中的道路系统，为了更好地连接各个建筑物，我们需要有一套高效的道路系统。通过这种技术，ReRAM可以扩展到多层次的存储结构，就好比城市可以不断地扩建新的楼层。这样的设计让芯片更为灵活，能够适应不同的需求，就像一座城市不断发展壮大一样。

图四：Rain Neuromorphic AI 芯片神经网络连接概念图。

为什么树突连接在芯片中是随机分散的呢？"随机性之所以重要是因为在一个非常庞大的神经网络中，你想要保持一定程度的稀疏性，" Kendall解释道。"但是你选择哪些神经元呢？如果你以一种可控的方式、在一个点阵或规律的模式中选择，你就会引入巨大的偏见或假设，认为信息应该以某种方式被处理，但这与学习的整体目标相违背。

学习的目标应该是发现模式，而不是预先设定模式。“随机”并不完全准确。实际上，“随机”分布的树突在每个芯片上都是相同的，因为它们是由用于制作每一层的光刻掩模所定义的。一定程度的结构也可能被引入。其中一种策略是引入比长距离连接更多的短距离连接，类似于大脑中的连接方式。Rain公司的算法最终将确定最佳的连接模式，但目前公司专注于两种方法。

其中一种是已知的稀疏模式，采用最优修剪的网络并在光刻掩模中复制模式。另一种是从生物学图样开始，尽管这更加困难。其中一个原因是大规模稀疏矩阵乘法（用于评估这些生物学图样的益处）不适用于当前的人工智能加速硬件。模式包括模块化和小世界性，是Rain公司的待办清单上的一部分。

图五：Rain Neuromorphic AI 忆阻器nonowires。

• Rain Neuromorphics 芯片设计方法

• Digital In-Memory Computing

Rain AI正在开创数字内存计算（Digital In-Memory Computing，D-IMC）范式，以解决这些低效问题，优化AI处理、数据移动和数据存储。与传统的内存计算设计不同，Rain AI的专有D-IMC核心可扩展到大规模生产，并支持训练和推断。当与Rain AI的专有量化算法结合使用时，该加速器能够保持FP32精度。这就是本质是基于忆阻器的物理特性带来的优势。

图六：Rain Neuromorphic AI digital in memory computing概念图。

• 块脑浮点方案
  

Rain AI的“块脑浮点方案”确保与FP32相比没有精度损失。这些数字格式是与我们的D-IMC核心在电路级别共同设计的，利用了经过优化的4位和8位矩阵乘法的巨大性能提升。我们的灵活方法确保在各种网络中都具有广泛的适用性，为人工智能效率设定了新标准。

图七：Rain Neuromorphic AI 块脑浮点方案概念图。

• risc-v互联和编程技术

Rain已经开发了RISC-V和D-IMC核心之间的专有互连技术，通过一个平衡的流水线提供卓越的性能。这意味着Rain的技术不仅能够更好地支持各种任务，还能够提供更灵活的开发环境，使得人工智能开发更加高效。

• 芯片在线调试技术

人工智能模型在部署时经常失败，这是由于训练环境和部署环境之间不可避免的不匹配。微调是解决这个问题的方法，但需要设备支持高性能训练。Rain AI正在与硬件共同设计微调算法（例如LORA），以促进高效的实时训练。这意味着Rain AI不仅关注模型的开发，还注重在实际使用中优化和调整模型，确保其在不同环境下的顺利运行。通过与硬件协同设计，Rain AI致力于提供更为智能、适应性更强的人工智能解决方案。

图八：Rain Neuromorphic AI 在线调试技术示例。

• 启示
  

Rain Neuromorphic 芯片的成功来源于设计新的基于物理现象的算子电路，和基于此算子电路架构的学习算法。那么，是不是传统的数字电路类脑芯片就不行了呢？因为传统的数字电路都是从最基层的人为设计的0和1开始的。不是的，只要找到大脑相应的现象算子和其学习算法，基于传统数字电路的类脑芯片仍然有机会走向通用人工智能。我们可以写个基本公式来解释类脑芯片成功的关键公式：基于现象的算子电路定义+基于该算子架构的学习算法。不难看出，现有的主流数字类脑算法芯片都不具体以上两个特点，其技术路径也没有往这个方向走。

转自公众号：脑界漫游指南，https://mp.weixin.qq.com/s/6dGObZp1L9gycUa93LMtuA