这只是少数！
研究人员已经想出了多种方法来降低使用 LLM 的成本。一些方法旨在提高模型的效率，例如量化或蒸馏模型，但这种方法通常伴随着模型性能的下降。另一种思考方式是提升运行这些模型的硬件—— 是这条路线的驱动力和受益者，但该公司的主要策略是提高 GPU 的性能;其他公司正在探索高效、高性能的 AI 新硬件架构。忆阻器（）是重要的研究方向之一。
忆阻器是一种电子元件，用于限制或调节电路中的电流，并可以记住先前通过的电量。忆阻器在许多实际应用中都很重要，其非易失性特性的原因之一是，即使断电，它们也能保留内存，这使得它们可以在没有或没有电源的情况下继续使用。忆阻器被认为是与电阻器、电容器和电感器处于同一级别的基本电子元件。忆阻器的概念最早是由中国科学家蔡绍堂于 1971 年提出的。
最近，来自印度科学院、德克萨斯 A&M 大学和爱尔兰利默里克大学的一篇论文发表，其中提出了一种“线性对称自选择性 14 位动力学分子忆阻器”。
论文标题： self- 14-bit
地址：
本文的核心亮点是，所提出的分子忆阻器可以实现远超电子器件在核心矩阵运算中的14-bit模拟计算效率。并且它实现了超过 73 dB 的信噪比，直接比以前的最好成绩高出 4 个数量级，同时消耗的能量比电子计算机少 460 倍！
AI 工程师 Rohan Paul 忍不住惊呼道：“如果这是真的，那么现在是 LLM 将真空转硅晶体管的时候了吗？
那么，本文究竟提出了什么建议呢？真的有希望将 LLM 从高功耗和高成本的困境中解放出来吗？让我们简单介绍一下。
挑战
我们知道向量矩阵乘法 （VMM） 是神经网络等许多计算算法的基础。然而，VMM 很难实现，因为对于长度为 n 的向量，所需的计算步骤为 n²。虽然对称操作可以降低 VMM 的复杂性，但它们仅适用于特定的矩阵结构，例如 AI 中的非结构化数据。人们
一直在推动一种高效的通用 VMM 引擎，尤其是点积引擎 （DPE），这是一种在单个时间步长中启用 VMM 的模拟加速器。虽然 DPE 有可能应对计算缩放，但其应用也受到其精度的限制，因为模拟电路元件仅提供 2-6 个等效位。这种缺乏准确性的根本原因是其次优的物理特性，包括非线性权重更新、不对称行为、噪声、电导漂移和器件间的可变性。这是神经形态计算的一个基本挑战。
为了解决这个问题，需要发明一种元件，该元件可以嵌入到电路中，其数量级比目前可用的模拟电平高出一个数量级。
溶液
该团队声称发明了这样的组件。这是一个分子忆阻器交叉开关矩阵，可以集成到电路板中。它表现出 14 位模拟精度、近乎理想的线性和对称权重更新，以及每个电导水平的一步可编程性。
如图 1a 所示，该团队构建了有史以来最大的分子忆阻器交叉开关矩阵 （64×64）。使用的材料是夹在顶部和底部金电极之间的 60 nm 厚薄膜。更详细的设计参数请参考原文。
总之，该器件实现了所需的功能，并且相当非易失性和稳健性。如图 2a 所示，交叉开关矩阵非常耐用，并且在 10^9 个工作周期后重量更新特性保持不变。此外，图 2b 显示该结构可以在 85°C 下使用 11 天，在 500 mV DC 时不会有明显的电导漂移。此外，他们发现它可以保持导电性长达 7 个月。
实验
使用这个 64×64 分子交叉开关矩阵，该团队使用他们定制的混合信号外围电路进行了 VMM 实验，精度超过 16 位，如下图 4 所示。一个图表被编程为执行离散傅里叶变换 （DFT）。b 图将计算出的 DFT 输出与软件计算的结果进行了比较， 并且可以看出，它们之间有很好的一致性，说明结构是有效的。
此外，他们还执行了矩阵-矩阵乘法，这是几乎所有 AI 和机器学习算法的基础。事实证明，如果你将两个 64×64 矩阵相乘，结构只需要执行 64 个步骤，但如果你让电子计算机做同样的事情，它需要执行 262,144 次操作。
图 4c 显示，其矩阵乘法的准确性不取决于对称性，对称性是处理非结构化数据的关键属性。
该团队评估了矩阵的不同组合，包括对称矩阵、随机矩阵和双随机矩阵。结果是 73-79 dB 的信噪比。该团队表示，这是向前迈出的非常重要的一步。
他们还展示了一个非常有趣的用例。使用矩阵乘法，他们使用从韦伯望远镜数据库检索到的频域数据，使用逆傅里叶变换重建了标志性的“创世之柱”图像，参见图 4D-F。
选择外太空数据是因为它缺乏对称性。此任务每个平面需要 26,256 个时间步长，而数字计算机需要超过 10^8 个步长。
结果，他们获得了 74 dB 的信噪比和 76.5 dB 的峰值信噪比，这比之前最好的 DPE 直接高出 4 个数量级。
此转换过程的后续阶段将需要进一步扩展此交叉开关矩阵，并开发高精度的片上外设电路。
在他们的论文中，该团队描述了一种功率优化的外围电路设计，该设计可提供超高能效：每秒每瓦 4.1 万亿次操作 （TOPS/W）。这比 18 核 CPU 高 460 倍，比当前最高效的 K220 GPU 高 80 倍，还有很大的改进空间。
这个例子展示了基于分子的技术的巨大潜力，通过将 CMOS 电路集成到 CMOS 电路中，这些技术的性能可以大大超过最先进的加速器。
如果未来开发的大型模型也可以在基于此类技术开发的硬件上运行，那么使用 AI 的成本肯定会下降很多。
