通过奇异的镜子：LLM 是否像人类大脑一样记忆？

原文通过奇异的镜子LLM 是否像人类大脑一样记忆|LLM|AI|人类大脑|记忆|认知|https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/7fcf9c5caa8b28d372dbcb4caeb706af.png作者使用 DALL-E 创建的图片我的语言的极限是我的思维的极限。 —— 路德维希·维特根斯坦真正的记忆艺术是注意力的艺术。 —— 塞缪尔·约翰逊语言 是人类最重要的能力之一它使我们能够沟通和传递知识并被认为是人类文明的支柱。这就是为什么 大型语言模型 (LLM) 所展示的令人难以置信的能力震惊了世界并引发了这样的问题它们是智能的吗所有这一切都是通过大量的文本和一个简单的学习函数实现的预测序列中的下一个单词。这个成功背后的模型是 Transformer而今天现代派生的 LLM 正被大量人口用于翻译、摘要、问答或生成文章等任务。对 Transformer 的挽歌所有这些元素都展示了 Transformer 的巨大多功能性。 同时尽管 Transformer 在研究和生产中得到了广泛的应用但仍有一些开放性问题。例如大多数关于该模型的研究都集中在如何提高其性能或应用上。尽管如此这些研究对我们了解它是如何工作的以及它是如何获得这些能力的信息很少。被忽视的一个话题是 LLM 的记忆是如何工作的。记忆对我们来说就像语言一样基本。没有记忆我们无法执行任何日常技能。LLM 从大量的文本中学习并能够展示出令人难以置信的知识因此它们似乎具有记忆。仍有一些开放性问题LLM 有记忆吗如果是这样那它以什么形式存在它与人类的记忆有何不同总的来说对于 LLM记忆的概念仅被讨论在应用层面。 例如Transformer 的一个限制是 上下文长度因此 LLM 无法使用不适合其上下文长度的信息。因此一条研究线集中在扩展上下文记忆 [1–2]。这些方法是无训练的并提供了外部记忆允许模型检索信息在本文中我们提出了一种基于记忆的无训练方法名为 InfLLM用于以有限的计算成本流式处理极长的序列。具体来说InfLLM 结合了滑动窗口注意力和有效的上下文内存其中每个标记只关注局部上下文和来自内存的相关上下文。[2]…/Images/08dd94f5e2d603d1a420bbfd5b3235b9.png图片来源[2]另一条研究线调查了向 LLM 添加外部内存的可能性。确实训练 LLM 是昂贵的但其知识很快就会过时。进行微调也是一个同样昂贵的过程因此需要寻找一种方法使模型能够继续学习并编辑其内存。这种外部内存应用于学习新知识同时也用于强化/删除某些信息 [3–4]。…/Images/41604d9721af88b0317725d9062db2d0.png图片来源[3]人工智能幻觉记忆能否提供答案永远学习为什么人工智能难以适应新挑战这些研究侧重于提高模型性能但对我们 LLM 的参数化内存一无所知。LLM 的内存与人类记忆有何不同要进行比较人们必须从记忆的定义开始根据维基百科记忆是心智的机能通过它数据或信息被编码、存储并在需要时检索。它是为了影响未来的行动而在时间上保留信息。**这个定义是通用的但它没有解释人类记忆是如何工作的。**在人类大脑中我们可以将信息的传递定义为电信号因此记忆将被编码为电信号。问题在于谈论“存储”和“检索”时。这种记忆在人类大脑中的位置在哪里单个神经元编码的是什么一个单词、一个句子或一个概念人类大脑如何处理每天的大量信息存储结果证明比看起来更复杂正如不同研究所显示的大脑没有哪个部分存储所有的记忆相反存储位置由记忆的类型和使用方式定义。显性记忆关于一个人在场的事件的信息、一般事实和信息存储在海马体、新皮层和杏仁核中。对于隐性记忆也称为无意识或自动记忆最重要的脑区是基底神经节和小脑。[6]同样信息回忆也是复杂的很难确定它是如何发生的哪些区域参与其中以及单个神经元的作用。即使在数学上对这种记忆的定义进行建模也是复杂的为了使其更简单我们可以将记忆定义为包含两个组成部分输入。要触发记忆输入必须与大脑或电子大脑之前遇到的信息相同或相似。输出。结果是基于输出这可能被遗忘、错误或正确。当输出正确时必须与之前遇到的信息相一致。这是一个更动态的记忆定义使我们能够在 LLM 中验证它。一个人可能知道或不了解一个数学定理但直到他被问及并回答我们才会知道他是否记得它。毕竟如果记忆是弥散的我们就没有办法知道记忆是否存在直到有输入。…/Images/2907f22000c4f9fb903d10671aaf6bf9.png图片来源[5]由于我们将记忆定义为输入和输出之间的关系在 Transformer 中这个过程通过 Transformer 块进行建模然而通过使用注意力模型可以将事实例如函数定义简单地存储为键值对在长期记忆中然后通过创建一个关注它们的查询来检索这些事实。[4]因此LLM 的记忆容量必须与 Transformer 块有关。…/Images/4ce20878c3defb2c8a6b5893e6f2bb9a.png图片来源[5]从通用逼近定理UAT可以证明Transformer 块可以逼近任何函数并且其参数会根据输入动态修改。因此我们可以提出 LLM 的记忆是根据输入来拟合特定输出的吗在本文[5]中作者对一系列中英文诗歌进行了一系列模型Qwen 系列的微调。结果显示更大的模型表现更好。给定一个标题或其他部分信息模型可以重新生成完整的诗歌。虽然有时预测是错误的但输出与信息相一致。…/Images/efac660c3eac88c4039922ba6512b283.png图片来源[5]基于这些实验大型语言模型LLMs具有记忆能力其功能是通过将输入与特定输出相匹配来实现。也就是说只有当一个人提供一个问题才能确定一个 LLM 是否具有特定的记忆根据记忆的定义和实验结果我们相信 LLMs 确实具有记忆能力并且这种能力与人类记忆没有根本性的区别。[5]这是一个大胆的比较。LLMs 的记忆和人类记忆之间真的有这么多相似之处吗**这听起来可能有些奇怪但人类和 LLMs 的记忆之间还有其他相似之处。**LLMs 和人类的记忆都是弥散的。我们无法在脑部或 LLMs 中找到一个单独的单元来存储特定的记忆。此外LLMs 在处理罕见知识方面存在问题。一旦在训练过程中遇到某个事实它就会被存储。在训练过程中再次遇到相同的信息会加强其记忆而其缺失会减少其知识。同样与人类一样延迟后的重复效果最佳。…/Images/b50b4a85d40e23f40acf5a85d2d02187.png图片来源[7]**《LLM 学生手册掌握学习和保留知识的艺术》你一无所知ChatGPT。你的 LLM 知道多少人类记忆表现出所谓的首因效应和近因效应。简单来说列表开头或结尾出现的对象更容易被记住。因此列表两端的物品记忆更多而中间的物品记忆较少。在 LLMs 中也观察到同样的现象存在相同的位置偏差。LLMs 对位于开头和结尾的元素的记忆也更好这是长上下文 LLMs 的一个问题[10–11]。…/Images/128372ca8684d2a6d23f5cfb1fe6d61e.png图片来源[10]忘记有两种可能的机制随着时间的推移记忆痕迹会减弱记忆衰减或者新的记忆会覆盖之前的记忆记忆干扰。一些心理学研究表明人类通过干扰比通过时间的简单流逝更容易忘记[12]。在一项[10]研究中他们表明 LLMs 也是同样的情况。在忘记的过程中记忆衰减比记忆干扰是一个不那么重要的机制。当呈现与存储信息相似的新信息模式时这种效应更为明显例如在呈现了几个人之后我们更容易忘记一个人的名字。…/Images/d612647ad9b227809e1b826c92b72559.png图片来源[10]声称大型语言模型LLM和变换器函数的记忆能力相等这更像是一种挑衅而非公认的事实。主要原因是人类记忆的工作机制对我们来说尚不明确。存在一些相似之处这些可能源于我们以与生物记忆特性兼容的方式构建叙事。LLM 随后在这些书面叙事上进行训练微妙地继承了这种印记。这也意味着语言与人类大脑之间的关系比我们想象的还要紧密。LLM 与人类大脑之间的相似性和差异性可以指导我们在未来创建新的、更好的 LLM。同时这些相似性也允许我们利用 LLM 来研究人类记忆如本研究[13]所示。无论如何都开启了令人兴奋的前景。你怎么看你认为人类记忆还有其他相似之处或不同之处吗请在评论区告诉我如果你觉得这个话题很有趣你可以查找我的其他文章你还可以在*LinkedIn上与我联系或联系我。查看这个仓库其中包含每周更新的机器学习与人工智能新闻。我开放合作和项目你可以在 LinkedIn 上联系我。你还可以免费订阅**以获取我发布新故事的提醒。订阅链接每当 Salvatore Raieli 发布时都会收到电子邮件通知。以下是链接到我的 GitHub 仓库我在那里收集与机器学习、人工智能等相关代码和许多资源。GitHub – SalvatoreRa/tutorial: 有关机器学习、人工智能、数据科学等教程或者你可能对我的最近的文章感兴趣OpenAI 的新“推理”AI 模型来了它们能经受住炒作吗图机器学习如何可视化大型网络如何使 LLM 在网络中迷失并发现图推理科学发现的新世界AI 研究想法是否更好参考文献列表这里是撰写本文时参考的主要参考文献列表仅引用了文章的第一作者。陈2023LongLoRA长上下文大型语言模型的高效微调链接肖某2024 年InfLLM使用高效上下文内存为 LLM 进行无监督长上下文外推训练链接莫达里斯2024 年MemLLM微调 LLM 以使用显式读写内存链接吴某2022 年记忆 Transformer链接王某某2024 年薛定谔的记忆大型语言模型链接心理学写作人类记忆研究现状链接提鲁马拉2022 年无过拟合的记忆分析大型语言模型的训练动态链接张某2024 年大型语言模型在预训练期间如何获取事实知识链接罗宾逊1926 年序列位置对记忆的影响链接张某某2024 年基于大型语言模型代理的记忆机制综述链接刘某2023 年迷失在中间语言模型如何使用长上下文链接奥伯 auer2008 年即时序列回忆中的遗忘衰减、时间区分度还是干扰链接格奥尔基乌2023 年使用大型语言模型研究人类记忆以构建有意义的叙事链接