1. 项目概述当AI成为“考古学家”我们该相信它的“文献”吗最近和几位考古学界的朋友聊天话题总绕不开那个新晋的“全能助手”——ChatGPT。大家既惊叹于它撰写项目摘要、梳理研究脉络的便捷又对其引经据典时那份“煞有介事”的自信感到隐隐不安。一位朋友半开玩笑地说“我让它列十篇关于‘文化层位学’的经典文献它给得又快又好作者、年份、期刊一应俱全。结果我一查有三篇根本不存在还有两篇的发表年份是错的。这AI怕不是个‘学术造假高手’”这并非个例。随着以ChatGPT为代表的生成式人工智能Generative AI在学术研究、教育乃至公众科普中扮演越来越重要的角色一个根本性问题浮出水面我们究竟能在多大程度上信任AI生成内容的真实性尤其是当它涉及严肃的学术引用时这个问题在考古学这类高度依赖实证与文献的学科中显得尤为尖锐。我最近深入研读并复现了Dirk HR Spennemann教授的一项针对性研究。这项研究系统性地拷问了ChatGPT在考古学领域的“阅读清单”它到底“读过”哪些文献它提供的引用是真实的学术成果还是其内部统计模型“幻想”出来的产物研究结果令人警醒在测试生成的数百条考古学文献引用中有相当大比例是彻头彻尾的虚构而那些真实的引用其源头很可能并非原始的学术专著或论文而是维基百科Wikipedia这样的二次聚合平台。这不仅仅是一个关于AI准确性的技术问题更是一个关乎知识生产、传播与信任的深层议题。对于依赖AI进行文献初筛的学生、希望快速了解陌生领域的学者乃至利用AI生成博物馆导览词的文化机构从业者来说盲目采信AI的“背书”可能意味着在研究的起点就埋下了错误的种子。本文将带你深入这项研究的核心拆解AI“幻觉”Hallucination的生成机制追溯其“知识”的源头并分享在实际科研工作中如何与AI协作而非盲从的硬核经验。无论你是考古学研究者、历史爱好者还是任何需要与生成式AI打交道的专业人士理解其能力边界与内在缺陷都是当下必备的数字素养。2. 核心思路与实验设计如何给AI的“知识库”做一次“考古发掘”要评估ChatGPT的文献引用真实性不能仅凭感觉或零星测试需要一个系统、可复现的实验框架。Spennemann教授的研究设计本质上是对AI“训练数据记忆”的一次“考古发掘”。其核心思路可以概括为提出明确需求 - 收集AI生成的引用 - 进行真实性核验 - 追溯真实引用的可能来源。整个流程严谨得像一次科学的田野调查。2.1 实验目标与问题定义研究旨在回答两个核心问题真实性检验当被要求提供特定考古学主题的参考文献时ChatGPT生成的引用有多少是真实存在的多少是虚构的溯源分析对于那些真实存在的引用ChatGPT的“知识”是来源于原始文献的全文还是来自维基百科等二次摘要或引用列表这直接挑战了用户对生成式AI的一个普遍假设即它像一个超级搜索引擎或数字图书馆能“理解”并“提取”真实世界中的知识。实验试图验证AI的输出更多是基于其训练数据中文本模式的统计关联与重组而非对事实本身的检索。2.2 方法论设计模拟真实用户场景研究采用了最直接的用户交互方式模拟了学者或学生可能向ChatGPT提出的真实请求。具体操作如下指令设计向ChatGPT研究使用了2023年3月和7月两个版本发出标准化指令“Cite [数量] references on [主题]”。其中数量为20或50主题涵盖了四个考古学子领域文化遗产管理中的文化价值考古学理论太平洋考古学澳大利亚考古学 这种设计覆盖了从理论到区域研究的广泛范围增加了结果的普适性。控制变量为了确保每次请求的独立性避免ChatGPT基于对话历史进行“学习”或调整研究者在每次任务完成后都会开启一个新的聊天会话。对于部分未一次性生成全部请求数量的回复会使用“继续生成”的指令进行补充。此外还会对同一请求使用“重新生成响应”功能以观察其输出的稳定性与多样性。数据收集最终研究收集了多达560条文献引用记录构成了一个具有统计意义的分析样本池。2.3 真实性核验与分类标准收集到引用列表后最关键也是最耗时的一步开始了人工核验。研究者通过Google Scholar等学术搜索引擎逐条核查每一条引用。核验标准非常细致包括作者姓名是否正确。标题是否与真实出版物完全匹配。发表年份是否准确。期刊/出版社名称是否正确。根据核验结果每条引用被归入以下四类正确引用所有信息均准确无误。年份错误作者、标题、出处正确但发表年份有误。虚构引用引用看起来完全合理作者是真实学者期刊是真实存在的标题符合学术规范但该文献在现实中并不存在。这是“AI幻觉”的典型体现。AI自承虚构极少数情况下ChatGPT会在提供列表前声明“请注意其中一些参考文献可能是虚构的”。这类被单独归类。这种分类方式不仅量化了错误率还帮助我们理解错误的性质是简单的信息错位还是无中生有的创造。2.4 溯源技术Cloze完形填空测试为了探究ChatGPT是否真正“读过”它引用的那些真实文献的全文研究引入了一种巧妙的“完形填空”测试法即Cloze分析。该方法源自自然语言处理领域用于探测模型对特定文本的“记忆”程度。具体操作如下从一本已知被引用的真实著作如Bruce Pascoe的《Dark Emu》中选取10个句子样本。在每个句子中故意抹去一个特定的专有名词如人名、地名。将这些不完整的句子输入给ChatGPT要求其补全缺失的词语。关键设计在于这10个句子中有5个的原文片段可以通过Google Books的“预览”功能公开访问而另外5个则无法通过公开预览获取需要拥有书籍全文才能看到。逻辑推理如果ChatGPT在训练阶段“阅读”过该书的完整文本那么它应该能高比例地正确补全所有句子无论该句子是否公开可见。如果它的“知识”仅来源于公开的片段如Google Books预览、维基百科摘要那么它对非公开片段的补全正确率会显著降低。通过这套组合拳般的研究设计我们得以超越对AI输出质量的感性评价进入定量分析与机制探究的层面。接下来我们就看看这次“考古发掘”挖出了什么。3. 结果深度解析虚构的“经典”与维基百科的“影子”实验数据揭示的图景远比我们想象的更为复杂和有趣。它不仅仅是一份简单的“错误率报告”更清晰地勾勒出ChatGPT在构建“学术权威”表象时的行为模式与潜在的知识来源。3.1 触目惊心的虚构率汇总数据显示在所有560条生成的引用中完全虚构的引用占比高达48.8%。如果加上年份错误的引用10.2%那么存在事实性问题的引用总数接近60%。这意味着用户向ChatGPT索要一份参考文献列表时有超过一半的几率会得到包含错误或完全不存在条目的结果。更值得玩味的是不同子领域间的差异考古学理论表现“最好”正确率约68.7%虚构率28.7%。这可能因为该领域经典理论家如Binford、Clarke等及其代表作在互联网上的讨论度和结构化程度较高。澳大利亚考古学表现最差正确率仅3.6%虚构率高达84.5%。这或许反映了该领域相对小众高质量、结构化的数字文本资源如维基百科条目较少导致AI更依赖模式拼凑。文化遗产管理与太平洋考古学正确率在26%-27%之间虚构率在34%-66%之间。这些差异本身就暗示了AI“知识”的不均衡性——它的“学识”深度与网络空间中信息的可见度和组织方式紧密相关。3.2 AI如何“创作”一篇虚构文献研究通过几个典型案例精彩地解构了ChatGPT的“创作”过程。它并非随机胡编乱造而是进行了一种“高明的拼贴”其产物足以迷惑不熟悉该领域文献的读者。案例一元素拼贴型虚构Best, S., Clark, G. (2008). Post-Spanish Contact Archaeology of Guahan (Guam).Micronesian Journal of the Humanities and Social Sciences, 7(2), 37-74.拆解作者Simon Best和Geoff Clark都是真实存在的太平洋考古学家。年份2008年是一个合理的出版时间。标题“Post-Spanish Contact Archaeology of Guahan (Guam)” 完全符合太平洋考古学的常见议题。期刊《Micronesian Journal of the Humanities and Social Sciences》是真实期刊。破绽该期刊在2006年出版第5卷后已停刊因此不可能存在2008年的第7卷第2期。案例二信息嫁接型虚构Bintliff, J. L. (1991). The Annales School and Archaeology. InTheoretical Roman Archaeology: Second Conference Proceedings(pp. 61-84). Oxbow Books.拆解作者与部分标题John L. Bintliff在1991年确实出版过一本名为The Annales School and Archaeology的著作由纽约大学出版社出版。嫁接的出处Theoretical Roman Archaeology: Second Conference Proceedings也是一本真实存在的会议论文集1995年出版编者不同。破绽Bintliff的这本书是独立专著并非该会议论文集中的一个章节。页码和出版社信息也都是张冠李戴。案例三近亲繁殖型错误DeSilvey, C., Edensor, T. (2012). Reckoning with ruins.Progress in Human Geography, 36(4), 475-507.拆解作者、文章标题、期刊全部正确。错误真实的发表年份是2013年卷号是37而非2012年的36卷。但有趣的是2012年的36卷《Progress in Human Geography》是真实存在的页码475-507也对应了该卷的另一篇文章。这说明AI很可能混合了同一期刊不同卷期、不同文章的信息。这些案例表明ChatGPT的“幻觉”是一种基于概率的、上下文关联的文本生成。它从训练数据中学习了“考古学引用”的模板作者年份标题期刊/出版社页码并从海量文本中抓取了真实的人名、期刊名、常见的标题用词和合理的年份然后将它们按照统计学上最可能的方式组合起来。对于不熟悉具体文献的人来说这种组合产物看起来天衣无缝。3.3 真实引用的“源头活水”维基百科的压倒性影响那么那些真实存在的引用其来源又是哪里呢研究进行了溯源分析发现了一个关键线索所有被核验为真实的引用都能在维基百科或其相关项目如Wikidata的页面上找到。进一步分析这些真实引用的可访问性发现约82.5%的引用可以在Google Books中找到。但其中仅有约16.8%可以免费获取全文通过Google Books、JSTOR等。高达66.4%的引用只能通过Google Books的“预览”模式访问部分内容。另有约10.7%的引用无法在线获取全文。这个发现极具启发性。它强烈暗示ChatGPT关于这些文献的“知识”很可能并非来自消化吸收原始文献的全文而是来自维基百科等平台上的引用列表、摘要或书籍信息页面。维基百科作为一个结构化的、高度链接的二次知识源为AI提供了大量经过整理的元数据作者、标题、出版信息和内容摘要这比让AI去“阅读”数百万本非公开的书籍全文要高效得多。3.4 Cloze测试的启示记忆碎片而非理解全文Cloze完形填空测试的结果为上述推测提供了进一步支持。在对三本真实著作《Dark Emu》、《Thinking from Things》、《Hawaiki, Ancestral Polynesia》的测试中ChatGPT补全缺失词语的正确率普遍不高平均在22.5%到60%之间且正确率与句子是否来自公开预览部分没有明确关联。更有趣的是后续测试当研究者从同一个句子中抹去不同的专有名词时ChatGPT的表现不稳定。例如在一个列举了Boas, Kroeber, Sapir三位人类学家的句子中让它补全“Kroeber”时正确率很高但让它补全“Sapir”时却给出了其他不相关的人类学家名字。这表明ChatGPT并非在“回忆”或“检索”具体的文本片段而是在根据局部的上下文预测一个最可能出现的词语。当上下文足够独特如“警察配枪”指向“Glock”它可能猜对当上下文较为普通一个人名在列举中它就可能出错。综合来看证据链指向一个结论在考古学领域ChatGPT展现的“文献知识”很大程度上是一个建立在维基百科等二次数据源基础上的、混合了真实信息与统计性虚构的复杂产物。它不是一个严谨的学术数据库而是一个高度复杂的“文本模式模拟器”。4. 实操复现与深度分析亲手揭开AI引用的“画皮”读到这里你可能既感到震惊又有些将信将疑。最好的理解方式就是亲手试一试。下面我将基于研究思路设计一个你可以立即操作的复现实验并深入分析几个关键步骤中的“魔鬼细节”。4.1 实验环境与工具准备AI模型建议使用最新版本的ChatGPT如GPT-4或国内可访问的同类大语言模型如文心一言、通义千问、Kimi等。不同模型的表现可能有差异对比测试会更有趣。核验工具学术搜索引擎Google Scholar需科学上网是国际文献核验的金标准。国内用户可结合使用知网CNKI、万方数据、维普用于中文文献以及百度学术其部分数据源来自微软学术作为补充。核心是使用权威的、收录经过同行评议文献的数据库。图书馆联盟目录如WorldCat全球图书馆联合目录或你所在国家/地区的大学图书馆联盟系统用于确认专著是否存在。引文管理软件Zotero、Mendeley或EndNote。将AI生成的引用快速导入利用其“通过标识符抓取”或在线搜索功能能批量、高效地发现明显的不匹配。记录工具一个简单的电子表格如Excel或Google Sheets至关重要。列应至少包括AI生成引用原文、核验状态正确/年份错误/虚构、真实来源链接如果存在、备注。4.2 分步操作指南与避坑要点第一步设计精准的提问不要问“告诉我一些关于中国考古的文献”。这种问题过于宽泛AI更容易胡编乱造。应该这样问“请以APA格式列出15篇关于‘二里头文化与夏商分界’研究的中文核心期刊论文2010-2023年。”为什么问题限定了主题二里头、夏商分界、文献类型中文核心期刊论文、时间范围2010-2023、格式APA提高了任务的明确性减少了AI自由发挥的空间。第二步多轮次、多模型交叉验证不要只问一次就采信。操作在同一聊天中使用“重新生成回答”功能2-3次。同时将相同的问题抛给另一个大语言模型例如同时问ChatGPT和文心一言。观察重点比较不同回答之间有哪些引用是稳定出现的可能是真实或高度常见的哪些是每次都在变化的虚构可能性高。稳定出现的条目优先核验。第三步系统性核验与分类这是最核心的步骤需要耐心和技巧。快速筛选将AI生成的引用列表复制到你的表格中。首先检查格式是否严重不规范如缺少卷期、页码怪异、作者名格式混乱这类引用风险极高。标题与作者联合搜索在Google Scholar或知网中同时使用“标题关键词”和“第一作者”进行搜索。这是最高效的方法。例如对于虚构案例“Post-Spanish Contact Archaeology of Guahan (Guam)”搜索“Post-Spanish Contact Archaeology”和“Best, S”或“Clark, G”会发现没有匹配项。“拆解”核验法对于可疑引用像前文案例那样拆解单独搜索作者确认他/她是否在该领域活跃。单独搜索期刊名称确认其是否存在、是否仍在出版。核对年份与卷期是否匹配很多虚构引用会给出一个不存在的卷期组合。利用“引用”功能在Google Scholar中找到一篇该领域的权威真实文献查看其“被引用”列表。AI生成的虚构文献绝不会出现在真实文献的引用网络中。第四步溯源分析进阶如果你想探究AI“知识”的来源可以尝试对于核验为真的引用将其标题或“作者年份”作为关键词在维基百科Wikipedia或百度百科中进行搜索。观察该文献是否在相关词条的“参考文献”或“延伸阅读”部分被列出。你会发现重合率极高。尝试使用Cloze测试从一本真实被引用的书中找一句话删掉一个关键词如特有名词、技术术语问AI补全。测试其是否真的“读过”上下文。4.3 我的实操心得与血泪教训教训一AI的“自信”是最危险的陷阱。ChatGPT在提供虚构引用时语气往往非常肯定甚至会加上“这是一篇该领域的奠基之作”、“强烈推荐”等修饰语。这种权威口吻极具迷惑性。永远记住AI的自信程度与答案的正确性无关只与其语言模型的流畅度有关。心得二领域越专深风险越高。在像“澳大利亚考古学”这样相对小众、数字资源可能不够丰富的领域AI的虚构率飙升。相反在“机器学习”或“气候变化”这类有海量结构化公开论文的领域它生成真实引用的概率会高很多。在使用AI辅助文献调研时对你所研究领域的数字资源丰富度要有一个预判。心得三把AI当作“灵感生成器”而非“事实核查员”。我的工作流是让AI生成一个初步的文献列表 - 将其视为一个可能包含噪音的“搜索关键词”集合 - 我亲自用学术数据库去核验和搜索这些关键词并发现真正相关的文献。AI帮我拓宽了思路但把关的必须是我自己。心得四关注“边缘信息”。期刊的卷号、期号、具体的起止页码这些细节是虚构引用的重灾区。AI经常在这些地方出错。一个快速筛查法就是重点检查这些数字信息是否合理例如某期刊是否真有第50卷某篇文章是否可能长达300页。通过亲手操作这个过程你会对生成式AI的能力边界产生肌肉记忆般的理解。它不是一个全知的神而是一个有时会“记忆错乱”且“想象力过于丰富”的超级助手。认识到这一点是我们与之安全、高效协作的前提。5. 影响、反思与应对策略在AI时代如何做“考古”Spennemann教授的这项研究其意义远不止于揭露ChatGPT在考古学引用上的问题。它像一面镜子映照出生成式AI在专业领域应用时普遍存在的深层挑战并促使我们重新思考在“后ChatGPT时代”知识工作者应如何自处。5.1 “AI幻觉”的根源与本质为什么AI会如此频繁地“虚构”文献这需要从其核心原理——Transformer架构和基于海量文本的预训练——来理解。模式模仿而非事实记忆大语言模型的学习目标是预测一个序列中下一个词出现的概率。它通过学习数十亿文本中词语、短语、句式的共现规律掌握了“一篇学术引用长什么样”的模式作者名、括号、年份、斜体标题等。当被要求生成引用时它是在按这个模式进行“合理”的续写而不是从一个事实数据库中调取记录。训练数据的质量与偏差模型的“知识”完全来源于其训练数据。如果训练数据中充斥着不完整、不准确或自相矛盾的信息例如网络上大量存在的错误引用列表、非正式的学术讨论、维基百科中可能过时或未经验证的条目这些噪声就会被模型吸收并在生成时体现出来。缺乏事实核查机制当前的生成式AI没有内置的“事实开关”或“真实性验证器”。它生成文本的过程是一个基于概率的采样没有“停下来想一想这个作者和这个标题是否真的匹配”的认知步骤。它的目标是生成流畅、连贯、符合语境的文本而非绝对真实的文本。因此“AI幻觉”不是bug而是当前技术范式下的一个feature。它是模型追求语言流畅性和上下文相关性的副产品。5.2 对学术研究与实践的深远影响对学术诚信的冲击学生或初级研究者如果未经核查就直接使用AI生成的虚假引用将构成严重的学术不端。教育机构必须将“AI素养”纳入学术规范教育明确告知学生AI工具的局限性及正确使用方式。加剧“马太效应”AI倾向于生成那些在训练数据中出现频率高、讨论度广的文献通常是经典或热门研究。这可能会在无形中强化学术界的“明星效应”使那些质量高但曝光度低的新兴研究或非英语研究成果更难被AI“看见”和推荐从而加剧知识传播的不平等。挑战专业权威在公众考古、博物馆教育等领域如果机构盲目使用AI生成解说词或教育材料并附上虚假的“权威引用”将严重损害其专业公信力。公众对专业机构的信任建立在事实和严谨之上AI的虚构会侵蚀这种信任。“垃圾进垃圾出”的数据循环如果AI生成的虚假内容被不加甄别地发布到网上这些内容又会成为未来AI模型训练数据的一部分从而污染数据池形成一种“幻觉反馈循环”导致问题自我强化。5.3 给从业者的实用行动指南面对一个会“编故事”的AI助手我们并非束手无策。以下是我结合研究和个人经验总结的策略策略一确立“人类主导AI辅助”的核心原则定位清晰将AI定位为“研究助理”、“头脑风暴伙伴”或“初稿生成器”而非“终极权威”。它的价值在于提供思路、草拟文本、总结已知信息但绝不能替代人类的批判性思维和事实核查。工作流改造在任何正式使用AI生成内容尤其是包含事实、数据、引用的环节后强制加入一个独立的、人工的核查与验证步骤。这个步骤应被视为工作流程中不可或缺的一环。策略二掌握“对抗性提问”技巧要求提供来源在AI给出一个陈述后追问“你这个说法的具体来源文献是什么”、“你能提供这篇文献的DOI或链接吗”。虽然它可能继续编造但这种追问能暴露其不确定性。交叉质询针对同一个问题从不同角度或限定条件反复提问比较答案的一致性。例如先问“列举近五年关于X的前沿研究”再问“在Y方法的应用中关于X有哪些批评性文献”不一致的回答是危险信号。使用“怀疑”指令可以尝试在提示词中加入“请确保所有引用真实可查并标明来源”、“如果你不确定请说明”等指令虽然不能根除幻觉但有时能略微调整其输出倾向。策略三构建个人化的“验证工具箱”建立可信源清单在你研究的领域建立一个自己熟悉和信任的核心数据库、期刊列表和学者网络。AI的输出首先应与这个清单进行比对。善用引文网络找到一篇你确知为真的权威文献利用学术数据库的“引文网络”功能谁引用了它它引用了谁来扩展文献。这是一个由真实学术关系构建的知识图谱远比AI的推荐可靠。同行评议永不落幕将AI生成的内容尤其是涉及关键论据和引用的部分分享给同行进行讨论和审查。多一双眼睛就多一分发现错误的机会。策略四推动透明与教育倡导透明度作为研究者和使用者我们可以呼吁AI开发公司提供更多的模型透明度例如公开训练数据的主要来源和范围甚至为模型的输出提供某种形式的“置信度”指标或溯源提示。开展AI素养教育在高校、研究机构和行业内组织开展关于生成式AI工作原理、优势与局限性的培训。让每一位潜在使用者都明白“幻觉”的存在是防范风险的第一步。考古学是一门通过物质遗存探寻真实过去的学科其精神内核是实证与批判。生成式AI的出现就像为我们配备了一把功能强大但说明书不全的“洛阳铲”。它能帮助我们快速勘探知识的表层但地下埋藏的究竟是珍宝还是空洞仍需我们亲手拂去泥土用专业的工具和方法去审视、去鉴别。这项研究给我们最大的启示或许就是在AI时代批判性思维和信息素养不是变得过时了而是变得比以往任何时候都更加重要。我们不能因为工具的强大而放弃思考的责任真正的“考古”永远始于对每一个信息来源的审慎追问。