幻觉不是Bug是特性——但你得管住它大模型的幻觉问题一直是工程师最头疼的挑战之一。模型会自信地告诉你一个不存在的API、编造一段从未发生过的历史、或者给出一个看起来合理但完全错误的计算结果。更麻烦的是幻觉的发生往往毫无规律测试通过的内容在生产环境照样会出问题。这篇文章不讲幻觉的学术成因直接聚焦工程实践如何在实际系统中检测幻觉、降低幻觉率、以及在幻觉发生时降低其危害。## 理解幻觉的三种类型从工程角度幻觉大致分为三类不同类型需要不同的应对策略事实性幻觉Factual Hallucination模型陈述了不准确的事实如错误的日期、人名、数字、引用。这是最常见的类型也是RAG最直接针对的问题。忠实性幻觉Faithfulness Hallucination模型的输出与给定的上下文不一致即模型没有基于给定的信息回答而是自己编了个。这在summarization、问答等场景特别危险。推理性幻觉Reasoning Hallucination模型的推理链条出现错误前提对但结论错或者给出了无法从前提推出的结论。这在代码生成、数学计算场景最为常见。明确类型后才能选对工具。## 检测层建立幻觉防线### 1. 基于NLI的忠实性检测NLI自然语言推理模型可以判断模型输出是否能从给定上下文中推导出来。这是检测忠实性幻觉的基础工具。pythonfrom transformers import pipeline# 使用专为幻觉检测微调的NLI模型nli_checker pipeline( text-classification, modelfacebook/bart-large-mnli)def check_faithfulness(context: str, claim: str) - dict: 检查claim是否忠实于context 返回: {label: ENTAILMENT/CONTRADICTION/NEUTRAL, score: float} # 构建NLI输入格式 result nli_checker( f{context} /s/s {claim}, candidate_labels[entailment, contradiction, neutral] ) return { label: result[labels][0].upper(), score: result[scores][0], is_faithful: result[labels][0] entailment }# 使用示例context 2026年第一季度OpenAI发布了GPT-5模型参数量达到万亿级别。claim OpenAI在2025年底发布了GPT-5。result check_faithfulness(context, claim)print(result)# {label: CONTRADICTION, score: 0.87, is_faithful: False}### 2. 基于采样的自一致性检测如果对同一个问题多次采样幻觉的结果往往不稳定而真实信息的结果会高度一致。这就是自一致性Self-Consistency检测的核心思路。pythonimport asynciofrom collections import Counterfrom openai import AsyncOpenAIclient AsyncOpenAI()async def self_consistency_check( question: str, n_samples: int 5, temperature: float 0.8) - dict: 通过多次采样检测答案的可靠性 tasks [] for _ in range(n_samples): tasks.append(client.chat.completions.create( modelgpt-4o, messages[{role: user, content: question}], temperaturetemperature, max_tokens200 )) responses await asyncio.gather(*tasks) answers [r.choices[0].message.content for r in responses] # 简化版检查答案的相似度 # 生产中应使用语义相似度或关键信息提取 answer_counts Counter(answers) most_common answer_counts.most_common(1)[0] consistency_score most_common[1] / n_samples return { best_answer: most_common[0], consistency_score: consistency_score, is_reliable: consistency_score 0.6, # 60%以上一致认为可靠 all_answers: answers }### 3. LLM-as-Judge自动评估用另一个LLM通常是更强的模型来评估原始输出是否包含幻觉。这是目前实践效果最好的方法之一。pythonHALLUCINATION_JUDGE_PROMPT 你是一个专业的事实核查专家。请分析以下AI回答是否包含幻觉错误信息、编造内容或与上下文矛盾的内容。上下文信息{context}AI的回答{response}请按以下格式输出你的分析1. 幻觉评级[无幻觉/轻微幻觉/严重幻觉]2. 具体问题如有列出具体的幻觉内容3. 置信度[高/中/低]4. 建议如何修正或使用这个回答只输出上述格式不要其他内容。async def llm_judge_hallucination( context: str, response: str, judge_model: str gpt-4o) - dict: result await client.chat.completions.create( modeljudge_model, messages[{ role: user, content: HALLUCINATION_JUDGE_PROMPT.format( contextcontext, responseresponse ) }], temperature0 # 评估任务用0温度保证稳定性 ) judgment result.choices[0].message.content # 解析评级 has_hallucination 严重幻觉 in judgment or 轻微幻觉 in judgment return { judgment: judgment, has_hallucination: has_hallucination, raw_output: judgment }## 预防层在源头降低幻觉率检测是补救预防才是根本。### 1. 精确的上下文注入幻觉的首要原因是模型不知道但不说不知道转而去猜测。解决方案是给它提供准确、充分的上下文并明确指令只基于上下文回答。pythonGROUNDED_SYSTEM_PROMPT 你是一个基于文档的问答助手。规则1. 只基于【参考文档】中的信息回答问题2. 如果参考文档中没有相关信息直接回答我在提供的文档中没有找到相关信息3. 引用信息时用[文档X]标注来源4. 不要使用你自身的训练知识来补充或推测这不是建议这是必须遵守的约束。def build_grounded_prompt(documents: list[str], question: str) - list[dict]: context \n\n.join([ f【文档{i1}】\n{doc} for i, doc in enumerate(documents) ]) return [ {role: system, content: GROUNDED_SYSTEM_PROMPT}, {role: user, content: f参考文档\n{context}\n\n问题{question}} ]### 2. 不确定性感知的输出设计让模型明确表达自己的不确定性而不是猜测后给出自信的错误答案。pythonUNCERTAINTY_AWARE_PROMPT 在回答时请使用以下不确定性标记- [确定] 表示你非常有把握的信息- [可能] 表示你认为可能正确但不确定的信息 - [不确定] 表示你不清楚的信息此时应该说明原因例如[确定] Python是一种解释型语言。[可能] 该框架的最新版本是3.x但我需要确认。[不确定] 具体的性能数据建议查阅官方基准测试。### 3. 结构化输出强制合规通过JSON Schema强制模型输出结构化响应可以显著降低事实性幻觉因为模型需要填入具体字段而不是自由发挥。pythonfrom pydantic import BaseModel, Fieldfrom openai import OpenAIclass FactCheckedResponse(BaseModel): answer: str Field(description基于文档的答案) confidence: float Field(ge0, le1, description置信度0-1之间) sources: list[str] Field(description支撑答案的文档引用列表) cannot_answer: bool Field(description如果文档中没有足够信息则为True) uncertainty_notes: str Field(default, description对不确定部分的说明)client OpenAI()def get_fact_checked_response(documents: list[str], question: str) - FactCheckedResponse: response client.beta.chat.completions.parse( modelgpt-4o, messagesbuild_grounded_prompt(documents, question), response_formatFactCheckedResponse ) return response.choices[0].message.parsed## 修复层幻觉发生后的降损策略即使做了所有预防幻觉仍然会发生。这时需要的是降损机制。置信度阈值过滤对高置信度的回答直接展示对低置信度的回答添加免责提示对检测到幻觉的回答拒绝展示或标记警告。人工审核队列对于高风险场景医疗、法律、财务将低置信度的输出送入人工审核队列不直接展示给用户。降级回退策略当主模型产生幻觉时降级到基于规则的回答、搜索文档摘录、或者直接返回我不确定的安全回答。## 建立幻觉监控体系长期来看幻觉治理需要可观测性支撑pythonclass HallucinationMonitor: def __init__(self): self.metrics { total_requests: 0, hallucination_detected: 0, hallucination_blocked: 0, by_type: {} } def record(self, hallucination_type: str | None, was_blocked: bool): self.metrics[total_requests] 1 if hallucination_type: self.metrics[hallucination_detected] 1 self.metrics[by_type][hallucination_type] \ self.metrics[by_type].get(hallucination_type, 0) 1 if was_blocked: self.metrics[hallucination_blocked] 1 property def hallucination_rate(self) - float: if self.metrics[total_requests] 0: return 0 return self.metrics[hallucination_detected] / self.metrics[total_requests] def get_report(self) - dict: return { **self.metrics, hallucination_rate: f{self.hallucination_rate:.2%}, block_rate: f{self.metrics[hallucination_blocked] / max(1, self.metrics[hallucination_detected]):.2%} }## 现实中的权衡幻觉治理不是一个有完美解的问题而是一系列工程权衡-检测成本 vs 漏检风险更严格的检测会增加延迟和成本而过于宽松则会放过幻觉-误报 vs 漏报把正确内容标为幻觉误报会降低用户体验放过真正的幻觉漏报则有安全风险-模型能力 vs 幻觉率更能干的模型往往也更敢说幻觉反而不一定更少最实用的建议是根据你的业务风险等级来定标准。医疗问答和娱乐闲聊对幻觉的容忍度完全不同不必用同一套标准处理所有场景。幻觉治理是一个持续的工程工作没有一劳永逸的解决方案。但建立起检测-预防-监控的完整体系至少能让你知道问题在哪以及它有多严重。