LLM幻觉生成虚构SQLite漏洞，安全社区呼吁审慎对待AI报告
JFrog研究院发现多起AI幻觉CVE事件，数据库安全引发新思考
JFrog研究院近期发布了一份引人注目的安全研究报告，指出当前流行的多个大语言模型在检索和引用技术文档时，频繁幻觉出虚构的SQLiteDatabase安全漏洞（CVE编号）。这些模型在生成安全分析报告时，有时会凭空捏造并不存在的漏洞细节，包括漏洞编号、受影响版本以及修复方案等关键信息。这一发现引发了安全社区的广泛讨论，也让业界重新审视AI生成内容在安全领域的应用边界。
研究人员在对多款主流LLM进行系统性测试后发现，当模型被要求分析SQLite数据库的安全报告时，有相当比例的输出中包含了伪造的CVE编号。这些虚构漏洞的特征包括：编号格式完全正确、受影响版本描述详尽，甚至有看似合理的修复建议。然而，经过官方CVE数据库和SQLite项目仓库的交叉验证，这些漏洞均不存在。研究人员表示，这种幻觉行为主要源于模型在训练过程中学习了大量真实漏洞报告的结构模式，在生成时容易将模式"套用"到不存在的漏洞上。
这一现象对依赖AI辅助进行安全审计的团队构成了潜在风险。许多企业和安全团队正在引入LLM来加速漏洞扫描和报告生成，但如果AI输出的CVE信息存在幻觉，可能会导致安全团队将资源错误地投入到不存在的威胁上，或者更危险的是——遗漏了真正的高危漏洞而误以为系统安全。安全专家警告称，在使用AI生成安全报告时，必须进行二次验证，不能盲目相信AI的输出结果。
SQLite作为全球使用最广泛的嵌入式数据库，其代码仓库和文档被大量LLM训练数据所覆盖。这也使得模型在处理SQLite相关安全问题时，幻觉出的虚构CVE更容易看起来"可信"。研究团队建议，模型训练者应当在训练数据中标注安全类文档的来源可靠性，并在输出时加入不确定性标记，以降低幻觉风险。同时，使用AI进行安全分析的工具应当内置自动化验证流程，在生成CVE编号后立即查询官方数据库进行核实。
从更广泛的视角来看，这一研究揭示了当前大语言模型在专业领域应用中的一个系统性缺陷——生成内容的"过度自信"问题。当模型对一个不确定的问题给出看似确定的答案时，人类用户往往倾向于相信这些信息，尤其是在专业领域缺乏深厚背景知识的情况下。这种信任偏差在安全、医疗和法律等高风险领域尤为危险，需要学术界、产业界和用户群体共同努力来建立更有效的防护机制。
研究人员还发现，不同模型在CVE幻觉上的表现差异显著。开源模型和闭源模型均存在这一问题，但部分模型通过添加"不确定"标记和来源引用，能够在一定程度上降低幻觉的发生率。这提示模型开发者，通过改进训练策略和输出格式，可以有效提升AI在安全领域的应用可靠性，为未来AI辅助安全分析的发展指明了方向。