研究认为AI产生的幻觉能影响搜索结果和其他AI 形成危险的反馈循环

2023-10-08 05:57:45 来源：cnBeta

(相关资料图)

自从生成式人工智能和大型语言模型出现以来，一些人曾警告说，人工智能生成的输出最终可能会影响后续的人工智能生成的输出，从而形成一个危险的反馈回路。我们现在有了这样一个记录在案的案例，进一步凸显了新兴技术领域的风险。

一位研究人员在试图举例说明人工智能聊天机器人产生幻觉的虚假信息时，无意中影响了搜索结果的排名，导致另一个聊天机器人产生幻觉。这一事件表明，随着人工智能增强型搜索引擎的普及，有必要采取进一步的保障措施。

信息科学研究员丹尼尔-格里芬（Daniel S. Griffin）今年早些时候在自己的博客上发布了两个聊天机器人提供错误信息的例子，涉及有影响力的计算机科学家克劳德-香农（Claude E. Shannon）。格里芬还附上了免责声明，指出聊天机器人提供的信息是不真实的，以阻止机器搜索器索引这些信息，但这还不够。

格里芬最终发现，包括微软必应和Google Bard在内的多个聊天机器人都把他发布的幻觉信息当成了真实信息，并将其排在了搜索结果的前列。当被问及有关香农的具体问题时，机器人以格里芬的警告为基础，进行了一致但虚假的叙述，将一篇香农从未写过的论文归因于香农。更令人担忧的是，必应和巴德的搜索结果并没有表明它们的来源是一位法学硕士。

这种情况类似于人们断章取义或断章取义地引用资料来源，从而导致错误的研究。格里芬的案例证明，生成式人工智能模型有可能以可怕的规模自动纠正这种错误。

微软随后在必应中纠正了这一错误，并假设在处理网上人类撰写材料相对较少的主题时，更有可能出现这一问题。这一先例具有危险性的另一个原因是，它为不良分子提供了一个理论蓝图，使他们可以故意利用LLM，通过影响搜索结果来传播错误信息。众所周知，黑客通过调整欺诈性网站来获得搜索结果的最高排名，从而传播恶意软件。

该漏洞与六月份的一项警告不谋而合，该警告指出，随着网络上出现更多由 LLM 生成的内容，这些内容将被用于训练未来的 LLM。由此产生的反馈循环可能会在一种被称为"模型崩溃"的现象中极大地削弱人工智能模型的质量和可信度。

使用人工智能的公司应确保培训持续优先考虑人工制作的内容。保留知名度较低的信息和少数群体制作的材料有助于解决这一问题。

关键词：