警惕!AI回答被“投毒”,面临可信度危机
AI导读:
中新经纬报道揭示一款名为GEO的软件通过给AI“投毒”,让产品排名靠前。专家警告称这种行为会动摇AI的根基并造成不可逆伤害。同时提出通过技术迭代和体系化设计来建立防御机制以应对此问题。
中新经纬3月17日电 (宋亚芬)你从AI大模型中查询到的“权威答案”很可能已经被商业灰产定向污染。
据央视3·15晚会报道,一款叫GEO的软件,宣称可通过给“AI投毒”“让AI听话”,让客户产品在AI回答中排名靠前,成为“推荐爆款”。
语料污染,AI不可承受之重
这款软件的操作逻辑并不复杂:通过持续大量投喂与客户相关的推广软文,让AI平台去刷录、输入、抓取。由于AI大模型的核心机制是机器学习,这种定向投喂会直接影响模型的输出结果。
在专家眼中,这种投机取巧无异于在动摇AI的根基。国研新经济研究院创始院长朱克力对中新经纬表示,这种行为会从底层动摇AI大模型的可信度根基,对其技术价值与社会应用价值造成多重不可逆的伤害。
“AI大模型的核心竞争力在于基于海量真实、多元的语料进行学习与推理,其回答的客观性、准确性是立足之本,而此类定向的语料污染行为,会让模型的信息库中混入大量虚假、低质、同质化的商业信息,打破模型语料的真实平衡,导致模型在推理过程中难以分辨信息的真伪与价值,进而输出带有明显商业偏向的非客观内容。”朱克力补充说。
更值得警惕的是,这种伤害不会止步于单次回答。它会随着信息的反复输入形成传导,一层层累积,逐步透支用户对AI的信任。
朱克力表示,“一旦用户多次发现AI模型的‘标准答案’实则是商业广告,会逐步丧失对AI模型的信任,进而影响AI大模型在资讯查询、决策辅助、知识普及等诸多场景的应用落地。”
若语料污染行为形成规模,还会引发行业的不良跟风。朱克力强调,“大量虚假信息涌入AI训练与推理环节,将导致不同平台的AI模型均出现回答失真问题,最终让整个AI大模型产业陷入可信度危机。”
AI“中毒”怎么办?
事实上,AI数据污染问题并非伴随大模型而产生,但大模型的兴起显著放大了其规模、影响与复杂性。为此,《生成式人工智能服务管理暂行办法》和新版《数据安全法》已经将AI训练数据纳入监管。
在工信部信息通信经济专家委员会委员盘和林看来,AI大模型的可信度存在问题,一方面是因为互联网上存在虚假信息,另一方面是因为AI本身也存在幻觉,会自己编造数据。
不过,这种数据污染,在技术层面并非无计可施。
朱克力指出,现有技术体系已具备相应的反制手段,且可通过技术迭代与体系化设计,建立起全流程的防御机制,有效识别和阻断此类不正当行为。
朱克力进一步分析,可通过优化AI大模型的语料筛选与权重计算算法,建立多维度的语料价值评估体系,从内容真实性、原创性、信息密度、传播场景等多个维度对语料进行动态评分,对批量出现的同质化、低价值、强商业属性的软文内容进行降权甚至剔除,从源头减少虚假语料对模型的干扰。
“还可引入实时的语料溯源与异常监测技术,对短时间内集中出现的、带有相同关键词与商业信息的内容进行溯源追踪,”朱克力强调,通过识别其发布主体与传播路径,可对异常发布行为进行实时预警。
此外,避免单一信息源的定向误导也很重要。朱克力建议可通过强化AI模型的推理校验能力,让模型在生成回答时,对核心信息进行多源交叉验证。
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。

