AI导读:

近期,AI换脸、拟声技术成为诈骗手段,引发公众关注。多家手机厂商推出AI检测功能,但实测结果显示效果不佳。专家建议谨慎宣传,提升公众AI素养,共同遏制AI换脸诈骗。

一次偶然的机会,胡先生发现母亲因轻信AI换脸虚假宣传购买无效保健品,花费万元后才识破了视频画面中颈部扭曲、声画不同步等漏洞。如今,AI换脸、拟声技术成为侵权违法的风险高发区,今年全国两会期间,多名全国人大代表、政协委员呼吁立法整治AI换脸拟声技术。截至今年5月,多家手机厂商相继发布了AI换脸、拟声检测功能,声称可以“5秒鉴伪”、“准确率高达96%”等。然而,实际效果如何呢?

5月6日,南都记者实测了荣耀、小米、OPPO三款自带AI检测功能的手机,结果显示,均未成功识别AI换脸和拟声技术。国家互联网应急中心相关技术专家建议,对于AI反诈检测能力宣传应以安全辅助为主,充分提醒用户合理认识该功能,不应因该功能而放松警惕。

多款手机上线AI检测功能,实测效果堪忧

公安部数据显示,2022年至2024年初,我国共发生“AI换脸”类诈骗案近百起,累计造成经济损失高达2亿元。去年8月,工信部反诈专家表示,将联合手终端企业推出AI换脸诈骗风险提醒功能。

自去年10月以来,多家手机厂商相继发布了AI换脸检测功能。然而,在实际测试中,荣耀、小米、OPPO三款手机的AI检测功能均未成功识别所测试的AI视频或音频。这引发了公众对AI反诈检测能力的质疑。

据某手机厂商披露的技术分析报告,AI换脸检测功能主要攻克的是实时视频通话场景中的人脸仿冒场景。然而,这一过程的薄弱点在于被诈骗用户端的视频流的分析和检测,这也成为反诈检测流程的核心点。尽管厂商们采用了先进的“黑科技”,但在实际应用中仍面临诸多挑战。

专家建议:谨慎宣传,提升公众AI素养

国家互联网应急中心相关技术专家表示,手机厂商在终端上线AI换脸检测功能,的确能够起到辅助用户抵御换脸换声诈骗的作用,但需谨慎使用反诈进行卖点宣传。专家建议,一方面,对于AI反诈检测能力宣传应以安全辅助为主,充分提醒用户合理认识该功能;另一方面,要引导公众正确认识AI的作用,提升AI素养。

此外,AI换脸鉴伪并非一家之责,内容传播平台更加有义务对应用内的视频、语音通话进行AI鉴伪。只有各方共同努力,才能有效遏制AI换脸、拟声技术的滥用,保护公众的合法权益。

出品:南都大数据研究院

设计:何欣

(文章来源:南方都市报)