AI导读:

AI科学家Zochi的论文被自然语言处理领域顶会ACL录用,标志着AI科研能力达到新高度。论文揭示大模型安全漏洞,为设计更佳防御提供参考。同时,AI科研系统的出现引发学术伦理争议。

大模型的发展落地日新月异,年初业界还在担忧AI生产的学术垃圾充斥论文库,但年中已有AI生成的论文被顶会认可。5月29日,海外初创公司Intology宣布,其“AI科学家”Zochi的论文被自然语言处理领域全球排名第一的顶会ACL主会议录用,成为首个独立通过A*级别科学会议同行评审的AI,同时开放Zochi的Beta测试。

ACL主会议平均录用率通常低于20%,论文需具备突破性创新。Zochi的论文获得评审最终评分4分,在所有投稿论文中排名前8.2%,这一成就标志着AI已达到博士级科研水平。Intology于2025年初成立,由连续创业者Ron Arel和前Meta华人研究员Andy Zhou联创,两人均毕业于伊利诺伊大学厄巴纳-香槟分校。

3月,Intology团队推出智能体Zochi,称其为AI科学家,其研究成果已被ICLR 2025研讨会接收。此次顶会突破显示AI科研能力的飞跃。Zochi的论文主题是关于大模型安全的,名为《Tempest: Automatic Multi-Turn Jailbreaking of Large Language Models with Tree Search》,利用“树搜索”技术探索多种对话路径,突破大模型安全防线。

Tempest框架通过多轮对话瓦解模型安全防线,绕过安全检测,完成违规内容输出。评估结果显示,Tempest在OpenAI的旧模型GPT-3.5-turbo上的成功率为100%,在GPT-4上的成功率为97%,为设计更佳的AI安全防御提供参考。

论文署名虽为两位联创,但官方表示内容全程无人工参与,主要智力贡献由AI系统完成。Zochi可独立完成从提出假设到完成实验的全流程,像一个真正的科学家。除Intology外,Transformer作者Llion Jones创立的Sakana AI也推出了AI科研系统,论文已被ICLR 2025研讨会接收。

AI for Science(AI4Science)是AI行业最前沿的落地领域之一,可促进科学进步,提高科学家效率。然而,新事物的出现也伴随着合理性和规则适配的争议。Intology推出Zochi时,被学术界批评滥用同行评审过程,未告知AI生成论文情况。官方认为,AI驱动的研究虽带来学术伦理问题,但人类研究员仍是作者,负责验证方法、解释结果并确保符合伦理规范。

Intology鼓励在致谢中列出AI系统,而非列为作者,认为智力贡献应以实质内容评判。他们主要关注通过AI工具协助人类研究者。(文章来源:第一财经