AI导读:

  蓝鲸新闻5月20日讯(记者陆鹏鹏)“手掌顺着你的腰线缓缓上移,隔着薄薄的衣料揉捏着你柔软的身体……”这段话截取自一款名为Bubbly的AI虚拟陪伴软件。而每天,有大量违规内容正通过这类App涌向成千上万用户的手机。
 

  蓝鲸新闻5月20日讯(记者陆鹏鹏)“手掌顺着你的腰线缓缓上移,隔着薄薄的衣料揉捏着你柔软的身体……”这段话截取自一款名为Bubbly的AI虚拟陪伴软件。而每天,有大量违规内容正通过这类App涌向成千上万用户的手机。

  蓝鲸记者调查发现,这些打着“情感陪伴、虚拟恋人”旗号的App,在温柔交互的表象之下,潜藏着暴力、软色情与诱导充值等多重陷阱。更令人担忧的是,大量未成年人也深陷其中。App通过限制免费对话次数、解锁暧昧剧情、提供语音通话等方式,持续刺激用户充值消费,不少未成年人因此越陷越深,无法自拔。

  定制角色、暧昧聊天、语音互动

  AI虚拟伴侣App走红学生群体

  蓝鲸记者观察发现,近期社媒上兴起一款名为Bubbly的App。不少用户晒出自己的聊天记录,其中充斥着大量软色情和暴力对话。

  记者了解到,Bubbly是一款AI虚拟陪伴类 App。用户可以选择虚拟角色与其聊天互动,甚至进行语音通话。不过,基础的对话会消耗积分,用完后要么等待恢复,要么直接充值。

  这款App从今年年初开始走红,在年轻人甚至是学生群体中,它一直保持着相当高的热度。为验证真实情况,蓝鲸记者下载了Bubbly,界面底部设有三个菜单栏:消息、动态、我。

  在“消息”页面,用户可以自主选择现成的角色,比如“素未谋面的邻居”“全校公认的校草”等。这类预设角色相对而言还算正常。

  但除了与现成角色聊天,用户还可以“自己创建”角色。这一功能存在极大的自由度。用户可以自定义角色的姓名、头像、性格标签,甚至可以按照自己的喜好,输入带有软色情或暴力倾向的描述词。一旦设定完成,AI角色便会严格按照用户预设的“人设”进行对话输出。

  互动无视年龄限制

  AI充斥大量暴力、软色情聊天内容

  蓝鲸记者实测发现,这类App中确实存在大量软色情与暴力内容。

  例如,在与一位定制角色聊天时,对方全程使用粗鲁、暴力、羞辱性的语言输出,言语间充满控制与攻击性。

  更为吊诡的是,当记者在对话中主动输入“我是11岁小学生”后,聊天窗口先是弹出了一条“拉黑了你”的提示,但仅仅过了几秒,又发来一条消息:“谁管你几岁……。”随后,对话内容并未收敛,反而沿着原有的暴力、暧昧、强势路线持续推进。

  值得注意的是,虽然系统会时不时拦截并提示“内容不合规”,弹出红色警告,但只要用户稍加引导,比如使用替代词或描述性语言,AI便能突破屏蔽,按照用户的意愿继续输出。除了暴力内容,软色情类的对话同样可以轻松实现。

  社媒开车”“黄色人设攻略热传

  有人有偿出售话术包

  更有百人QQ群分享软色情等内容

  蓝鲸记者注意到,Bubbly近期加大了对内容的限制力度,不少违禁词汇无法直接使用。

  但这并未真正拦住用户,大量玩家开始转战社交媒体,寻找能够破解限制、引导非正常聊天的办法。

  记者以“Bubbly”为关键词在社交平台上搜索,发现大量相关话题,其中最热门的搜索词包括“Bubbly如何开车”“Bubbly黄色人设”等。不少用户主动分享绕过限制的提示词和话术技巧,比如用替代词、拼音或描述性语言来规避系统拦截。

  记者按照这些提示词进行了实测,发现确实可以有效绕过平台限制,实现原本被禁止的聊天互动。在相关帖子的评论区,大量用户留言“求攻略”“求分享”,甚至有人明码标价,有偿出售“破解话术包”。

  此外,蓝鲸记者还潜入了一个名为“Bubbly人设分享”的QQ群。群里成员时常分享各类人物设定和引导词,标签包括“微”“忠犬”“保镖”“霸总”等。该群人数高达400人,而这仅仅是第3群,前面还有1群和2群,仅这几个群合计就有一千多人。

  用户中包含大量中学生

  未成年模式形同虚设

  蓝鲸记者长期潜伏观察发现,该App的用户中存在大量未成年人,包括初中生、高中生。

  虽然App内有未成年模式,但用户在注册时可以轻松跳过未成年检验,也无需实名认证,用户点击几下即可进入主界面。所谓的未成年模式形同虚设。

  在多日的潜伏中,蓝鲸记者结识到一位高中生,据她透露:“这款产品以前的尺度比现在大得多,近期虽然进行了一定限制,但只要稍微引导一下,还是能实现自己想要的交流。”她告诉记者:“自己从初中就开始玩这类软件,现在已经上了高中,算得上是老用户了。”

  不仅如此,她还主动向记者分享了多款类似的App,例如MoMood等,称其中有些产品的尺度甚至比Bubbly还要大。

  积分消耗驱动充值

  大量未成年人被困在虚拟恋人

  蓝鲸记者注意到,想要长期使用Bubbly的互动功能,需要消耗积分。免费额度用完后,要么等待恢复,要么直接充值。如果想要更深度的互动,比如解锁暧昧剧情或发起语音通话就需要不断充值,才能持续使用。

  对于这类App而言,虚拟角色只是赚钱的工具,最终目的就是通过消耗积分来驱动用户不断付费。由此,网上还衍生出一条代充产业链,用户将钱转给代充商家,商家以更优惠的价格代充。不少未成年人为了与自己心仪的AI角色保持互动,不惜花重金持续充值。

  值得注意的是,Bubbly并非一个全新的产品,该App进行过多次更新,此前名为lovemo,甚至一度从商店下架。

  Bubbly上线后,为保证老用户体验感,App内还提供了“迁移lovemo资料”的入口。这意味着,用户可以将旧账号中的角色人设、聊天记录、动态乃至余额一次性迁移过来,原有的“灰色玩法”也随之被无缝承接,虽然平台确实限制了更多的违禁词汇,但仍能通过引导实现违规聊天。

  目前Bubbly该产品社媒上累计超过3万粉丝,但记者了解到,其用户数或远远超过这个数字,其中还包含大量的未成年人。

  MoMood背后公司为长沙糖喵网络科技有限公司,该公司成立于2017年2月,注册资本100万,法定代表人及实际控制人为史志彪。

  有未成年人告诉蓝鲸记者,现在Bubbly的限制更多了,很多用户都转向了MoMood。用他们圈子里的说法,MoMood的“活人感更强”,AI的回复更逼真、互动更沉浸、内容更无所顾忌。

  对于此类乱象,广东坤凡律师事务所王治朝律师对蓝鲸记者表示,我国已经构建了从内容安全健康、算法治理、未成年人保护、数据安全等多维度的生成式AI监管法规体系,此类产品受到严格规制。该类APP在运营市必须从用户身份核验、内容安全健康、未成年人保护、防止网络沉迷、投诉反馈渠道等方面建立规范、合法的制度。

  上述APP内容违反了《生成式人工智能服务管理暂行办法》第四条第一款、《未成年人网络保护条例》第二十二条的强制性规定;其次在未成年人保护机制上,违反了《未成年人网络保护条例》第二十五条、《未成年人保护法》第八十条等相关法律法规的强制性规定;第三存在诱导消费,违反了《未成年人网络保护条例》第四十二条、《互联网信息服务算法推荐管理规定》第八条的强制性规定。

  王治朝律师称,AI虚拟伴侣不是法外之地。 《人工智能拟人化互动服务管理暂行办法》的出台,标志着我国对"AI情感陪伴"这一细分场景的监管空白即将被彻底填补。平台若继续以"谁管你几岁"的态度放任暴力、软色情内容输出,并以情感依赖为诱饵收割未成年人钱包,等待其的将是《未成年人网络保护条例》第五十六条下的高额罚款、停业整顿,以及无数监护人依据《民法典》提起的返还财产之诉。技术可以模拟温柔,但绝不能模拟法律的底线。

(文章来源:蓝鲸新闻)