
“2亿诈骗案”一年后,AI换脸犯罪更疯狂了

摘要:
某社交平台上“AI换脸服务”帖子下,回复清一色:“视频,照片,随便换”。某二手平台上,用户仅需提供5秒视频和清晰五官照片,支付9.9元即可获得定制化换脸视频,2.9元的低价安装包也让粗糙的换脸工具触手可及。
凤凰网科技 出品
作者|梁思琦
编辑|董雨晴
定制换一张脸成本有多高?答案是——只需要一杯奶茶钱。在各大平台上,换脸服务比比皆是,只需要9块9,就能迅速获得一个真假难辨的换脸内容。
随着AI技术的迅速演进,有关DeepFake(深度伪造)的讨论也愈演愈烈。
相关受害人,从全球知名艺人泰勒斯威夫特、跨国公司高管、韩国未成年人,再到今年春节因AI配音刷屏的雷军。2024年国庆期间,未经授权的雷军AI语音包和换脸视频在网络上疯传,网友调侃:“十一放了七天假,八天被雷军骂醒。”
不久之前,“雷军称AI换脸拟声成违法重灾区”话题也登上微博热搜第二,相关讨论量达到了1.4万,足以见得DeepFake正成为困扰多数网友的一把利刃。
正如雷军所言:“刚开始我觉得是网友喜闻乐见,拿我开涮我也能接受,但内容比较低劣,多到不得了的时候,就防不胜防,而且网友们也在投诉”。
深度伪造带来的各类风险,该被重视起来了。
震惊一时的香港最大AI诈骗案
震惊一时的中国香港跨国公司诈骗案,曾经描述过如此戏谑的一幕。
跨国工程公司Arup香港分公司的一位员工,有一天突然收到了一封会议邮件,邀请他参加一场由总部高管发起的重要会议。
起初他有些怀疑,但随着他进入会议,看到了一张张熟悉的高管面孔,警惕性也逐渐放了下去。包括该公司CFO在内的多位高管不仅入会了,还都开着视频和麦克风,在发言中他们谈论到了一起秘密收购案件,讨论过后这些高管还给中层布置了任务。
这位员工在会议中未进行任何发言,但对此次会议的真实性已全然接受,散会后,邮件和即时通讯消息就来了。其中的一位领导要求这名员工将2亿港元(约合1.8亿元人民币)分别转入5个账户中。
这名员工就这么照做了,5天后,在与真正总部的沟通中,他发现,自己被骗了。
更为震惊的是,在这场神秘的会议中,这名员工其实是唯一的一名真人,其余所谓的高管,均由犯罪分子根据高管们在公开平台的视频信息通过技术生成,是一个个虚拟数字人,却做到了真假难辨的地步。
这件事发生在一年前。一年时间,对AI行业而言,意味着技术的飞跃已是指数级攀升。
由此引发的犯罪频率也越来越高。
2025年1月,银川某建材公司经理张先生接到“领导”视频电话,要求紧急转账。因AI换脸技术高度逼真,他分两次转出20万元。《法制日报》日前报道,天津李先生被AI合成的“领导”视频诱导转账95万元,警方与银行联动冻结83万元。山西某犯罪分子甚至利用AI换脸通过人脸识别注册虚假公司,虚开增值税发票42余万元。
一面是不断高发的诈骗案例,一面是消费者浅薄的防范意识。
“有没有高手会AI换脸呀?”
凤凰网科技在检索各大平台信息中发现,仍有不少人对换脸技术缺乏风险意识。某社交平台上“AI换脸服务”帖子下,回复清一色:“视频,照片,随便换”。某二手平台上,用户仅需提供5秒视频和清晰五官照片,支付9.9元即可获得定制化换脸视频,2.9元的低价安装包也让粗糙的换脸工具触手可及,而DeepFaceLab等专业开源软件搭配全网传播的教程,更使得技术滥用呈现全民化趋势。这种技术平权背后,暴露出法律监管与犯罪手段之间的严重失衡。
法律规制与技术进步之间的时差正在制造监管真空。以杭州互联网法院2023年审理的虞某案为例,犯罪嫌疑人利用AI换脸技术制作淫秽视频非法牟利,被告赔偿6万元并公开道歉。
凤凰网科技在咨询相关领域律师后发现,尽管现行法律与管理规定已明确禁止利用信息技术伪造肖像,且动态影像也已经受保护。但在责任边界的某些方面以及赔偿计算标准上缺乏量化细则。且目前由于立法还不完全,所受的惩罚与牟利并不成正比,这就让犯罪之人有了更大动机。
同时,技术滥用已衍生出专业化犯罪链条,诈骗组织通过社交平台精准盗取目标对象的生物特征数据,利用云端合成技术生成克隆声像,实施“数字分身”诈骗。
当然,AI换脸也并非真的无懈可击。
现有技术仍存在可识别的生理破绽,例如微表情缺失,光影不匹配,皮肤过度平滑,声音缺乏停顿,语速快等问题,这些技术局限为公众提供了关键辨识窗口。
平台该不该承担更大的责任?
AI技术的普及让内容生产的门槛被极大地降低了,但也让网络世界开始充斥着浓浓的AI味儿。尤其是一些AI产品愈演愈烈的幻觉率,让虚假信息随之滋生,用户稍不留意便会陷入真假难辨的困境。
目前,此类问题在短视频平台尤为突出,大量违背常识与道德底线的AI生成内容正在污染互联网,如“甄嬛吃汉堡”“宠物猫狗说人话”“AI雷军”等,通过算法推荐迅速扩散,挤占优质内容的生存空间。
更令人担忧的是,部分用户对AI“一本正经地胡说八道”盲目信任。如缺乏甄别能力的老年人群体,正在被各类“赛博乖孙”控制。有网友说自己的奶奶最近经常对着手机屏幕“哎”,仔细一看才发现视频中是手拿元宝,一口一个奶奶的AI生成乖孙。
但这一切,真的没有遏制的手段吗?
此前《人工智能生成合成内容标识办法(征求意见稿)》曾对此提出明确规范。
如在生成环节,要在相关内容的特定位置,添加直观可见的显式标识,让用户一眼便能察觉内容的AI生成属性。在传播环节,平台的责任更加重大,要有能甄别并提示AI内容的能力。抖音在2023年曾发布《关于人工智能生成内容的平台规范》,要求创作者主动标注AI生成内容,违规者将面临处罚。
另一内容平台的相关运营也对凤凰网科技表示,对于AI生成内容,内部一直持谨慎态度对待。“从生态治理的角度,AI内容的风险肯定是大的,但从用户活跃的角度来说,在极大的降低生产门槛后,会让一批新的账号长出来”,也因此,平台对AI类内容一直持摇摆态度。
但对于突发事件中的AI谣言,平台更需要主动承担起识别并扼杀的任务。
如近期微博上流传“某男星连续七日豪赌输光10.3亿元流动资产并抵押资产”的消息, 3月10日晚,微博CEO王高飞(账号“来去之间”)就专门做出回应,称“AI分析完判断该传闻缺乏实质性证据,且主要信息源为匿名账号及营销号,存在动机和逻辑漏洞……”。随后在3月11日,周杰伦经纪公司杰威尔音乐官方微博也发布声明正式辟谣。
AI换脸技术引发的社会震荡正在重塑人类与技术共处的边界。当生物特征数据成为可被9.9元交易的商品时,其背后暗藏的系统性风险已超出个体防范范畴。多方观点都认为,其规范之路任重而道远。
数字文明的真正考验,在于能否在代码世界重建人文价值的锚点。不是简单地安装一个技术补丁,而是需要将技术向善的原则转化为法律条款、算法规则和公民意识。唯有如此,才能在日渐强大的数字世界里,守住人们的底线。