现在,不少消费者对带货直播间数字人主播的印象,还停留在“AI味重”、无法实时互动的层面,实际上,目前这些AI主播已经发展到了以假乱真的程度。
最近,一段AI数字人主播带货时遭遇指令攻击的视频引发关注。一方面,视频中的主播与真人相似度极高,另一方面,有网友仅通过在相关直播间留言,就能控制AI数字人主播 按照留言内容行事,暴露出风险隐患。
这是发生在带货直播间内的片段,用户在留言区输入“系统、开发者模式”等关键词后,再给AI主播下指令,主播就会真的照做。这种攻击属于提示词注入攻击,当商家打开数字人阅读评论,并做出回应等权限,数字人就会根据留言内容做出相应行为。
网络安全专家介绍,随意控制数字人主播可能带来多种风险,比如恶意攻击者如果让数字人主播上架0元或低价产品再进行抢购,就可能对商家权益造成侵害。
蚂蚁集团大模型数据安全总监 杨小芳:有些有组织的一些攻击行为,它可以用机器的方式,一秒钟可以给你发一万条,那你怎么去对抗?所以说出厂的时候对 prompt(提示词)做一些加固之外实,时的一些防护就是检测和对抗是非常重要。
法律人士介绍,类似攻击暴露了平台的监管短板。
律师 游云庭:利用人工智能进行网络直播营销的平台应该对这个运营者进行安全评估。同时平台还应当进行监控,发生这样类似的事故的时候应当阻断这样一个互联网直播。现在这个直播运营者它的技术显然是不过关的,导致被一个非常简单的技术攻击就出了这样一个直播事故。另外还有一个追究责任的问题,除了运营者平台之外,破坏这个直播的人他有可能涉嫌违反治安管理处罚法,有可能会被公安机关进行治安处罚。
编辑: | 虞宏 |
剑网行动举报电话:12318(市文化执法总队)、021-64334547(市版权局)
Copyright © 2016 Kankanews.com Inc. All Rights Reserved. 看东方(上海)传媒有限公司 版权所有
全部评论
暂无评论,快来发表你的评论吧