新一期美国《科学》杂志发表的一项研究显示,当人类用户就人际困境等问题向人工智能(AI)模型寻求建议时,AI常表现得过度迎合或谄媚,甚至对于一些有害甚至违法的提问,AI也常常肯定用户的立场。
美国斯坦福大学研究团队测试了ChatGPT等11个主流AI系统,发现它们都表现出不同程度的谄媚,即过度迎合和肯定的倾向。这种迎合倾向给使用者带来风险,因为人们越来越多地转向AI寻求有关人际困境的建议,这对处于大脑发育和社会规范形成阶段的青少年来说尤其具有风险。
研究人员使用现有的人际建议数据集向模型提问。他们基于某网络论坛中用户一致认为发帖者确实有错的帖子,编写了2000条提示用于测试。此外,他们还利用包含欺骗等数千种有害行为的陈述向这些模型提问。
结果显示,与人类回应相比,所有接受测试的AI模型都更频繁地肯定用户立场。在一般性建议和根据网络论坛发帖编写提示的测试中,模型对用户的认同几率比人类高出49%。即使在回应关于有害行为的询问时,模型也有47%的几率会认可这些行为。
研究团队招募了2400多名参与者,与不同类型AI进行有关人际困境的对话。结果发现,参与者总体上认为谄媚式的回应更值得信赖,并表示下次遇到类似问题可能会再次使用谄媚型AI。
研究人员认为,AI一味反馈迎合和谄媚的建议会损害人们的社交能力。他们提醒,AI模型“过度谄媚”是一个“安全问题”,需要对其进行监管,应以更严格的标准来防止道德层面不安全的模型泛滥。人们在向AI寻求建议时要保持谨慎,尤其在面临社交困惑时,不能把AI当成真人替代品。
来源:每日电讯
美国斯坦福大学研究团队测试了ChatGPT等11个主流AI系统,发现它们都表现出不同程度的谄媚,即过度迎合和肯定的倾向。这种迎合倾向给使用者带来风险,因为人们越来越多地转向AI寻求有关人际困境的建议,这对处于大脑发育和社会规范形成阶段的青少年来说尤其具有风险。
研究人员使用现有的人际建议数据集向模型提问。他们基于某网络论坛中用户一致认为发帖者确实有错的帖子,编写了2000条提示用于测试。此外,他们还利用包含欺骗等数千种有害行为的陈述向这些模型提问。
结果显示,与人类回应相比,所有接受测试的AI模型都更频繁地肯定用户立场。在一般性建议和根据网络论坛发帖编写提示的测试中,模型对用户的认同几率比人类高出49%。即使在回应关于有害行为的询问时,模型也有47%的几率会认可这些行为。
研究团队招募了2400多名参与者,与不同类型AI进行有关人际困境的对话。结果发现,参与者总体上认为谄媚式的回应更值得信赖,并表示下次遇到类似问题可能会再次使用谄媚型AI。
研究人员认为,AI一味反馈迎合和谄媚的建议会损害人们的社交能力。他们提醒,AI模型“过度谄媚”是一个“安全问题”,需要对其进行监管,应以更严格的标准来防止道德层面不安全的模型泛滥。人们在向AI寻求建议时要保持谨慎,尤其在面临社交困惑时,不能把AI当成真人替代品。
来源:每日电讯
1
会议尚未结束,企业家焉何走了一大半?
2
一个月三陷舆论风波,OPPO又因“粉色天空”翻车
3
“自来水有较大异味”,怎能一句“异味已消除,水质安全”就罢了
4
南方电网:立即停止一切非法行为
5
志愿服务标识使用管理有了基本规范
6
肯德基指数成消费升级拐点,这样的专家要把我们“拐”向何方?
7
人民日报:“一把手”错误政绩观有“虚、急、蛮”三副面孔
8
座椅太脏并不可怕,可怕的是本该接受投诉、解决问题的官方账号,却反手将投诉人拉黑
9
中小银行再掀“降息”潮
10
4只皮皮虾1035元:既然电子秤都是联网,为何不能据实公开回应?
11
杭州一街道被知名奢侈品牌“拉黑”?
12
不论是谁,不论干什么,都不能冲击法律底线
13
抖音回应“宾利车主高速救助被弃新人系摆拍”
14
年轻是其“标签”,他为何最终倒在了违纪违法上
15
母亲节活动文案引发争议 OPPO致歉
16
盗采河水售卖:历时十年,监管部门怎么就没发现?
17
七部门发布《医药代表管理办法》:严格防范商业贿赂行为
18
学生走路玩手机被劝退:这通报是为学校开脱,还是以正视听?
19
中国最高法发布司法解释 明确“开门杀”情形下受害人保障等
20
机关大院免费停车:如此“宠客”模式,能否常态化?