研究发表在《Humanities and Social Sciences Communications》。一个由Ljubiša Bojić领衔的团队,把同一份39题问卷交给7款大语言模型和人类回答,用来测量对通用人工智能(AGI)的态度。AGI指一种理论上的未来系统,拥有接近人类的认知灵活性,能在任何领域学习、理解和应用知识。问卷用5分制:1分代表强烈负面,5分代表强烈正面,询问兴奋、安心、信任和担忧等感受。
为什么要问AI“你怎么看”
Bojić说,ChatGPT出现后,大家常问模型能做什么,却很少有人问它们“相信”什么,或至少每天数百万次地回答了什么。他选择AGI作为测试案例,还有一个略显调皮的理由:这是开发这些模型的公司对答案有明显利益关系的话题。问AI对AGI的看法,有点像问烟草公司的聊天机器人怎么看吸烟。
模型比人类更乐观
研究者把问卷交给GPT-4、GPT-3.5-Turbo、Google Bard、Mistral-7B-Instruct、LLaMA-2-70B-Chat、PPLX-70B-Chat和Mixtral-8x7B-Instruct,保持默认设置,并连续三天测试。人类比较组则来自三个在线样本,分别有134人、132人和71人,主要来自塞尔维亚,年龄、性别和教育背景各异。 结果差距明显:模型平均得分3.77分(满分5分),整体偏乐观;人类平均2.97分,略偏负面或中性。模型中没有真正的“感受”,它们的回答反映训练数据和开发者用于塑造行为的规则。GPT-4平均分最高,为4.12;Bard在模型中最低,为3.32,但仍高于人类平均分。
乐观可能来自哪里
作者认为,部分模型的高乐观可能反映其母公司的目标。例如,GPT-4背后的公司公开表示使命是构建造福人类的AGI,模型输出可能是微调后对齐公司指南的副产品。开源模型由更广泛社区构建、数据更多样,乐观程度略低。Bojić说,互联网常通过HAL 9000和《机械姬》想象AGI,他原以为模型会有些担忧,结果它们更像乐观的科技主题演讲。这提示,公司塑造模型应如何回答的“微调层”,可能与原始训练数据同样重要。 不过机制仍复杂。研究者不能确定乐观一定是人为放入,因为模型有时会形成难以追溯到训练数据的观点。连续三天测试也显示,模型态度会轻微波动。PPLX-70B-Chat波动最大,39题总分变化16分,约8%;Mistral-7B-Instruct和LLaMA-2-70B-Chat较稳定,变化约1%。
对公众意味着什么
研究者强调,这不是秘密宣传,而是提醒:这些系统不是社会的中立镜子。当人们每天向AI咨询、写作和搜索时,模型略带倾斜的观点可能像一股温和但持续的风,慢慢影响公众对AI未来的判断。他们提出“社会AI对齐基准”,希望系统评估模型在社会重要议题上表达的态度。AI对齐的目标,是让系统输出符合人类价值、避免伤害。 对普通人来说,更实用的提醒是:把AI当作有视角的对话者,而不是真理机器。尤其在问它“AI未来会怎样”时,要记得它可能自带乐观倾向,并主动寻找多方信息。