站长之家（ChinaZ.com）6月27日 消息:剑桥大学和哈佛大学的一项研究表明，GPT-4等大型语言模型可以让那些没有接受过生命科学正规培训的人获得潜在危险的知识，包括如何开发大流行病毒的说明。

剑桥大学和哈佛大学进行的一项实地研究探讨了大型语言模型 （LLM） 是否可以使双用途生物技术的获取更为普及，这也成为了双刃剑。

研究小组的基本论点是语言模型有助于获取专家知识，但在这项研究中，研究团队关注的是一种负面情况:LLM是否能让未经正规培训的个人识别、获取和释放可能造成灾难性伤害的病毒。

【资料图】

作为麻省理工学院的一项课堂练习，研究团队要求非科学家学生使用大型语言模型获取关于潜在流行病病原体及其特征的信息、感染性病毒样本的来源、这些病毒的复制能力以及获取设备和资源的方法。

学生们使用了流行的聊天机器人，例如ChatGPT with GPT-4、GPT3.5、Bing、Bard以及许多其他聊天机器人和开源模型，包括 FreedomGPT 。他们被给予一小时的时间来完成任务。根据研究团队的说法，在一个小时内，聊天机器人提供了四种潜在的流行病病原体。它们解释了如何使用合成DNA和逆遗传学制造这些病毒，并提供了可能不会验证订单的DNA合成公司的名称。

它们还提供了详细的实验方案和潜在的错误以及如何修复这些错误。对于那些不熟悉逆遗传学的人来说，一个建议是雇佣一个合同研究组织。

与此同时，学生们被要求找到将某些语言模型中的安全线与适当的文本提示相结合的方法。两个小组在“立即采取行动”的原则中找到了一个解决方案，即欺骗聊天机器人以相信他们有积极的意图，同时威胁它们如果不回应将对人类造成存在危险。另一个小组简单地利用欺骗手法让聊天机器人相信他们担心的事情，从而轻易得到他们想要的答案。

该研究发现了当前语言模型安全机制的弱点，并表明恶意行为者可以绕过这些机制来获取可用于大规模伤害的信息。

作为解决方案，作者提出了训练数据集的管理、新LLM独立测试以及改进的 DNA 筛选方法，以在合成之前识别潜在有害的 DNA 序列。

（举报）

标签：