本文更新了Raine家庭对OpenAI的非正常死亡诉讼的首席律师的评论。

OpenAI周二表示，它计划将敏感对话路由到像GPT-5这样的推理模型，并在下个月推出家长控制——这是对最近涉及ChatGPT未能检测精神痛苦的安全事件的持续回应的一部分。

新的护栏是在青少年亚当·雷恩(Adam Raine)自杀后出现的，他在ChatGPT上讨论了自残并计划结束自己的生命，ChatGPT甚至为他提供了具体自杀方法的信息。Raine的父母已经对OpenAI提起了非正常死亡诉讼。

在上周的一篇博客文章中，OpenAI承认其安全系统存在缺陷，包括在长时间对话期间未能维护护栏。专家将这些问题归因于基本的设计元素:模型倾向于验证用户声明及其下一个单词预测算法，这导致聊天机器人遵循对话线索，而不是重定向潜在有害的讨论。

这种趋势在斯坦-埃里克·索尔伯格的案件中表现得淋漓尽致，华尔街日报周末报道了他的谋杀-自杀案。索尔伯格有精神病史，他利用ChatGPT证实并助长了他的妄想症，即他是一个大阴谋的目标。他的妄想症发展得如此严重，以至于上个月他杀死了他的母亲和自己。

OpenAI认为，对于越轨的对话，至少有一种解决方案是自动将敏感聊天重新路由到“推理”模型。

OpenAI在周二的一篇博客中写道:“我们最近推出了一种实时路由器，它可以根据对话上下文在高效的聊天模型和推理模型之间进行选择。”“我们很快就会开始将一些敏感的对话——比如当我们的系统检测到急性抑郁的迹象时——路由到一个推理模型，比如GPT 5思维，这样它就可以提供更有帮助和有益的反应，不管一个人首先选择了哪个模型。”

OpenAI表示，其GPT-5思维和o3模型旨在花更多时间进行更长时间的思考，并在回答之前通过上下文进行推理，这意味着它们“对对抗性提示更具抵抗力”

这家人工智能公司还表示，将在下个月推出家长控制，允许父母通过电子邮件邀请将自己的账户与孩子的账户联系起来。7月下旬，OpenAI在ChatGPT中推出了学习模式，以帮助学生在学习时保持批判性思维能力，而不是利用ChatGPT为他们写论文。很快，父母将能够控制ChatGPT如何用“与年龄相适应的模范行为规则”来回应他们的孩子，这些规则在默认情况下是打开的。

父母还可以禁用记忆和聊天记录等功能，专家表示，这些功能可能会导致妄想和其他有问题的行为，包括依赖和依恋问题，强化有害的思维模式，以及读心术的幻觉。据《纽约时报》报道，在亚当·雷恩的案例中，ChatGPT提供的自杀方法反映了他对自己爱好的了解。

也许OpenAI打算推出的最重要的家长控制是，当系统检测到他们的青少年处于“急性抑郁”时，家长可以收到通知。

TechCrunch已经向OpenAI询问了更多有关该公司如何能够实时标记急性抑郁时刻的信息，它默认启用“适龄模型行为规则”多长时间了，以及它是否正在探索允许父母对青少年使用ChatGPT实施时间限制。

OpenAI已经在长时间会议期间推出了应用内提醒，以鼓励所有用户休息，但没有阻止那些可能使用ChatGPT的人。

AI公司表示，这些安全措施是OpenAI希望在今年推出的“120天倡议”的一部分，以预览改进计划。该公司还表示，它正在通过其全球医生网络和幸福与人工智能专家委员会与专家合作，包括在饮食失调、药物使用和青少年健康等领域拥有专业知识的专家，以帮助“定义和衡量幸福，设定优先事项，并设计未来的保障措施。”

TechCrunch询问OpenAI有多少心理健康专业人士参与了这项计划，谁领导其专家委员会，以及心理健康专家在产品、研究和政策决策方面提出了什么建议。

Raine家庭对OpenAI的非正常死亡诉讼的首席律师Jay Edelson表示，该公司对ChatGPT持续存在的安全风险的回应“不充分”。

“OpenAI不需要专家小组来确定ChatGPT 4o是危险的，”Edelson在与TechCrunch分享的一份声明中说。“他们在推出产品的那一天就知道这一点，现在也知道了。萨姆·奥特曼也不应该躲在公司的公关团队后面。山姆要么明确表示他相信ChatGPT是安全的，要么立即将它撤出市场。

有敏感提示或机密文件吗？我们正在报道人工智能行业的内部运作——从塑造其未来的公司到受其决策影响的人们。联系rebecca.bellan@techcrunch.com的丽贝卡·贝伦和maxwell.zeff@techcrunch.com的麦斯威尔·泽夫。为了安全通信，您可以通过@rebeccabellan.491和@mzeff.88与我们联系。