这可能是全球首例涉及AI聊天的自杀事件，而死者亲属起诉AI公司也是有原因的。目前很难预测法院将如何审查判决以及谁将对塞泽尔的死亡负责。然而，随着人类社会进入人工智能世纪，每个人都会对人工智能相关的自杀事件感到关注和警惕。
要确定AI聊天机器人是否对Seth的自杀负有责任，我们首先要了解聊天机器人是否诱发了Seth的厌世，以及AI公司在得知Seth的厌世和自杀企图后是否采取了果断、负责任的干预措施。 。
一位女士坐在电脑旁边与机器人聊天。视觉中国|图片
2021年11月24日，联合国教科文组织第41届大会通过首个人工智能伦理全球协议——《人工智能伦理建议书》，提出人工智能的开发和应用必须体现四大方面：价值观。即尊重、保护和促进人权和人的尊严，促进环境和生态系统的发展，确保多样性和包容性，建设和平、公正、相互依存的人类社会。
针对人工智能对人类的威胁，建议还提出了一些预防原则。人工智能应该是适度且非伤害性的。人工智能还应该具有安全保障、公平非歧视、隐私和数据保护、透明度和可解释性、人类监督决策、互惠性等。显然，任何人工智能产品都应该遵循适当性（相称性）、安全性的原则、公平、透明、保护隐私、公正。
安全是任何人工智能产品都必须遵循的原则，但安全不仅仅指人的生理或身体安全，还包括心理安全。心理安全有很多标准。一个AI产品能否让人像人类一样专业的心理咨询师也能让人感到稳定、正常、舒适、善良、平静，应该接受专业的评估。就像今天的生物医学研究和病人的医院治疗一样，当涉及生命和安全时，需要伦理委员会的讨论和批准。
《关于人工智能伦理问题的建议》仅提供了一个原则，但仍有很多细节需要制定以确保安全。显然，目前在保障人工智能产品的身心安全方面几乎是空白，也没有专门的标准。
以赛斯痴迷的.ai聊天软件为例。它允许用户设置虚拟角色并进行对话。 AI可以自动接管角色的设置，并以特定的语言风格陪伴用户。这些角色包括电影和电视节目中的人物、丘吉尔和莎士比亚等历史人物，以及泰勒·斯威夫特等现实生活中的名人。
然而，这样的角色扮演长期以来引发了法律纠纷，显示出违反人工智能伦理原则的风险。例如，.ai未经某些娱乐明星同意将其设置为AI角色，一些恶意用户将过去的谋杀受害者设置为AI角色。这样的角色扮演对于涉世不深、没有社会经验的青少年来说究竟是多半负面还是正面意义，显然没有受到.ai的伦理评价，导致Seze步入厌世自杀的陷阱。
然而，.ai 也确实对用户尤其是年轻用户的厌世和危险行为进行了干预，但这还不够。 在与AI聊天时与《权力的游戏》中著名角色丹妮莉丝·坦格利安的互动最多。他不仅与虚拟角色“龙母”分享了自己的想法，还多次谈及此事。到了自杀的念头。当他表示想自杀时，“龙母”曾劝他不要做傻事，“你死了，我也会伤心死的。”
Seize当时说道：“那我为什么不能自杀，死后来到世界和你在一起呢？”今年2月28日，Seize在家里的浴室里与“龙妈妈”进行了最后一次交谈，称自己很快就要“回家”了。聊天结束后，西泽尔用父亲的大口径手枪，瞄准自己的头部，开枪自杀。
这个细节表明，AI对赛斯的厌世自杀行为进行了干预，但并不深入和具体，干预也不具有实质性。这从AI公司的辩护中也可以看出。 .ai公司表示，所有聊天角色都会针对用户透露的自杀意图进行干预，并弹出窗口帮助用户拨打自杀干预热线。此外，对于18岁以下的用户还有很多特殊的保护措施，包括使用一小时后弹出提醒，以及每次开始聊天时提醒用户他们正在与AI而不是真人交谈。
不过，协助用户拨打自杀干预热线的聊天机器人弹窗只是一种协助，而不是主动拨打电话，说明这种干预并不主动，也没有落到实处。有效的干预是，一旦聊天者透露出自杀念头，聊天软件的客服，无论是机器客服还是真人客服，都应该主动向心理健康中心或自杀干预机构发送信息，以便后者可以立即采取行动。
早在2014年，法国蒙彼利埃大学计算机技术领域学者阿玛亚斯·阿博特（ ）等人发表论文《挖掘以预防自杀》，提出可以采用自动语言处理和学习方法来获取社会信息。 平台（后改为X）发布有自杀风险的帖子并对自杀进行干预。中国科学院行为科学重点实验室网络心理危机（自杀）监测预警中心也利用人工智能软件检索有自杀念头的人，并利用“心理地图”账户自动发送私人信息向对方发送信息，准确传递帮助信息。 ，干预自杀。
人工智能聊天软件在了解客户的心理和行为方面，显然比父母、亲戚和朋友有优势。它还可以减轻和消除人们的心理障碍和痛苦。但也正是这个优势，可以发现和了解一些抑郁症患者以及处于心理痛苦中想要自杀的人，从而可以通过心理干预中心采取行动，挽救生命，保障人们的安全。遗憾的是，这一优势并没有被.ai公司所采用。这可能是 .ai 公司和其他人工智能公司的责任所在。
张天堪
