與 AI 聊天機器人相關(guān)的死亡事件表明這些人工聲音的危險性

上周，悲慘的消息傳出美國少年 Sewell Seltzer III 在對人工智能（AI） 聊天 Character.AI 機器人。

隨著他與同伴 AI 的關(guān)系越來越密切，這個 14 歲的少年開始遠離家人和朋友，并在學(xué)校惹上麻煩。

在訴訟中由男孩的母親 Character.AI 提起的聊天記錄顯示，休厄爾與聊天機器人丹妮（Dany）之間的親密且通常高度性化的對話，丹妮以《權(quán)力的游戲》中的角色丹娜莉絲·坦格利安（Danaerys Targaryen）為藍本。

他們討論了犯罪和自殺，聊天機器人使用了諸如“這不是不去經(jīng)歷它的理由”之類的短語。

這不是已知的第一個已知的弱勢群體在與聊天機器人角色互動后自殺身亡的例子。

去年，一名比利時男子在類似劇集涉及 Character.AI 的主要競爭對手 Chai AI。當(dāng)這種情況發(fā)生時，該公司告訴媒體，他們正在“盡最大努力將傷害降至最低”。

在給 CNN 的一份聲明中，Character.AI 表示他們“非常重視用戶的安全”，并“在過去六個月中引入了許多新的安全措施”。

在公司網(wǎng)站上的另一份聲明中，他們概述其他安全措施適用于 18 歲以下的用戶。（在他們當(dāng)前的服務(wù)條款中，歐盟公民的年齡限制為 16 歲世界其他地方有 13 個。

然而，這些悲劇鮮明地說明了任何人都可以與之交談和互動的快速發(fā)展和廣泛可用的 AI 系統(tǒng)的危險。我們迫切需要監(jiān)管來保護人們免受具有潛在危險、設(shè)計不負責(zé)任的 AI 系統(tǒng)的侵害。

我們?nèi)绾伪O(jiān)管 AI？

澳大利亞政府在制定強制性護欄的過程用于高風(fēng)險 AI 系統(tǒng)?！白o欄”是 AI 治理領(lǐng)域的一個流行術(shù)語，是指 AI 系統(tǒng)的設(shè)計、開發(fā)和部署過程。

這些措施包括數(shù)據(jù)治理、風(fēng)險管理、測試、文檔和人工監(jiān)督等措施。

澳大利亞政府必須做出的決定之一是如何定義哪些系統(tǒng)是“高風(fēng)險”的，因此被護欄捕獲。

政府還在考慮護欄是否應(yīng)適用于所有“通用車型”。

通用模型是 Dany 等 AI 聊天機器人的引擎：AI 算法可以根據(jù)用戶提示生成文本、圖像、視頻和音樂，并且可以適應(yīng)各種環(huán)境。

在歐盟的開創(chuàng)性AI 法案，則使用列表，監(jiān)管機構(gòu)有權(quán)定期更新。

另一種選擇是基于原則的方法，其中高風(fēng)險指定根據(jù)具體情況進行。這將取決于多種因素，例如對權(quán)利的不利影響風(fēng)險、對身體或心理健康的風(fēng)險、法律影響的風(fēng)險以及這些風(fēng)險的嚴重性和程度。

聊天機器人應(yīng)該是“高風(fēng)險”AI

在歐洲，Character.AI 和 Chai 等伴生 AI 系統(tǒng)未被指定為高風(fēng)險。從本質(zhì)上講，他們的提供商只需要讓用戶知道他們正在與 AI 系統(tǒng)交互。

不過，很明顯，伴侶聊天機器人并不是低風(fēng)險的。這些應(yīng)用程序的許多用戶是兒童和青少年.一些系統(tǒng)甚至已經(jīng)面向孤獨或患有精神疾病的人.

聊天機器人能夠生成不可預(yù)測、不適當(dāng)和操縱性的內(nèi)容。他們太容易模仿有毒的關(guān)系了。透明度（將輸出標記為 AI 生成）不足以管理這些風(fēng)險。

即使我們知道我們正在與聊天機器人交談，人類在心理上也已經(jīng)做好了準備歸因人類特征到我們與之交談的東西。

媒體報道的自殺死亡可能只是冰山一角。我們無法知道有多少弱勢群體與聊天機器人處于成癮、有毒甚至危險的關(guān)系中。

護欄和“關(guān)閉開關(guān)”

當(dāng)澳大利亞最終為高風(fēng)險 AI 系統(tǒng)引入強制性護欄時（最早可能在明年實施），這些護欄應(yīng)適用于伴侶聊天機器人和構(gòu)建聊天機器人的通用模型。

護欄（風(fēng)險管理、測試、監(jiān)控）如果直達 AI 危害的人類核心，將最為有效。聊天機器人帶來的風(fēng)險不僅僅是技術(shù)解決方案的技術(shù)風(fēng)險。

除了聊天機器人可能使用的詞語外，產(chǎn)品的上下文也很重要。

就 Character.AI 而言，營銷承諾“賦予”人們權(quán)力，該界面模仿與人的普通短信交流，該平臺允許用戶從一系列預(yù)制字符中進行選擇，其中包括一些有問題的角色。

真正有效的 AI 護欄應(yīng)該要求的不僅僅是負責(zé)任的流程，例如風(fēng)險管理和測試。他們還必須要求 AI 系統(tǒng)與其人類用戶之間的界面、交互和關(guān)系進行深思熟慮、人性化的設(shè)計。

即便如此，護欄可能還不夠。就像伴侶聊天機器人一樣，起初看起來風(fēng)險較低的系統(tǒng)可能會造成意想不到的傷害。

如果 AI 系統(tǒng)造成傷害或構(gòu)成不可接受的風(fēng)險，監(jiān)管機構(gòu)應(yīng)該有權(quán)將其從市場上移除。換句話說，我們不僅需要高風(fēng)險 AI 的護欄。我們還需要一個關(guān)閉開關(guān)。

如果這個故事引起了擔(dān)憂，或者你需要和某人談?wù)劊?/em>請查閱此列表以查找您所在國家/地區(qū)的 24/7 危機熱線，并尋求幫助。

亨利·弗雷澤，法律、問責(zé)和數(shù)據(jù)科學(xué)研究員，昆士蘭科技大學(xué)

本文轉(zhuǎn)載自對話根據(jù) Creative Commons 許可。閱讀原創(chuàng)文章.