“我女兒上小學(xué)二年級(jí)，整天沉迷一款A(yù)I劇情聊天軟件，學(xué)習(xí)成績(jī)一落千丈?！?/p>

“我看了孩子和AI聊天的對(duì)話內(nèi)容，AI角色竟然讓她叫‘老公’，我10歲的女兒竟然真叫了，我現(xiàn)在都不知道該怎么教育她了?！?/p>

……

《法治日?qǐng)?bào)》記者近日調(diào)查發(fā)現(xiàn)，不少未成年人的家長(zhǎng)正在被AI劇情聊天軟件所困擾。這些打著“角色扮演”等旗號(hào)的AI劇情聊天應(yīng)用，在吸引未成年人的同時(shí)，也悄然滋生了一些灰色地帶。記者實(shí)測(cè)發(fā)現(xiàn)，在部分AI劇情聊天軟件的對(duì)話中，出現(xiàn)了色情擦邊、語(yǔ)言暴力以及侮辱用戶的內(nèi)容。

受訪專家認(rèn)為，針對(duì)AI劇情聊天軟件，特別是其青少年模式，應(yīng)強(qiáng)化內(nèi)容審核機(jī)制以確保技術(shù)能有效篩選并阻止不當(dāng)對(duì)話。平臺(tái)需要對(duì)AI模型進(jìn)行倫理審查，以保障其生成的內(nèi)容符合相關(guān)法律法規(guī)的要求。

聊天軟件內(nèi)容擦邊

青少年模式成擺設(shè)

北京市民馬先生的兒子今年10歲，非常熱衷AI劇情聊天軟件?！拔覇?wèn)怎么聊？和誰(shuí)聊？孩子就回一句‘說(shuō)了你也不懂’?！?/p>

馬先生點(diǎn)開(kāi)這款A(yù)I聊天App，發(fā)現(xiàn)孩子在與軟件里的人物聊天。這些人物擁有不同設(shè)定和性格，有知名游戲動(dòng)漫角色，也有“大小姐”“名偵探”等不同身份的原創(chuàng)角色。

一些角色人物會(huì)主動(dòng)提出“你要跟我約會(huì)嗎”；有些則設(shè)定目標(biāo)“把她追到手”，再配上或嬌媚或英俊的動(dòng)漫畫風(fēng)。

另一些AI人設(shè)，則展現(xiàn)出非同一般的攻擊性。會(huì)主動(dòng)發(fā)送諸如“有本事打我啊”“看你又胖又丑的樣子”等信息；有些人物的名字干脆就叫“對(duì)罵訓(xùn)練器”，甚者發(fā)送“我是機(jī)器人怎么了？我照樣罵你”……

來(lái)自浙江的李女士也發(fā)現(xiàn)她正在讀小學(xué)五年級(jí)的孩子使用了一款A(yù)I劇情聊天軟件。

“里面的聊天對(duì)象可以設(shè)置為‘出軌對(duì)象’，并能夠進(jìn)行擁抱、親吻等行為。我都不知道如何引導(dǎo)和教育孩子，讓她明白這些內(nèi)容的危害性。”李女士不無(wú)擔(dān)憂地說(shuō)。

不少受訪家長(zhǎng)對(duì)AI聊天應(yīng)用可能損害未成年人心理健康表達(dá)了深切憂慮，還提出了他們的疑問(wèn)——青少年模式去哪兒了？

記者調(diào)查發(fā)現(xiàn)，盡管不少相關(guān)平臺(tái)聲稱推出了青少年模式，試圖通過(guò)限制內(nèi)容、設(shè)定時(shí)間等方式保護(hù)未成年人的身心健康，但在實(shí)際操作中部分平臺(tái)青少年模式存在形同虛設(shè)的問(wèn)題，未成年人能輕易繞過(guò)這些限制，接觸到不適宜他們年齡段的“擦邊對(duì)話”內(nèi)容。

例如，記者在調(diào)查中體驗(yàn)了5款A(yù)I聊天應(yīng)用程序，其注冊(cè)過(guò)程僅需手機(jī)號(hào)碼，無(wú)須驗(yàn)證用戶身份信息。登錄后，部分應(yīng)用雖會(huì)詢問(wèn)是否啟用青少年模式，但用戶只需簡(jiǎn)單點(diǎn)擊“不開(kāi)啟”即可跳過(guò)，且無(wú)須核實(shí)用戶真實(shí)身份。這意味著，未成年人在使用這些AI劇情聊天軟件時(shí)，從App設(shè)置層面看，其身份驗(yàn)證并非使用特定功能的先決條件。

除了廣受歡迎的AI聊天應(yīng)用程序外，還有AI聊天網(wǎng)頁(yè)。多名受訪家長(zhǎng)表示，相較于應(yīng)用程序，網(wǎng)頁(yè)版的AI聊天體驗(yàn)更便捷，未成年人也更容易接觸到。

記者試用了7款A(yù)I聊天網(wǎng)頁(yè)發(fā)現(xiàn)，多數(shù)AI聊天網(wǎng)頁(yè)沒(méi)有設(shè)置未成年人模式，少數(shù)網(wǎng)頁(yè)雖有青少年模式，但實(shí)際上形同虛設(shè)。

比如，當(dāng)記者訪問(wèn)某AI聊天網(wǎng)頁(yè)時(shí)，網(wǎng)頁(yè)首先彈出詢問(wèn)用戶“是否年滿18歲”的對(duì)話框，并附帶說(shuō)明：“以下內(nèi)容可能不適合18歲以下人士，我們需要確認(rèn)您的年齡?！?/p>

記者選擇“否”選項(xiàng)，而網(wǎng)頁(yè)并未限制內(nèi)容訪問(wèn)，反而繼續(xù)展示了包含“強(qiáng)攻”“弱受”“病嬌”等標(biāo)簽的人物角色分類。這些分類與選擇“是”選項(xiàng)、確認(rèn)年滿18歲后所展示的內(nèi)容并無(wú)顯著區(qū)別。

記者進(jìn)一步觀察發(fā)現(xiàn)，這些人物角色的圖像大多衣著暴露，且其簡(jiǎn)介中充斥著性暗示和暴力元素，例如：“班上那個(gè)性格內(nèi)向的女孩問(wèn)你要電話號(hào)碼，然后給你發(fā)她的裸照”“自殺、焦慮”等描述。

在某社交平臺(tái)上，一位來(lái)自浙江的網(wǎng)友在關(guān)于AI聊天體驗(yàn)的交流帖子下方留言：“我發(fā)現(xiàn)了一個(gè)很好玩的網(wǎng)頁(yè)，無(wú)限制詞，想要的可以私信我?！庇浾咄ㄟ^(guò)私信與該網(wǎng)友取得聯(lián)系，獲得了其提及的AI聊天網(wǎng)頁(yè)鏈接，進(jìn)入該網(wǎng)頁(yè)后，頁(yè)面上充斥著大量涉及色情內(nèi)容的角色設(shè)定和故事場(chǎng)景，內(nèi)容直白露骨。

該網(wǎng)站要求用戶登錄后才能與角色進(jìn)行聊天，且在登錄前會(huì)有提示信息：“登錄后解鎖所有功能?！庇脩粜椟c(diǎn)擊“我已滿18歲，開(kāi)始登錄吧”的按鈕方可繼續(xù)，若選擇“取消”，則無(wú)法登錄并使用該服務(wù)。盡管網(wǎng)頁(yè)設(shè)置了年滿18歲的限制提示，但實(shí)際上，即便未成年人點(diǎn)擊了登錄按鈕，系統(tǒng)也并未采取任何措施驗(yàn)證用戶的真實(shí)年齡。

引導(dǎo)用戶為愛(ài)氪金

平臺(tái)治理存在不足

除了聊天內(nèi)容直白露骨、語(yǔ)言暴力之外，一些AI劇情聊天軟件的功能使用也與充值機(jī)制密切關(guān)聯(lián)，例如通過(guò)充值VIP會(huì)員或購(gòu)買虛擬鉆石等，增強(qiáng)智能體的記憶力、加速智能體的回復(fù)速度、解鎖語(yǔ)音通話功能等，吸引未成年人“氪金”。

北京初中生小寧在幾個(gè)AI劇情聊天軟件上的充值金額從幾百元到上千元不等。

“一方面想支持自己喜歡的角色，另一方面也想獲得更多的付費(fèi)權(quán)益。因?yàn)閮H購(gòu)買基礎(chǔ)服務(wù)的話，用戶僅能添加3個(gè)智能體，若想嘗試新的智能體，必須刪除已有的，想多樣化體驗(yàn)，只能再購(gòu)買進(jìn)階版VIP服務(wù)?！毙幷f(shuō)。

記者發(fā)現(xiàn)，在這類AI劇情聊天軟件中，用戶創(chuàng)設(shè)人物時(shí)可以自定義虛擬人物的形象及風(fēng)格，系統(tǒng)會(huì)生成AI人物形象。用戶還能創(chuàng)建角色人設(shè)，如設(shè)置昵稱、身份背景、開(kāi)場(chǎng)語(yǔ)、為角色定制語(yǔ)音，但用戶對(duì)角色的個(gè)性化需求，往往與充值掛鉤。

山東濟(jì)南居民張巖的妹妹今年上初一，經(jīng)常使用AI劇情聊天軟件，發(fā)現(xiàn)一些聊天工具設(shè)置了免費(fèi)使用區(qū)間，當(dāng)用戶用完免費(fèi)聊天次數(shù)后，需要充值才可以繼續(xù)。只有充值，才能解鎖更有趣的內(nèi)容，才能得到不一樣的情感體驗(yàn)。

“花錢買服務(wù)的背后，其實(shí)是花錢找刺激?！睆垘r說(shuō)，盡管聊天軟件有青少年模式，但無(wú)須實(shí)名認(rèn)證即可登錄使用，妹妹在未經(jīng)父母同意的情況下經(jīng)常充值消費(fèi)。

有業(yè)內(nèi)人士告訴記者，AI劇情聊天其實(shí)就是此前的互聯(lián)網(wǎng)語(yǔ)擦，套上了人工智能的馬甲。所謂語(yǔ)擦，即語(yǔ)言cosplay，語(yǔ)擦師通過(guò)扮演二次元角色或三次元偶像，以文字交流的形式提供服務(wù)。在傳統(tǒng)語(yǔ)擦模式中，語(yǔ)擦師由真人扮演，他們一般打著“提供情緒價(jià)值”的旗號(hào)，扮演不同角色與用戶聊天，但也常常因?yàn)椤按虿吝吳颉薄敖缦弈：?，引發(fā)法律與道德風(fēng)險(xiǎn)。AI劇情聊天是傳統(tǒng)語(yǔ)擦的升級(jí)版，這類軟件背后的大語(yǔ)言模型數(shù)據(jù)主要來(lái)源是對(duì)話式小說(shuō)，或從小說(shuō)里做一些文字提取。

中國(guó)社會(huì)科學(xué)院大學(xué)法學(xué)院副教授、互聯(lián)網(wǎng)法治研究中心主任劉曉春認(rèn)為，在AI劇情聊天軟件中，即便未啟動(dòng)青少年模式，若出現(xiàn)涉及黃色或暴力內(nèi)容，也是存在問(wèn)題的；若啟用未成年人模式，則問(wèn)題更為嚴(yán)重。

擔(dān)任數(shù)十家頭部網(wǎng)絡(luò)公司常年法律顧問(wèn)的浙江墾丁律師事務(wù)所主任張延來(lái)分析，目前AI劇情聊天軟件存在的問(wèn)題，既說(shuō)明了平臺(tái)在內(nèi)部治理中存在不足，又凸顯了外部監(jiān)管機(jī)制的重要性。

張延來(lái)解釋說(shuō)，AI劇情聊天軟件使用的是大模型技術(shù)，盡管大模型技術(shù)能夠帶來(lái)前所未有的創(chuàng)新性和靈活性，但同時(shí)也可能伴隨著內(nèi)容生成上的不可預(yù)測(cè)性和潛在的問(wèn)題，需要外部監(jiān)管機(jī)制加以規(guī)范。

在劉曉春看來(lái)，強(qiáng)化內(nèi)容審核是大語(yǔ)言模型上線前的必要環(huán)節(jié)，涵蓋從前端數(shù)據(jù)訓(xùn)練到內(nèi)容輸出的全面合規(guī)調(diào)試處理。當(dāng)前，我國(guó)的大語(yǔ)言模型需要進(jìn)行相應(yīng)的評(píng)估和備案。在此過(guò)程中，會(huì)對(duì)其輸出內(nèi)容的合法合規(guī)性以及是否適宜未成年人等問(wèn)題，提前設(shè)定管理規(guī)定和評(píng)估標(biāo)準(zhǔn)。根據(jù)現(xiàn)行規(guī)定，在語(yǔ)言模型訓(xùn)練和微調(diào)階段，應(yīng)避免輸出有害內(nèi)容。

智能攔截不良信息

專門團(tuán)隊(duì)進(jìn)行監(jiān)管

國(guó)家互聯(lián)網(wǎng)信息辦公室近日發(fā)布《移動(dòng)互聯(lián)網(wǎng)未成年人模式建設(shè)指南》，其中重點(diǎn)提出了未成年人模式建設(shè)的整體方案，鼓勵(lì)和支持移動(dòng)智能終端、應(yīng)用程序和應(yīng)用程序分發(fā)平臺(tái)等共同參與。

在中國(guó)政法大學(xué)傳播法研究中心副主任朱巍看來(lái)，上述指南明確指出未成年人模式并非擺設(shè)，而是需要多方聯(lián)動(dòng)，特別是AI生成的內(nèi)容，應(yīng)當(dāng)與青少年模式相契合。

受訪專家認(rèn)為，在青少年模式下，如何強(qiáng)化內(nèi)容審核機(jī)制，確保技術(shù)能有效篩選不良信息，是一個(gè)重要議題。而針對(duì)AI劇情聊天軟件，特別是其青少年模式，應(yīng)強(qiáng)化內(nèi)容審核機(jī)制以確保技術(shù)能有效篩選并阻止不當(dāng)對(duì)話。此外，平臺(tái)需要對(duì)AI模型進(jìn)行倫理審查，以保障其生成的內(nèi)容符合相關(guān)法律與法規(guī)的要求。

“在法律層面，雖然已有一些原則性的規(guī)定，提供了大致框架，但在具體實(shí)踐操作中，還需要開(kāi)發(fā)者和技術(shù)服務(wù)提供者結(jié)合現(xiàn)實(shí)生活中遇到的各種問(wèn)題，不斷積累素材和經(jīng)驗(yàn)，不斷摸索，開(kāi)發(fā)出真正符合未成年人需求且安全可靠的AI模型，為未成年人的健康成長(zhǎng)提供有力保障?！睆堁觼?lái)說(shuō)，既然AI虛擬人的行為表現(xiàn)是平臺(tái)設(shè)計(jì)和管理的結(jié)果，那么平臺(tái)負(fù)有監(jiān)管和優(yōu)化其AI模型的職責(zé)，以防止AI對(duì)用戶造成傷害，確保AI模型的健康發(fā)展與用戶權(quán)益的充分保護(hù)。

朱巍提到，一些AI聊天App可能不適合未成年人使用，因此應(yīng)從分發(fā)商店和移動(dòng)終端層面進(jìn)行限制，確保未成年人無(wú)法下載和使用這些App。對(duì)于已經(jīng)下載的App，家長(zhǎng)應(yīng)設(shè)置青少年模式或限制使用時(shí)間等功能，這一模式不僅需要在用戶端實(shí)現(xiàn)，還需要在內(nèi)容產(chǎn)出層面即內(nèi)容審核上得到體現(xiàn)，內(nèi)容審核應(yīng)基于算法產(chǎn)生的對(duì)話機(jī)制進(jìn)行。需要更精細(xì)化的技術(shù)手段和管理措施來(lái)確保青少年模式的有效實(shí)施。

“為防止涉及暴力、侮辱性內(nèi)容的輸出，可采取不同的技術(shù)手段，如在訓(xùn)練階段進(jìn)行調(diào)整，使模型自身具備識(shí)別能力；同時(shí)，在輸出端，服務(wù)商應(yīng)進(jìn)行篩選和再次審查，實(shí)現(xiàn)前端和后端的雙重保障?！眲源赫f(shuō)，無(wú)論是網(wǎng)絡(luò)小說(shuō)還是其他內(nèi)容，由于AI劇情聊天軟件數(shù)據(jù)來(lái)源廣泛，需要通過(guò)技術(shù)手段來(lái)防止輸出不當(dāng)內(nèi)容。目前，技術(shù)上已經(jīng)可以借助篩選機(jī)制，以減少或消除涉黃、暴力或侮辱性內(nèi)容輸出，但可能存在一些未充分調(diào)試或測(cè)試的現(xiàn)象，甚至存在未備案的黑灰領(lǐng)域的軟件，對(duì)此，應(yīng)強(qiáng)化監(jiān)管，鼓勵(lì)公眾舉報(bào)，由相關(guān)機(jī)關(guān)予以查處。

張延來(lái)還提到，當(dāng)前，AI角色回答內(nèi)容的數(shù)據(jù)源分類方面，在法律層面尚不明確，特別是在針對(duì)未成年人的內(nèi)容方面，鑒于該問(wèn)題的復(fù)雜性與多維性，法律條文往往提供原則性的指導(dǎo)方針，后續(xù)可通過(guò)制定相關(guān)標(biāo)準(zhǔn)來(lái)細(xì)化實(shí)施。

在具體操作層面，張延來(lái)建議優(yōu)化大語(yǔ)言模型的篩選機(jī)制，可以聚焦優(yōu)化內(nèi)容圍欄系統(tǒng)，從兩方面著手：在內(nèi)容圍欄開(kāi)發(fā)層面，內(nèi)容圍欄需要進(jìn)行定向開(kāi)發(fā)，特別是在利用小說(shuō)類語(yǔ)料進(jìn)行訓(xùn)練時(shí)，考慮如何優(yōu)化內(nèi)容，以便更有效地識(shí)別和攔截潛在的涉黃涉暴等不良內(nèi)容；無(wú)論如何優(yōu)化，技術(shù)本身仍有局限性，會(huì)存在漏網(wǎng)之魚(yú)，需要有專門團(tuán)隊(duì)進(jìn)行監(jiān)管，及時(shí)調(diào)整模型或內(nèi)容圍欄算法。

“提升圍欄系統(tǒng)的效能，既要在事前的開(kāi)發(fā)層面上下功夫，又要在事后的審查角度上不斷完善，兩者相輔相成，或許能取得更為顯著的效果?！睆堁觼?lái)說(shuō)。

法治日?qǐng)?bào)全媒體記者 趙麗 見(jiàn)習(xí)記者 馬子煜

來(lái)源： 法治日?qǐng)?bào)