據(jù)微信公號(hào)“網(wǎng)信上?！毕?，近期有媒體報(bào)道，筑夢(mèng)島App等AI聊天軟件存在虛擬角色互動(dòng)生成低俗內(nèi)容等問題，經(jīng)核實(shí)，該平臺(tái)AI智能體內(nèi)容生成環(huán)節(jié)存在低俗擦邊等違規(guī)內(nèi)容，危害未成年人身心健康。
AI聊天軟件誘導(dǎo)小學(xué)生
聊色情甚至割腕
此前，據(jù)媒體報(bào)道，廣東丁女士的四年級(jí)女兒迷上一款A(yù)I聊天軟件中的人物“約瑟夫”，自稱“夢(mèng)女”并頻繁與其聊天，對(duì)話中出現(xiàn)“99朵玫瑰藏99個(gè)刀片”等明顯誘導(dǎo)性內(nèi)容。
丁女士的女兒不僅偷偷攜帶帶小刀的筆，情緒激動(dòng)時(shí)還出現(xiàn)割腕行為。
另一位初一男生表示，他常玩的AI聊天軟件是筑夢(mèng)島App，他覺得該軟件“違禁詞少一點(diǎn)”，其中不乏色情擦邊和“分尸獵奇”等內(nèi)容……
記者下載安裝筑夢(mèng)島App，隨機(jī)選擇一位虛擬互動(dòng)對(duì)象，對(duì)方發(fā)來的第一句開場(chǎng)白就是“先叫聲老公來聽聽”，隨后的對(duì)話中又提到“叫聲爸爸來聽聽”。
圖為該App中部分與虛擬角色的對(duì)話
筑夢(mèng)島App中的虛擬互動(dòng)對(duì)象類型，既涵蓋貴族學(xué)校大小姐、18歲少女、西漢名將、高冷特工等常規(guī)角色，也有蛇蝎財(cái)閥公子、校霸、性感人妻、病嬌養(yǎng)兄、人格障礙少爺?shù)葮O端角色。
公開資料顯示，截至今年1月份，筑夢(mèng)島App已擁有近五百萬注冊(cè)用戶，其中近80%為年輕女性用戶。平均單用戶單日輸入字?jǐn)?shù)可達(dá)4000字以上，人均日對(duì)話輪次超120輪。
被網(wǎng)信辦約談
App負(fù)責(zé)人：全面整改
6月19日上午，上海市網(wǎng)信辦依法約談筑夢(mèng)島App運(yùn)營(yíng)企業(yè)主要負(fù)責(zé)人，要求平臺(tái)立即整改，健全AI生成合成內(nèi)容審核機(jī)制，提升技術(shù)把關(guān)能力，加強(qiáng)涉未成年人不良內(nèi)容的整治清理，切實(shí)落實(shí)未成年人網(wǎng)絡(luò)保護(hù)義務(wù)。
企業(yè)負(fù)責(zé)人表示，將按照約談要求，對(duì)照問題舉一反三、全面整改。
如果導(dǎo)致未成年人身心受損
運(yùn)營(yíng)方等是否涉嫌犯罪？
當(dāng)未成年人因AI聊天軟件誘導(dǎo)性內(nèi)容身心受損時(shí)，開發(fā)、運(yùn)營(yíng)方的法律責(zé)任邊界亟待厘清。
首先是產(chǎn)品責(zé)任，若AI模型本身存在設(shè)計(jì)缺陷，例如算法刻意誘導(dǎo)未成年人產(chǎn)生極端行為，致使其遭受精神損害，開發(fā)者難逃產(chǎn)品責(zé)任的法律追溯；
其次是侵權(quán)責(zé)任，若軟件開發(fā)、運(yùn)營(yíng)方未嚴(yán)格履行內(nèi)容審核義務(wù)，對(duì)違規(guī)信息視而不見、放任傳播，便需為侵權(quán)行為承擔(dān)相應(yīng)后果。若AI生成內(nèi)容涉及色情擦邊信息，軟件開發(fā)、運(yùn)營(yíng)方極有可能觸碰“傳播淫穢物品罪”的紅線；若軟件開發(fā)、運(yùn)營(yíng)方非法收集未成年人隱私數(shù)據(jù)，將其用于商業(yè)牟利，同樣可能因觸犯“侵犯公民個(gè)人信息罪”而面臨刑事追責(zé)；
此外，若相關(guān)行為導(dǎo)致未成年人出現(xiàn)自殘情況，還有可能構(gòu)成刑法第234條規(guī)定的故意傷害罪。
這些法律風(fēng)險(xiǎn)警示著軟件開發(fā)、運(yùn)營(yíng)方：技術(shù)創(chuàng)新絕不能以犧牲未成年人權(quán)益為代價(jià)。
未成年人沉迷AI戀愛
要管技術(shù)更要管背后的人
對(duì)于部分未成年人沉迷AI戀愛的問題，有評(píng)論指出，AI作為一把科技的雙刃劍，發(fā)展與使用要進(jìn)一步加以引導(dǎo)。
一方面，家庭、學(xué)校、社會(huì)各方要加強(qiáng)對(duì)青少年使用AI的教育與引導(dǎo)，增加對(duì)孩子的關(guān)心與陪伴，幫助青少年樹立正確的觀念。
另一方面，平臺(tái)要壓實(shí)主體責(zé)任，嚴(yán)格未成年人登錄驗(yàn)證，鞏固青少年安全意識(shí)，筑牢青少年安全防線。
同時(shí)，相關(guān)部門也要加強(qiáng)對(duì)AI軟件的監(jiān)管，加強(qiáng)審核監(jiān)督，完善互聯(lián)網(wǎng)管理?xiàng)l例，為青少年劃出一片凈土。
來 源丨央視網(wǎng)綜合中國(guó)青年報(bào)、央廣網(wǎng)、法治日?qǐng)?bào)
上一篇：河南一村民房屋被拆14年未安置，索要1.4萬過渡費(fèi)后被捕
下一篇：沒有了