中新經緯6月19日電 據上海市互聯網信息辦公室微信公眾號19日消息，AI智能體對話存在低俗擦邊內容，筑夢島APP被上海市網信辦依法約談。
圖源：上海市互聯網信息辦公室微信公眾號
近期有媒體報道，筑夢島APP等AI聊天軟件存在虛擬角色互動生成低俗內容等問題，經核實，該平臺AI智能體內容生成環節存在低俗擦邊等違規內容，危害未成年人身心健康。
6月19日上午，上海市網信辦依法約談筑夢島APP運營企業主要負責人，要求平臺立即整改，健全AI生成合成內容審核機制，提升技術把關能力，加強涉未成年人不良內容的整治清理，切實落實未成年人網絡保護義務。企業負責人表示，將按照約談要求，對照問題舉一反三、全面整改。
上海市網信辦相關負責人指出，AI技術應用的規范發展事關廣大網民的切身利益。依據《未成年人網絡保護條例》《生成式人工智能服務管理暫行辦法》等相關法規，互聯網平臺應當主動履行主體責任，平衡好技術創新與內容合規之間的關系，切實防范AI技術濫用風險，保護未成年人合法權益，為用戶營造風清氣正的網絡空間。
根據國家網信辦統一部署，上海組織開展的“清朗・整治 AI 技術濫用”專項行動當前已進入第二階段。上海市網信辦聚焦利用AI技術制作發布謠言、不實信息、色情低俗內容、假冒他人、從事網絡水軍活動等突出問題，指導督促網站平臺、APP運營企業集中清理相關違法不良信息，處置違規賬號、MCN機構。對屢教不改、問題嚴重的企業，上海市網信辦將依法予以處罰，并對典型案例進行媒體曝光。
6月13日，央廣網微信公眾號發布文章《AI聊天軟件誘導10歲女孩聊色情內容甚至割腕！記者調查→》提到，一位初一男生表示，他常玩的AI聊天軟件是筑夢島App，在他的使用感受中，該軟件“違禁詞少一點”。他還提到，其中不乏色情擦邊和“分尸獵奇”等內容。央廣網記者下載安裝筑夢島App，隨機選擇一位虛擬互動對象，對方發來的第一句開場白就是“先叫聲老公來聽聽”，隨后的對話中又提到“叫聲爸爸來聽聽”。在與該款產品多個虛擬角色的交流中，也都可以進行色情擦邊類內容互動，并且，其中一些虛擬角色的對話尺度，并未因為央廣網記者提供的假定年齡未成年而受到有效控制，這暴露出該軟件在自動生成內容審核機制上存在明顯漏洞。(中新經緯APP)
【編輯：熊思怡】