首页科技快讯诱导小学生聊色情、甚至割腕...官方约谈！

诱导小学生聊色情、甚至割腕...官方约谈！

来源：晰数塔互联网快讯时间：2025年06月24日 02:54

近期有媒体报道

筑梦岛App等AI聊天软件

存在虚拟角色互动

生成低俗内容等问题

经核实

该平台AI智能体内容生成环节

存在低俗擦边等违规内容

危害未成年人身心健康

AI聊天软件诱导小学生

聊色情甚至割腕

此前，有媒体调查发现，广东丁女士的四年级女儿迷上某AI聊天软件中的人物“约瑟夫”，自称“梦女”并频繁与其聊天，对话中出现“99朵玫瑰藏99个刀片”等明显诱导性内容。

丁女士发现，女儿不仅偷偷携带带小刀的笔，情绪激动时还出现割腕行为。

一位初一男生表示，他常玩的AI聊天软件是筑梦岛App，他觉得该软件“违禁词少一点”，其中不乏色情擦边和“分尸猎奇”等内容……

此外，也有不少家长察觉

自己未成年的孩子

深陷于AI聊天软件

沉溺于与软件中的虚拟人物

进行沟通对话

有些软件可轻易进行色情擦边类内容互动，让未成年暴露在色情、暴力场景之下。部分软件对“未成年模式”的设定也是形同虚设，选择开启此模式与否的决定权仍在用户手中。有的甚至不需要实名认证，直接用手机号登录，填上邀请码就能玩。

图为该App中部分与虚拟角色的对话

被网信办约谈

App负责人：全面整改

6月19日上午，上海市网信办依法约谈该App运营企业主要负责人，要求平台立即整改，健全AI生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。

企业负责人表示，将按照约谈要求，对照问题举一反三、全面整改。

AI聊天软件常常通过搭设虚拟空间里的角色扮演，给用户提供虚拟情感陪伴。在智能化的交互中带来的新鲜体验感很容易吸引到未成年人，使他们产生过度的依赖。在与AI聊天的过程中，生活经验缺乏、价值观尚未完全形成的未成年人，也更容易受到色情擦边等违规内容的侵袭，给他们的身心健康带来不小的风险隐患。在未成年人纷纷“触网”的当下，对AI陪伴类服务的监管刻不容缓。

构建AI聊天软件未成年人保护防线

需要社会各方协同发力

监管部门应发挥主导作用，通过立法、执法与技术创新筑牢屏障。

一方面，需完善相关立法，细化AI内容分类分级标准，明确平台对未成年人的保护义务，如强制实施年龄认证、限制未成年人付费功能；

另一方面，积极开展专项行动，以“清朗・整治AI技术滥用”专项行动为抓手，清理违规应用，斩断黑灰产业链。

同时，大力推动AI内容标识和检测技术发展，建立跨平台违规内容数据库，实现精准监管。

网络平台作为内容提供主体，必须强化自身责任。在用户准入环节，应采用生物识别、身份证验证等先进技术强化年龄验证，杜绝虚假身份注册。进一步优化青少年模式，严格限制使用时长，关闭敏感功能，并定向推送科普、教育类适龄内容。

在内容管理方面——

引入专业伦理审查团队，结合AI围栏系统，及时拦截暴力、色情等违规内容；

此外，开发者需在AI模型训练中嵌入正向伦理规则，进行价值观训练，避免AI生成误导性内容；

同时，严格筛选数据，剔除含有暴力、色情等不良语料，并定期更新审核标准，从技术源头把控风险。

家庭与学校也需承担着不可或缺的教育引导职责。家庭教育中，家长应积极引导孩子正确认识虚拟社交，避免过度情感依赖。