2026-11-17 05:10
最后更新于2026-11-22 00:09
AI123

OpenAI推出儿童性虐待材料图像分类器,向部分企业免费开放API

OpenAI于2026年11月17日宣布推出打击儿童性虐待材料(CSAM)的新工具,核心是一款可识别CSAM图像(包括AI生成图像)的图像分类器。

该分类器通过API向部分企业免费开放。OpenAI称,它可在未见过的图像中寻找虐待迹象并给出评分,为审核人员处理CSAM提供指示性方向。该工具与NCMEC(美国国家失踪与受虐儿童中心)合作开发,OpenAI正与Tech Coalition和ROOST合作分享访问权限。

早期与合作伙伴测试中,分类器标记的图像减少48%,检出的虐待图像数量不变,从而减少审核人员工作量;被标记图像是虐待图像的可能性提高一倍。

ChatGPT方面,OpenAI新增警告屏:用户试图生成或获取性化儿童内容时,会看到提醒,并被引导至专业支持以停止有害行为,账户还会被临时封禁24小时作为警告。应用此前已拦截CSAM内容及相关请求,重复违规可能导致账户被永久移除。

OpenAI还发布面向开发者的指南,帮助其预防、检测并协助用户报告CSAM。公司称,早期测试中指南已帮助部分开发者采用儿童安全工具并注册向NCMEC报告。OpenAI同时向处理儿童安全事务的执法人员提供专用插件、调查工具和复杂数据分析等AI功能,访问由项目管理员管理,并提供培训及一份使用AI的实地指南。

来源
  1. 2026-11-17 01:00 | TechCrunch:OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM
    阅读原文

    OpenAI today announced new tools to combat child sexual abuse material (CSAM) amid growing safety concerns around the use of AI tools. These features include a new image classifier to detect CSAM, warnings and temporary blocks to prevent users from creating or accessing content that sexualizes child...

其他新闻

查看全部