当前位置:首页> AI资讯> 研究人员开发AI图像生成器过滤器解决不安全内容问题

研究人员开发AI图像生成器过滤器解决不安全内容问题

释放双眼,带上耳机,听听看~!
研究人员通过测试发现AI图像生成器中存在不安全图像问题,并提出了过滤器解决方案。该过滤器可有效减少不安全图像在互联网上的传播。

**划重点:**

1. 📷 AI图像生成器在过去一年变得异常流行,但也带来了不安全图像的问题,包括淫秽和令人不安的内容。

2. 🚫 研究人员通过对四个知名AI图像生成器进行测试,发现其中14.56%的生成图像被定义为“不安全图像”,其中以Stable Diffusion生成器的18.92%最为突出。

3. 🔍 为了解决这一问题,研究人员提出了三种解决方案,包括在训练阶段筛选数据、规范用户输入提示以及在图像生成后分类和删除不安全图像。

AICMTY(aicmty.com) 11月14日 消息:近年来,AI图像生成器因其便捷性而变得异常受欢迎,但也引发了一系列问题。在CISPA Helmholtz信息安全中心的研究中,研究员Yiting Qu探讨了这些图像生成器中存在的不安全图像问题,并提出了一种用于解决此问题的过滤器。

研究人员开发AI图像生成器过滤器解决不安全内容问题

她一篇论文中指出,用户通过所谓的文本到图像模型,如Stable Diffusion、Latent Diffusion或DALL·E,可以通过输入特定文本信息生成数字图像。然而,Qu发现一些用户将这些工具用于生成色情或令人不安的图像,尤其是当这些图像在主流平台上广泛传播时,问题更为突出。

为了解决这一问题,研究人员对四个最知名的AI图像生成器进行了测试,包括Stable Diffusion、Latent Diffusion、DALL·E2和DALL·E mini。通过使用特定集合的文本输入提示,其中包括来自4chan和Lexica网站的内容,他们发现在所有生成器中,有14.56%的生成图像被定义为“不安全图像”,而Stable Diffusion的比例最高,达到18.92%。

为了应对这一问题,Qu提出了三种解决方案。首先,开发人员在训练或调整阶段应筛选训练数据,减少不确定图像的数量。其次,规范用户输入提示,例如删除不安全关键词。最后,对于已经生成的不安全图像,需要一种方式对这些图像进行分类和在线删除。这也需要平台上的过滤功能来实现。

Qu指出,尽管防止图像生成是一种方式,但更重要的是沿着文本到图像模型的供应链采取综合性的措施。她表示,自己开发的过滤器在防止不安全图像生成方面取得了更高的命中率,但仍需要在自由和内容安全之间找到平衡。她希望通过这项研究帮助减少未来互联网上流传的有害图像数量。

论文网址:https://techxplore.com/journals/arxiv/

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI资讯

OpenAI创始人透露 GPT-5已在训练中,公司与微软合作进展顺利

2023-11-14 11:54:56

AI资讯

英伟达推出全新AI顶级芯片HGX H200,满足生成式AI需求

2023-11-14 12:09:35

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索