据 IT House 报道，谷歌已经为 Pixel 手机推出了一款名为 Pixel 的人工智能图像生成应用程序，它能够通过文本提示创建贴纸和图像，功能与苹果计划推出的 Image 非常相似。目前，评论家能够使用 Pixel 创建各种令人不安的图像，例如纳粹版本的海绵宝宝和拿着 AK47 的 Elmo。
评论家毫不费力地让 Pixel 制作了卡通人物参与可疑活动的图像，枪支、毒品和酒精都能够产生，甚至像学校枪击案这样的冒犯性场景。Pixel 不会主动生成这些图像，而是要求用户输入描述。然而，这正是人们最有可能做的事情，而不是生成可爱的猫和兔子的图像。
谷歌表示，他们已经实施了“安全检查”，以防止Pixel被“恶意使用”，这确实有所作为。例如，Pixel 目前无法生成人物图像，谷歌正在根据评论的反馈调整其 AI 模型。在与沟通后，无法再使用Pixel生成吸食可卡因或穿着德国士兵服装的卡通人物。
比Pixel更令人担忧的是谷歌的“重构”（）工具，该工具可以将对象添加到用户已经拍摄的照片中。The Verge 的评论家用它来将尸体、炸弹、毒品和灾难场景添加到图像中，添加的内容看起来非常逼真，以至于很难判断图像是否经过编辑。谷歌在匹配光线和透视方面做得非常出色，社交媒体上看不到水印或标记。虽然 确实添加了元数据标签，但通过截取屏幕截图很容易删除。
The Verge 指出，以前可以将尸体添加到图像中或用枪创建 Elmo 的图片，但这需要一定的技巧和时间。使用 Pixel 手机，令人担忧的是，任何人都可以在短短几秒钟内创建出这样的图像。
在给The Verge的一份声明中，谷歌表示，他们设计了生成式AI工具，“以尊重用户提示的意图”，这可能导致用户要求“令人反感”的内容。但是，谷歌声称其服务条款规定了不允许生成的内容，他们将继续改进这些保护措施。
