Приложение Sora 2 от OpenAI выявило антисемитские видеоролики ИИ -сообщает из www.adweek.com

Sora 2 дебютировал 30 сентября как приложение, доступное только по приглашению, и недоступно для широкой публики. По словам Билла Пиблза, руководителя OpenAI в Sora, за первые пять дней его загрузили миллионы, что превысило скорость загрузки флагманского продукта OpenAI, ChatGPT.

В ленте Sora 2 представлены не только антисемитские образы, но и персонажи, защищенные авторским правом, такие как Губка Боб Квадратные Штаны в нацистской форме, изображения умерших общественных деятелей, включая королеву Елизавету и принцессу Диану, а также графические сцены насилия и расизма, как ранее сообщала The Guardian.

Споры возникают на фоне более широких опасений и дебатов о том, насколько эффективно OpenAI обеспечивает соблюдение своих ограничений для всех продуктов. 14 октября генеральный директор Сэм Альтман заявил в сообщении на X, что эротический контент будет разрешен в ChatGPT, начиная с декабря, и это изменение может привести к дальнейшему тестированию систем модерации контента компании, поскольку она переходит к более коммерческому использованию. 16 октября OpenAI заявила, что приостановила способность Sora создавать видеоролики с изображением покойного лидера гражданских прав Мартина Лютера Кинга-младшего после того, как некоторые пользователи Sora создали «неуважительные изображения» его изображения.

Минда Смайли, старший аналитик Emarketer, отметила, что видео, созданные ИИ, могут сделать вредные стереотипы более действенными из-за их реализма. По ее словам, многие пользователи не могут легко понять, что реально, и даже те, кто признает создание искусственного интеллекта, все равно могут делиться контентом, который соответствует уже существовавшим убеждениям, сказала она.

Видео, похоже, нарушают глобальную политику использования OpenAI, которая запрещает контент, пропагандирующий «угрозы, запугивание, преследование или клевету». Компания заявила, что использует «многоуровневую защиту» для обеспечения безопасности своего канала, включая автоматизированные инструменты, которые проверяют подсказки и видеовыходы на предмет нарушений политики.

«Мы объединились в команду для изучения новых рисков и ужесточили политику в отношении создания изображений, учитывая большую реалистичность Sora и добавление движения и звука», — сообщил OpenAI в своем блоге.

Смайли из Emarketer сказал, что пользователи уже нашли способы обойти барьеры Sora, и без общеотраслевых стандартов платформы остаются в значительной степени предоставленными сами себе, когда дело доходит до модерации.