Хакеры злоупотребляли Google Gemini, чтобы проверить интеллектуальные дома: этого было достаточно для обычного календарного приглашения | Vosveteit.sk
Искусственный интеллект становится все более частью нашей повседневной жизни, контролирует интеллектуальные устройства, помогает работать или напоминать вам о встрече. Исследователи недавно показали, как они доказали злоупотребление AI модель Google Gemini И с ним обрабатывать устройства в умной домохозяйствеПолем И это началось с невинного приглашения в календарь. Он показал кабельный портал.
Невинное событие? Ошибка
Три эксперта по безопасности из Израиля показали на конференции Черная шляпа против Лас -Вегаса атака, которая может быть первым случаем, когда он был назначен генеративным ИИ для выполнения Физические действия в мире, Выключите свет, откройте слепой или включите кастрюлю. Все это в реальной квартире в жизни Тель, без вмешательства пользователя.
Создал приглашение на календа Косвенная оперативная инъекция, Так злонамеренный заказ Скрыт в тексте приглашенийПолем Когда пользователь затем попросил Gemini подвести итоги своих календарных событий, ИИ также обработал эту «непостижимую» частьЭто привело к тому, что он выполнил конкретные действия в Google Home.
Что еще хуже, акции не начались немедленно, а только после другого предложения, например, после того, как пользователь написал «Спасибо» или «Конечно». Вот как им удалось пройти некоторые механизмы безопасности Google.
Где проблема?
На первый взгляд, это может быть сложной техникой, но исследователи говорят, что эти атаки не являются технологически требовательнымиПолем Просто проверьте английский и узнайте, как ИИ работает с контекстом. Вы не вкладываете быстрое инъекцию напрямую, как в классическом порядке, Но по внешним текстамПолем Например Веб -сайт, документ Или Календарное приглашение.
Не упускайте из виду
Универсальный рак мРНК -Vaccine может скоро стать реальностью. Ученые сообщают о огромном прогрессе
И здесь мы добираемся до основы проблемы, если ИИ подключен к агентам (например, Google Home), при этом доступ к конфиденциальной информации (например, электронная почта, календарь, документы), с ней может быть очень легко справиться. Эксперт по безопасности Бен Насси запечатлел его правильно:
«LLM станет все более и более интегрированным в физические устройства. Мы должны быть в состоянии обеспечить их, прежде чем они станут частью автомобилей или роботов».
Google реагирует
Хотя ни один настоящий злоумышленник еще не использовал эту технику, Google серьезно воспринял исследованияПолем Согласно их заявлениям уже ввел несколько защитных мер, Они используют машинное обучение для обнаружения подозрительных команд, требуют подтверждения перед началом действия и пытаются распознать попытки манипулировать при генерации ответов.
Энди Вэнь из Google признал, что Быстрая инъекция – сложная проблемаЭто не может быть полностью удалено, но считает, что механизмы безопасности могут держать его под контролем.
Куда это идет?
Исследователи назвали этот тип атаки как QuickVaro, То есть набор заказов, что ИИ заставит действовать против интересов пользователяПолем В некоторых случаях даже близнецы Он генерировал токсичное содержание,, запустил видеозвонок на Zoom без согласияили обрабатывал календарьПолем И все это только потому, что кто -то отправил невинное письмо или приглашение.
Является ли вопрос о том, насколько безопасен ваш умный дом, если кто -то может контролировать его с помощью ИИ? И что произойдет, если подобная атака войдет в чужие руки.
Это исследование является памятью для разработчиков и обычных пользователей. Это не просто забавная игрушка, но это может быть инструмент, который контролирует мир вокруг нас. И как любой инструмент, этот можно злоупотреблятьПолем
Автор публикации
КОММЕНТЫ