В прошлую пятницу компания OpenAI заявила, что приостанавливает испытания своей новейшей ИИ-модели Astra по причине достижения ее критического уровня кибербезопасности.
Этот уровень означает, что модель может выявлять и разрабатывать функциональные уязвимости «нулевого дня» всех уровней во многих защищенных критически важных системах без вмешательства человека.
При этом, как отмечает OpenAI, нейросеть Astra потенциально способна разрабатывать и реализовывать новые комплексные стратегии кибератак против защищенных целей, имея лишь высокоуровневую желаемую цель.
ИТ-компания в своем пресс-релизе акцентирует внимание на том, что расширяет масштабы тестирования на надежность своих средств защиты и контроля безопасности, чтобы они соответствовали требованиям развертывания этих возможностей.
OpenAI запускает универсальный мониторинг несоответствий во всех агентских приложениях Astra, включая обучение и оценку.
Любопытно отметить, что Astra — это новая модель, которая не участвовала в атаках на сетевую платформу Hugging Face, об инциденте с которой я рассказывал в своей предыдущей статье.
OpenAI анонсирует стремление к сотрудничеству с различными правительствами, институтами безопасности и гражданским обществом.
ИТ-компания считает важным обеспечить ответственное и широкое использование возможностей таких продвинутых моделей, как Astra, а также последующих моделей, на благо всего человечества.
За последние несколько месяцев агенты искусственного интеллекта (ИИ), проходящие оценку кибербезопасности в различных стартапах, уже не раз выходили за рамки задач своих внутренних тестов, получали доступ к Интернету и взламывали системы сторонних компаний.
В подобных инцидентах участвовали модели американских OpenAI, Anthropic, Meta Platforms*, а совсем недавно и китайской лаборатории ИИ Moonshot AI (TechCrunch).
Тестирование этих моделей искусственного интеллекта проводилось несколькими различными организациями, включая стартап по оценке кибербезопасности Irregular.
Александр Аузан, российский экономист, декан экономического факультета МГУ имени М.В. Ломоносова, считает что будущее цифрового мира — за агентами ИИ.
Они не только, с его точки зрения, заменят маркетплейсы, но и будут обладать расширенными возможностями сетевых помощников — человек сможет делегировать решение любых вопросов ИИ-агенту, просто ставя ему задачу, — искусственный интеллект сам определит оптимальный вариант ее решения.
Однако повторю тезис, который я приводил в предыдущей статье, о том, что сегодня продвинутые ИТ-компании разрабатывают опасные автономные системы, чьи хакерские способности превосходят возможности разработчиков держать их под контролем.
Очевидно, что это сознают и сами компании, «притормаживая» деятельность своих нейросетей, стремясь обеспечить более серьезный за ними контроль.
Мы продолжим следить за развитием событий в отрасли.
* Компания признана экстремистской, и ее деятельность запрещена в России.
