Meta* сдержала обещание, данное в прошлом месяце, о скором открытии исследователям доступа к компонентам новой модели искусственного интеллекта (ИИ).
В июне текущего года на выставке VivaTech в Париже Янн ЛеКун, французский исследователь, отвечающий за искусственный интеллект в компании Meta*, представил новую модель ИИ — JEPA.
JEPA (Joint Embedding Predictive Architecture) — эмпирический, предиктивный (прогнозный) метод изучения семантических данных.
По мнению компании-разработчика, новая модель призвана «преодолеть основные ограничения современных, наиболее продвинутых систем ИИ». Речь, конечно же, идет, прежде всего, о конкурентных нейросетях, в частности, о ChatGPT от OpenAI и PaLM2 от Google.
Принцип работы новой системы (а ее назвали I-JEPA) отличается от генеративных моделей. Эти модели, опираясь на огромную базу данных, пытаются «угадать» наиболее логичную последовательность слов, исходя из вопроса пользователя. При этом ИИ не понимает текст, который генерирует, только имитируя мышление.
А новая модель I-JEPA сравнивает абстрактные представления изображений или звуков. ИИ строит «внутреннюю модель внешнего мира» — то, что фактически делает человеческий мозг.
Сам же Янн ЛеКун весьма нелестно отзывается о генеративных лингвистических моделях, представленных на рынке. Он сетует на то, что у современных машинных систем нет «здравого смысла», а у людей он есть. Исследователь стремится наделить ИИ возможностью «размышлять», а не угадывать.
Каждый день наш мозг бессознательно анализирует множество данных, чтобы постичь окружающий мир, Янн ЛеКун хочет, чтобы искусственный интеллект умел делать то же самое…
К слову, у Meta* есть собственная языковая модель под названием LLaMa. Она умеет отвечать на вопросы и обобщать документы. Однако, с точки зрения исследователя, этого недостаточно. Новая модель I-JEPA сфокусирована на генерации изображений и их анализе. Она обучается примерно так же, как человеческий интеллект.
В чем преимущества I-JEPA? Новая разработка поможет, например, избежать неточностей при генерации фотографий. Известный факт: классические генеративные модели иногда «галлюцинируют» — компилируют надлежащую информацию с ложной, а также испытывают проблемы при конструировании таких элементов, как руки или уши людей.
Кроме того, программа отличается от других крупных языковых моделей высокой эффективностью. Согласно заявлению Meta*, ИИ не требует значительных ресурсов для работы.
По мнению Янна ЛеКуна, генеративный ИИ в будущем исчезнет, потому что «у нас будет что-то лучшее, чтобы заменить его». Исследователь полагает, что генеративные модели уходят в прошлое, и компания собирается отказаться от них в пользу предиктивных архитектур.
Meta* сделала исходный код программы I-JEPA открытым. Это решение направлено на стимулирование исследований в области ИИ путем поощрения разработчиков к созданию собственной технологии.
Гонка технологий в разработках новых моделей ИИ продолжается. Градус конкуренции в отрасли растет.
* Компания признана экстремистской, и ее деятельность запрещена в России.