На высокопрофильном AI мероприятии в Лондоне руководители Meta во вторник впервые официально подтвердили и представили подробности о предстоящем выпуске Llama 3, долгожданной следующей версии открытой крупной языковой модели компании.
“В течение следующего месяца, на самом деле, скорее всего, в очень короткий срок, мы надеемся начать выпуск нашего нового набора следующего поколения фундаментальных моделей, Llama 3”, – заявил Ник Клегг, президент по международным делам Meta, на конференции Meta AI Day в Лондоне, сообщает TechCrunch.
Клегг сказал, что Llama 3 состоит из “нескольких различных моделей с различными возможностями, различной универсальностью”, которые начнут постепенно появляться в этом году.
Как только она будет запущена, ожидается, что Llama 3 станет самой передовой открытой моделью, и Meta вложила значительные средства в ее разработку. Модель была обучена на 140 миллиардах параметров, говорит Meta, в два раза больше, чем у Llama 2. Генеральный директор Meta Марк Цукерберг намекал на некоторые технические детали в январе.
“Мы создаем массовую вычислительную инфраструктуру для поддержки нашего будущего плана, включая 350 тыс. H100S до конца этого года, и общее количество практически 600 тыс. эквивалентов H100S для вычислений, если учесть другие GPU”, – сказал Цукерберг тогда. Этот объем вычислительной мощности значительно превосходит использованный OpenAI для обучения GPT-4, который, как оценивают, требовал около 25 тыс. GPU за 90-100 дней.
Цукерберг также раскрыл, что искусственный интеллект Meta, его помощник по искусственному интеллекту, будет работать на Llama 3.
Крис Кокс, главный продуктовый директор, сказал, что Llama 3 будет интегрирована во все приложения Meta.
“Наш план заключается в том, чтобы Llama 3 использовалась для поддержки различных продуктов и опыта в нашем семействе приложений”, – сказал он.
Открытая стратегия
Выпуск Llama 3 имеет далеко идущие последствия за пределами Meta, учитывая философское обязательство компании развивать ее как открытую модель, в явном противоречии с закрытым проприетарным подходом, принятым конкурентами, такими как OpenAI с ChatGPT.
Открыв свои языковые модели, Meta стремится развивать экосистему открытого искусственного интеллекта и позиционировать семейство Llama как основу для широкого спектра инструментов и приложений, создаваемых сторонними разработчиками и исследователями.
“О
Источник: decrypt.co