На высокопрофильном событии по искусственному интеллекту в Лондоне руководители Meta во вторник впервые официально подтвердили и дали подробности о предстоящем выпуске Llama 3, долгожданной следующей итерации открытой модели крупного языкового моделирования компании.
“В течение следующего месяца, на самом деле, даже раньше, надеемся, в очень короткий срок, мы надеемся начать внедрение нашего нового набора следующего поколения фундаментальных моделей, Llama 3,” – заявил Ник Клегг, президент по глобальным делам Meta, на конференции Meta AI Day London, сообщает TechCrunch.
Клегг сказал, что Llama 3 состоит из “ряда различных моделей с различными возможностями, разной универсальностью”, которые начнут появляться в этом году.
После запуска ожидается, что Llama 3 станет самой продвинутой открытой моделью на рынке, за разработку которой Meta вложила значительные средства. Модель обучена 140 миллиардами параметров, дважды больше, чем у Llama 2. Глава Meta Марк Цукерберг уже ранее намекал на некоторые технические детали в январе.
“Мы строим мощную вычислительную инфраструктуру для поддержки нашего будущего плана развития, включая 350 тысяч H100s к концу этого года, и, в общем, почти 600 тысяч эквивалентов H100s вычислительной мощности без учета других ГПУ,” – сказал Цукерберг тогда. Этот уровень вычислительной мощности значительно превосходит тот, который использовался компанией OpenAI для обучения GPT-4, который, по оценкам, требовал около 25 000 ГПУ за 90-100 дней.
Цукерберг также раскрыл, что искусственный интеллект Meta будет работать на базе Llama 3.
Крис Кокс, главный продуктовый директор, сказал, что Llama 3 будет интегрирован во все продукты Meta.
“Наш план заключается в том, чтобы Llama 3 приводил в движение множество различных продуктов и опытов по всей нашей семье приложений,” – сказал он.
Стратегия открытого исходного кода
Выход Llama 3 имеет глубокие последствия не только для Meta, но и для всего сообщества, учитывая философское обязательство компании развивать его как открытую модель в явном противоречии с закрытым проприетарным подходом конкурентов, таких как OpenAI с ChatGPT.
Открыв исходный код своих языковых моделей, Meta нацелена на развитие экосистемы открытого развития и размещение семейства Llama в качестве основы для широкого спектра инструментов и приложений, созданных сторонними разработчиками и исследователями.
“Очень важ
Источник: decrypt.co