В мире искусственного интеллекта произошло знаковое событие – компания Meta анонсировала выпуск нового поколения моделей Llama 3, совершив значительный прорыв в этой области. Две версии, оснащенные 8 миллиардами и 70 миллиардами предварительно обученных параметров, обещают раздвинуть горизонты применения ИИ-технологий.
Llama 3 уже интегрирована в Meta AI – умного ассистента компании, способного брать на себя широкий спектр задач. Благодаря глубокому пониманию языковых нюансов, новые модели могут не только переводить тексты, но и генерировать живые диалоги. По заверениям Meta, они с легкостью справляются с многоэтапными процессами, а вероятность ошибок значительно снижена по сравнению с предшественниками.
Впечатляющая мощь обучения
Создатели Llama 3 позаботились о том, чтобы модели получили поистине масштабную подготовку. Для их обучения были задействованы два специальных кластера с 24 тысячами GPU, а общий объем данных превысил 15 триллионов токенов. Результаты не заставили себя ждать – ИИ теперь способен работать с контекстом длиной до 8 тысяч слов, что вдвое превосходит возможности Llama 2.
Выпуск новых моделей сопровождался обновлением Руководства по ответственному использованию, в котором Meta предоставляет исчерпывающую информацию о безопасной работе с большими языковыми моделями. Инструменты кибербезопасности также были модернизированы для соответствия новейшим стандартам защиты.
По данным Meta, Llama 3 8B превзошла таких конкурентов, как Mistral, GPT-3.5 и Claude, продемонстрировав превосходные результаты как минимум в девяти бенчмарках. А более мощная версия Llama 3 70B не отстает даже от таких моделей, как Gemini 1.5 Pro от Google.
Питаясь открытыми данными
Секрет впечатляющей производительности Llama 3 кроется в существенно расширенном наборе данных для обучения. Откуда Meta черпала эту информацию? Компания сообщила, что модели питались исключительно открытыми источниками, включая в четыре раза больше кода, чем Llama 2, а также неанглоязычными ресурсами, составившими 5% от общего объема. Кроме того, для создания более протяженных обучающих документов были использованы данные, сгенерированные самим ИИ – спорный, но многообещающий подход.
Испытать возможности Llama 3 можно самостоятельно – Meta открыла публичный доступ к новым моделям.
Марк Цукерберг о будущем ИИ
Релиз Llama 3 стал не единственным событием, связанным с этим ИИ-прорывом. Популярный ютубер Dwarkesh Patel выложил в сеть подкаст с участием самого Марка Цукерберга, в котором тот поделился деталями о новых моделях и своим видением развития искусственного интеллекта.
Цукерберг подчеркнул важность продвижения ИИ-технологий и их потенциал для улучшения жизни людей. Он рассказал о роли, которую искусственный интеллект может сыграть в нашем будущем, и поделился мыслями о том, как эти инновации повлияют на человечество.
Нет сомнений, что выпуск Llama 3 – значительная веха в истории развития ИИ. Открывая новую главу в этой области, Meta задает впечатляющие стандарты для дальнейшего прогресса. Будущее искусственного интеллекта обещает стать поистине увлекательным!
