Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B. Её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B — самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке.
ruGPT-3.5
Внутри GigaChat находится целый ансамбль моделей — NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 млрд параметров (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B.
Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб. Финальный чекпоинт модели — это базовый претрейн для дальнейших экспериментов.
mGPT
Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT.
Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.
Андрей Белевцев, старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка: «Сбер выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, Пробуйте, экспериментируйте и обязательно делитесь полученными результатами»
фото: freepik.com
*Лицензия MIT (англ. MIT License) — лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом.
