Компания «Яндекс» выложила в открытый доступ YaLM 100B — нейросеть для генерации и обработки текстов на русском и английском языках.
Как утверждает компания, это самая большая GPT-подобная модель, опубликованная в свободном доступе.
«YaLM 100В содержит 100 млрд параметров — больше, чем какая-либо из существующих моделей для русского языка. Это позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире», — описывает пресс-служба «Яндекса» работу новой модели.
Новую нейросеть можно использовать для создания рекламы, описания товаров, генерировать любые тексты, даже стихи, и применять ее для классификации текста, например по стилю.
Модель обучали на суперкомпьютерах «Яндекса», которые были признаны самыми мощными в Восточной Европе. В процессе обучения YaLM 100B обработала около 2 ТБ текстов из открытых датасетов и интернета на английском и русском языках.
Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.
