Яндекс выложил на GitHub самую большую GPT-подобную нейросеть

YaLM 100B — нейронная сеть, похожая на GPT, для генерации и обработки текста на русском и английском языках.

YaLM обучали на суперкомпьютерах Яндекса. В процессе обучения нейросеть обработала 2 ТБ текстовых данных, которые были взяты из Сети и открытых наборов данных. Теперь доступ к YaLM 100B открыт и проект можно найти на GitHub.

Технические подробности можно найти в статьях на Medium (англ.) и Хабр (рус.).

Специалисты Яндекса используют YaLM 100В более чем в 20 проектах, включая поисковик и голосового ассистента Алису. Также нейросеть генерирует рекламные объявления, готовит быстрые ответы на странице поиска и  помогает сотрудникам службы поддержки отвечать на запросы.