«Сбер» выложил в открытый доступ русскоязычную модель для обучения алгоритма генерации текстов GPT-3

«Сбер» выложил в открытый доступ модель для генерации текстов GPT-3 Large с 760 млн параметров.

• GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами и другого.
• «Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow.
• Это первый обучающий корпус на русском языке.
• Проектом занялись подразделения «Сбера» SberDevices, SberCloud и команда по разработке ИИ AGI NLP.