«Сбер» выложил в открытый доступ модель для генерации текстов GPT-3 Large с 760 млн параметров.
- GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами и другого.
- «Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow.
- Это первый обучающий корпус на русском языке.
- Проектом занялись подразделения «Сбера» SberDevices, SberCloud и команда по разработке ИИ AGI NLP.