«Сбер» выложил в открытый доступ русскоязычную модель для обучения алгоритма генерации текстов GPT-3

«Сбер» выложил в открытый доступ русскоязычную модель для обучения алгоритма генерации текстов GPT-3

«Сбер» выложил в открытый доступ модель для генерации текстов GPT-3 Large с 760 млн параметров.

  • GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами и другого.
  • «Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow.
  • Это первый обучающий корпус на русском языке.
  • Проектом занялись подразделения «Сбера» SberDevices, SberCloud и команда по разработке ИИ AGI NLP. 
Информация была полезна для вас?

Расскажите пожалуйста что мы можем улучшить?

оцените контент и участвуйте в выборе трендов