Microsoft и NVIDIA создали крупнейшую генеративную языковую ИИ-модель

Microsoft и NVIDIA создали крупнейшую генеративную языковую ИИ-модель

Поделиться

Две компании объединили свои усилия и представили модель генерации естественного языка Megatron-Turing Natural Language Generation (MT-NLG), которая содержит 530 миллиардов параметров. На сегодня это самая большая и самая мощная в мире монолитная трансформаторная языковая модель. 

MT-NLG имеет в три раза больше параметров по сравнению с существующей крупнейшей моделью такого типа. В число возможностей новой системы входят:

  • Предсказание текста по смыслу.
  • Понимание прочитанного.
  • Генерация логических выводов.
  • Создание заключений на естественном языке.
  • Различение смысла слов с несколькими значениями.

Для обучения этой модели были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также использованы мощности суперкомпьютера NVIDIA Selene и библиотеки DeepSpeed.

При этом разработчики уточняют, что языковая модель хорошо справляется с возложенными на нее задачами, однако может использовать стереотипы и предубеждения, которые содержатся в загруженных данных. Другими словами, подобные системы иногда бывают токсичными и агрессивными, поскольку вбирают в себя всю лексику, на которой они обучаются.

NVIDIA создала правдоподобный синтезатор речи

Добавить комментарий

Ваш адрес электронной почты не будет опубликован. Обязательные поля помечены *