GPT-J

От / / Оставьте комментарий

GPT-J GPT-J – генеративная предварительно обученная модель-трансформер от компании EleutherAI, разработанная в 2021 году.  Модель имеет 6 миллиардов параметров и […]

Generative pre-trained transformers, Large language models, Большие языковые модели, генеративные предварительно обученные преобразователи

GPT-J

  • GPT-J – генеративная предварительно обученная модель-трансформер от компании EleutherAI, разработанная в 2021 году. 
  • Модель имеет 6 миллиардов параметров и предназначена для создания человекоподобного текста. 
  • GPT-J имеет архитектуру, отличную от GPT-3, с параллельным обучением нейронной сети и использованием поворотных позиционных вставок. 
  • Модель использует плотное внимание вместо эффективного разреженного, как в GPT-3. 
  • GPT-J имеет 28 уровней-трансформеров и 16 головок для фиксации внимания, а его словарный запас составляет 50257 лексем. 
  • Модель была обучена на наборе данных Pile и использует библиотеку Mesh Transformer JAX для работы со схемой распараллеливания. 
  • GPT-J разработан для генерации текста на английском языке, но не предназначен для перевода или генерации текста на других языках. 
  • Не настроенный GPT-J доступен на различных веб-сайтах и сервисах, которые предлагают услуги по точной настройке модели для решения конкретных задач. 

Полный текст статьи:

GPT-J — Википедия, бесплатная энциклопедия

Похожие статьи:

  1. GPT-3 GPT-3 GPT-3 – языковая модель, разработанная OpenAI.  Модель основана на архитектуре Transformer и использует машинное обучение. ...
  2. Google JAX Google JAX Google JAX – платформа машинного обучения для преобразования числовых функций в Python.  JAX объединяет...
  3. Авто-GPT Автоматический GPT Auto-GPT – агент искусственного интеллекта с открытым исходным кодом, использующий API OpenAI GPT-4.  Он...
  4. GPT-4 GPT-4 GPT-4 – новая языковая модель от OpenAI, разработанная на базе GPT-3.5.  Модель обладает улучшенными возможностями...
  5. Генеративный предварительно обученный трансформатор Оглавление1 Генеративный предварительно обученный трансформатор1.1 Обзор GPT-технологий1.2 Применение и модификации1.3 Мультимодальность и специфика домена1.4 Проблемы с...
  6. GPT-1 GPT-1 Статья представляет собой список терминов и понятий из области машинного обучения.  GPT-1 стал первой крупной...
  7. Скорость обучения Оглавление1 Скорость обучения1.1 Основные понятия машинного обучения1.2 Методы машинного обучения1.3 Алгоритмы машинного обучения2 Скорость обучения —...
  8. ГПТ-2 GPT-2 GPT-2 – языковая модель, разработанная OpenAI.  Модель способна выполнять множество задач, выходящих за рамки создания...
  9. Искусственный интеллект Оглавление1 Искусственный интеллект1.1 Искусственный интеллект (ИИ)1.2 Цели и методы ИИ1.3 История и развитие ИИ1.4 Проблемы и...
  10. Обработка текста Оглавление1 Обработка текста1.1 Определение обработки текста1.2 Текстовые процессоры и фильтры1.3 Отличия обработки текста от редактирования1.4 История...
  11. Разметка диска Оглавление1 Разделение диска на разделы1.1 Основы разделов на жестких дисках1.2 Типы разделов1.3 Функции разделов1.4 Многозагрузочные системы...
  12. Машинный перевод на основе перевода Оглавление1 Машинный перевод на основе перевода1.1 Основы машинного перевода на основе перевода1.2 Дизайн и методы работы1.3...
  13. Уолтер Зинн Оглавление1 Уолтер Зинн1.1 Ранние годы и образование1.2 Роль в Манхэттенском проекте1.3 Строительство и запуск Chicago Pile-31.4...
  14. ЭлеутерAI Элеутерай EleutherAI – массовая некоммерческая исследовательская группа по искусственному интеллекту.  Группа была создана на сервере Discord...
  15. Фонема Оглавление1 Фонема1.1 Определение фонемы1.2 Примеры и обозначения1.3 Различия в языках1.4 Транскрипция и обозначения1.5 Отнесение звуков к...
  16. Серия UNIVAC 1100/2200 Оглавление1 UNIVAC серии 1100/22001.1 История и развитие UNIVAC1.2 UNIVAC 1100 и его модификации1.3 UNIVAC 1101 и...
  17. Microsoft Translator Оглавление1 Переводчик Microsoft1.1 Обзор Microsoft Translator1.2 История и развитие1.3 Возможности и функции1.4 Пользовательский переводчик и Центр...
  18. Модели общения Оглавление1 Модели коммуникации1.1 Модели коммуникации1.2 Критика моделей1.3 Основные компоненты и взаимодействия1.4 Классификация моделей1.5 История и развитие1.6...
  19. История численного прогноза погоды Оглавление1 История численного прогнозирования погоды1.1 История численного прогнозирования погоды1.2 Разработка моделей глобального прогнозирования1.3 Статистика выходных данных...
  20. Масштабирование Платта Оглавление1 Масштабирование по Платту1.1 Контролируемое обучение1.2 Обучение без присмотра1.3 Онлайн-обучение1.4 Пакетное обучение1.5 Мета-обучение1.6 Обучение под непосредственным...
  21. Список алфавитов латинского алфавита Оглавление1 Список алфавитов, написанных латиницей1.1 Орграфы в языках1.2 Примеры языков с орграфами1.3 Орграфы в других языках2...
  22. Центр исследования выравнивания Оглавление1 Исследовательский центр выравнивания1.1 Исследовательский центр Alignment Research Center (ARC)1.2 Миссия и методология1.3 Финансирование и сотрудничество1.4...

Оставьте комментарий

Прокрутить вверх