GPT-J

От / / Оставьте комментарий

GPT-J GPT-J — генеративная предварительно обученная модель-трансформер от компании EleutherAI, разработанная в 2021 году.  Модель имеет 6 миллиардов параметров и […]

Generative pre-trained transformers, Large language models, Большие языковые модели, генеративные предварительно обученные преобразователи

GPT-J

  • GPT-J — генеративная предварительно обученная модель-трансформер от компании EleutherAI, разработанная в 2021 году. 
  • Модель имеет 6 миллиардов параметров и предназначена для создания человекоподобного текста. 
  • GPT-J имеет архитектуру, отличную от GPT-3, с параллельным обучением нейронной сети и использованием поворотных позиционных вставок. 
  • Модель использует плотное внимание вместо эффективного разреженного, как в GPT-3. 
  • GPT-J имеет 28 уровней-трансформеров и 16 головок для фиксации внимания, а его словарный запас составляет 50257 лексем. 
  • Модель была обучена на наборе данных Pile и использует библиотеку Mesh Transformer JAX для работы со схемой распараллеливания. 
  • GPT-J разработан для генерации текста на английском языке, но не предназначен для перевода или генерации текста на других языках. 
  • Не настроенный GPT-J доступен на различных веб-сайтах и сервисах, которые предлагают услуги по точной настройке модели для решения конкретных задач. 

Полный текст статьи:

GPT-J — Википедия, бесплатная энциклопедия

Похожие статьи:

  1. GPT-3 GPT-3 GPT-3 — языковая модель, разработанная OpenAI.  Модель основана на архитектуре Transformer и использует машинное обучение. ...
  2. Авто-GPT Автоматический GPT Auto-GPT — агент искусственного интеллекта с открытым исходным кодом, использующий API OpenAI GPT-4.  Он...
  3. GPT-4 GPT-4 GPT-4 — новая языковая модель от OpenAI, разработанная на базе GPT-3.5.  Модель обладает улучшенными возможностями...
  4. Google JAX Google JAX Google JAX — платформа машинного обучения для преобразования числовых функций в Python.  JAX объединяет...
  5. GPT-1 GPT-1 Статья представляет собой список терминов и понятий из области машинного обучения.  GPT-1 стал первой крупной...
  6. Скорость обучения Скорость обучения Основные понятия машинного обучения Контролируемое обучение: обучение с заранее определенными целями и критериями оценки. ...
  7. ГПТ-2 GPT-2 GPT-2 — языковая модель, разработанная OpenAI.  Модель способна выполнять множество задач, выходящих за рамки создания...
  8. Разметка диска Разделение диска на разделы Основы разделов на жестких дисках Разделение диска на разделы позволяет эффективно использовать...
  9. ЭлеутерAI Элеутерай EleutherAI — массовая некоммерческая исследовательская группа по искусственному интеллекту.  Группа была создана на сервере Discord...
  10. Близнецы (модель языка) Близнецы (языковая модель) Google анонсировала мультимодальную языковую модель искусственного интеллекта (ИИ) под названием Gemini.  Gemini обучалась...
  11. ЧатGPT Общение в чате ChatGPT — чат-бот с искусственным интеллектом, разработанный OpenAI.  ChatGPT работает на основе языковой...
  12. Список алфавитов латинского алфавита Список алфавитов, написанных латиницей Орграфы в языках Орграфы — это буквы, которые используются для обозначения одного...
  13. Модель данных Модель данных Определение модели данных Модель данных — это абстрактное представление данных, которое описывает их структуру...
  14. GDDR SDRAM GDDR SDRAM (оперативная память) Основные понятия в области памяти Согласованность памяти: обеспечение целостности данных при их...
  15. Модель преобразования текста в видео Модель преобразования текста в видео Модель преобразования текста в видео использует описание на естественном языке для...
  16. Зона А Сайт А История и использование объекта А Объект А был исследовательским центром в Чикаго, где проводились...
  17. Машинный перевод Машинный перевод Основы машинного перевода Машинный перевод (MT) — это процесс перевода текста с одного языка...
  18. Модель преобразования текста в изображение Модель преобразования текста в изображение Модели преобразования текста в изображение разрабатываются с середины 2010-х годов благодаря...
  19. Ударение и сокращение гласных в английском языке Сокращение ударений и гласных в английском языке Ударение является характерной чертой английского языка на уровне слова,...

Оставьте комментарий

Прокрутить вверх