Шиншилла (языковая модель)

От / / Оставьте комментарий

Шиншилла (языковая модель) Chinchilla — семейство больших языковых моделей, разработанных DeepMind.  Оно названо «шиншилла» и является дальнейшим развитием предыдущего семейства […]

Chatbots, Google DeepMind, Large language models, большие языковые модели, Чат-боты

Шиншилла (языковая модель)

  • Chinchilla — семейство больших языковых моделей, разработанных DeepMind. 
  • Оно названо «шиншилла» и является дальнейшим развитием предыдущего семейства моделей под названием Gopher. 
  • Оба семейства моделей были обучены для исследования законов масштабирования больших языковых моделей. 
  • Chinchilla превосходит GPT-3 по своим характеристикам и требует меньше вычислительной мощности для вывода и точной настройки. 
  • На основе обучения ранее использованным языковым моделям было определено, что если удвоить размер модели, то необходимо также иметь в два раза больше обучающих токенов. 
  • Chinchilla имеет 70 миллиардов параметров и в четыре раза больше данных. 
  • Средний показатель точности Chinchilla по тесту Massive Multitask Language Understanding (MMLU) составляет 67,5%, что на 7% выше, чем у Gopher. 
  • Chinchilla вносит свой вклад в разработку эффективной парадигмы обучения для больших авторегрессионных языковых моделей с ограниченными вычислительными ресурсами. 

Полный текст статьи:

Шиншилла (языковая модель) — Википедия

Похожие статьи:

  1. Суслик (протокол) Gopher (protocol) История и развитие Gopher Gopher был разработан в 1991 году для предоставления простого интерфейса...
  2. Скорость обучения Скорость обучения Основные понятия машинного обучения Контролируемое обучение: обучение с заранее определенными целями и критериями оценки. ...
  3. Языковая модель Языковая модель Языковые модели используются для обработки естественного языка и генерации текста.  Они основаны на статистических...
  4. Американский средний класс Американский средний класс Определение и характеристики среднего класса Средний класс — это социальный класс, который занимает...
  5. Метод обучения Метод обучения Обзор методов обучения Методы обучения включают в себя различные подходы к преподаванию и обучению. ...
  6. БЛУМ (языковая модель) ЦВЕТЕНИЕ (языковая модель) Многоязычная языковая модель BigScience Large Open-science (BLOOM) основана на преобразовании 176 миллиардов параметров. ...
  7. Большая языковая модель Большая языковая модель LLM (Large Language Model) — это языковая модель с большим количеством параметров, обученная...
  8. Теория обучения Теория обучения Определение теории обучения Теория обучения предлагает рекомендации по улучшению обучения и развития.  Она описывает,...
  9. BERT (языковая модель) BERT (языковая модель) BERT — это модель глубокого обучения, разработанная Google для понимания естественного языка.  BERT...
  10. Языковой тег IETF Языковой тег IETF Определение и использование языковых тегов Языковые теги используются для идентификации языков в различных...
  11. Языковая семья Языковая семья Языки классифицируются по языковым семьям, которые имеют общее происхождение и сходство в структуре.  Протоиндоевропейский...
  12. ДипСпид Высокая скорость Обзор DeepSpeed DeepSpeed — это библиотека для оптимизации глубокого обучения с открытым исходным кодом,...
  13. Языковые отношения Языковые установки Определение и роль языковых установок Языковые установки — это оценочные реакции на языки и...
  14. Модель данных Модель данных Определение модели данных Модель данных — это абстрактное представление данных, которое описывает их структуру...
  15. Экономическая модель Экономическая модель Основы экономических моделей Экономические модели представляют собой упрощенные версии реальности, которые помогают анализировать и...
  16. Тест Вальда Тест Вальда Тест Вальда — классический подход к проверке гипотез, основанный на взвешенном расстоянии между оценкой...
  17. Теория обучения (образование) Теория обучения (education) Обзор теорий обучения Теории обучения охватывают широкий спектр подходов к обучению, включая конструктивизм,...
  18. Reqwireless Беспроводной доступ в Интернет Приобретение Reqwireless Google Reqwireless была разработчиком ПО для доставки контента на мобильные...

Оставьте комментарий

Прокрутить вверх