Модель «Мешок слов»

От / / Оставьте комментарий

Модель «Мешок слов» Основы модели набора слов Модель текста, основанная на неупорядоченной коллекции слов  Используется в обработке естественного языка и […]

Machine learning, Natural language processing, Машинное обучение, Обработка естественного языка

Модель «Мешок слов»

  • Основы модели набора слов

    • Модель текста, основанная на неупорядоченной коллекции слов 
    • Используется в обработке естественного языка и IR 
    • Игнорирует порядок слов, но отражает множественность 

  • Применение модели

    • Используется в методах классификации документов 
    • Частота встречаемости слов используется как признак для обучения классификатора 

  • История и примеры

    • Первое упоминание в статье Зеллига Харриса 1954 года 
    • Пример реализации с использованием JSON и JavaScript 
    • Объединение документов в представлении пакетов слов является формальным непересекающимся объединением 

  • Реализации и модификации

    • Частоты слов могут быть нормализованы или использованы с tf-idf 
    • Существуют контролируемые альтернативы для классификации документов 
    • В некоторых задачах вместо частот используется двоичное взвешивание 

  • Альтернативные реализации

    • Метод хеширования для упрощения реализации и повышения масштабируемости 

  • Дополнительные темы

    • Аддитивное сглаживание, извлечение признаков, машинное обучение, минхаш, векторная пространственная модель, w-черепица 

  • Рекомендации

    • Ссылка на книгу Мактира и др. «Диалоговый интерфейс» 

Полный текст статьи:

Модель «Мешок слов» — Википедия

Похожие статьи:

  1. Взвешивание Взвешивание Основы частотного взвешивания Частотное взвешивание позволяет выделить вклад определенных аспектов явления в конечный результат.  Некоторые...
  2. Международная конференция по машинному обучению Международная конференция по машинному обучению Основные подходы к обучению в ИИ Контролируемое обучение: обучение с заранее...
  3. Скорость обучения Скорость обучения Основные понятия машинного обучения Контролируемое обучение: обучение с заранее определенными целями и критериями оценки. ...
  4. Документоориентированная база данных База данных, ориентированная на документы Определение и особенности баз данных документов Базы данных документов хранят данные...
  5. Классификация документов Классификация документов Классификация документов Проблема классификации документов в библиотечном деле, информатике и вычислительной технике  Классификация может...
  6. Встраивание слов Встраивание слов Основы встраивания слов Встраивание слов — это метод представления слов в виде векторов, которые...
  7. Головоногие Головоногий моллюск Классификация и эволюция головоногих моллюсков Головоногие моллюски — это класс моллюсков, включающий осьминогов, кальмаров...
  8. Серия UNIVAC 1100/2200 UNIVAC серии 1100/2200 История и развитие UNIVAC UNIVAC был первым коммерчески успешным компьютером, разработанным в 1951...
  9. Машина векторов релевантности Векторная машина релевантности Основные методы машинного обучения Контролируемое обучение: обучение с заранее определенными метками для классификации...
  10. Краткосрочная модель Модель краткосрочных ставок Обзор моделей процентных ставок Модели процентных ставок используются для прогнозирования краткосрочных процентных ставок. ...
  11. Мультимодальное обучение Мультимодальное обучение Контролируемое обучение Обучение с заранее определенными целями и критериями оценки.  Включает методы, такие как...
  12. Булева модель поиска информации Логическая модель поиска информации Основы BIR BIR (Binary Indexed Retrieval) — это метод поиска информации в...
  13. Наивный классификатор Байеса Наивный байесовский классификатор Основы Наивного Байеса Наивный Байес — простой алгоритм классификации, основанный на вероятностях.  Используется...
  14. Бинарная модель независимости Бинарная модель независимости Основы бинарной модели независимости Бинарная модель независимости используется для классификации документов по релевантности. ...
  15. МДЦ-2 MDC-2 Описание MDC-2 MDC-2 — это алгоритм хеширования, разработанный IBM в 1989 году.  Он использует блочный...
  16. Комбинаторика слов Комбинаторика слов История и развитие комбинаторики слов Комбинаторика слов возникла из теории групп и теории чисел. ...
  17. Масштабирование функций Масштабирование объектов Контролируемое обучение Обучение с заранее определенными целями и критериями оценки.  Включает методы классификации, регрессии,...
  18. Модель данных Модель данных Определение модели данных Модель данных — это абстрактное представление данных, которое описывает их структуру...
  19. Ральф Меркл Ральф Меркл Биография Ральфа К. Меркла Американский ученый-компьютерщик и математик, изобретатель криптографии с открытым ключом и...
  20. Повышение (машинное обучение) Бустинг (машинное обучение) Основы повышения эффективности Повышение эффективности — это метод улучшения точности классификатора путем объединения...
  21. Модель сущность-связь Модель сущности–отношения Основы моделирования сущностей и отношений Модель ER (Entity-Relationship) — это концептуальная модель для представления...

Оставьте комментарий

Прокрутить вверх