Модальность (взаимодействие человека и компьютера)
-
Классификация модальностей
- Модальности классифицируются по сенсорной природе или обработке данных.
- Одномодальные системы используют только одну модальность, мультимодальные — более одной.
- Перекрывающиеся модальности обеспечивают доступ к нескольким модальности для одной задачи.
- Избыточные модальности используют несколько методов для передачи одной и той же информации.
-
Методы взаимодействия
- Компьютер использует различные технологии для общения с людьми: визуализация, прослушивание, тактильные ощущения и другие.
- Человеческие чувства могут быть преобразованы в компьютерные модальности.
- Зрение и слух являются наиболее часто используемыми методами из-за их высокой скорости передачи информации.
-
Взаимодействие человека и компьютера
- Компьютеры оснащены устройствами ввода и датчиками для получения информации от людей.
- Устройства ввода могут быть взаимозаменяемыми при стандартизированной связи с компьютером.
- Различные методы ввода и распознавания информации повышают надежность систем.
-
Использование нескольких методов
- Наличие нескольких модальностей повышает доступность и надежность систем.
- Комбинация методов может усилить выразительность взаимодействия.
- Существуют шесть типов взаимодействия между модальностями, которые определяют, как они работают вместе для передачи информации.
-
Примеры мультимодального взаимодействия
- В смартфонах используются различные методы для отслеживания движения, такие как гироскопы и акселерометры.
-
Мультимодальное обучение и интеграция
- Мультимодальное обучение включает методы машинного обучения с использованием нескольких способов ввода данных.
- Мультисенсорная интеграция изучает органы чувств и нервную систему.
-
Пользовательский интерфейс
- Пользовательский интерфейс является средством взаимодействия пользователя с машиной и управления ею.