Оглавление
Изучение особенностей
-
Основы самоконтролируемого обучения
- Самоконтролируемое обучение (SSL) – это метод обучения без явных меток, который позволяет создавать представления данных.
- SSL использует немаркированные данные для изучения структуры данных, а не только их содержимого.
-
Применение SSL в глубоком обучении
- SSL используется для создания скрытых единиц в архитектуре глубокого обучения, таких как автоэнкодеры.
- Кодеры и декодеры в автоэнкодерах обучаются на немаркированных данных и восстанавливают исходные данные.
-
Самоконтроль в различных областях
- Word2vec обучает представления слов, используя контекстные пары слов.
- В области изображений используются методы, такие как генеративные подходы и сиамские сети.
- Для графов используются методы, такие как node2vec, которые обучают представления на основе совпадений в графах.
- В видеопредставлениях используются методы, такие как VCP, которые обучают выбору правильного видео из множества вариантов.
- В аудиопредставлениях используются методы, такие как Wav2vec 2.0, которые обучают маскированному предсказанию временных интервалов.
-
Мультимодальное представление
- SSL используется для совместного представления нескольких типов данных, таких как изображения и текст.
- CLIP обучает объединенное пространство представления изображений и текста, используя потерю контрастности.
-
Изучение динамического представления
- Методы изучения динамического представления генерируют скрытые вложения для динамических систем.
- Временные вложения должны быть проверены на наличие ложных изменений перед динамическим анализом.