GPT-1
- Статья представляет собой список терминов и понятий из области машинного обучения.
- GPT-1 стал первой крупной языковой моделью OpenAI после изобретения архитектуры transformer в 2017 году.
- Генеративный предварительно обученный трансформатор (GPT-1) использовал неконтролируемый генеративный этап и контролируемый дискриминативный этап для обучения.
- Использование архитектуры transformer позволило GPT-моделям иметь более структурированную память.
- BookCorpus был выбран в качестве обучающего набора данных из-за его масштабной структуры и содержания.
- GPT-1 показал улучшение в задачах логического вывода на естественном языке, классификации отношений между предложениями и других задачах обработки языка.
- GPT-1 улучшил предыдущие наиболее эффективные модели на 4,2% по показателю семантического сходства.
- GPT-1 набрал 45,4 балла в задаче классификации текста и получил общий балл 72,8 в многозадачном тесте GLUE.
Полный текст статьи: