Автоматизированная оценка эссе
-
История и развитие автоматической оценки эссе
- Автоматическая оценка эссе (AES) используется для оценки письменных работ в различных контекстах, включая экзамены и научные исследования.
- AES была впервые предложена в 1950-х годах, но не получила широкого распространения до 1990-х годов.
- В 1990-х годах AES стала использоваться для оценки эссе в стандартизированных тестах, таких как SAT и GRE.
-
Критика и развитие
- AES подвергалась критике за то, что она не учитывает содержание и стиль эссе, а также за то, что она может быть уязвима для мошенничества.
- Некоторые исследователи утверждают, что AES может быть менее надежной, чем человеческие оценщики, особенно для сложных письменных тестов.
- В ответ на критику были разработаны более совершенные модели оценки, которые учитывают различные аспекты качества эссе.
-
Процедура и критерии успеха
- AES начинается с тренировочного набора эссе, которые оцениваются вручную.
- Математическая модель связывает поверхностные характеристики текста с оценками, а затем применяется к новым эссе.
- Современные системы AES используют различные статистические методы, включая линейную регрессию и глубокое обучение.
-
Критерии успеха и надежность
- AES должна быть обоснованной, справедливой и надежной.
- Надежность оценивается путем согласования оценок с другими оценщиками или путем вычисления среднего значения оценок людей.
- Некоторые системы AES могут работать лучше, чем люди, но они менее надежны для сложных тестов.
-
Критика и петиция
- AES подвергается критике за зависимость от поверхностных характеристик и за возможное снижение мотивации учащихся.
- HumanReaders.Organization запустила петицию против использования AES для оценки с высокими ставками, утверждая, что она неточна и несправедлива.
-
Программное обеспечение
- Большинство ресурсов для AES являются собственностью компаний, включая Тестер, Интеллектуальное обучение и Оценка эссе по проекту.