Рецензирование – проверка заданий вручную по заданным критериям оценки. Обычно проверяются эссе, написанные в свободной форме, или задачи на программирование, которые невозможно проверять автоматически. Рецензирование не является отдельным типом шага, а добавляется к любой существующей задаче. Наиболее популярные типы задач для рецензирования:
- Свободный ответ (творческие эссе, доказательства теорем и т.п.)
- Задачи на программирование (code review с предварительной формальной проверкой).
Чтобы добавить рецензирование, необходимо выбрать один из этих вариантов задач и нажать Добавить рецензию (в Настройках шага).
После добавления рецензирования внизу настроек практического шага появится раздел "Правила рецензирования". Рецензирование может проводиться самим преподавателем (преподаватель проверяет каждую работу и ставит оценку за неё) или другими учащимися курса:
Схема работы кросс-рецензирования следующая:
- Учащийся решает задание (пишет эссе) и сохраняет его в систему.
- Учащийся посылает решение на рецензирование.
- Другие учащиеся проверяют его решение по заданным критериям.
- Учащийся проверяет 3 чужих решения по заданным критериям.
- Учащийся получает оценку (равную медиане от 3-х полученных им рецензий).
Правила выставления баллов и получения оценок:
- Преподаватель указывает число баллов, которые можно получить за весь шаг.
- Преподаватель устанавливает баллы по каждому заданному критерию.
- Учащийся получает оценку по критериям равную медиане от трех полученных рецензий. Если получено много рецензий, берётся медиана от первых трёх. (Если три - это указанное обязательное количество рецензий).
- Учащийся получает итоговую оценку за весь шаг, которая рассчитывается в процентном соотношении от максимального количества баллов за шаг.
Пример. Есть шаг с рецензированием, где общий балл = 2, но сумма баллов за все критерии = 10. Если студент получает три рецензии, где его оценили на 6, 7 и 8, то сначала он получает оценку за эссе равную 7 (медиана чисел 6, 7, 8), что составляет 70% от максимальных 10 баллов за критерии. Итоговая оценка за шаг будет равна 70% от 2, т.е. 1,4.
Как только вы получите хотя бы один ответ на рецензию, изменить можно будет только поля "Дополнительная информация" и поле описания "Критерий оценки", но не количество максимальных баллов по критериям и число обязательных рецензий.
Также обратите внимание, что шаг с рецензированием нельзя скачать и затем импортировать в другой шаг с сохранением всех прописанных условий.
В процессе рецензирования учащиеся сообщают о таких проблемах:
1. Проблемы технические и зависят от платформы: не видно ответ, не получается нажать на кнопку и т.д. При таких проблемах можно советовать писать нам на support@stepik.org.
2. Проблемы по содержанию рецензий: не нравится оценка, им кажется, что их несправедливо оценили, плагиат и т.д. Эти вопросы можете решать только Вы, так как только Вы знаете содержание правильного ответа и как можно оценить ответ. Вы можете посмотреть все ответы, все рецензии и, если считаете нужным, исправить оценку.
3. Иногда учащиеся забывают прикрепить ответ, прикрепляют не в том формате и его невозможно открыть, отправляют не тот ответ, хотят переделать ответ. Такие проблемы решить нельзя, ни Вы, ни мы не можем удалить какое-то решение и отправить другое решение.