This information applies only to the Ultra Course View.

Вы можете распределять полномочия оценивания между несколькими оценщиками на ваших курсах.

Что такое параллельное оценивание?

Вы можете назначить отдельных пользователей своих курсов оценщиками определенных наборов материалов, отправленных учащимися. Оценщики не видят оценки и отзывы других оценщиков, их примечания к файлам учащихся, а также критерии оценивания. Они выставляют оценки параллельно, и эти оценки являются предварительными. По умолчанию выставлять оценки могут преподаватели, оценщики и помощники преподавателей.

Преподаватель по умолчанию выполняет роль итогового оценщика или согласователя. Согласователь рассматривает предварительные оценки и определяет итоговую оценку, которая отображается учащимся. Вы можете назначить роль согласователя одному или нескольким пользователям с правами оценивания и снять эту роль с себя.

В некоторых учреждениях параллельное оценивание известно как слепое оценивание.

Привилегии согласователей

  • Согласователи могут просматривать оценки и отзывы оценщиков, но не их критерии оценивания и примечания в файлах учащихся.
  • Согласователи определяют и согласуют итоговые оценки.
  • Согласователи могут переопределить итоговую оценку.
  • Согласователи могут публиковать оценки. Если включено анонимное оценивание, согласователи могут открывать имена учащихся после публикации оценок.

В настоящее время включить параллельное оценивание для групповой работы невозможно. Вы также не можете добавлять вопросы в задание с параллельным оцениванием.


Преимущества параллельного оценивания

Оценивание несколькими оценщиками и получение их отзывов повышает объективность, достоверность и согласованность оценки. При определении итоговой оценки каждого учащегося согласователи располагают несколькими суждениями об одной и той же работе.

Справедливость и беспристрастность оценивания часто являются требованием учреждения или могут быть поставлены под сомнение. Параллельное оценивание позволяет обеспечить максимальную объективность.

В больших классах можно распределить задачи оценивания между помощниками преподавателя и другими оценщиками. На объединенном курсе каждому оценщику можно назначить свою часть класса.


Процедура параллельного оценивания

Включение и использование параллельного оценивания выполняется в несколько этапов:

  1. Включение параллельного оценивания
  2. Оценщики: получение и оценивание попыток
  3. Итоговый оценщик: согласование оценок

Создавая задание, можно включить анонимное оценивание, при котором оценщики не будут видеть личные сведения учащихся. Для предотвращения плагиата можно воспользоваться SafeAssign.

Подробнее об анонимном оценивании

Дополнительная информация о SafeAssign


1. Включение параллельного оценивания

Включить параллельное оценивание и назначить оценщиков можно при создании задания. Вы можете включить параллельное оценивание даже после отправки работ учащимися. Система произвольно назначает выбираемых вами оценщиков, чтобы задание каждого учащегося оценивали два оценщика. Рабочая нагрузка по оцениванию распределяется равномерно между оценщиками. Оценщики могут открывать отправленные материалы только назначенных им учащихся.

Учащиеся не уведомляются о том, что для их задания назначено несколько оценщиков, если только вы не сообщили им об этом. Учащиеся видят только итоговую оценку и отзыв согласователя.

В настоящее время вы не можете создавать группы и добавлять вопросы при включении параллельного оценивания. Оценщики, помощники преподавателей и конструкторы курсов не могут включать или отключать параллельное оценивание.

На панели Настройки задания в разделе Параметры оценивания установите флажок Два оценщика на учащегося.

Нажмите появившуюся ссылку Назначить оценщиков.

The Assignment settings panel is open with the "2 graders per student" checkbox selected and the Evaluation options section pointed and highlighted.

Страница «Назначить оценщиков»

На странице Назначить оценщиков назначенные вами роли относятся только к текущему заданию.

The Assign Graders page is open with 1) the "Assign All as Graders" option highlighted, 2) the three dots menu next to the usernames selected with the "Grader" and "Reconciler" options displayed, and 3) the "Unassigned All Reconcilers" option highlighted.

Назначение оценщиков

Помощники преподаватели и оценщики отображаются в первом списке Неназначенные.

Вы можете выбрать всех с помощью ссылки Назначить всех как оценщиков или открыть меню каждого пользователя и выбрать оценщика или согласователя. Назначенные оценщики отображаются в списке Оценщики. Откройте меню оценщика и при необходимости нажмите Отменить назначение.

Напоминание. Рабочая нагрузка по оцениванию распределяется равномерно между оценщиками.

Назначение согласователей

Пользователи с ролью преподавателя отображаются в списке Согласователи. Откройте меню согласователя и при необходимости нажмите Отменить назначение. Например, вы можете назначить своего помощника единственным итоговым оценщиком и отменить это полномочие для себя. Вы можете назначить нескольких согласователей.

Быть одновременно оценщиком и согласователем не может ни один пользователь. Однако вы можете назначить пользователю другую роль даже после отправки работ учащимися.

Чтобы удалить всех пользователей из списка оценщиков или согласователей, нажмите ссылку Отменить назначение всех в списке.

По окончании нажмите Сохранить. Параллельное оценивание наиболее эффективно при наличии нескольких оценщиков и как минимум одного согласователя. Если назначено менее двух оценщиков и ни одного согласователя, появляется системное предупреждение. Вы можете сохранить изменения без соблюдения минимально рекомендуемых требований.

Что произойдет, если отменить назначение пользователей или запретить им доступ к курсу в списке участников?

Вносить изменения в назначение оценщиков и согласователей после начала оценивания следует с осторожностью.

  • Согласователи, назначение которых отменено, лишаются права назначать итоговые оценки, но выполненная ими работа сохраняется. Если согласователь определил несколько итоговых оценок, после чего его назначение отменяется или ему запрещается доступ в списке участников, итоговые оценки остаются. Изменить эти итоговые оценки может другой согласователь.
  • Оценивания, ранее завершенные оценщиками, чье назначение отменено, сохраняются. При этом незавершенные оценивания больше не связаны с учащимися. Система равномерно распределяет работу между оставшимися оценщиками.

    Если учащийся получил оценки от двух оценщиков, после чего назначение одного из оценщиков было отменено, обе оценки сохраняются. Добавляется третий оценщик. Он добавляется, даже если вы согласовали и опубликовали несколько оценок. Если вы не согласовали оценки, третий оценщик видит только попытки, ожидающие оценки. Если оценщик удаляется во время параллельного оценивания, возможно, будет нужно согласовать три оценки за некоторые попытки.

    Если вы отключаете доступ пользователя в списке участников, а затем снова включаете его, пользователь появляется в списке Неназначенные на странице Назначить оценщиков.

Отключение параллельного оценивания

Вы можете отключить параллельное оценивание даже после отправки задания или предоставления оценок и отзывов оценщиками. Предварительные оценки оценщиков удаляются, но сохраняются в системе. При повторном включении параллельного оценивания ранее выставленные предварительные оценки и отзывы восстанавливаются.

Если отключить параллельное оценивание после публикации оценок, итоговые оценки остаются. Записи предварительных оценок не сохраняются.

Оценщики, помощники преподавателей и конструкторы курсов не могут отключить параллельное оценивание.


2. Оценщики > Получение и оценивание попыток

Если включено параллельное оценивание, оценщики имеют доступ только к попыткам выполнения назначенных им заданий. В настоящее время оценщики не получают уведомления на ленте активности при появлении попыток, ожидающих оценки. Согласователи же уведомляются при наличии оценок, требующих согласования.

Будучи итоговым оценщиком, согласователь не может назначать оценки за оценщиков.

The Submissions page is open with the number of submissions to grade highlighted and the status column also highlighted. The status column shows the list of attempts that are left to be graded.

При анонимном оценивании оценщики также имеют доступ только к назначенным им заданиям. Список оценивания остается пустым, пока учащиеся не отправят свои работы.

The Submissions page is open with the anonymous submissions list on screen. The notification that indicates the anonymous grading is in progress is displayed.

В настоящее время примечания, добавляемые оценщиком к файлам учащихся, недоступны учащимся и согласователям.

После того как оценщики определили оценки и оставили отзывы за назначенные им наборы отправленных материалов, их работа считается завершенной. Оценщики не могут публиковать оценки. Преподаватели и согласователи не могут просматривать критерии оценивания оценщиков, а также изменять их оценки и отзывы.

The Submissions page is open with 1) the submissions list displayed, 2) the Status column with the "Complete" message displayed on each submission, and 3) the Grade column with no grades assigned on each submission.

После публикации оценки согласователем оценщик может только просматривать итоговые оценки, критерии оценивания и отзывы согласователя. Оценщики не могут изменить оценки после публикации.

An example submission is open with the "Complete" message displayed, 2) a "93.2/100" grade assigned, and 3) the "Posted" message on screen.

Несколько попыток

Если вы разрешили несколько попыток для задания, оценщики могут просматривать свою рабочую нагрузку на странице Отправленные материалы. Итоговый оценщик может согласовывать оценки, даже если оценщики оценили не все попытки.

The Submissions page is open with 1) the submissions list displayed, 2) an example username selected and highlighted, and 3) the Multiple Attempts grading panel opened with two attempts submitted.

3. Итоговый оценщик: согласование оценок

Когда оценки готовы к согласованию, вы получаете уведомление на ленте активности. Уведомление появляется после того, как назначенный оценщик оценивает минимум одну попытку учащегося.

"Grades ready to reconcile" notification displayed in the activity stream of the Instructor's view.

Согласование одной попытки

Перед определением итоговой оценки вы можете рассмотреть оценку и отзыв каждого оценщика. Вы можете согласовывать оценки, даже если оценщики оценили не все попытки.

An example submission is open with 1) one attempt ready to reconcile on screen, 2) two different grades assigned, 3) the feedback icon selected and highlighted, and 4) the feedback panel opened with two different feedbacks on screen.
  1. Выставление оценок. Выберите ячейку оценки, чтобы выставить оценку или открыть критерий оценивания. Напоминание. Вы не можете просматривать критерии оценивания оценщиков и их примечания к файлам учащихся. Вы также не можете изменять оценки или отзывы оценщиков.
  2. Рассмотрение отзывов. Нажмите значок отзыва, чтобы открыть панель Отзыв, и просмотрите отзывы оценщиков.
  3. Добавление своего отзыва. Учащиеся не видят отзывы оценщиков, тогда как ваш отзыв отображается после публикации итоговых оценок.

После того как вы опубликовали итоговые оценки, оценщики видят только итоговые оценки и отзывы. Оценщики не могут изменить свои оценки после публикации итоговых оценок.

An example submission is open with the "Complete" message displayed, 2) a "93.2/100" grade assigned, and 3) the "Posted" message on screen.

Экран учащегося

Учащиеся видят только оценку, отзыв и критерий оценивания согласователя. Они не видят оценки и отзывы отдельных оценщиков.

An example submission from the Student's view is open with a 1) final grade assigned and displayed and 2) the feedback panel opened with a text on it.

Согласование всех оценок

Вам не нужно согласовывать оценки по отдельности. Вы можете согласовать все попытки с одной или несколькими предварительными оценками одним действием. Например, можно выполнить «пакетное» согласование, если вы доверяете оценщикам и хотите назначить среднее значение их оценок за каждую попытку.

Оценщикам не обязательно завершать оценивание до согласования вами оценок. Вам также не обязательно ждать, пока все учащиеся отправят попытки. Оценки за существующие попытки могут быть согласованы автоматически. Это действие необратимо. Согласование не переопределяет ранее согласованные оценки, в том числе согласованные вручную.

На странице Отправленные материалы щелкните ссылку Согласовать все. Выберите тип оценки:

  • средняя оценка;
  • высшая из оценок;
  • низшая из оценок.

Вы всегда видите наличие попыток для согласования, если учащиеся отправили их. Оценщикам не обязательно назначать оценки и отзывы до того, как попытки будут готовы к согласованию.

The Submissions page is open with the "Reconcile All" option highlighted.

Если вы решили согласовать все оценки и связали с заданием критерий оценивания, на странице списка Отправленные материалы появляется метка Заменено.

Подробнее о переопределении оценок

Согласование нескольких попыток

Если вы разрешили отправлять несколько попыток для задания, отображаются оценки, выставленные оценщиками за каждую попытку. Затем вы согласуете оценки за каждую попытку. Расчет итоговой оценки за задание с несколькими попытками выполняется на основе параметра Оценка попыток, выбранным при создании задания.

Выберите попытку или ячейку оценки, чтобы просмотреть работу учащегося и согласовать оценки. Вы можете также выполнить пакетное согласование всех оценок за существующие попытки.

The Submissions page is open with 1) the submissions list displayed, 2) an example username selected with the "2 attempts to reconcile" message highlighted, and 3) the Multiple attempts grading panel opened with the first attempt highlighted.

Параллельное оценивание не влияет на расчет итоговой оценки. Однако итоговую оценку невозможно рассчитать до того, как попытки будут согласованы. После согласования попыток итоговая оценка отображается в журнале оценок. Например, итоговая оценка, рассчитанная на основе лучшей попытки, появится сразу после согласования как минимум одной оценки. Однако оценка может измениться по мере отправки следующих попыток учащихся.

После согласования итоговые оценки можно опубликовать для учащихся.


Параллельное оценивание и преобразование курса

Параметры делегированного оценивания в курсах с традиционным интерфейсом не переносятся при преобразовании курсов в вид Ultra.