Анализ элементов

Анализ элементов дает возможность получить статистику по общей успеваемости, качеству тестов и отдельных вопросов. Эти данные помогают выявить вопросы, которые могут неточно отражать успеваемость учащихся.

Использование для анализа элементов.

Улучшайте вопросы для будущих тестов или для корректировки баллов за текущие попытки
Обсудите результаты тестов со своим классом
Предоставьте базу для корректирующей работы
Доработайте инструкции для классных занятий

Пример.

Проанализировав элементы, вы замечаете, что на один из вопросов большинство учащихся ответило неправильно. В чем причина низкого результата?

Неясная формулировка вопроса?
Непонятны варианты ответа на вопрос?
Получали ли учащиеся необходимые учебные материалы, чтобы успешно ответить на этот вопрос?
Было ли учебное содержимое легкодоступным и понятным?

Основываясь на ответах на поставленные вопросы, вы сможете доработать вопрос теста, чтобы он действительно позволял оценить знания учащихся.

Выполнение анализа элементов для теста

Вы можете выполнять анализ элементов в развернутом тесте с отправленными попытками, но не в опросе.

Тест может включать попытку, набор вопросов, случайный блок, автоматически оцениваемый вопрос, вопрос, требующий оценивания вручную, либо несколько перечисленных элементов. Для тестов с вопросами, требующими оценки вручную, для которых не назначены баллы, в статистику включаются только оцененные вопросы. Оценив вопросы вручную, повторите анализ. Будет создана статистика по оцененным вручную вопросам, а статистическая сводка по тесту будет обновлена.

Для достижения наилучших результатов выполняйте анализ для теста после того, как будут отправлены все попытки и выставлены баллы за все вопросы, оцениваемые вручную. Не забывайте, что на статистику влияет количество попыток прохождения теста, тип тестируемых учащихся и случайные ошибки.

Роли с привилегиями оценивания — преподаватели, оценщики и помощники преподавателя — получают доступ к анализу элементов из трех расположений рабочего процесса теста.
- Тест, развернутый в области содержимого.
- Тест, развернутый на странице Тесты.
- Столбец Центра оценок для теста
Откройте меню теста и выберите пункт Анализ элементов.
Выберите тест в меню Выберите тест. Отобразятся только развернутые тесты.
Выберите Запустить.
Выберите ссылку на новый отчет в разделе Доступные результаты анализа или Просмотр анализа в сводке о состоянии в верхней части страницы.

Вы можете открыть ранее выполненный анализ в разделе Доступные результаты анализа.

Сводка по тесту на странице «Анализ элементов»

На странице Сводка по тесту содержатся данные о тесте в целом.

Пункт Изменить тест предоставляет доступ к странице Тест, на которой можно изменить тест.
Просмотр статистики по тесту.
- Максимально возможное количество баллов. Общее количество баллов за тест.
- Количество вопросов. Общее количество вопросов в тесте.
- Попытки выполнения. Количество учащихся, которые в настоящее время выполняют тест, но еще не отправили его.
- Завершенные попытки. Количество отправленных тестов.
- Средний балл. Баллы, отмеченные звездочкой, указывают, что некоторые попытки не оценены и средний балл может измениться после оценки всех попыток. Балл, отображаемый здесь, является средним баллом, присвоенным за тест в Центре оценок.
- Среднее время. Среднее время, затраченное на выполнение всех отправленных попыток.
- Различение. В этой области отображается количество вопросов, которые попадают в категории Хорошо (больше чем 0,3), Удовлетворительно (между 0,1 и 0,3) и Неудовлетворительно (меньше чем 0,1). Для показателя различения указывается значение Невозможно рассчитать, когда трудность вопроса составляет 100 % или когда все учащиеся получают за этот вопрос одинаковый балл. Вопросы со значениями различения, попадающие в категории Хорошо и Удовлетворительно, лучше подходят для разделения учащихся с более высоким и более низким уровнем знаний. Вопросы в категории Неудовлетворительно рекомендуется пересмотреть.
- Сложность. В этой области отображается количество вопросов, которые попадают в категории Легкий (больше чем 80 %), Средний (между 30 и 80 %) и Сложный (меньше чем 30 %). Сложность вопроса — это процентная доля учащихся, которые ответили на него правильно. Вопросы в категориях Легкий или Сложный рекомендуется пересмотреть; они обведены красным кружком.

Только оцененные попытки используются в вычислениях анализа элементов. Если какие-то попытки еще выполняются, во время анализа элементов они игнорируются до тех пор, пока не будут отправлены и отчет анализа элементов не будет создан заново.

Таблица со статистикой вопросов на странице «Анализ элементов»

Таблица статистики по вопросам содержит статистику анализа элементов для каждого вопроса теста. Вопросы, которые требуют вашего внимания, обозначаются красными кружками, чтобы вы могли быстро находить их.

В целом, хорошие вопросы попадают в следующие категории.

Средний уровень сложности (от 30 до 80 %).
Значения различения — Хорошо или Удовлетворительно (больше чем 0,1).

В целом вопросы, рекомендуемые для проверки, попадают в следующие категории. Возможно, их качество недостаточно высоко или они неправильно оцениваются.

Уровень сложности: легкий (> 80 %) или сложный (> 30 %)
Значение различения: неудовлетворительно (> 0,1)

Отфильтруйте таблицу вопросов по параметрам Тип вопроса, Различение и Сложность.
Для исследования конкретного вопроса выберите название и просмотрите страницу Сведения о вопросе.
В таблице приводится статистика по каждому вопросу.
- Различение. Указывает на то, насколько хорошо вопрос проводит разделение между учащимися, хорошо и плохо знающими определенную тему. Вопрос служит эффективным индикатором, когда учащиеся, правильно ответившие на него, хорошо справляются и с тестом в целом. Значения могут колебаться в диапазоне от –1,0 до +1,0. Вопрос помечается для пересмотра, если его значение различения составляет менее 0,1 или отрицательно. Значения различения невозможно рассчитать, когда сложность вопроса составляет 100 % или когда все учащиеся получают за один вопрос одинаковый балл.
  Значения различения вычисляются с помощью коэффициента корреляции Пирсона. X обозначает балл каждого учащегося, полученный за вопрос, а Y — за тест в целом.
  
  Ниже приведены переменные для стандартного балла, выборочного среднего и выборочного среднеквадратического отклонения соответственно.
- Сложность. Процентная доля учащихся, ответивших на вопрос правильно. Процент сложности приведен вместе с категорией: Легкий (более 80 %), Средний (от 30 до 80 %) и Сложный (менее 30 %). Значения сложности могут находиться в диапазоне от 0 до 100 %, при этом высокий процент указывает на то, что вопрос был легким. Вопросы из категории легких и сложных помечаются для пересмотра.
  Уровни сложности, незначительно превышающие средний уровень между случайным и максимальным баллом, позволяют лучше отличить учащихся, знающих материал теста, от тех, которые его не знают. Высокие уровни сложности не гарантируют высоких значений различения.
- Оцениваемые попытки. Количество попыток ответа на вопрос, если оценивание завершено. Чем больше оцененных попыток, тем выше точность статистических расчетов.
- Средний балл. Баллы, отмеченные звездочкой, указывают, что некоторые попытки не оценены и средний балл может измениться после оценки всех попыток. Балл, отображаемый здесь, является средним баллом, присвоенным за тест в Центре оценок.
- Стандартное отклонение. Показатель степени отклонения оценки от среднего балла. Если все оценки практически одинаковые и большинство из них близки к среднему значению, среднеквадратическое отклонение невелико. Если данные разбросаны в широком диапазоне и их значения далеки от среднего, стандартное отклонение будет большим.
- Среднеквадратическая погрешность. Оценка дисперсии балла учащегося по отношению к случайному баллу. Чем меньше среднеквадратическая погрешность измерения, тем точнее измерение, обеспечиваемое вопросом теста.

Просмотр сведений о вопросе для одного вопроса

Можно исследовать вопросы, отмеченные для вашего рецензирования и просмотра успеваемости учащегося.

Прокрутите страницу Анализ элементов до таблицы статистики по вопросам. Выберите заголовок связанного вопроса, чтобы открыть страницу Сведения о вопросе.

Используйте значки Предыдущая страница и Следующая страница для последовательного постраничного прохождения вопросов. Вы можете также быстро перейти к первому или последнему вопросу.
Пункт Изменить тест предоставляет доступ к странице Тест, на которой можно изменить тест.
В таблице сводки отобразится статистика по вопросу. Можно просмотреть описания каждой статистики в предыдущем разделе.
Отображаются текст вопроса и варианты ответа. Доступная информация зависит от типа вопроса.

Информация анализа элементов, предоставленная для типов вопросов
Тип доступной информации	Типы вопросов
Количество учащихся, которые выбрали каждый вариант ответа, и распределение этих ответов по квартилям класса	Вопросы с несколькими вариантами Вопросы с несколькими ответами Верно/неверно Или/или Шкала мнения/шкала Лайкерта
Количество учащихся, выбравших определенный вариант ответа	Сопоставление Ранжирование Многократный ввод пропущенного текста
Количество учащихся, ответивших на вопрос правильно или неправильно либо пропустивших его	Вычисление по формуле Вычисление числового ответа Ввод пропущенного текста Отметка Постановка вопроса
Только текст вопроса	Открытый вопрос Запрос файла Краткий ответ Выбор пропущенного текста — также включает ответы, которые выбирает учащийся

Легенда символов

Рядом с вопросами отображаются символы, уведомляющие вас о возможных проблемах.

Рекомендуется проверка. Срабатывает, когда значения различения менее 0,1, а также когда значения сложности выше 80 % (вопрос был слишком легким) или ниже 30 % (вопрос был слишком тяжелым). Пересмотрите вопрос, чтобы узнать, не требуется ли откорректировать его.
Возможно, вопрос изменился после развертывания. Указывает, что часть вопроса изменилась после того, как тест был развернут. Изменение может означать, что данные для этого вопроса могут быть ненадежными. Попытки, отправленные после изменения вопроса, возможно, окажутся правильными.
Этот индикатор не отображается для восстановленных курсов.
Оценены не все отправленные материалы. Отображается для теста, который содержит вопросы, требующие оценки вручную, например открытые вопросы. В тесте, содержащем открытый вопрос с 50 попытками учащихся, этот индикатор будет отображаться до тех пор, пока вы не оцените все 50 попыток. В анализе используются только попытки, которые были оценены к моменту выполнения отчета.
(QS) and (RB): Указывают на то, что вопрос принадлежит к набору вопросов (НВ) или случайному блоку (СБ). При случайном отображении вопросов для некоторых из них может предоставляться больше попыток, чем для других.

Несколько попыток, переопределение и редактирование вопросов

Во время анализа обрабатываются множественные попытки, переопределения и другие общие сценарии следующим образом.

Когда учащиеся проходят тест несколько раз, для анализа используется последняя отправленная попытка. Например, тест предусматривает три попытки: учащийся А завершил две из них, и третья попытка выполняется. Текущая попытка учащегося A засчитывается при определении количества, указанного для параметра Попытки выполнения. Ни одна из предыдущих попыток учащегося А не будет включена в текущий анализ данных. Как только учащийся А отправит третью попытку, она будет включена в последующий анализ.
Замены Центра оценок не влияют на данные анализа элементов, поскольку при анализе генерируются статистические данные по вопросам на основании завершенных попыток учащегося.
Вопросы, оцененные вручную, или изменения, внесенные в текст вопроса, правильный вариант ответа, частичный зачет или значения баллов, не обновляются в отчете об анализе автоматически. Выполните анализ снова, чтобы узнать, повлияют ли внесенные изменения на данные.

Примеры

Анализ элементов может помочь улучшить вопросы для будущих тестов. Вы можете также исправить неправильные или неоднозначные вопросы в текущем тесте.

Вопрос с вариантами ответа отмечен для вашей рецензии. Более 25 % лучших учащихся выбрали ответ B, но правильный ответ — A. Вы понимаете, что отметили неправильный ответ при создании вопроса. Вы изменяете вопрос теста, и он автоматически переоценивается.
Отвечая на вопрос с вариантами ответа, равное количество учащихся выбрали варианты А, В и С. Пересмотрите варианты ответа, чтобы убедиться, что они однозначные, не слишком сложные и охватывают изученный материал.
Рекомендуется пересмотреть вопрос, так как он относится к категории сложных. Вы определили, что это сложный вопрос, но сохранили его, поскольку нужно надлежащим образом проверить знание основных целей курса.

Язык