Анализ вопросов

Анализ вопросов дает возможность получить статистику по общей успеваемости, качеству заданий и отдельных вопросов. Эти данные помогают выявить вопросы, которые могут неточно отражать успеваемость учащихся. Анализ вопросов используется для заданий, содержащих вопросы. Вы можете запустить отчет об анализе прежде, чем отправить задания учащимся, если вы хотите проверить качество своих вопросов и при необходимости внести в них изменения.

В чем помогает анализ вопросов:

• Улучшайте вопросы для будущих оцениваний и корректируйте баллы за текущие попытки.
• Обсуждайте результаты оцениваний со своим классом.
• Предоставьте базу для корректирующей работы
• Доработайте инструкции для классных занятий

Пример.

После анализа вопросов вы замечаете, что на один из вопросов большинство учащихся ответило неправильно. В чем причина низкого результата?

• Неясная формулировка вопроса?
• Непонятны варианты ответа на вопрос?
• Получали ли учащиеся необходимые учебные материалы, чтобы успешно ответить на этот вопрос?
• Было ли учебное содержимое легкодоступным и понятным?

Основываясь на ответах на поставленные вопросы, вы сможете доработать вопрос теста так, чтобы он действительно позволял оценить знания учащихся.

---

Доступ к анализу заданий

Вы можете запустить снова или просмотреть предыдущий отчет об анализе вопросов в таких областях курса:

• Меню оценивания на странице Материалы курса.
• Страница Аналитика курса > вкладка Анализ вопросов — если ваше учреждение включило аналитику.
• Журнал оценок в виде списка или таблицы.

На странице Материалы курса откройте меню оценивания и выберите Анализ вопросов. Вы также можете нажать значок Аналитика на панели навигации.

Можно также просмотреть отчет об анализе вопросов с журнала оценок в виде списка или таблицы. Откройте меню оценивания и выберите команду Анализ вопросов.

Страница «Анализ вопросов»

Страница Анализ вопросов доступна только с панели навигации > Аналитика > страница Аналитика курса > вкладка Анализ вопросов.

Вы можете запустить анализ уже отправленных заданий или заданий, не содержащих вопросы, но итоговый отчет не предоставит вам никакой полезной информации.

Вы получите уведомление о том, что анализ вопросов в процессе, и электронное письмо после его завершения. Вы можете покинуть страницу и работать в других областях курса, а к отчету об анализе вернуться, когда тот будет готов.

Столбцы состояния

Каждое задание на курсе пребывает в одном из этих трех состояний:

• Подготовка отчета.
• Завершен {date}.
• Данные больше не актуальны: Сейчас в задании есть больше отправленных материалов для анализа.
• Недостаточно данных: Отправленные материалы отсутствуют. Функция Запустить отчет отключена.
• Вопросов в задании не обнаружено: В задании отсутствуют вопросы или отправленные материалы. Функция Запустить отчет отключена.
• Состояние неизвестно: В задании присутствуют вопросы и отправленные материалы, но отчет не был запущен. Функция Запустить отчет подключена.
• Ошибка: Запустить

---

Просмотр суммарной информации об анализ вопросов

После выполнения анализа вы можете просмотреть суммарную информацию и подробности по каждому вопросу. Выберите оценивание на странице «Анализ вопросов», чтобы просмотреть суммарную информацию.

Про вычислениях учитываются только отправленные попытки. Если какие-то попытки еще выполняются, во время анализа элементов они игнорируются до тех пор, пока не будут отправлены и отчет анализа элементов не будет создан заново. Автоматические нули просроченных работ не учитываются в расчетах.

1. Итоговая статистика для отдельного задания:
   • Средний балл: Этот балл является средним баллом за это задание в журнале оценок. Средний балл может меняться по мере того, как появляется больше попыток и оценок.
   • Количество вопросов: Общее количество вопросов в задании.
   • Завершенные попытки: Количество отправленных выполненных заданий.
   • Среднее затраченное время: Среднее время, затраченное на выполнение всех отправленных попыток.
2. Запустите анализ заново или отредактируйте задание, чтобы изменить вопросы.
3. Используйте графы, чтобы фильтровать вопросы. Выберите нужные элементы в обоих графах, чтобы уточнить запрос поиска. Если вы не сделали выбор, все вопросы отобразятся в таблице в нижней части страницы.
   • Различение. Указывает на то, насколько хорошо вопрос проводит разделение между учащимися, хорошо и плохо знающими определенную тему.
     • Показывает, сколько вопросов попадает в ту или иную категорию:
       • Хорошо (более 0,3)
       • Удовлетворительно (от 0,1 до 0,3)
       • Неудовлетворительно (менее 0,1)
       • Невозможно рассчитать: сложность вопроса 100 % либо все учащиеся получили одинаковые баллы за этот вопрос.
     • Вопросы со значениями различения, попадающие в категории Хорошо и Удовлетворительно, лучше подходят для разделения учащихся с более высоким и низким уровнем знаний.
     • Вопросы в категории Неудовлетворительно рекомендуется пересмотреть.
   • Сложность. Процент учащихся, ответивших на вопросы правильно.
     • Показывает, сколько вопросов попадает в ту или иную категорию:
       • Легкие (более 80 %)
       • Средние (от 30 % до 80 %)
       • Сложные (менее 30 %).
     • Вопросы из категории легких и трудных рекомендуется пересмотреть.
4. Выберите фильтр для сортировки вопросов. Например, отсортируйте по фильтру Пересмотреть, чтобы в первую очередь отобразить вопросы, требующие пересмотра.
5. Снять фильтры: Убирает примененные фильтры и отображает все вопросы в таблице.
6. Скачивание отчета об анализе вопросов

---

Раздел «Вопросы» на сводке по оценке

Таблица вопросов предоставляет аналитическую статистику по каждому вопросу в задании. После использования фильтров в таблице вопросов вы сможете просмотреть и отсортировать результаты.

В целом, хорошие вопросы попадают в следующие категории.

• Средний уровень сложности (от 30 до 80 %).
• Значения различения — Хорошо или Удовлетворительно (больше чем 0,1).

В целом вопросы, рекомендуемые для проверки, попадают в следующие категории. Возможно, их качество недостаточно высоко или они неправильно оцениваются.

• Уровень сложности: легкий (> 80 %) или сложный (> 30 %)
• Значение различения: неудовлетворительно (> 0,1)

Напоминание. Если вы не сделали выбор, все вопросы отобразятся в таблице в нижней части страницы.

Для исследования конкретного вопроса выберите название и просмотрите сведения о вопросе.

В таблице приводится информация по каждому вопросу.

• Требуется пересмотр: Срабатывает, когда значения различения менее 0,1, А также тогда, когда значения сложности оказываются выше 80 % (слишком легкий вопрос) или ниже 30 % (слишком сложный вопрос). Пересмотрите вопрос, чтобы узнать, не требуется ли откорректировать его.
• Вопрос изменен: Отображает Да, если вы запустили один анализ, затем изменили часть вопроса и запустили анализ снова. Да также появляется, если при создании задания вы скопировали вопрос из другого задания.

  Уже появившись в колонке «Изменен вопрос», вариант «Да» не переносится, когда вы архивируете или восстанавливаете курс.

• Различение. Указывает на то, насколько хорошо вопрос проводит разделение между учащимися, хорошо и плохо знающими определенную тему. Вопрос является хорошим индикатором различения, когда учащиеся, правильно ответившие на него, хорошо справляются и с заданием в целом. Значения могут колебаться в диапазоне от –1,0 до +1,0. Вопрос помечается для пересмотра, если его значение различения составляет менее 0,1 или отрицательно. Значения различения невозможно рассчитать, когда сложность вопроса составляет 100 % или когда все учащиеся получают за один вопрос одинаковый балл.

  Значения различения вычисляются с помощью коэффициента корреляции Пирсона. X обозначает балл каждого учащегося, полученный за вопрос, а Y — за исследование в целом.

  

  Ниже приведены переменные для стандартного балла, выборочного среднего и выборочного среднеквадратического отклонения соответственно.

  
• Сложность. Процентная доля учащихся, ответивших на вопрос правильно. Процент сложности приведен вместе с категорией: Легкий (более 80 %), Средний (от 30 до 80 %) и Сложный (менее 30 %). Значения сложности могут варьироваться от 0 % до 100 %. Высокий процент означает, что вопрос был легким. Вопросы из категории легких и сложных помечаются для пересмотра.

  Уровни сложности, незначительно превышающие средний уровень между случайным и максимальным баллом, позволяют лучше отличить учащихся, знающих материал теста, от тех, которые его не знают. Высокие уровни сложности не гарантируют высоких значений различения.

• Оцениваемые попытки. Количество попыток ответа на вопрос, если оценивание завершено. Чем больше оцененных попыток, тем выше точность статистических расчетов.
• Средний балл. Балл, отображаемый здесь, является средним баллом за данное задание в журнале оценок. Средний балл может меняться по мере появления новых попыток и оценок.

---

Просмотр сведений об определенном вопросе

Можно исследовать вопросы, отмеченные для вашего пересмотра, и просматривать сведения об успеваемости учащихся. Выберите заголовок связанного вопроса в таблице «Анализ вопросов», чтобы получить доступ к сведениям об этом вопросе.

1. После доступа к вопросу воспользуйтесь меню заголовков, чтобы просмотреть любой вопрос в задании. Вы можете последовательно перейти к другим вопросам на этой же странице.
2. В таблице сводки отобразится статистика по вопросу.
3. Выберите Изменение задания, чтобы получить доступ к заданию и изменить его.
4. Отображаются текст вопроса и варианты ответа. Вы можете видеть, сколько учащихся выбрало тот или иной вариант ответа и процент ответивших правильно. Например, вы увидите, какой процент учащихся соединил пары правильно в вопросах на соответствие. В случае с открытыми вопросами отображается только текст вопроса.

---

Сведения о нескольких попытках, переопределении и редактировании вопросов

Распространенные ситуации при анализе:

• Если учащиеся выполняют задание несколько раз, в качестве вводных данных для анализа используется последняя подтвержденная попытка. Как только учащийся совершит новую попытку, последующие анализы будут использовать ее.
• Переопределения журнала оценок не влияют на данные анализа, так как он генерирует статистические данные для вопросов, ориентируясь на завершенные попытки учащихся.
• Когда вы вносите изменения в вопросы или вручную оцениваете их, вы должны снова запустить анализ и проверить, не влияют ли эти изменения на данные.

---

Примеры

Анализ вопросов может помочь вам улучшить вопросы для последующих заданий. Он также помогает исправить неправильные или неоднозначные вопросы в текущем задании.

• Отвечая на вопрос с вариантами ответа, равное количество учащихся выбрали варианты А, В и С. Пересмотрите варианты ответа, чтобы убедиться, что они однозначные, не слишком сложные и охватывают изученный материал.
• Рекомендуется пересмотреть вопрос, так как он относится к категории сложных. Вы определили, что это сложный вопрос, но сохранили его, поскольку нужно надлежащим образом проверить знание основных целей курса.
• Вопрос с вариантами ответа отмечен для вашей рецензии. Более 25 % лучших учащихся выбрали ответ B, но правильный ответ — A. Вы понимаете, что отметили неправильный ответ при создании вопроса. Вы изменяете вопрос в задании, и он автоматически переоценивается.

---

Скачивание отчета об анализе вопросов

Вы можете скачать отчет, чтобы проанализировать его и сохранить для последующего использования. Скачиваемый файл будет включать в себя колонки анализа в вашем курсе, а также стандартные колонки отклонений и ошибок. Отчеты хранятся в системе на протяжении 14 дней.

Нажмите значок скачивания над таблицей «Анализ вопросов». Формат файла по умолчанию — XLS. Вы также можете открыть файл в формате CSV.