This information applies only to the Ultra Course View.

问题分析可提供关于综合表现、评估质量以及各个问题的统计数据。该数据能帮助您找出学生成绩对比结果较差的问题。问题分析用于包含问题的评估。如果要检查问题的质量并做出更改,您可以在进行所有提交之前运行报告。

问题分析的用途:

  • 为将来的评估改进问题或调整当前尝试的计分。
  • 与全班讨论评估结果
  • 为补课提供基础
  • 改进课堂教学

例如

在进行问题分析之后,您注意到绝大多数学生对某个问题的回答不正确。为什么成功率很低?

  • 该问题的用词是否令人困惑?
  • 答案选项是否含糊?
  • 是否为学生成功回答此问题提供了要学习的合适内容?
  • 要学习的内容是否便于访问且清楚明了?

根据您的发现,您可以改进问题,以使其真正地评估学生掌握或未掌握的内容。


访问评估分析

您可以从以下课程区运行和访问以前的问题分析报告:

  • 课程内容页面 > 评估的菜单
  • 课程分析页面 > 问题分析选项卡 - 如果您的机构已启用分析
  • 成绩簿、列表视图或网格视图

课程内容页面上,访问评估的菜单,然后选择问题分析。您也可以在导航栏上选择分析图标。

Highlighted question analysis option from a particular test menu.

您也可以在网格视图或列表视图的成绩簿中运行问题分析报告。访问评估的菜单,然后选择问题分析

Question analysis from a particular test menu.

“问题分析”页面

仅可通过导航栏 > 分析 > 课程分析页面 > 问题分析选项卡来访问问题分析页面。

This is how the question analysis from course analytics looks like.

对于具有提交且无问题的评估,可以运行报告,但您将会收到一个报告,其中不含任何可用信息。

您会收到一条消息,指出问题分析报告正在处理,在报告完成时将收到一封电子邮件。您可以离开该页面,在课程的其他区域中工作,稍后再返回以查看报告是否已准备就绪。

An alert notifying that the question analysis report is under construction and will be sent via email when it is complete.

状态列

课程中的每个评估都显示为以下状态之一:

  • 正在生成报告
  • 完成日期为 {date}
  • 数据不再是最新的:现在,评估包含更多要分析的提交。
  • 数据不足:不存在提交。运行报告已禁用。
  • 评估中没有问题:评估没有问题或提交。运行报告已禁用。
  • 未列出状态:评估包含问题和提交,但您没有运行任何报告。运行报告已启用。
  • 错误: 运行

评估总结

运行报告后,您可以查看有关每个问题的综合汇总信息以及详细信息。

仅已提交的尝试会用于计算中。  尝试正在进行中时,会被忽略,直到其完成提交并且您再次运行分析报告。计算中不包含为逾期作业指定的自动零。

Test summary with discrimination and difficulty purple bars and an option to select the review column so questions that need review appear first.
  1. 个人评估的统计汇总:
    • 平均分数:显示的分数是成绩簿中为评估报告的平均分数。如果已提交并评分更多尝试,则平均分数可能会发生变化。
    • 可能的问题:评估中问题的总数。
    • 已完成的尝试:已提交评估的数量。
    • 平均用时:所有已提交的尝试的平均完成时间。
  2. 重新运行报告或编辑评估,以对问题进行更改。
  3. 使用图表可筛选问题表。在两个图表中进行选择以细化搜索。如果不进行任何选择,则所有问题都会显示在页面底部的表格中。
    • 对比:指示问题对已掌握主题知识的学生与未掌握主题知识的学生的区分能力如何。
      • 显示属于以下类别的问题数量:
        • 良好(大于 0.3)
        • 一般(介于 0.1 和 0.3 之间)
        • 较差(小于 0.1)类别
        • 无法计算:问题的难度为 100%,或所有学生在某个问题上获得相同的分数。
      • 对比值属于良好一般类别的问题可以区分知识水平较高和较低的学生。
      • 建议对属于较差类别的问题进行复查。
    • 难度:正确回答问题的学生所占的百分比
      • 显示属于以下类别的问题数量:
        • 简单(大于 80%)
        • 中等(介于 30% 和 80% 之间)
        • 困难(小于 30%)
      • 建议对简单困难类别的问题进行复查。
  4. 选择标题可对问题排序。例如,对复查列进行排序,以便首先显示需要复查的问题。
  5. 清除筛选条件:清除您在图表中选择的筛选条件,并在表格中显示所有问题。
  6. 下载问题分析报告

问题区域

问题表格为评估中的每个问题提供分析统计数据。使用图表筛选问题表格后,您可以查看结果并对其排序。

一般来说,好的问题属于以下类别:

  • 难度值为中等(30% 到 80%)
  • 对比值为良好一般(大于 0.1)

一般来说,建议进行复查的问题属于以下类别。这些问题可能质量较低,或无法正确地打分。

  • 难度为容易 ( > 80%) 或 ( < 30%)
  • 对比值为较差 (< 0.1)

提醒:如果不进行任何选择,则所有问题都会显示在页面底部的表格中。

This is how the test analysis questions table looks like.

要研究特定问题,请选择标题并查看问题详细信息

每个问题的信息都显示在该表中:

  • 需要复查:当对比值小于 0.1 时触发。此外,当难度值大于 80%(问题过于简单)或小于 30%(问题过于困难)时也会触发。请复查问题以确定是否需要修改问题。
  • 问题已修改:如果您运行一个报告,然后更改问题的一部分,并重新运行该报告,则会显示。如果您在创建评估时从其他评估复制了问题,也会显示

    如果某个问题的“问题已修改”列显示“是”,则当您存档和恢复课程时,“是”不会继续存在。

  • 对比:指示问题对已掌握主题知识的学生与未掌握主题知识的学生的区分能力如何。如果正确回答某问题的学生在评估中也取得了好成绩,则此问题适合用作对比项。对比值的范围介于 -1.0 到 +1.0 之间。如果问题的对比值小于 0.1 或为负值,则会被标记以供复查。当问题的难度值分数为 100% 或所有学生在某个问题上获得相同的分数时,无法计算对比值。

    对比值使用 Pearson 相关系数进行计算。X 表示每个学生在某个问题上的得分,Y 表示每个学生的评估得分。

    Mathematical formula of the Pearson correlation coefficient to calculate discrimination values.

    以下变量分别是标准分数、样本均值和样本标准偏差:

    The standard score, sample mean, and sample standard deviation are the core elements of the Pearson correlation coefficient to calculate discrimination values.
  • 难度:正确回答问题的学生所占的百分比。难度百分比将与其类别一起列出:简单(大于 80%),中等(30% 至 80%)和困难(小于 30%)。难度值的范围介于 0% 至 100% 之间。高百分比表示问题简单。属于“简单”或“困难”类别的问题会被标记以供复查。

    介于及格和满分之间略微高于中等程度的难度水平可以更好地区分已掌握测试资料的学生与未掌握测试资料的学生。难度值较高不能保证对比程度也较高。

  • 已评分尝试:已完成评分的问题尝试的数量。已评分尝试的数量越大,计算出的统计数据越可靠。
  • 平均分数:显示的分数是在成绩簿中为评估报告的平均分数。对所有尝试评分后,平均分数可能会发生变化。

查看单个问题的详细信息

您可以研究标记为要进行复查的问题,并查看学生表现。在问题表格中选择一个链接的问题标题,可访问问题的摘要。

This is how a particular question analysis summary looks like.
  1. 访问问题后,使用问题标题的菜单可访问评估中的任意问题。您可以在页面的一侧依顺序导航到其他问题。
  2. 汇总表显示问题的统计数据。
  3. 单击编辑评估以访问评估并进行更改。
  4. 显示问题文本和答案选项。您可以看到分别有多少学生选择了每个答案选项,或者可以查看回答正确百分比。例如,对于匹配问题,您可以看到能够正确匹配答案的学生百分比。仅论述题才会显示问题文本。

多次尝试、问题覆盖和问题编辑

该分析通过以下方式处理一些常见情形:

  • 学生多次进行评估时,最后提交的尝试将用作分析的输入数据。一旦学生提交了另一次尝试,随后的分析将包括该最新尝试。
  • 成绩簿覆盖不影响分析数据,因为分析会根据已完成的学生尝试生成问题的统计数据。
  • 当您对问题进行更改或手动为问题评分时,您必须再次运行分析,查看更改是否会对数据造成影响。

示例

问题分析可帮助您为将来的评估管理改进问题。您也可以修正当前评估中误导性或模棱两可的问题。

  • 在一道单项选择题中,相等数目的学生选择了 A、B 和 C。检查答案选项,以确定答案是否模棱两可、问题是否过于困难或是否未涵盖资料。
  • 系统建议您复查某个问题,因为其难度被划分为困难类别。您确定该问题是困难问题,但仍然保留它,以便充分评估课程目标。
  • 一道单项选择题进行了标记以供您复查。大部分排名前 25% 的学生选择了答案 B,但 A 是正确答案。您意识到自己在创建问题时未选择正确答案。您编辑评估问题,系统会自动进行重新评分。

下载问题分析报告

您可以下载报告,以对其进行分析,或予以保留以供将来使用。下载的文件除了包括标准偏差列和标准误差列之外,还包括课程分析中的列。报告在系统中保留 14 天。

选择问题表格上方的下载图标。默认文件格式为 XLS。您也可以以 CSV 文件格式打开文件。

Sample of a downloaded question analysis report.