在 Outcomes Assessment 中, 证据是收集的学生作业示例。评估该证据旨在评估方案、课程、研究项目、教职员工和学生成就等。

在 Ultra 课程中,可以从不包含单独评分问题的评估中收集证据。

评估管理者和评估管理员可创建证据收集、对收集进行采样并指定评估者。


创建证据收集

您可以创建证据收集,以便从与特定项目或评估活动相关的课程中收集证据。例如,创建证据收集以收集特定方案或业务部门内与特定目的对齐的课程的所有作业提交。

您可以通过定义用于从 Blackboard Learn 课程收集辅件的标准来设置证据收集。

  1. 在以下区域访问目的和评估
    • 原始体验
      • 管理员面板 > 工具和实用工具
      • Outcomes 标签
      • 我的机构标签 > 工具
    • Ultra 体验

      • 管理员面板 > 工具和实用工具
      • 工具页面

  2. 选择查看收集的证据可查看现有收集的列表。
  3. 选择 +收集证据可创建新的收集。
  4. 收集证据页面上,选择查找目的
  5. 查找目的弹出窗口中,选择证据必须与之对齐才能包含在收集中的目的。选择提交
  6. 定义收集选项区域中,选择将从何处收集证据:整个系统,有限的范围,或从特定地方。在上述每个选项中,您可以通过选择特定学生集或限制日期来进一步缩小标准范围。如果您与机构层次结构节点关联,则只有这些节点可供您选择。您可以查看有关管理机构层次结构节点的详细信息。使用浏览器的后退功能可返回此处。
  7. 为收集命名。指定开始日期和结束日期,以帮助您管理各种收集项目的时间表并了解项目完成的时间。
  8. 如果已完成,请选择提交,或者如果需要创建其他证据收集,请选择收集更多证据

要收集证据,课程中的内容必须与相关目的对齐。

详细了解如何创建和对齐目的


对收集进行采样以创建证据集

证据集是从证据收集中随机抽取的辅件的子集,辅件是符合收集标准的学生作业提交。您可以通过对证据收集进行采样来创建证据集,以减少将为机构评估活动进行评估的辅件数量。采样后即可进行评估。

  1. 查看证据收集页面上,选择收集名称。
  2. 在收集页面上,您可以访问以下项目:
    • 位于页面顶部的收集状态
    • 用于显示下一个可用操作的按钮
    • 收集标签,用于显示符合证据收集标准的项目
    • 采样标签,用于显示从集合中随机选择的辅件子集。此标签在采样发生后显示。
  3. 选择辅件采样。如果已对收集进行采样,则可以选择再次采样
  4. 在弹出窗口中,选择包括所有辅件随机选择辅件。如果选择随机进行选择,请键入所需的辅件总数,并键入每个作业所需的最小辅件数(可选)。
  5. 选择提交。采样过程会立即运行,只需几秒钟即可完成。

评估证据集中的辅件

您可选择一个或多个评估者来复查证据集中的辅件。他们使用评分量规来评估已指定给他们的辅件。可将系统中的任何用户添加到评估会话。他们不需要任何特殊权限或访问权限。系统会通过电子邮件和 Blackboard 通知系统自动向评估者发送邀请,以复查证据集中指定的辅件选择。

创建评估会话

  1. 查看收集的证据页面上,选择收集名称。必须对收集进行采样,然后才能创建评估会话。
  2. 选择创建评估会话
  3. 在弹出窗口中的选择评估者下,浏览一个或多个评估者。
  4. 对于评估设置,选择需要评估每个辅件的评估者数量。
  5. 对于评分量规,浏览以查找供评估者使用的评分量规。
  6. 选择到期日期
  7. 选中隐私复选框以启用匿名评估。
  8. 选择开始会话。系统将通过电子邮件自动通知用户,告知您已将他们选作此会话的评估者。在原始体验中,通知也会发布在“我的 Blackboard”的更新区域中。电子邮件和通知都包含指向评估者视图的链接。

关于评估会话

评估者只会看到指定给他们的辅件。然后,评估管理者可以更有效地比较同一辅件的不同评估者的分数,并更好地了解评分者间的可靠性。

评估管理者可以返回评估会话页面来监控各个评估者的进度。他们可以选择自行检查辅件评估、删除或添加评估者,以及关闭会话。如果添加或删除了评估者,系统将自动在更新后的评估者列表中重新分发剩余的未评估辅件。

访问评估者视图

创建评估会话后,系统将自动通过电子邮件向评估者发送邀请。在原始体验中,通知也会发布在“我的 Blackboard”的更新区域中。

  1. 评估者可以在电子邮件中或更新页面上选择指向为其指定的评估的链接。如果评估者通过电子邮件进行访问,他们必须先登录到 Blackboard Learn,然后才能选择该链接。
  1. 系统仅会显示在他们的指定证据集中的辅件。评估者打开辅件的菜单并选择评估
  1. 此时将显示学生的提交。评估者可选择评估在新窗口中评估以查看评分量规并选择分数值。
  2. 评估者选择提交

分析评估结果

完成对证据集的评估后,评估管理者可以运行报告以了解结果。如果他们不选择对收集的证据执行单独的 Outcomes 评估,可以改为报告从课程内的作业收集的评分量规分数。

如果收集的作业提交在课程中使用评分量规进行了评分,则还会收集这些评分量规评估。分析结果时,课程评分量规将显示在可用的评分量规列表中。

  1. 查看收集的证据页面上,选择收集名称。必须先对集合进行采样,然后才能分析结果。
  2. 选择分析结果
  3. 分析证据收集结果页面上,您现在可以查看结果或下载结果。
  4. 选择一个评分量规:评分量规列表包括 Outcomes Assessment 评分量规以及与课程中的作业关联的评分量规。
  5. 如果您选择立即查看结果,则还有其他选项可用:选择结果报告的日期范围以及如何比较结果。
  6. 选择查看结果。如果您选择了立即查看结果,它们将显示在屏幕上。如果您选择了下载,系统将提示您保存文件。