最佳实践:设计企业调查

本主题中的方案并不详尽,也并不是要替代与调查数据收集相关的内部运营规定或原则。它们是用于最大程度改进调查数据和间接评估数据收集体验的建议。


与评估和企业调查数据收集相关时的机构层次结构

门户管理的机构层次结构(适用于许可使用门户管理模块的学校)是层次结构管理用户界面,其设计目标是:管理员可通过这个界面在 Blackboard Learn 中创建能反映其机构自己的学院、学校、科系、非学术单位和其他特殊群体的多级别框架。它的最初设计目标是视情况向其他用户委派管理任务,但现在它也可以用来评估和收集调查数据。

设计层次结构时,还需考虑评估过程,这是十分有益的:某些评估过程仿效传统的机构 > 学院/学校 > 科系结构,而另一些过程超出了传统科系范围并关注非学术和学生群体(例如图书馆、希腊生活、第一年体验方案、试读、残疾人服务、初级历史专业、博士研究生等)。超出传统机构结构的思维范畴来设计用于评估的机构层次结构,使机构可以捕获传统方法无法提供的数据。


为长期使用和纵向分析设计调查

在企业调查中创建的调查是针对长期使用和跨多个学期的重新部署而设计的。调查工具的创建独立于回复时段。在机构设计调查时,应特别考虑调查的长期使用。此调查是否将用于多个回复时段(学期或日期范围)?我们询问的问题是否合适?这是否是我们要在较长时期内捕获的数据?

调查可以使用提供的分析结果工具或通过导出数据进行反复部署,以便收集和比较回复数据。机构使用此功能可以通过在分析或下载数据时选择多个回复时段,在较长时期内执行相同调查工具的纵向分析。如果调查特定于课程评估,则教员还可以在多个回复时段报告和跟踪学生满意度,以针对其特定课程衡量学生满意度和收集反馈。

跨多个回复时段部署调查对于长期分析回复数据(如课程评估、学生满意度、服务使用、改进提议和其他间接评估过程)尤其有用。


通过对回复指定分数来量化数据

设计调查的内容时,机构可以选择对每个回复指定数字分值。这些分数是对每个答案的数字评定。将分数应用于回复时,计算得到的问题平均回复将出现在分析报告中。

然后,对于主要为肯定的回复,评定显示为向上的绿色箭头;对于中性回复,评定显示为水平黄色箭头;而对于主要为否定的回复,评定显示为向下箭头。分析报告还会计算问题的总体回复平均值。


对调查工具和纵向报告进行版本控制

部署了调查并收集了数据之后,便无法编辑调查。不编辑部署的调查是基于最佳实践和心理测量学原理,以确保在回答者提交了其调查数据之后问题不会更改。不过,可以对更新的调查复制调查、编辑调查和创建回复时段。每个调查的结果数据可以使用提供的分析结果工具进行分析,或是在外部工具(如 SPSS、SAS、Microsoft Excel 或其他数据管理解决方案)中进行导出和操作。此功能为机构提供了一个过程,用于随时间推移跟踪调查工具的演变,同时仍可以跨多个工具比较数据。

要复制调查,请打开要复制的调查旁边的菜单,然后选择复制。相应调查工具会被复制到新工具中(可进行编辑并部署到新回复时段)。


部署带有对特定科系独有的回复区域的调查

通过将调查部署到门户管理的机构层次结构中的节点,调查所有者可以捕获机构中特定于该业务单位(节点)的回复。除非调查部署到某个特定的业务单位,否则不会针对该特定业务单位捕获回复数据。如果针对该业务单位部署了调查,则企业调查可捕获特定于该单位的数据。例如:

商学院在为学校创建学期末课程评估,学校要捕获科系特定平均值以进行鉴定和报告。Blackboard Learn 用户关联到商学院业务单位以及特定学术学科(营销、金融、会计、观光旅游、经济学、管理、人力资源等)。如果调查部署到商学院业务单位,则不会捕获子业务单位的数据。务必将调查部署到捕获该特定业务单位数据所需的最细微详细程度;在此例中为科系。如果调查只需捕获常规商学院业务单位的数据,则部署到商学院是可以接受的。不过对于此情况,需要更细微级别的调查部署来捕获学术科系特定数据。


事后发送匿名调查和收集人口统计信息数据

企业调查允许调查所有者或管理者匿名收集数据。如果在启用匿名设置的情况下收集结果,则在回答者完成每个调查时不会收集身份数据。如果人口统计信息数据与机构的间接评估过程密切相关,请勿在创建回复时段时将回复时段设置为接受匿名回复

在企业调查回复时段中收集的身份信息包括用户名、名字、姓氏、性别和电子邮件地址。

如果收集了回复且收件人已知,则回复数据可以导出到 CSV 文件,在外部数据工具(如 Microsoft Excel、SAS、SPSS 或其他工具)中查看,并交叉引用到学生信息系统 (SIS) 以便添加其他人口统计信息数据(如 GPA、学位方案、学术专业等)。


将调查部署到具有多个教师的课程

在许多情况下,由一组教员分担某个课程的授课职责。企业调查会收集特定于课程区域而不是特定用户角色的回复数据。

当调查部署到由多个教师分担授课职责的区域时,可以通过创建特定于这些区域的调查(其中存在多页与教师相关的问题)来针对每个教师收集数据。需要指导学生针对课程中的每个教师完成每页问题。

请勿将调查结果发布到课程区域。而是下载数据,分析出与每个教师密切相关的数据,然后通过资源管理系统(而不是自动报告),采用电子邮件或分发方式进行发送以便复查。


向教师发布结果和报告

为调查创建回复时段时,调查所有者或管理者有机会设置通过教师相应的 Learn 课程向其发布结果的日期和时间(如果结果的确要发布给教师)。

设置时间安排选项以发送和结束调查时,调查所有者还能够设置向教员用户发布结果的时间。用于发布调查的选项在默认情况下是关闭状态。要发布结果,只需选中发布调查结果旁边的方框并设置发布结果的日期和时间。用户可以将结果设置为立即发布,因此,教师可以在每天晚上更新数据后查看结果,也可以在关闭调查回复时段之后查看(使用显示起始日期设置)。调查所有者还可以选择将调查结果仅限制在某个时间段内。通过使用显示截止日期设置,结果仅供采用建立的窗口在 Learn 课程区域中进行复查。在下面的图片中,调查关闭的时间为 2013 年 5 月 15 日晚上 11:59。随后,调查结果被设置为供教师在调查的课程区域中复查(时间为 2013 年 5 月 16 日凌晨 4:00)。结果随后在设置的时间段过后将不再可用。

通过在调查正在进行时发布结果,教员可以查看其结果在回复时段期间的演变。这也有助于提高合规性,以查看在给定课程区域中回复的学生数。这样便使教师可以提醒学生进行回复并提高学生回复。这样还使教师可以随时间推移持续监控结果。

即使在发送调查之后,发布调查结果设置也可以根据需要进行更新。当用户日后需要访问结果或是设置建立不正确时,这尤其有用。学生用户不会看到调查结果。此外,仅当调查已发送给在课程或组织中注册的用户时,用于根据条件发布调查结果的选项才可用。


提高学生的回复率

收集调查数据时的主要挑战之一是学生和其他回答者的回复率。企业调查提供了几款工具,用于帮助提高回复率:使用全局导航菜单中的通知、课程区域中的公告和电子邮件的调查通知。除了这些功能之外,在企业调查中创建的调查还适用于移动设备。调查所有者或管理者还可以设置自动提醒以向回答者发送警报。提醒将发送给尚未完成调查的人员。提醒可以按以小时、天、周或月为单位的特定间隔或在特定日期和时间进行发送。

每个调查提醒可进行定制来包括变量字段,以向学生告知调查用途。要详细了解如何编辑提醒,请参阅此部分中的“如何创建回复时段”主题。

提醒仅发送给尚未完成调查的回答者。


将调查结果设为可供管理和其他用户可用

有时,原始调查所有者或管理者之外的用户需要访问调查数据以便针对精选课程或机构中的特定业务单位进行报告。调查所有者或管理者可以添加其他用户作为调查所有者,而不是为每个业务单位创建特定调查。添加这些用户作为所有者会向指向用户授予对调查数据的访问权限。每个所有者都可以针对整个调查,为其特定业务单位导出数据或分析结果。

当多个用户必须访问数据以用于方案复查、规划、教员复查、学生满意度衡量、鉴定或其他非学术过程(如针对为第一年方案、图书馆服务或课外计划收集的调查进行报告)时,此过程尤其有用。

添加调查所有者

  1. 以将为其添加其他所有者的调查的调查管理者或所有者身份登录 Blackboard。
  2. 在门户页面或“系统管理员”页面上的“工具”菜单中选择企业调查

许可使用 Outcomes Assessment 的客户还可以使用 Outcomes Assessment 指示板访问“企业调查”。

  1. 打开需要添加所有者的调查的菜单,然后选择添加调查所有者
  2. 选择添加所有者以浏览并选择合适的调查所有者
  3. 选择提交

有关使用导出的提交数据的建议

通过企业调查收集的回复数据可以在外部数据管理工具(如 Microsoft Excel、SPSS、SAS 或其他类似软件程序)中进行导出和操作。导出的数据可以进行操作并用于整个机构的各种报告要求,包括:

  • 创建特定于方案和/或学术单位的自定义报告。
  • 将数据交叉引用学生信息系统,以便按其他人口统计信息(如学术专业、GPA、学位方案、助学金状态或其他这类身份信息)比较结果。
  • 使数据和报告可供外部利益关系人用于机构鉴定、计划鉴定、方案复查、战略计划和其他类似过程。
  • 与回复关联的具有分值的数据可通过加权回复形成可量化的回复数据(而不是通过简单回复计数形成的定性数据)。
  • 使数据可供学生使用,具体方法是使用经过净化且可搜索的数据库作为衡量以前学生对教员的满意度的途径,以实现日程制订和质量认知度。

Blackboard 将十分感激企业调查的用户分享如何在其机构中将导出的数据用于上述过程或更多过程。