결과 평가에서 증거는 수집된 학생 과제 샘플입니다. 이 증거는 프로그램, 코스, 연구 프로젝트, 교직원 및 학생 성취도 등을 평가하기 위해 평가됩니다.

Ultra 코스에서는 개별적으로 채점된 문제가 포함되지 않은 평가에서 증거를 수집할 수 있습니다.

평가 상위 관리자와 평가 관리자는 증거 토론글 모음을 생성하고, 토론글 모음을 샘플링하고, 평가자를 할당합니다.

증거 토론글 모음 생성

증거 토론글 모음을 생성하면 코스에서 특정 프로젝트 또는 평가 활동과 관련된 증거를 수집할 수 있습니다. 예를 들어 증거 토론글 모음을 생성하여 특정 교육 목표에 맞게 조율한 특정 프로그램 또는 사업부 내 코스에서 모든 과제 제출물을 수집할 수 있습니다.

Blackboard Learn 코스에서 작품을 수집하는 데 사용되는 기준을 정의하여 증거 토론글 모음을 설정할 수 있습니다.

  1. 다음 영역에서 교육 목표 및 평가에 접근합니다.
    • Original 환경
      • 관리자 패널 > 도구 및 유틸리티
      • 결과 탭
      • 나의 교육기관 탭 > 도구

    • Ultra 환경 

      • 관리자 패널 > 도구 및 유틸리티
      • 도구 페이지

  2. 수집된 증거 보기를 선택하여 기존 토론글 모음 목록을 확인합니다.
  3. +증거 수집을 선택하여 새 토론글 모음을 만듭니다.
  4. 증거 수집 페이지에서 교육 목표 찾기를 선택합니다.
  5. 교육 목표 검색 팝업 창에서 증거를 토론글 모음에 포함하도록 조율해야 하는 교육 목표를 선택합니다. 제출을 선택합니다.
  6. 토론글 모음 옵션 정의 섹션에서 증거를 수집할 위치를 다음 중에서 선택합니다. 전체 시스템에서, 제한된 범위에서 또는 특정 장소에서. 이러한 각 옵션 내에서 특정 학생 세트를 선택하거나 날짜를 제한하여 기준 범위를 더 좁힐 수 있습니다. 교육기관 계층 노드와 연계되어 있는 경우 해당 노드만 선택할 수 있습니다. 교육기관 계층 노드 관리에 대한 자세한 정보를 볼 수 있습니다. 브라우저의 뒤로 가기 기능을 사용하면 여기로 돌아옵니다
  7. 토론글 모음에 이름을 지정합니다. 다양한 토론글 모음 프로젝트의 타임라인을 관리하고 프로젝트가 완료된 시기를 알 수 있도록 시작 날짜와 종료 날짜를 지정합니다.
  8. 작업을 완료한 경우 제출을 선택하고, 다른 증거 토론글 모음을 생성해야 하는 경우 추가 증거 수집을 선택합니다.

증거를 수집하려면 코스 내 콘텐츠를 관련 교육 목표에 맞게 조율해야 합니다.

교육 목표 생성 및 조율에 대해 자세히 알아보기

토론글 모음을 샘플링하여 증거 세트 만들기

증거 세트는 토론글 모음 기준을 충족하는 학생 과제 제출물인 작품의 하위 세트로, 증거 토론글 모음에서 무작위로 추출됩니다. 증거 토론글 모음을 샘플링하여 증거 세트를 생성하면 교육기관 평가 활동에 대해 평가할 작품의 수가 줄어듭니다. 샘플링 후 평가가 수행될 수 있습니다.

  1. 증거 토론글 모음 보기 페이지에서 토론글 모음 이름을 선택합니다.
  2. 토론글 모음의 페이지에서 다음 항목에 접근할 수 있습니다.
    • 페이지 상단에 있는 토론글 모음의 상태
    • 사용 가능한 다음 작업을 위한 버튼
    • 증거 토론글 모음 기준과 일치하는 항목을 표시하는 토론글 모음 탭
    • 샘플 탭을 사용하여 토론글 모음에서 무작위로 선택된 작품의 하위 세트를 표시합니다. 이 탭은 샘플링이 수행된 후에 나타납니다.
  3. 샘플 작품을 선택합니다. 토론글 모음이 이미 샘플링된 경우 다시 샘플링을 선택할 수 있습니다.
  4. 팝업 창에서 모든 작품 포함 또는 무작위로 작품 선택을 선택합니다. 무작위로 선택하도록 선택하는 경우 필요한 총 작품 수를 입력하고 필요한 경우 각 과제에 필요한 최소 작품 수를 입력합니다.
  5. 제출을 선택합니다. 샘플링 프로세스는 즉시 실행되며 완료하는 데 몇 초 밖에 걸리지 않습니다.

증거 세트의 작품 평가

한 명 이상의 평가자를 선택하여 증거 세트의 작품을 검토합니다. 평가자는 루브릭을 사용하여 자신에게 할당된 작품을 평가합니다. 시스템의 모든 사용자를 평가 세션에 추가할 수 있습니다. 특별한 권한이나 접근 권한이 필요하지 않습니다. 평가자에게는 이메일 및 Blackboard 통지 시스템을 통해 증거 세트 내에서 선택된 작품 중 할당된 작품을 검토하라는 초대장이 자동으로 전송됩니다.

평가 세션 생성

  1. 수집된 증거 보기 페이지에서 토론글 모음 이름을 선택합니다. 평가 세션을 만들기 전에 토론글 모음을 샘플링해야 합니다.
  2. 평가 세션 생성을 선택합니다.
  3. 팝업 창의 평가자 선택에서 한 명 이상의 평가자를 찾습니다.
  4. 평가 설정에서 각 작품을 평가해야 하는 평가자 수를 선택합니다.
  5. 채점 루브릭의 경우 평가자가 사용할 루브릭을 찾습니다.
  6. 마감일을 선택합니다.
  7. 익명 평가를 활성화하려면 개인 정보 보호 확인란을 선택합니다.
  8. 세션 시작을 선택합니다. 사용자에게 자동으로 이 세션의 평가자로 선택되었다는 이메일이 통지됩니다. Original 환경에서는 통지가 내 Blackboard의 업데이트 섹션에도 게시됩니다. 이메일과 통지 모두에 평가자 보기에 대한 링크가 포함됩니다.

평가 세션에 대하여

평가자는 자신에게 할당된 작품만 볼 수 있습니다. 그러면 평가 상위 관리자는 동일한 작품에 대한 여러 평가자의 점수를 보다 효과적으로 비교하고 평가자 간 신뢰도를 더 잘 이해할 수 있습니다.

평가 상위 관리자는 평가 세션 페이지로 돌아가 다양한 평가자의 진행 상황을 모니터링할 수 있습니다. 작품 평가 자체를 확인하고, 평가자를 삭제하거나 추가하고, 세션을 닫도록 선택할 수 있습니다. 평가자가 추가 또는 제거되는 경우, 시스템에서 평가되지 않은 나머지 작품를 업데이트된 평가자 목록에 자동으로 재분배합니다.

평가자 보기에 접근

평가 세션을 생성하고 나면 자동으로 이메일을 통해 평가자에게 초대장이 전송됩니다. Original 환경에서는 통지가 내 Blackboard의 업데이트 섹션에도 게시됩니다.

  1. 평가자는 이메일 메시지 또는 업데이트 페이지에서 할당된 평가에 대한 링크를 선택합니다. 평가자가 이메일 메시지를 통해 접근하는 경우 링크를 선택하기 전에 Blackboard Learn에 로그인해야 합니다. 
  1. 할당된 증거 세트 내의 작품만 나타납니다. 평가자는 작품의 메뉴를 열고 평가를 선택합니다. 
  1. 학생의 제출물이 나타납니다. 평가자는 평가 또는 새 창에서 평가를 선택하여 루브릭을 보고 점수 값을 선택합니다.
  2. 평가자는 제출을 선택합니다.

평가 결과 분석

증거 세트의 평가가 완료되면 평가 상위 관리자는 보고서를 실행하여 결과를 파악할 수 있습니다. 수집된 증거에 대해 별도의 결과 평가를 수행하도록 선택하지 않는 경우 코스 내 과제에서 수집된 루브릭 점수를 대신 보고할 수 있습니다.

수집된 과제 제출물이 루브릭을 사용하는 코스에서 채점된 경우 해당 루브릭 평가도 수집됩니다. 코스 루브릭은 결과를 분석할 때 사용 가능한 루브릭 목록에 표시됩니다.

  1. 수집된 증거 보기 페이지에서 토론글 모음 이름을 선택합니다. 결과를 분석하려면 먼저 토론글 모음을 샘플링해야 합니다.
  2. 결과 분석을 선택합니다.
  3. 증거 토론글 모음 결과 분석 페이지에서 지금 결과를 보거나 다운로드할 수 있습니다.
  4. 루브릭을 선택합니다. 루브릭 목록에는 결과 평가 루브릭 및 코스 내 과제와 연계된 루브릭이 포함됩니다.
  5. 지금 결과를 보도록 선택하면 다음과 같은 추가 옵션이 있습니다. 결과 보고서의 날짜 범위와 결과를 비교하는 방법을 선택합니다.
  6. 결과 보기를 선택합니다. 지금 결과를 보도록 선택하면 결과가 화면에 나타납니다. 다운로드하도록 선택한 경우 파일을 저장하라는 메시지가 표시됩니다.