질적 동료 평가를 위한 동료 검토

질적 동료 평가란 무엇입니까?

동료 평가는 학생이 기준에 바탕을 둔 평가를 통해 동료의 작업을 검토할 수 있는 일반적인 리소스입니다. 동료 평가는 교수자와 학생이 쉽게 사용할 수 있습니다.

질적 동료 평가를 사용하는 이유는 무엇입니까?

학생이 유익한 피드백을 주고받을 수 있습니다.
과목 자료에 대한 이해를 증진하고 이해한 내용을 실행으로 옮깁니다.
학생의 분석 기술 및 학습 이해력을 증진합니다.
학생이 비판적 사고를 개발할 수 있도록 독려합니다.
학생에게 다른 사람을 전문가답게 비평하는 연습을 할 기회를 제공합니다.
학생의 분석 및 커뮤니케이션 기술을 측정할 수 있습니다.
업무를 분배하는 데 도움이 됩니다.
학생이 여러 개인으로부터 여러 관점에서 피드백을 받을 수 있게 해줍니다.

문제 및 기준 예

문제는 평가의 구조 및 콘텐츠를 제공합니다. 단순("2+2는 무엇입니까?")할 수도 있고, 복잡("로마 제국이 멸망한 주요 원인을 설명합니다.")할 수도 있습니다.

각 문제에 수반되는 기준은 이러한 문제의 응답을 평가할 수 있는 수단을 제공합니다. 기준 수는 1개("정답이 4였습니까?")부터 여러 개까지 다양할 수 있습니다.

답안이 주제의 광범위한 컨텍스트에서 문제를 제기하고 있습니까?
답안이 잘 정리되고 명확히 전개되어 있습니까?
답안이 신중하게 교정되었습니까? 문법 또는 맞춤법 오류나 오타가 없습니까?

또한 루브릭을 사용하여 학생의 평가 프로세스를 용이하게 하고 교수자로서 학생의 성과를 효과적으로 추적할 수 있습니다. 교수자는 루브릭을 사용하여 채점하고 학생은 교수자가 채점 시 사용할 수 있는 루브릭을 볼 수 있습니다.

동료 검토자는 자신의 피드백을 설명하는 루브릭을 볼 수 있지만 교수자는 채점 시 루브릭을 사용할 수 있습니다.

동료 검토 평가 생성하기

Ultra 코스 보기에서 과제에 대해 질적 동료 검토를 생성할 수 있습니다.

The Assignment settings panel is open with 1) the "Peer review" checkbox selected and highlighted, 2) the "Select peer settings" option selected and highlighted, 3) the Peer review settings panel opened with the "Reviews per student", "Assessment due date", and "Peer review due date" options on screen, and 4) the Peer review section displayed with the updated information.

코스 콘텐츠 페이지에서 과제를 추가하고 싶은 위치에 더하기 기호를 선택합니다. 메뉴에서 생성을 선택하여 항목 생성 패널을 열고 과제를 선택합니다. 새 과제 페이지가 열립니다.
과제 설정 패널에서 동료 검토를 선택합니다. 선택 사항은 허용된 시도 수와 같은 다른 필드에 자동으로 영향을 주는데, 이는 성공적인 동료 검토 프로세스를 보장하는 데 필요한 설정을 준수하기 위해서입니다.
동료 검토 아래에서 동료 검토 설정을 선택합니다. 확장된 패널에서 학생당 검토 횟수, 평가 마감일(과제 제출물) 및 동료 검토 마감일(동료 검토 완료)을 설정할 수 있습니다.
저장을 선택합니다.
과제 설정 내의 동료 검토 섹션은 검토자 수 및 동료 검토의 마감일에 대한 선택 사항을 표시하도록 업데이트됩니다.
평가를 완료하기 위한 채점 루브릭과 같은 다른 설정을 과제에 추가할 수 있습니다.
과제 설정 패널을 닫고 계속해서 학생을 위한 지시 사항 및 과제에 콘텐츠를 추가하십시오.
학생이 준비가 되면 과제를 사용할 수 있도록 설정합니다.

그룹 내에서 동료 검토를 할당하기 위해 동료 검토가 활성화되어 있는 여러 과제를 설정하고 그룹 멤버십별로 조건부 사용 가능성을 설정할 수 있습니다. 이러한 방식으로 할당된 동료 검토자는 항상 학생의 그룹 내에 있게 됩니다.

동료 검토가 있는 과제에는 단일 텍스트 프롬프트가 있습니다. 학생이 응답하고 피드백을 수신해야 하는 모든 주제 및 문제를 하나의 프롬프트에서 포함해야 합니다.

파일 첨부에 대해 자세히 알아보기

질적 동료 평가 타임라인

생성 및 배포: 제출 및 검토 마감일, 필요한 검토 횟수를 설정하고 학생이 과제를 볼 수 있도록 설정합니다.
제출 기간: 학생이 과제를 제출할 것으로 예상되는 제출 마감일 이전의 시간입니다.
동료 검토: 학생이 동료의 작업을 검토하고 동료에게 피드백을 제공할 것으로 예상되는 기간으로, 제출 마감일 이후와 동료 검토 마감일 이전을 의미합니다.
작업 추적: 교수자는 제출물을 추적하고 성적부의 진행 상황을 검토할 수 있습니다.
채점: 동료 검토 마감일 이후에 교수자는 학생의 제출물과 동료에 대한 학생의 검토 내용을 모두 고려하여 활동을 채점합니다.

제출 기간

제출 기간 동안 학생은 다음 작업을 수행할 수 있습니다.

과제 지시 사항을 확인합니다.
필요에 따라 과제와 연계된 모든 루브릭을 검토합니다.
초안 작성을 시작합니다.
시도를 제출합니다.

다른 과제와 마찬가지로 학생은 과제를 직접 작성하고 파일을 첨부할 수 있습니다.

완료된 시도는 한 번만 제출할 수 있습니다. 이는 학생이 다른 학생이 작성한 내용을 본 다음 과제를 다시 제출하는 것을 방지하기 위한 조치입니다. 학생이 시도를 제출할 때 문제가 발생하면, 교수자는 학생이 다시 제출할 수 있도록 시도를 삭제할 수 있습니다.

동료에게 제출물 무작위 배포

제출물은 학생에게 무작위로 자동 배포됩니다. 학생은 동료에게 미리 할당되지 않지만 잠재적인 동료 과제의 문제 은행에 남아 있습니다. 학생이 새로운 동료 검토를 시작하기 위해 선택하면 다른 학생의 제출물이 문제 은행에서 무작위로 추출됩니다. 이 방법을 사용하면 늦은 제출물 및 동료 검토를 더 유연하게 수락하고 처리할 수 있습니다.

동료의 ID는 학생에게는 보이지 않고 교수자에게만 보입니다.

동료 검토 기간의 시작

제출 마감일이 지나면 검토 기간이 자동으로 시작됩니다. 이때 학생은 과제로 돌아가서 검토를 시작할 수 있습니다. 검토 기간이 시작되기 전에 자신의 과제를 제출한 학생은 동료 검토를 시작할 수 있는 시점에 대한 안내를 받게 됩니다.

The Assigned Peer Reviews panel is open. The "Start peer reviews" and "View submission" buttons are displayed.

검토가 할당 및 배포되는 방식 때문에 최소 제출물 수에 도달할 때까지 검토 기간을 시작할 수 없습니다.

마감일까지 검토 기간을 시작하는 데 필요한 최소 제출물 수는 교수자가 설정한 할당된 검토 수에 1개를 더한 수입니다. 예를 들어 학생당 3개의 검토가 필요하다고 설정한 경우, 검토 기간이 시작되려면 4개의 제출물이 제출되어야 합니다. 이렇게 해야 먼저 검토를 시작하는 학생에게 필요한 모든 검토를 한 번에 완료(학생이 이 방법을 선택하는 경우)할 수 있는 충분한 수의 제출물을 제공할 수 있습니다.

제출 마감일이 지났는데 검토 기간을 시작할 수 있을 만큼 제출물이 충분하지 않은 경우 과제 설정 페이지에 경고가 표시됩니다.

필요에 따라 원래 설정을 변경하고 필요한 검토 수를 줄이거나 제출 마감일을 조정할 수 있습니다.

동료의 이름은 항상 서로에게 표시되지 않습니다. 학생이 누구를 평가하고 있는지 알 수 있도록 하려면 학생에게 해당 제출물에 이름을 추가하도록 요청할 수 있습니다. 교수자에게는 학생 이름을 숨길 수 없습니다.

동료 검토 과제의 성적이 게시될 때까지 학생에게 검토 내용은 표시되지 않습니다.

동료 검토가 활성화되어 있는 경우 과제에 대한 독창성을 SafeAssign을 통해 확인할 수 없습니다.

An assignment's Content and Settings page is open with 1) the "Peer reviews were not started because there were not enough submissions. Please review your assignment settings" message highlighted and 2) the "Edit settings" option selected and highlighted.

늦은 제출물 및 검토

다른 과제와 마찬가지로 학생은 과제를 늦게 제출할 수 있습니다. 마감일 조정이 적용되지 않는 한, 지연은 성적부 및 채점 워크플로에 표시됩니다.

학생의 늦은 제출물은 제출 시점에 사용 가능한 문제 은행으로 이동하고 제출 후에 검토를 시작하는 동료는 평가할 제출물을 선택할 수 있습니다. 마감일 조정은 처리되지만, 다른 학생의 검토 기간에 잠재적으로 영향을 미칠 수 있기 때문에 이 시점에는 개별 학생에 대한 마감일 예외 사항이 동료 검토가 활성화되어 있는 과제에 대해서는 허용되지 않습니다.

늦은 제출자 및 검토자는 활성 참가자로 프로세스에 속한 상태로 유지되며 교수자는 항상 학생의 완료 진행 상황을 추적하면서 늦는 학생을 확인할 수 있습니다.

한 학생이 매우 늦게 제출하고 다른 모든 학생이 동료 검토를 완료한 경우, 매우 늦은 이 학생은 동료로부터 어떠한 검토도 받지 못하지만 다른 학생에 대한 동료 검토는 수행할 수 있습니다.

이 늦은 학생이 검토를 시작할 때 문제 은행에서 사용할 수 있는 제출물이 더 이상 없을 경우 다른 학생의 제출물이 이 학생에게 할당되므로 일부 학생은 할당된 검토 수보다 더 많은 동료 검토를 받게 됩니다. 이러한 추가적인 검토는 기본적으로 검토를 수신하는 동료가 볼 수 없으므로 혼란스러워하거나 '과잉 평가'되었다고 느끼지 않습니다.

제 시간에 검토를 제출하고 완료한 학생이 검토 마감일까지 모든 동료 검토를 받지 못하는 상황이 발생할 수 있습니다. 이는 다른 학생이 완료하지 않은 보류 중인 검토가 있다는 것을 의미합니다.

제출물 추적 및 상태 검토

과제의 제출물 페이지에서 모든 학생의 상태, 제출 여부, 완료한 동료 검토의 수, 제출물 또는 검토가 늦었는지 여부를 확인할 수 있습니다.

동료 검토 과제의 성적이 게시될 때까지 학생에게 검토 내용은 표시되지 않습니다.

The Submissions page is open with the submissions list on screen and all student's statuses (whether they’ve submitted, the number of peer reviews they’ve completed, and whether they were late with either the submission or their reviews).

학생과 교수자는 활동 스트림을 통해 제출물에서 관련된 변경 사항에 대해 알아볼 수 있습니다. 교수자는 새 검토가 도착하면 통지를 받고, 학생은 자신의 검토가 채점되면 통지를 받습니다.

채점

채점 워크플로에서 교수자 또는 할당된 채점자는 원래 과제 지시 사항, 학생의 제출물, 이 학생이 동료에게 제공한 검토 및 이 학생이 동료로부터 받은 피드백을 확인할 수 있습니다. 여기에서 학생에게 피드백을 제공하고 점수를 제공하거나 루브릭을 사용하여 채점할 수 있습니다.  다른 과제와 마찬가지로 제출된 문서를 인라인으로 보고 주석을 달 수 있습니다.

옆에 있는 표시/숨기기 아이콘을 클릭하여 부적절하다고 판단되는 모든 동료 검토를 검열할 수 있습니다. 교수자와 모든 기타 승인된 채점자는 항상 제공된 모든 피드백을 확인합니다. 학생이 늦은 검토자로부터 할당된 검토 작업 이외에 대한 피드백을 추가로 받은 경우, 기본적으로 이러한 검토는 숨겨집니다. 교수자는 표시/숨기기 토글을 사용하여 검토된 학생에게 검토 내용을 표시하도록 선택할 수 있습니다.

동료 검토가 포함된 과제는 학생 제출물 및 동료 검토를 위한 단일 성적 및 루브릭을 지원합니다. 이를 선택하면 피드백에서 프로세스의 각 부분에 대해 서로 다른 점수를 전달할 수 있습니다.