이 정보는 원래 코스 보기에만 적용됩니다. 사용 가능한 도구는 교육기관에서 제어합니다.
항목 분석에서는 전반적인 성과, 시험 품질 및 개별 문제에 대한 통계가 제공됩니다. 이 데이터는 학생의 수행 및 성과에 대한 변별력이 나쁠 수 있는 문제를 파악하는 데 도움이 됩니다.
항목 분석의 용도:
- 향후 시험 관리를 위해 문제를 개선하거나 현재 시도에서 점수 조정
- 수업 시간에 시험 결과 논의
- 보충 학습의 기초를 제공하는 경우
- 강의실 지시사항 개선
예:
항목 분석 후 대다수의 학생이 특정 문제 하나를 맞추지 못했다는 것을 알았습니다. 정답률이 낮은 이유는 무엇입니까?
- 문제의 내용이 혼동스러운가요?
- 답안 옵션이 명확하지 않은가요?
- 학생에게 이 문제의 정답을 맞힐 수 있는 올바른 학습 콘텐츠를 제공했습니까?
- 학습할 콘텐츠에 접근하기 쉬웠으며 해당 콘텐츠가 명확했습니까?
발견한 사항을 바탕으로 시험 문제를 개선하여 학생이 아는 내용과 모르는 내용을 정확하게 평가할 수 있습니다.
시험에 대한 항목 분석 실행
제출된 시도가 있는 배포된 시험에는 항목 분석을 실행할 수 있지만 설문 조사에는 실행할 수 없습니다.
이러한 시험에는 단일 또는 여러 시도, 문제 세트, 무작위 블럭, 자동 채점된 문제 유형 및 수동 채점이 필요한 문제를 포함될 수 있습니다. 점수를 할당하지 않은 수동 채점 문제가 포함된 시험의 경우 채점된 문제에만 통계가 생성됩니다. 문제를 수동으로 채점한 후 분석을 다시 실행합니다. 수동으로 채점된 문제의 통계가 생성되고 시험 요약 통계가 업데이트됩니다.
최상의 결과를 위해 학생이 모든 시도를 제출하고 교수자가 모든 수동으로 채점한 문제의 성적을 매긴 이후에 시험에 대해 분석을 실행하십시오. 통계가 시험 시도 횟수, 시험에 응시하는 학생 유형 임의 오류에 의해 영향을 받을 수 있다는 점에 유의하십시오.
- 채점 권한이 있는 역할(교수자, 채점자 및 조교)은 시험 워크플로 내 세 군데 위치에서 항목 분석에 접근할 수 있습니다.
- 콘텐츠 영역에 배포된 시험
- 시험 페이지에 나열된 배포된 시험
- 시험의 성적 관리 센터 열
- 시험의 메뉴에 접근하여 항목 분석을 선택합니다.
- 시험 선택 메뉴에서 시험을 선택합니다. 배포된 시험만 나열됩니다.
- 실행을 선택합니다.
- 사용 가능한 분석 섹션의 새로운 보고서 링크를 선택하거나 페이지 상단의 상태 확인에서 분석 보기를 선택합니다.
사용 가능한 분석 섹션에서 이전에 실행한 분석에 접근할 수 있습니다.
항목 분석 페이지의 시험 요약
시험 요약에서는 시험 전체에 대한 데이터를 제공합니다.
- 시험 수정에서는 시험을 변경할 수 있는 시험 출제에 접근할 수 있습니다.
- 시험 통계 보기:
- 배점: 시험의 총점입니다.
- 가능한 문제: 시험 문제의 총 개수입니다.
- 진행 중 시도: 현재 시험을 치르고 있으며 시험을 아직 제출하지 않은 학생의 수입니다.
- 완료된 시도: 제출한 시험의 개수입니다.
- 평균 점수: * 표시된 점수는 일부 시도가 채점되지 않았으며 모든 시도가 채점된 뒤 평균 점수가 변경될 수도 있음을 나타냅니다. 표시된 점수는 성적 관리 센터에서 시험에 대해 보고된 평균 점수입니다.
- 평균 시간: 제출된 모든 시도에 대한 평균 완료 시간입니다.
- 변별력: 좋음(0.3보다 높음), 보통(0.1~0.3) 및 나쁨(0.1 미만) 범주에 포함되는 문제 수가 표시됩니다. 변별력 값은 문제의 난도가 100%이거나 모든 학생이 한 문제에서 같은 성적을 받은 경우 산출할 수 없음으로 나열됩니다. 변별력 값이 좋음 및 보통 범주인 문제는 학습 수준이 더 높거나 낮은 학생을 서로 변별하는 데 더욱 효과적입니다. 나쁨 범주의 문제는 검토하는 것이 좋습니다.
- 난이도: 쉬움(80%보다 높음), 중간(30%~80%) 및 어려움(30% 미만) 범주에 포함되는 문제 수가 표시됩니다. 난이도는 문제에 올바르게 대답한 학생의 비율입니다. 쉬움 또는 어려움 범주의 문제는 검토하는 것이 좋으며, 빨간색 원으로 표시됩니다.
항목 분석 산출에는 채점된 시도만 사용됩니다. 시도가 진행 중인 경우 해당 시도가 제출되고 분석 보고서를 다시 실행할 때까지 해당 시도는 무시됩니다.
항목 분석 페이지의 문제 통계표
문제 통계 테이블에서는 시험의 각 문제에 대한 항목 분석 통계를 제공합니다. 검토가 권장되는 문장은 수정해야 할 수 있는 문제를 신속하게 검색할 수 있도록 빨간색 원으로 표시되어 있습니다.
일반적으로, 좋은 문제는 다음과 같은 범주에 속합니다.
- 중간(30%~80%) 난도
- 좋음 또는 보통(0.1보다 큼) 변별값
일반적으로 검토가 권장되는 문제는 다음 범주에 속합니다. 이는 품질이 낮거나 잘못 채점된 문제일 수 있습니다.
- 쉬움( > 80%) 또는 어려움( < 30%) 난도
- 나쁨( < 0.1) 변별값
- 문제표를 문제 유형, 변별력 및 난도로 필터링합니다.
- 특정 문제를 조사하려면 제목을 선택하고 문제 세부 사항 페이지를 검토합니다.
- 각 문제의 통계가 다음과 같이 표에 표시됩니다.
- 변별력: 문제를 통해 주제를 잘 이해한 학생과 그렇지 않은 학생이 얼마나 잘 변별되는지가 나타납니다. 문제는 문제에 올바르게 대답하는 학생이 시험에서도 좋은 결과를 보일 때 좋은 변별력을 갖춘 것입니다. 값의 범위는 -1.0부터 +1.0까지입니다. 변별력 값이 0.1 미만이거나 음수인 문제에는 검토 플래그가 지정됩니다. 난이도 점수가 100%인 문제나 모든 학생이 같은 점수를 받은 문제의 경우에는 변별력 값을 산출할 수 없습니다.
변별력 값은 피어슨(Pearson) 상관 계수를 사용하여 산출됩니다. X는 각 학생의 문제별 점수를 나타내고, Y는 각 학생의 시험 점수를 나타냅니다.
다음 변수는 각각 표준 점수, 표본 평균 및 표본 표준 편차를 나타냅니다.
- 난이도: 문제에 올바르게 대답한 학생의 비율입니다. 난도 비율은 쉬움(80% 초과), 중간(30%~80%) 및 어려움(30% 미만) 범주와 함께 나타납니다. 난도 값은 범위가 0%~100%일 수 있으며 백분율이 클수록 문제가 쉬움을 나타냅니다. 쉬움 또는 어려움 범주의 문제에는 검토 플래그가 지정됩니다.
최저 점수와 최고 점수 사이의 중간보다 약간 높은 난이도가 시험 자료를 알고 있는 학생과 그렇지 않은 학생을 보다 잘 변별합니다. 난도가 높다고 반드시 변별력이 높은 것은 아닙니다.
- 채점된 시도: 채점이 완료된 문제 시도 수입니다. 채점된 시도가 많을수록 산출 통계의 신뢰성이 올라갑니다.
- 평균 점수: * 표시된 점수는 일부 시도가 채점되지 않았으며 모든 시도가 채점된 뒤 평균 점수가 변경될 수도 있음을 나타냅니다. 표시되는 점수는 성적 관리 센터에서 시험에 대해 보고된 평균 점수입니다.
- 표준 편차: 점수가 평균 점수와 얼마나 차이가 나는지 측정합니다. 대부분의 점수값이 평균에 가깝게 빽빽하게 그룹화되어 있다면 표준 편차는 작습니다. 값이 평균과 차이를 보이며 데이터 세트가 넓게 분포되어 있다면 표준 편차가 큽니다.
- 표준 오류: 우연적으로 학생의 점수에 생긴 가변성의 양을 측정한 것입니다. 측정의 표준 오차가 작아질수록 시험 문제에서 제공하는 측정이 더욱 정확한 것입니다.
- 변별력: 문제를 통해 주제를 잘 이해한 학생과 그렇지 않은 학생이 얼마나 잘 변별되는지가 나타납니다. 문제는 문제에 올바르게 대답하는 학생이 시험에서도 좋은 결과를 보일 때 좋은 변별력을 갖춘 것입니다. 값의 범위는 -1.0부터 +1.0까지입니다. 변별력 값이 0.1 미만이거나 음수인 문제에는 검토 플래그가 지정됩니다. 난이도 점수가 100%인 문제나 모든 학생이 같은 점수를 받은 문제의 경우에는 변별력 값을 산출할 수 없습니다.
단일 문제에 대한 문제 세부 사항 보기
검토 플래그가 지정된 문제를 조사하고 학생 성과를 확인할 수 있습니다.
항목 분석 페이지에서 문제 통계 테이블로 스크롤합니다. 링크된 문제 제목을 선택하여 문제 세부 사항 페이지에 접근합니다.
- 이전 페이지 및 다음 페이지 아이콘을 사용하여 문제를 순차적으로 탐색합니다. 첫 번째 또는 마지막 문제로 건너뛸 수도 있습니다.
- 시험 수정을 선택하여 시험을 변경할 수 있는 시험 출제에 접근합니다.
- 요약 표에 문제의 통계가 표시됩니다. 이전 섹션에서 각 통계에 대한 설명을 검토할 수 있습니다.
- 문제 텍스트와 답안이 표시됩니다. 정보는 문제 유형에 따라 달라집니다.
| 제공되는 정보의 유형 | 문제 유형 |
|---|---|
| 각 답안을 선택한 학생 수 및 클래스 사분위수 사이의 해당 답안의 배포 |
객관식(정답 하나) 객관식(정답 다수) 참/거짓 양자택일 의견 척도/리커트 |
| 각 답안을 선택한 학생의 수 | 일치 순서 정하기 여러 빈칸 채우기 |
| 정답을 맞힌 학생 수, 오답을 선택한 학생 수, 건너뛴 학생 수 | 산출식 숫자 빈칸 채우기 핫 스폿 퀴즈 볼 |
| 문제 텍스트만 | 주관식 파일 응답 단답형 문장 완성하기에도 학생이 선택한 답안이 포함됩니다. |
기호 범례
문항 옆에 다음과 같이 가능한 문제에 대해 알리는 기호가 표시됩니다.
- 검토 권장: 변별력 값이 0.1 미만일 때 트리거됩니다. 또한, 난도 값이 80%(문제가 너무 쉬움) 초과 또는 30%(문제가 너무 어려움) 미만 중 하나에 해당할 때 트리거됩니다. 문제를 수정해야 하는지 검토하십시오.
- 문제가 배포 후 변경되었을 수 있음: 시험을 배포한 후 문제의 일부가 변경되었음을 나타냅니다. 변경되는 경우 문제의 데이터 신뢰도가 떨어질 수 있습니다. 문제가 변경된 이후에 제출된 시도는 이러한 변경사항의 이점을 얻었을 수 있습니다.
복원된 코스에는 이 표시자가 나타나지 않습니다.
- 일부 제출물이 채점되지 않음: 주관식 문제와 같이 수동 채점이 필요한 문제가 포함된 시험에 나타납니다. 예를 들어 50개의 학생 시도가 있는 주관식 문제를 포함하는 시험에서 이 표시자는 교수자가 50개의 시도를 모두 채점할 때까지 표시됩니다. 분석에서는 보고서를 실행한 당시 채점된 시도만을 사용합니다.
- (QS) 및 (RB): 문제를 문제 세트 또는 무작위 블럭에서 가져왔음을 나타냅니다. 무작위 문제 전달로 인해 일부 문제가 다른 문제보다 더 많은 시도를 포함할 수 있습니다.
여러 번 시도, 문제 재정의 및 문제 수정
분석은 여러 번 시도, 재정의 및 기타 일반적인 시나리오를 다음과 같은 방식으로 처리합니다.
- 학생이 시험에 여러 번 응시하는 경우 마지막으로 제출된 시도가 분석의 입력으로 사용됩니다. 예를 들어 세 번 시도할 수 있는 시험에서 학생 A는 두 번의 시도를 완료하고 현재 세 번째 시도를 진행하는 중입니다. 학생 A의 현재 시도는 진행 중 시도에 표시된 숫자로 계산됩니다. 학생 A의 이전 시도는 현재 분석 데이터에 포함되지 않습니다. 학생 A가 세 번째 시도를 제출하는 즉시 이후의 분석에는 학생 A의 세 번째 시도가 포함됩니다.
- 성적 관리 센터 재정의는 분석 데이터에 영향을 주지 않습니다. 분석은 완료된 학생 시도를 기반으로 문제에 대한 통계 데이터를 생성하기 때문입니다.
- 수동으로 채점된 문제 또는 문제 텍스트, 정답, 부분 점수, 점수 등에 대한 변경 사항은 분석 보고서에서 자동으로 업데이트되지 않습니다. 분석을 다시 실행하여 데이터가 변경 사항의 영향을 받았는지 확인해야 합니다.
예
항목 분석을 통해 향후 시험 관리를 위해 문제를 개선할 수 있습니다. 또한, 현재 시험에서 잘못되거나 모호한 문제를 수정할 수 있습니다.
- 객관식(정답 하나) 문제에 검토 플래그가 지정됩니다. A가 정답이지만 상위 25%의 학생이 B를 선택했습니다. 문제를 생성할 때 정답을 선택하지 않았다는 것을 알게 되어 시험 문제를 수정하자 해당 문제가 자동으로 다시 채점됩니다.
- 객관식(정답 하나) 문제에서 동일한 수의 학생이 A, B, C를 선택했습니다. 답안을 검토하여 답안이 모호한지, 문제가 너무 어려운지 또는 자료의 내용이 다루어지지 않았는지 확인합니다.
- 문제의 난이도가 어려움 범주에 속하므로 해당 문제를 검토하는 것이 좋습니다. 어려운 문제라는 것을 확인했지만 코스 목표를 충분히 테스트하기 위해 해당 문제를 유지하기로 결정합니다.
