이 정보는 Ultra 코스 보기에만 적용됩니다.
문제 분석에서는 전반적인 수행 및 성과, 평가 품질 및 개별 문제에 대한 통계가 제공됩니다. 이 데이터는 학생의 수행 및 성과에 대한 변별력이 나쁠 수 있는 문제를 파악하는 데 도움이 됩니다. 문제 분석은 문제가 있는 평가를 위한 것입니다. 문제 품질을 확인하고 변경하려면 모든 제출물이 제출되기 전에 보고서를 실행하면 됩니다.
다음과 같은 경우 문제 분석을 사용할 수 있습니다.
- 향후 평가를 위해 문제를 개선하거나 현재 시도에서 점수를 조정하는 경우
- 수업 시간에 평가 결과를 논의하는 경우
- 보충 학습의 기초를 제공하는 경우
- 강의실 지시사항 개선
예:
문제 분석을 수행한 후 대다수의 학생이 특정한 문제 하나를 맞추지 못했다는 것을 알게 되었습니다. 정답률이 낮은 이유는 무엇입니까?
- 문제의 내용이 혼동스러운가요?
- 답안 옵션이 명확하지 않은가요?
- 학생에게 이 문제의 정답을 맞힐 수 있는 올바른 학습 콘텐츠를 제공했습니까?
- 학습할 콘텐츠에 접근하기 쉬웠으며 해당 콘텐츠가 명확했습니까?
발견한 사항을 바탕으로 문제를 개선하여 학생이 아는 내용과 모르는 내용을 정확하게 평가할 수 있습니다.
평가의 분석에 접근하기
다음과 같은 코스 영역에서 이전의 문제 분석 보고서를 실행하고 해당 보고서에 접근할 수 있습니다.
- 코스 콘텐츠 페이지 > 평가의 메뉴
- 코스 분석 페이지 > 문제 분석 탭 - 교육기관에서 분석을 활성화한 경우
- 성적부, 목록 또는 표 보기
코스 콘텐츠 페이지에서 평가의 메뉴에 접근한 후 문제 분석을 선택합니다. 탐색 모음에서 분석 아이콘을 선택할 수도 있습니다.
표 또는 목록 보기에서 성적부의 문제 분석 보고서를 실행할 수도 있습니다. 평가의 메뉴에 접근한 후 문제 분석을 선택합니다.
문제 분석 페이지
문제 분석 페이지에는 탐색 모음 > 분석 > 코스 분석 페이지 > 문제 분석 탭을 통해서만 접근할 수 있습니다.
제출물은 있으나 문제는 없는 평가에 대해 보고서를 실행할 수는 있지만 사용 가능한 정보가 없는 보고서를 받게 됩니다.
문제 분석 보고서를 준비 중이라는 메시지를 받게 되며, 보고서 준비가 완료되면 이메일을 받게 됩니다. 페이지를 그대로 두고 코스의 다른 영역에서 작업하다가 나중에 돌아와 보고서가 준비되었는지 확인할 수 있습니다.
상태 열
코스의 각 평가는 다음과 같은 상태 중 하나로 표시됩니다.
- 보고서 준비 중
- {date}에 완료됨
- 데이터가 더 이상 최신 상태가 아님: 평가에 분석할 추가 제출물이 있습니다.
- 데이터가 충분하지 않음: 제출물이 없습니다. 보고서 실행이 비활성화되어 있습니다.
- 평가에 문제가 없음: 평가에 문제 또는 제출물이 없습니다. 보고서 실행이 비활성화되어 있습니다.
- 상태가 나열되지 않음: 평가에 문제 및 제출물이 있지만 보고서를 실행하지 않았습니다. 보고서 실행이 활성화되어 있습니다.
- 오류: 실행
평가 요약
보고서를 실행하면 각 문제에 대한 전반적인 요약 정보 및 세부 사항을 확인할 수 있습니다.
제출된 시도만 계산에 사용됩니다. 시도가 진행 중인 경우 해당 시도가 제출되고 분석 보고서를 다시 실행할 때까지 해당 시도는 무시됩니다. 늦은 작업에 대해 자동으로 할당된 0점은 계산에 포함되지 않았습니다.
- 개별 평가에 대한 통계의 요약:
- 평균 점수: 표시된 점수는 성적부에서 평가에 대해 보고된 평균 점수입니다. 추가 시도가 제출되고 채점되면 평균 점수가 변경될 수 있습니다.
- 가능한 문제: 평가에 있는 총 문제 수입니다.
- 완료된 시도: 제출된 평가의 수입니다.
- 평균 소요 시간: 제출된 모든 시도에 대한 평균 완료 시간입니다.
- 문제를 변경하려면 보고서를 다시 실행하거나 평가를 수정합니다.
- 문제 표를 필터링하려면 그래프를 사용합니다. 검색 기준을 구체화하려면 두 그래프에서 항목을 선택합니다. 선택한 항목이 없으면 페이지 하단의 표에 모든 문제가 표시됩니다.
- 변별력: 문제를 통해 주제를 잘 이해한 학생과 그렇지 않은 학생이 얼마나 잘 변별되는지가 나타납니다.
- 다음과 같은 범주에 속하는 문제의 수가 표시됩니다.
- 좋음(0.3 초과)
- 보통(0.1~0.3)
- 나쁨(0.1 미만) 범주
- 산출할 수 없음: 난이도가 100%인 문제나 모든 학생이 같은 점수를 받은 문제의 경우입니다.
- 변별력 값이 좋음 및 보통 범주에 속하는 문제는 학습 수준이 더 높거나 낮은 학생을 변별합니다.
- 나쁨 범주의 문제는 검토하는 것이 좋습니다.
- 다음과 같은 범주에 속하는 문제의 수가 표시됩니다.
- 난이도: 정답을 맞힌 학생의 비율입니다.
- 다음과 같은 범주에 속하는 문제의 수가 표시됩니다.
- 쉬움(80% 초과)
- 중간(30%~80%)
- 어려움(30% 미만)
- 쉬움 또는 어려움 범주의 문제는 검토하는 것이 좋습니다.
- 다음과 같은 범주에 속하는 문제의 수가 표시됩니다.
- 변별력: 문제를 통해 주제를 잘 이해한 학생과 그렇지 않은 학생이 얼마나 잘 변별되는지가 나타납니다.
- 문제를 정렬하려면 머리글을 선택합니다. 예를 들어, 검토해야 하는 문제가 먼저 표시되도록 검토 열을 정렬합니다.
- 필터 지우기: 그래프에서 선택한 필터를 지우고 표에 모든 문제를 표시합니다.
- 문제 분석 보고서 다운로드
'문제' 섹션
문제 표에서는 평가의 각 문제에 대한 분석 통계가 제공됩니다. 그래프를 사용하여 문제 표를 필터링한 후 결과를 보고 정렬할 수 있습니다.
일반적으로, 좋은 문제는 다음과 같은 범주에 속합니다.
- 중간(30%~80%) 난도
- 좋음 또는 보통(0.1보다 큼) 변별값
일반적으로 검토가 권장되는 문제는 다음 범주에 속합니다. 이는 품질이 낮거나 잘못 채점된 문제일 수 있습니다.
- 쉬움( > 80%) 또는 어려움( < 30%) 난도
- 낮음( < 0.1) 변별값
참고: 선택한 항목이 없으면 페이지 하단의 표에 모든 문제가 표시됩니다.
특정 문제를 조사하려면 제목을 선택하고 문제 세부 사항을 검토합니다.
각 문제의 정보가 다음과 같이 표에 표시됩니다.
- 검토 필요: 변별력 값이 0.1 미만일 때 트리거됩니다. 난이도 값이 80%(문제가 너무 쉬움)를 초과하거나 30%(문제가 너무 어려움) 미만인 경우에도 트리거됩니다. 문제를 수정해야 하는지 검토하십시오.
- 문제가 수정됨: 보고서를 실행한 다음, 문제의 일부를 변경하고 보고서를 다시 실행하는 경우 예가 표시됩니다. 평가를 생성할 때 다른 평가에서 문제를 복사한 경우에도 예가 표시됩니다.
문제의 '문제가 수정됨' 열에 '예'가 표시되는 경우 코스를 아카이브 및 복구할 때 '예'가 전달되지는 않습니다.
- 변별력: 문제를 통해 주제를 잘 이해한 학생과 그렇지 않은 학생이 얼마나 잘 변별되는지가 나타납니다. 정답을 맞힌 학생이 평가에서도 좋은 결과를 보이면 좋은 변별력을 갖춘 문제인 것입니다. 값의 범위는 -1.0부터 +1.0까지입니다. 변별력 값이 0.1 미만이거나 음수인 문제에는 검토 플래그가 지정됩니다. 난이도 점수가 100%인 문제나 모든 학생이 같은 점수를 받은 문제의 경우에는 변별력 값을 산출할 수 없습니다.
변별력 값은 피어슨(Pearson) 상관 계수를 사용하여 산출됩니다. X는 각 학생의 문제별 점수를 나타내고, Y는 각 학생의 평가 점수를 나타냅니다.
다음 변수는 각각 표준 점수, 표본 평균 및 표본 표준 편차를 나타냅니다.
- 난이도: 문제에 올바르게 대답한 학생의 비율입니다. 난도 비율은 쉬움(80% 초과), 중간(30%~80%) 및 어려움(30% 미만) 범주와 함께 나타납니다. 난이도 값의 범위는 0%부터 100%까지입니다. 백분율이 클수록 문제가 쉬움을 의미합니다. 쉬움 또는 어려움 범주의 문제에는 검토 플래그가 지정됩니다.
최저 점수와 최고 점수 사이의 중간보다 약간 높은 난이도가 시험 자료를 알고 있는 학생과 그렇지 않은 학생을 보다 잘 변별합니다. 난도가 높다고 반드시 변별력이 높은 것은 아닙니다.
- 채점된 시도: 채점이 완료된 문제 시도 수입니다. 채점된 시도가 많을수록 산출 통계의 신뢰성이 올라갑니다.
- 평균 점수: 표시되는 점수는 성적부에서 평가에 대해 보고된 평균 점수입니다. 평균 점수는 모든 시도가 채점된 후 변경될 수 있습니다.
단일 문제에 대한 세부 사항 보기
검토 플래그가 지정된 문제를 조사하고 학생의 수행 및 성과를 확인할 수 있습니다. 문제 표에서 링크로 연결된 문제 제목을 선택하여 문제의 요약에 접근합니다.
- 문제에 접근한 후, 문제 제목의 메뉴를 사용하여 평가의 문제에 접근합니다. 페이지의 양쪽에서 순서대로 다른 문제로 이동할 수 있습니다.
- 요약 표에 문제의 통계가 표시됩니다.
- 평가 수정을 선택하여 평가에 접근한 다음, 변경을 수행합니다.
- 문제 텍스트와 답안이 표시됩니다. 각 답안을 선택한 학생의 수 또는 정답을 맞힌 학생의 비율을 확인할 수 있습니다. 예를 들어, 짝짓기 문제의 경우 쌍을 올바르게 짝지은 학생의 비율을 확인할 수 있습니다. 주관식 문제에는 문제 텍스트만 표시됩니다.
여러 번 시도, 문제 재정의 및 문제 수정
분석에서는 다음과 같은 방식으로 일반적인 시나리오가 처리됩니다.
- 학생이 평가에 여러 번 응시하는 경우 마지막으로 제출된 시도가 분석에 대한 입력 내용으로 사용됩니다. 학생이 다른 시도를 제출하는 즉시, 이후의 분석에는 최신 시도가 포함됩니다.
- 성적부 재정의는 분석 데이터에 영향을 주지 않습니다. 분석에서는 완료된 학생 시도를 기반으로 문제에 대한 통계 데이터가 생성되기 때문입니다.
- 문제를 변경하거나 문제를 직접 채점하는 경우, 변경 사항이 데이터에 어떤 영향을 주는지 확인하려면 분석을 다시 실행해야 합니다.
예
문제 분석을 통해 향후 평가 관리를 위해 문제를 개선할 수 있습니다. 현재 평가에서 오해의 소지가 있거나 모호한 문제를 수정할 수도 있습니다.
- 객관식(정답 하나) 문제에서 동일한 수의 학생이 A, B, C를 선택했습니다. 답안을 검토하여 답안이 모호한지, 문제가 너무 어려운지 또는 자료의 내용이 다루어지지 않았는지 확인합니다.
- 문제의 난이도가 어려움 범주에 속하므로 해당 문제를 검토하는 것이 좋습니다. 어려운 문제라는 것을 확인했지만 코스 목표를 충분히 평가하기 위해 해당 문제를 유지하기로 결정합니다.
- 객관식(정답 하나) 문제에 검토 플래그가 지정됩니다. A가 정답이지만 상위 25%의 학생이 B를 선택했습니다. 문제를 생성할 때 정답을 선택하지 않았다는 것을 알게 되어 평가 문제를 수정하자 해당 문제가 자동으로 재채점됩니다.
트위터 지원 @BlackboardHelp