Análise de item

A análise de itens fornece estatísticas sobre o desempenho geral, a qualidade do teste e perguntas individuais. Esses dados ajudam você a identificar perguntas que possam ser fracos discriminadores do desempenho do aluno.

Usos da análise de item:

Aprimore questões para futuras aplicações de teste ou para ajustar o crédito nas tentativas atuais
Discuta os resultados do teste com a turma
Forneça uma base para o trabalho de correção
Aprimore a instrução em sala de aula

Exemplo:

Depois da análise do item, você observa que a maioria dos alunos responde uma pergunta incorretamente. Por que a taxa baixa de sucesso?

A formulação da pergunta está confusa?
As opções de resposta não estão claras?
Foi fornecido aos alunos conteúdo de aprendizado apropriado para responder a esta pergunta com sucesso?
O conteúdo de aprendizagem estava acessível e claro?

Com base no que você descobrir, será possível melhorar a pergunta de teste para garantir que esteja avaliando o que os alunos sabem ou não.

Executar uma análise de item em um teste

É possível executar uma análise de item em um teste implantado com tentativas enviadas, mas não em uma pesquisa.

O teste pode incluir tentativas únicas ou múltiplas, conjuntos de questões, blocos aleatórios, questões de avaliação automática e questões de avaliação manual. Em testes com perguntas avaliadas manualmente as quais você não atribuiu pontuações, as estatísticas são geradas somente nas questões pontuadas. Após avaliar manualmente as perguntas, execute a análise novamente. As estatísticas das questões avaliadas manualmente são geradas e o resumo das estatísticas do teste é atualizado.

Para melhores resultados, execute uma análise de um teste após os alunos enviarem todas as tentativas e você avaliar todas as questões de avaliação manual. Esteja ciente de que as estatísticas são influenciadas pelo número de tentativas do teste, tipo de aluno que realizou o teste e erros de probabilidade.

Funções com privilégios de avaliação (instrutores, avaliadores e assistentes de ensino) acessam a análise de itens em três locais no fluxo de trabalho do teste.
- Teste implementado em uma área de conteúdo
- Um teste implementado listado na página Testes
- A coluna Centro de Notas de um teste
Acesse o menu de um teste e selecione Análise do item.
No menu Selecionar teste, escolha um teste. Apenas os testes implementados são listados.
Selecione Executar.
Selecione o link do novo relatório na seção Análises disponíveis ou selecione Ver análise no status de recebimento no topo da página.

Você pode acessar uma análise executada anteriormente na seção Análise disponível.

Resumo do teste na página Análise do item

O Resumo de teste fornece dados sobre o teste como um todo.

Editar teste fornece acesso ao Modelo de teste, onde você pode fazer alterações no teste.
Ver estatísticas de teste:
- Pontos possíveis: a quantidade total de pontos do teste.
- Questões possíveis: o número total de perguntas no teste.
- Tentativas em andamento: a quantidade de alunos que estão realizando o teste e que ainda não o enviaram.
- Tentativas concluídas: a quantidade de testes enviados.
- Pontuação média: as pontuações marcadas com um asterisco indicam que algumas tentativas não foram avaliadas e a pontuação média poderá mudar após a avaliação de todas as tentativas. A pontuação exibida é a pontuação média relatada para o teste no Centro de Notas.
- Tempo médio: o tempo médio de conclusão de todas as tentativas enviadas.
- Discriminação: mostra o número de perguntas que se enquadram nas categorias Bom (maior que 0,3), Regular (entre 0,1 e 0,3) e Ruim (menos de 0,1). Os valores de discriminação serão listados como Impossível calcular quando a dificuldade da pergunta for 100% ou quando todos os alunos receberem a mesma pontuação em uma pergunta. As perguntas com valores de discriminação nas categorias Bom e Regular são melhores para estabelecer a diferenciação entre alunos com níveis de conhecimento mais altos e mais baixos. Recomenda-se que as perguntas da categoria Ruim sejam revisadas.
- Dificuldade: mostra o número de perguntas que se enquadram nas categorias Fácil (maior que 80%), Médio (entre 30% e 80%) e Difícil (menos de 30%). Dificuldade é a porcentagem de estudantes que responderam a pergunta corretamente. Recomenda-se que as perguntas nas categorias Fácil ou Difícil sejam revisadas e são indicadas com um círculo vermelho.

Somente tentativas avaliadas são usadas nos cálculos de análises de itens. Quando houver tentativas em andamento, elas serão ignoradas até que sejam enviadas. Será necessário fazer novamente o relatório de análise.

Tabela de estatísticas de questão na página Análise de item

A tabela de estatísticas de questões apresenta uma análise de itens para cada questão do teste. As questões que devem ser revisadas são indicadas com círculos vermelhos para que você possa ver rapidamente quais delas podem precisar de revisão.

Em geral, boas questões se enquadram nestas categorias:

Dificuldade Média (30% a 80%)
Valores de discriminação Bom ou Regular (maior que 0,1)

Em geral, perguntas recomendadas para revisão se enquadram nestas categorias: Elas podem ser de baixa qualidade ou pontuadas incorretamente.

Dificuldade Fácil (> 80%) ou Difícil (< 30%)
Valores de discriminação Fraco (< 0,1)

Filtre a tabela de perguntas por Tipo de pergunta, Discriminação e Dificuldade.
Para investigar uma questão específica, selecione o título e veja a página Detalhes da questão.
As estatísticas de cada questão são exibidas na tabela:
- Discriminação: indica o quanto uma pergunta diferencia os alunos entre os que conhecem o assunto e os que não conhecem. Perguntas representam um excelente discriminador quando os alunos que respondem a pergunta corretamente também apresentam um bom desempenho no teste. Os valores podem variar de -1,0 a +1,0. Uma pergunta será marcada para análise se o valor de discriminação for menor que 0,1 ou se for negativo. Os valores de discriminação não podem ser calculados quando a pontuação de dificuldade da questão for 100% ou quando todos os alunos receberem a mesma pontuação em uma questão.
  Os valores de discriminação são calculados com o coeficiente de correlação de Pearson. O X representa as notas de cada aluno em uma pergunta e o Y representa as notas de cada aluno no teste.
  
  Estas variáveis são a pontuação padrão, a média da amostra e o desvio padrão da amostra, respectivamente:
- Dificuldade: a porcentagem de alunos que responderam à pergunta corretamente. A porcentagem de dificuldade é listada juntamente com esta categoria: Fácil (maior que 80%), Médio (30% a 80%) e Difícil (menor que 30%). Os valores de dificuldade podem variar de 0% a 100%, com uma alta porcentagem indicando que a pergunta foi fácil. As perguntas nas categorias Fácil e Difícil são marcadas para revisão.
  Níveis de dificuldade que são levemente maiores do que a média entre a chance a as pontuações perfeitas funcionam melhor ao diferenciar estudantes que conhecem o material testado daqueles que não conhecem. Valores de dificuldade alta não garantem altos níveis de discriminação.
- Número de Tentativas Avaliadas: a quantidade de tentativas da pergunta para as quais já foi realizada uma avaliação. Números mais altos de tentativas avaliadas geram cálculos de estatísticas mais confiáveis.
- Pontuação média: as pontuações marcadas com um asterisco indicam que algumas tentativas não foram avaliadas e a pontuação média poderá mudar após a avaliação de todas as tentativas. A pontuação exibida é a pontuação média relatada para o teste no Centro de Notas.
- Desvio padrão: medida da distância entre o desvio de pontuação e a pontuação média. Se as pontuações são bem agrupadas, com a maioria dos valores próximos da média, o desvio padrão é pequeno. Se o conjunto de dados está amplamente espalhado, com valores distantes da média, o desvio padrão será maior.
- Erro padrão: uma estimativa da quantidade de variabilidade na pontuação de um aluno devido à probabilidade. Quanto menor o erro padrão de medição, mais precisa será a medição apresentada pela pergunta do teste.

Ver detalhes da pergunta para uma única pergunta

Você pode investigar questões indicadas para revisão e verificar o desempenho dos alunos.

Na página Análise do item, role para baixo na tabela de estatísticas da questão. Selecione um título de questão vinculado para acessar a página Detalhes da questão.

Use os ícones de Página anterior e Próxima página para percorrer pelas perguntas em sequência. Você também pode ignorar a primeira ou a última pergunta.
Selecione Editar teste para acessar o Modelo de teste, onde você pode fazer alterações no teste.
A tabela de resumo exibe estatísticas para a pergunta. Você pode revisar as descrições de cada estatística na seção anterior.
O texto da pergunta e as escolhas de resposta são exibidas. As informações variam com base no tipo de pergunta:

Informações de análise do item fornecidas por tipos de perguntas
Tipo de informação fornecido	Tipos de pergunta
Número de alunos que selecionaram cada uma das opções de resposta -E- a distribuição dessas respostas entre os quartis da classe	Múltipla escolha Múltiplas respostas Verdadeiro/Falso e/ou Escala de opinião/Likert
Quantidade de alunos que selecionaram cada opção de resposta	Associação Ordenamento Preenchimento de várias lacunas
Quantidade de alunos que escolheram a resposta correta, incorreta ou que ignoraram a questão	Fórmula calculada Numérica calculada Preenchimento de lacunas Ponto de acesso Questionário
Somente questões de texto	Dissertativa Resposta do arquivo Resposta abreviada Frase confusa, inclui também as respostas escolhidas pelos alunos

Legenda dos símbolos

Símbolos aparecem próximo às perguntas para alertá-lo sobre possíveis problemas.

Revisão recomendada: disparado quando os valores de discriminação forem inferiores a 0,1. Além disso, quando os valores de dificuldade forem superiores a 80% (pergunta muito fácil) ou inferiores a 30% (pergunta muito difícil). Revise a pergunta para determinar se é necessário reformulá-la.
A pergunta pode ter mudado após a implementação: Indica que uma parte da pergunta mudou após a implantação do teste. Uma mudança poderia significar que talvez os dados dessa pergunta não sejam confiáveis. As tentativas enviadas após a pergunta ter sido alterada podem se beneficiar da alteração.
Esse indicador não aparece para cursos restaurados.
Nem todas os envios foram classificados: Aparece em testes contendo questões de avaliação manual, como questões dissertativas. Em testes contendo questão dissertativa com tentativas de 50 alunos, esse indicador é exibido até que você avalie todas as 50 tentativas. A análise usa apenas tentativas que foram avaliadas no momento da execução do relatório.
(QS) e (RB): Indica que uma pergunta se origina de um conjunto de perguntas ou bloco aleatório. Devido ao fornecimento aleatório das perguntas, algumas perguntas podem ter mais tentativas do que outras.

Múltiplas tentativas, substituições de perguntas e edições de perguntas

A análise lida com várias tentativas, anulações e outros cenários comuns destas formas:

Quando os alunos fazem um teste várias vezes, a última tentativa enviada é usada como a entrada da análise. Por exemplo, para um teste com três tentativas, o Aluno A completa duas delas, mas ainda está fazendo a terceira tentativa. A tentativa atual do Aluno A contabiliza no número listado em Tentativas em andamento. Nenhuma das tentativas anteriores do Aluno A foram incluídas nos dados de análise atuais. Assim que o Aluno A enviar a terceira tentativa, a análise subsequente incluirá essa terceira tentativa.
As substituições do Centro de Notas não afetam os dados da análise, pois a análise gera dados estatísticos para as perguntas com base nas tentativas concluídas dos alunos.
Perguntas avaliadas manualmente ou mudanças feitas no texto da pergunta, a escolha da resposta correta, crédito parcial ou pontos não são atualizadas automaticamente no relatório de análise. Execute a análise novamente para ver se as alterações afetaram os dados.

Exemplos

As análises de item pode ajudar você a melhorar as perguntas para administrações de teste futuras. Você também pode corrigir perguntas enganosas ou ambíguas em um teste atual.

Uma pergunta de Múltipla Escolha é sinalizada para sua revisão. Mais alunos entre os primeiros 25% escolheram B, mas A é a resposta correta. Você percebe que escolheu a resposta errada quando criou a pergunta. Você edita a questão do teste e ela é automaticamente reavaliada.
Em uma pergunta de múltipla escolha, um número igual de alunos escolheu A, B e C. Examine as opções de resposta para determinar se elas são ambíguas, se a questão é muito difícil ou se o material não foi abrangido.
Uma questão foi recomendada para revisão por fazer parte da categoria difícil. Você decide que a pergunta é difícil, mas a mantém para testar adequadamente os objetivos do curso.

Idioma