Estas informações só se aplicam à Visão Ultra do Curso.

Não parece familiar? Vá para o tópico Original sobre análise de itens.

A análise de perguntas fornece estatísticas sobre o desempenho geral, a qualidade da avaliação e perguntas individuais. Esses dados ajudam você a identificar perguntas que possam ser fracos discriminadores do desempenho do aluno. A análise de perguntas tem como objetivo as avaliações com perguntas. Você pode fazer um relatório antes que todos os envios sejam feitos se desejar verificar a qualidade de suas perguntas e fazer alterações.

Usos da análise de perguntas:

  • aprimore as perguntas para avaliações futuras ou para ajustar o crédito nas tentativas atuais
  • Discuta os resultados da avaliação com a turma
  • Forneça uma base para o trabalho de correção
  • Aprimore a instrução em sala de aula

Exemplo:

depois da análise de perguntas, você observa que a maioria dos alunos responde uma pergunta incorretamente. Por que a taxa baixa de sucesso?

  • A formulação da pergunta está confusa?
  • As opções de resposta não estão claras?
  • Foi fornecido aos alunos conteúdo de aprendizado apropriado para responder a esta pergunta com sucesso?
  • O conteúdo de aprendizagem estava acessível e claro?

Com base no que você descobrir, será possível melhorar a pergunta para garantir que esteja avaliando o que os alunos sabem ou não.


ULTRA: Acessar uma análise da avaliação

É possível gerar e acessar um relatório de análise de perguntas anterior das seguintes áreas do curso:

  • página Conteúdo do curso e menu de avaliação
  • Página Análise do curso e guia Análise de perguntas, se sua instituição tiver ativado a análise
  • Boletim de notas, lista ou visualização em grade

Na página Conteúdo do curso, acesse o menu de avaliação e selecione Análise de perguntas. Você também pode selecionar o ícone Análise na barra de navegação.

É possível também gerar um relatório de análise de perguntas a partir do boletim de notas na visualização em grade ou em lista. Acesse o menu de avaliação e selecione Análise de perguntas.

Página Análise de perguntas

A página Análise de perguntas é acessível somente a partir da barra de navegação > Análise > página Análise do curso > guia Análise de perguntas.

Você pode fazer um relatório sobre uma avaliação com envios e sem perguntas, mas receberá um relatório sem informações úteis.

Você receberá uma mensagem informando que o relatório de análise de perguntas está em andamento e receberá um e-mail quando o relatório for concluído. Você pode sair da página para trabalhar em outras áreas do curso e voltar mais tarde para ver se o relatório está pronto.

Coluna de status

Cada avaliação no curso aparece com um destes status:

  • Relatório em andamento
  • Concluído em {date}
  • Dados não atualizados: agora a avaliação tem mais envios para analisar.
  • Dados insuficientes: não existe nenhum envio. A opção Fazer relatório está desativada.
  • Não há nenhuma pergunta na avaliação: a avaliação não tem nenhuma pergunta nem envio. A opção Fazer relatório está desativada.
  • Nenhum status listado: a avaliação possui perguntas e envios, mas você não fez nenhum relatório. A opção Fazer relatório está ativada.
  • Erro: Executar

ULTRA: Resumo da avaliação

Depois de fazer um relatório, você pode ver informações gerais resumidas e detalhes sobre cada pergunta.

Somente as tentativas enviadas são usadas nos cálculos. Quando houver tentativas em andamento, elas serão ignoradas até que sejam enviadas. Será necessário fazer novamente o relatório de análise. Zeros automáticos atribuídos a trabalhos atrasados não são incluídos nos cálculos.

  1. Resumo de estatísticas para a avaliação individual:
    • Pontuação média: a pontuação exibida é a pontuação média relatada para a avaliação no boletim de notas. A pontuação média poderá mudar se mais tentativas forem enviadas e avaliadas.
    • Questões possíveis: o número total de perguntas na avaliação.
    • Tentativas concluídas: o número de avaliações enviadas.
    • Tempo médio gasto: o tempo médio de conclusão de todas as tentativas enviadas.
  2. Refaça um relatório ou edite a avaliação para fazer uma alteração nas perguntas.
  3. Use os gráficos para filtrar a tabela de perguntas. Faça seleções nos dois gráficos para refinar sua busca. Se você não fizer nenhuma seleção, todas as perguntas serão exibidas na tabela na parte inferior da página.
    • Discriminação: indica o quanto as perguntas diferenciam os alunos entre os que conhecem o assunto e os que não conhecem.
      • Mostra o número de perguntas que se encaixam nessas categorias:
        • Bom (maior que 0,3)
        • Regular (entre 0,1 e 0,3)
        • Ruim (menor que 0,1)
        • Não é possível calcular: A dificuldade de uma pergunta é de 100% ou todos os alunos receberam a mesma pontuação em uma pergunta.
      • As perguntas com valores de discriminação nas categorias Bom e Regular diferenciam os alunos com níveis de conhecimento mais altos e mais baixos.
      • Recomenda-se que as perguntas da categoria Ruim sejam revisadas.
    • Dificuldade: a porcentagem de alunos que responderam às perguntas corretamente
      • Mostra o número de perguntas que se encaixam nessas categorias:
        • Fácil (maior que 80%)
        • Médio (entre 30% e 80%)
        • Difícil (menor que 30%)
      • As perguntas nas categorias Fácil ou Difícil são recomendadas para revisão.
  4. Selecione um cabeçalho para classificar as perguntas. Por exemplo, classifique a coluna Revisão de modo que as perguntas que precisam de revisão apareçam primeiro.
  5. Limpar filtros: limpe os filtros selecionados nos gráficos e exiba todas as perguntas na tabela.
  6. Fazer download do relatório de análise de perguntas

ULTRA: Seção de perguntas

A tabela de perguntas fornece estatísticas de análise para cada pergunta na avaliação. Depois de usar os gráficos para filtrar a tabela de perguntas, é possível visualizar e classificar os resultados.

Em geral, boas questões se enquadram nestas categorias:

  • Dificuldade Média (30% a 80%)
  • Valores de discriminação Bom ou Regular (maior que 0,1)

Em geral, perguntas recomendadas para revisão se enquadram nestas categorias: Elas podem ser de baixa qualidade ou pontuadas incorretamente.

  • Dificuldade Fácil (> 80%) ou Difícil (< 30%)
  • Valores de discriminação Fraco (< 0,1)

Lembrete: se você não fizer nenhuma seleção, todas as perguntas serão exibidas na tabela na parte inferior da página.

Para investigar uma pergunta específica, selecione o título e veja os detalhes da pergunta.

As informações de cada questão são exibidas na tabela:

  • Precisa de revisão: disparado quando os valores de discriminação forem inferiores a 0,1. Além disso, quando os valores de dificuldade forem superiores a 80% (pergunta muito fácil) ou inferiores a 30% (pergunta muito difícil). Revise a pergunta para determinar se é necessário reformulá-la.
  • Pergunta modificada: exibirá Sim se você fizer um relatório, alterar parte da pergunta e refizer o relatório. Sim também será exibido se você tiver copiado uma pergunta de outra avaliação ao criar a avaliação.

    Se “Sim” for exibido na coluna Pergunta modificada para uma pergunta, o “Sim” não será mantido quando você arquivar e restaurar o curso.

  • Discriminação: indica o quanto uma pergunta diferencia os alunos entre os que conhecem o assunto e os que não conhecem. As perguntas representam um excelente discriminador quando os alunos que respondem à pergunta corretamente também apresentam um bom desempenho na avaliação. Os valores estão no intervalo de -1,0 a +1,0. A pergunta será assinalada para revisão se o valor de discriminação for menor que 0,1 ou se for negativo. Os valores de discriminação não podem ser calculados quando a pontuação de dificuldade da questão for 100% ou quando todos os alunos receberem a mesma pontuação em uma questão.

    Os valores de discriminação são calculados com o coeficiente de correlação de Pearson. O X representa as notas de cada aluno em uma pergunta e o Y representa as notas de cada aluno na avaliação.

    Estas variáveis são a pontuação padrão, a média da amostra e o desvio padrão da amostra, respectivamente:

  • Dificuldade: a porcentagem de alunos que responderam à pergunta corretamente. A porcentagem de dificuldade é listada juntamente com esta categoria: Fácil (mais de 80%), Média (30% a 80%) e Difícil (menos de 30%). Os valores de dificuldade podem variar de 0% a 100%. Uma porcentagem alta indica que a pergunta era fácil. As perguntas nas categorias Fácil e Difícil são marcadas para revisão.

    Níveis de dificuldade que são levemente maiores do que a média entre a chance a as pontuações perfeitas funcionam melhor ao diferenciar estudantes que conhecem o material testado daqueles que não conhecem. Valores de dificuldade alta não garantem altos níveis de discriminação.

  • Número de Tentativas Avaliadas: a quantidade de tentativas da pergunta para as quais já foi realizada uma avaliação. Números mais altos de tentativas avaliadas geram cálculos de estatísticas mais confiáveis.
  • Pontuação média: a pontuação exibida é a pontuação média relatada para a avaliação no boletim de notas. A pontuação média pode ser alterada depois que todas as tentativas forem avaliadas.

ULTRA: Ver detalhes de uma única pergunta

Você pode investigar perguntas indicadas para revisão e verificar o desempenho dos alunos. Selecione um título de pergunta vinculado na tabela de perguntas para acessar o resumo da pergunta.

  1. Depois de acessar uma pergunta, use o menu do título da pergunta para acessar qualquer pergunta na avaliação. Você pode acessar outras perguntas sequencialmente em qualquer lado da página.
  2. A tabela de resumo exibe estatísticas para a pergunta.
  3. Selecione Editar avaliação para acessar a avaliação e fazer alterações.
  4. O texto da pergunta e as escolhas de resposta são exibidas. Você pode ver quantos alunos escolheram cada opção de resposta ou a porcentagem respondida corretamente. Por exemplo, para uma pergunta de associação, você vê qual porcentagem de alunos fez a associação de pares corretamente. Para perguntas dissertativas, aparece somente o texto da pergunta.

ULTRA: Múltiplas tentativas, substituições de perguntas e edições de perguntas

A análise trata de alguns cenários comuns das seguintes maneiras:

  • Quando os alunos fazem uma avaliação várias vezes, a última tentativa enviada é usada como a entrada da análise. Assim que o aluno envia outra tentativa, as análises subsequentes incluem essa tentativa mais recente.
  • As substituições do boletim de notas não afetam os dados da análise, pois a análise gera dados estatísticos para as perguntas com base nas tentativas concluídas do aluno.
  • Ao fazer alterações em uma pergunta ou ao avaliar manualmente as perguntas, você deve fazer a análise novamente para ver se as alterações afetam os dados.

ULTRA: Exemplos

A análise das perguntas pode ajudar você a melhorar as perguntas para administrações de avaliação futuras. Você também pode corrigir perguntas enganosas ou ambíguas em uma avaliação atual.

  • Em uma questão de múltipla escolha, um número igual de alunos escolheu A, B e C. Examine as opções de resposta para determinar se elas são ambíguas, se a questão é muito difícil ou se o material não foi abrangente.
  • Uma questão foi recomendada para revisão por fazer parte da categoria difícil. Você decide que a pergunta é difícil, mas a mantém para avaliar adequadamente os objetivos do curso.
  • Uma pergunta de Múltipla Escolha é sinalizada para sua revisão. Mais alunos entre os primeiros 25% escolheram B, mas A é a resposta correta. Você percebe que escolheu a resposta errada quando criou a pergunta. Você edita a pergunta da avaliação e ela é automaticamente reavaliada.

ULTRA: Fazer download do relatório de análise de perguntas

Você pode baixar um relatório para analisá-lo ou mantê-lo para uso futuro. O arquivo que foi baixado inclui as colunas na análise do curso, além do desvio padrão e de colunas de erro padrão. Os relatórios permanecem no sistema por 14 dias.

Selecione o ícone de download acima da tabela de perguntas. O formato de arquivo padrão é XLS. O arquivo também pode ser aberto no formato CSV.