Estas informações só se aplicam à Visão Ultra do Curso.
A análise de perguntas fornece estatísticas sobre o desempenho geral, a qualidade da avaliação e perguntas individuais. Esses dados ajudam você a identificar perguntas que possam ser fracos discriminadores do desempenho do aluno. A análise de perguntas tem como objetivo as avaliações com perguntas. Você pode fazer um relatório antes que todos os envios sejam feitos se desejar verificar a qualidade de suas perguntas e fazer alterações.
Usos da análise de perguntas:
- aprimore as perguntas para avaliações futuras ou para ajustar o crédito nas tentativas atuais
- Discuta os resultados da avaliação com a turma
- Forneça uma base para o trabalho de correção
- Aprimore a instrução em sala de aula
Exemplo:
depois da análise de perguntas, você observa que a maioria dos alunos responde uma pergunta incorretamente. Por que a taxa baixa de sucesso?
- A formulação da pergunta está confusa?
- As opções de resposta não estão claras?
- Foi fornecido aos alunos conteúdo de aprendizado apropriado para responder a esta pergunta com sucesso?
- O conteúdo de aprendizagem estava acessível e claro?
Com base no que você descobrir, será possível melhorar a pergunta para garantir que esteja avaliando o que os alunos sabem ou não.
Acessar uma análise da avaliação
É possível gerar e acessar um relatório de análise de perguntas anterior das seguintes áreas do curso:
- Página Conteúdo do curso > menu de avaliação
- Página Análise do curso > guia Análise de perguntas, se sua instituição tiver ativado a ferramenta analítica
- Boletim de notas, lista ou visualização em grade
Na página Conteúdo do curso, acesse o menu de avaliação e selecione Análise de perguntas. Você também pode selecionar o ícone Análise na barra de navegação.
É possível também gerar um relatório de análise de perguntas a partir do boletim de notas na visualização em grade ou em lista. Acesse o menu de avaliação e selecione Análise de perguntas.
Página Análise de perguntas
A página Análise de perguntas pode ser acessada somente a partir da barra de navegação > Análise > página Análise do curso > guia Análise de perguntas.
Você pode fazer um relatório sobre uma avaliação com envios e sem perguntas, mas receberá um relatório sem informações úteis.
Você receberá uma mensagem informando que o relatório de análise de perguntas está em andamento e receberá um e-mail quando o relatório for concluído. Você pode sair da página para trabalhar em outras áreas do curso e voltar mais tarde para ver se o relatório está pronto.
Coluna de status
Cada avaliação no curso aparece com um destes status:
- Relatório em andamento
- Concluído em {date}
- Dados não atualizados: agora a avaliação tem mais envios para analisar.
- Dados insuficientes: não existe nenhum envio. A opção Fazer relatório está desativada.
- Não há nenhuma pergunta na avaliação: a avaliação não tem nenhuma pergunta nem envio. A opção Fazer relatório está desativada.
- Nenhum status listado: a avaliação possui perguntas e envios, mas você não fez nenhum relatório. A opção Fazer relatório está ativada.
- Erro: Executar
Visualizar o resumo da avaliação da análise de perguntas
Depois de fazer um relatório, você pode ver informações gerais resumidas e detalhes sobre cada pergunta. Selecione a avaliação na página Análise de perguntas para ver o resumo.
Somente as tentativas enviadas são usadas nos cálculos. Quando houver tentativas em andamento, elas serão ignoradas até que sejam enviadas. Será necessário fazer novamente o relatório de análise. Zeros automáticos atribuídos a trabalhos atrasados não são incluídos nos cálculos.
- Resumo de estatísticas para a avaliação individual:
- Pontuação média: a pontuação exibida é a pontuação média relatada para a avaliação no boletim de notas. A pontuação média poderá mudar se mais tentativas forem enviadas e avaliadas.
- Questões possíveis: o número total de perguntas na avaliação.
- Tentativas concluídas: o número de avaliações enviadas.
- Tempo médio gasto: o tempo médio de conclusão de todas as tentativas enviadas.
- Refaça um relatório ou edite a avaliação para fazer uma alteração nas perguntas.
- Use os gráficos para filtrar a tabela de perguntas. Faça seleções nos dois gráficos para refinar sua busca. se você não fizer nenhuma seleção, todas as perguntas serão exibidas na tabela na parte inferior da página.
- Discriminação: indica o quanto as perguntas diferenciam os alunos entre os que conhecem o assunto e os que não conhecem.
- Mostra o número de perguntas que se encaixam nessas categorias:
- Bom (maior que 0,3)
- Regular (entre 0,1 e 0,3)
- Ruim (menor que 0,1)
- Não é possível calcular: A dificuldade de uma pergunta é de 100% ou todos os alunos receberam a mesma pontuação em uma pergunta.
- As perguntas com valores de discriminação nas categorias Bom e Regular diferenciam os alunos com níveis de conhecimento mais altos e mais baixos.
- Recomenda-se que as perguntas da categoria Ruim sejam revisadas.
- Mostra o número de perguntas que se encaixam nessas categorias:
- Dificuldade: a porcentagem de alunos que responderam às perguntas corretamente
- Mostra o número de perguntas que se encaixam nessas categorias:
- Fácil (maior que 80%)
- Médio (entre 30% e 80%)
- Difícil (menor que 30%)
- As perguntas nas categorias Fácil ou Difícil são recomendadas para revisão.
- Mostra o número de perguntas que se encaixam nessas categorias:
- Discriminação: indica o quanto as perguntas diferenciam os alunos entre os que conhecem o assunto e os que não conhecem.
- Selecione um cabeçalho para classificar as perguntas. Por exemplo, classifique a coluna Revisão de modo que as perguntas que precisam de revisão apareçam primeiro.
- Limpar filtros: limpe os filtros selecionados nos gráficos e exiba todas as perguntas na tabela.
- Fazer download do relatório de análise de perguntas
Sobre a seção de perguntas no resumo da avaliação
A tabela de perguntas fornece estatísticas de análise para cada pergunta na avaliação. Depois de usar os gráficos para filtrar a tabela de perguntas, é possível visualizar e classificar os resultados.
Em geral, boas questões se enquadram nestas categorias:
- Dificuldade Média (30% a 80%)
- Valores de discriminação Bom ou Regular (maior que 0,1)
Em geral, perguntas recomendadas para revisão se enquadram nestas categorias: Elas podem ser de baixa qualidade ou pontuadas incorretamente.
- Dificuldade Fácil (> 80%) ou Difícil (< 30%)
- Valores de discriminação Fraco (< 0,1)
Lembrete: se você não fizer nenhuma seleção, todas as perguntas serão exibidas na tabela na parte inferior da página.
Para investigar uma pergunta específica, selecione o título e veja os detalhes da pergunta.
As informações de cada questão são exibidas na tabela:
- Precisa de revisão: disparado quando os valores de discriminação forem inferiores a 0,1. Além disso, quando os valores de dificuldade forem superiores a 80% (pergunta muito fácil) ou inferiores a 30% (pergunta muito difícil). Revise a pergunta para determinar se é necessário reformulá-la.
- Pergunta modificada: exibirá Sim se você fizer um relatório, alterar parte da pergunta e refizer o relatório. Sim também será exibido se você tiver copiado uma pergunta de outra avaliação ao criar a avaliação.
Se “Sim” for exibido na coluna Pergunta modificada para uma pergunta, o “Sim” não será mantido quando você arquivar e restaurar o curso.
- Discriminação: indica o quanto uma pergunta diferencia os alunos entre os que conhecem o assunto e os que não conhecem. As perguntas representam um excelente discriminador quando os alunos que respondem à pergunta corretamente também apresentam um bom desempenho na avaliação. Os valores podem variar de -1,0 a +1,0. Uma pergunta será marcada para análise se o valor de discriminação for menor que 0,1 ou se for negativo. Os valores de discriminação não podem ser calculados quando a pontuação de dificuldade da questão for 100% ou quando todos os alunos receberem a mesma pontuação em uma questão.
Os valores de discriminação são calculados com o coeficiente de correlação de Pearson. O X representa as notas de cada aluno em uma pergunta e o Y representa as notas de cada aluno na avaliação.
Estas variáveis são a pontuação padrão, a média da amostra e o desvio padrão da amostra, respectivamente:
- Dificuldade: a porcentagem de alunos que responderam à pergunta corretamente. A porcentagem de dificuldade é listada juntamente com esta categoria: Fácil (maior que 80%), Médio (30% a 80%) e Difícil (menor que 30%). Os valores de dificuldade podem variar de 0% a 100%. Uma porcentagem alta indica que a pergunta era fácil. As perguntas nas categorias Fácil e Difícil são marcadas para revisão.
Níveis de dificuldade que são levemente maiores do que a média entre a chance a as pontuações perfeitas funcionam melhor ao diferenciar estudantes que conhecem o material testado daqueles que não conhecem. Valores de dificuldade alta não garantem altos níveis de discriminação.
- Número de Tentativas Avaliadas: a quantidade de tentativas da pergunta para as quais já foi realizada uma avaliação. Números mais altos de tentativas avaliadas geram cálculos de estatísticas mais confiáveis.
- Pontuação média: a pontuação exibida é a pontuação média relatada para a avaliação no boletim de notas. A pontuação média pode ser alterada depois que todas as tentativas forem avaliadas.
Ver detalhes de uma única pergunta
Você pode investigar perguntas indicadas para avaliação e verificar o desempenho dos alunos. Na tabela de perguntas de análise de perguntas, selecione um título de pergunta vinculado para acessar o resumo da pergunta.
- Depois de acessar uma pergunta, use o menu do título da pergunta para acessar qualquer pergunta na avaliação. Você pode acessar outras perguntas sequencialmente em qualquer lado da página.
- A tabela de resumo exibe estatísticas para a pergunta.
- Selecione Editar avaliação para acessar a avaliação e fazer alterações.
- O texto da pergunta e as escolhas de resposta são exibidas. Você pode ver quantos alunos escolheram cada opção de resposta ou a porcentagem respondida corretamente. Por exemplo, para uma pergunta de associação, você vê qual porcentagem de alunos fez a associação de pares corretamente. Para perguntas dissertativas, aparece somente o texto da pergunta.
Múltiplas tentativas, substituições de perguntas e edições de perguntas
A análise trata de alguns cenários comuns das seguintes maneiras:
- Quando os alunos fazem uma avaliação várias vezes, a última tentativa enviada é usada como a entrada da análise. Assim que o aluno envia outra tentativa, as análises subsequentes incluem essa tentativa mais recente.
- As substituições do boletim de notas não afetam os dados da análise, pois a análise gera dados estatísticos para as perguntas com base nas tentativas concluídas do aluno.
- Ao fazer alterações em uma pergunta ou ao avaliar manualmente as perguntas, você deve fazer a análise novamente para ver se as alterações afetam os dados.
Exemplos
A análise das perguntas pode ajudar você a melhorar as perguntas para administrações de avaliação futuras. Você também pode corrigir perguntas enganosas ou ambíguas em uma avaliação atual.
- Em uma pergunta de múltipla escolha, um número igual de alunos escolheu A, B e C. Examine as opções de resposta para determinar se elas são ambíguas, se a questão é muito difícil ou se o material não foi abrangido.
- Uma questão foi recomendada para revisão por fazer parte da categoria difícil. Você decide que a pergunta é difícil, mas a mantém para avaliar adequadamente os objetivos do curso.
- Uma pergunta de Múltipla Escolha é sinalizada para sua revisão. Mais alunos entre os primeiros 25% escolheram B, mas A é a resposta correta. Você percebe que escolheu a resposta errada quando criou a pergunta. Você edita a pergunta da avaliação e ela é automaticamente reavaliada.
Fazer download do relatório de análise de perguntas
Você pode baixar um relatório para analisá-lo ou mantê-lo para uso futuro. O arquivo que foi baixado inclui as colunas na análise do curso, além do desvio padrão e de colunas de erro padrão. Os relatórios permanecem no sistema por 14 dias.
Selecione o ícone de download acima da tabela de perguntas de análise de perguntas. O formato de arquivo padrão é XLS. O arquivo também pode ser aberto no formato CSV.
Envie um tweet para o suporte @BlackboardHelp