Analyse des questions

Une analyse des questions fournit des statistiques sur la performance générale, la qualité de l'évaluation et sur des questions individuelles. Ces données vous aident à déterminer les questions qui peuvent mal refléter les aptitudes des étudiants. L'analyse des questions concerne les évaluations avec des questions. Vous pouvez exécuter un rapport avant que tous les devoirs n'aient été remis si vous souhaitez vérifier la qualité de vos questions et y apporter des modifications.

Utilisation de l'analyse des questions :

• amélioration des questions pour les évaluations futures ou pour ajuster les points octroyés sur les tentatives en cours
• Discussion des résultats des examens avec votre classe
• Apport d'une base pour le travail de rattrapage
• Amélioration de l'enseignement en salle de classe

Exemple :

Après l'analyse des questions, vous remarquez que la majorité des étudiants répondent de façon incorrecte à une question. Quel est la raison de ce faible taux de réussite ?

• L'énoncé de la question porte-t-il à confusion ?
• Les options de réponse sont-elles claires ?
• Le contenu pédagogique fourni aux étudiants leur permet-il de répondre correctement à cette question ?
• Le contenu pédagogique était-il aisément accessible et clair ?

En fonction des résultats de vos investigations, vous pouvez améliorer la question afin qu'elle permette de déterminer les connaissances des étudiants sans ambiguïté.

---

Accéder à l'analyse d'une évaluation

Vous pouvez exécuter et accéder à un rapport d'analyse des questions précédent à partir des onglets de cours suivants :

• Page Contenu du cours > menu de l'évaluation
• Page Analyse du cours > onglet Analyse des questions, si votre établissement a activé les analyses
• Le carnet de notes, en affichage liste ou grille

Sur la page Rapports de cours, accédez au menu d'une évaluation, puis sélectionnez Analyse des questions. Vous pouvez également sélectionner l'icône Analyses dans la barre de navigation.

Vous pouvez également exécuter un rapport d'analyse des questions à partir du centre de notes dans la vue grille ou la vue liste. Accédez au menu d'un examen et sélectionnez Analyse des questions.

Page Analyse des questions

La page Analyse des questions n'est accessible qu'à partir de la barre de navigation > Analyses > page Analyse de cours > onglet Analyse des questions.

Vous pouvez exécuter un rapport sur une évaluation comportant des devoirs rendus et aucune question, mais vous obtiendrez un rapport sans informations utiles.

Vous recevrez un message indiquant que le rapport d'analyse des questions est en cours et un e-mail lorsque le rapport est généré. Vous pouvez quitter la page pour travailler dans d'autres sections de votre cours et revenir plus tard pour voir si le rapport est prêt.

Colonne d'état

Chaque évaluation de votre cours apparaît avec l'un des statuts suivants :

• Rapport en cours
• Terminé le {date}
• Les données ne sont plus à jour : l'évaluation comporte désormais des devoirs rendus à analyser.
• Données insuffisantes : aucun devoir rendu. Exécuter le rapport est désactivé.
• Aucune question dans l'évaluation : l'évaluation ne comporte aucune question ni aucun devoir rendu. Exécuter le rapport est désactivé.
• Aucun état répertorié : l'évaluation comporte des questions et des devoirs rendus, mais vous n'avez pas exécuté de rapport. Exécuter le rapport est activé.
• Erreur : Exécuter

---

Afficher le résumé de l'évaluation de l'analyse des questions

Après avoir exécuté un rapport, vous pouvez afficher les informations de résumé générales et les détails de chaque question. Sélectionnez l'évaluation sur la page Analyse de question pour afficher le résumé.

Seules les tentatives envoyées sont utilisées dans les calculs. Lorsque des tentatives sont en cours, elles sont ignorées jusqu'à leur soumission et la nouvelle exécution du rapport d'analyse. Les zéros attribués automatiquement aux travaux en retard ne sont pas inclus dans les calculs.

1. Synthèse des statistiques pour l'évaluation individuelle :
   • Moyenne des résultats : le résultat affiché est le résultat moyen pour l'évaluation consigné dans le centre de notes. Le résultat moyen peut changer si d'autres tentatives sont envoyées et notées.
   • Questions possibles : nombre total de questions de l'évaluation.
   • Tentatives achevées : nombre d'évaluations soumises.
   • Temps moyen passé : temps moyen pour toutes les tentatives soumises.
2. exécutez de nouveau un rapport ou modifiez l'évaluation pour modifier les questions.
3. Utilisez les graphiques pour filtrer le tableau des questions. Procédez à des sélections dans les deux graphiques pour affiner votre recherche. Si vous n'effectuez aucune sélection, toutes les questions apparaissent dans le tableau en bas de la page.
   • La différenciation : indique comment les questions permettent de différencier les étudiants qui maîtrisent une matière de ceux qui ne la maîtrisent pas.
     • Affiche le nombre de questions qui entrent dans les catégories suivantes :
       • Bon (supérieur à 0,3)
       • Juste (entre 0,1 et 0,3)
       • Mauvais (moins de 0,1)
       • Impossible de calculer : La difficulté d'une question est de 100 %, ou bien tous les étudiants ont obtenu le même résultat sur une question.
     • Les valeurs des réponses aux questions avec différenciation dans les catégories Bon et Juste permettent de différencier les étudiants avec un niveau de connaissances supérieur ou inférieur.
     • Il est recommandé de revoir les questions qui entrent dans la catégorie Mauvais.
   • La difficulté : Pourcentage d'étudiants ayant répondu correctement à la question
     • Affiche le nombre de questions qui entrent dans les catégories suivantes :
       • Facile (supérieur à 80 %)
       • Moyenne (entre 30 % et 80 %)
       • Difficile (moins de 30 %)
     • Pour les questions relevant de la catégorie Facile ou Difficile, une vérification est recommandée.
4. Sélectionnez un en-tête de colonne pour trier les questions. Par exemple, triez la colonne Vérifier de sorte que les questions à vérifier apparaissent en premier.
5. Effacer les filtres : effacez les filtres que vous avez sélectionnés dans les graphiques et affichez toutes les questions dans le tableau.
6. Télécharger le rapport d'analyse des questions

---

À propos de la section des questions du résumé de l'évaluation

Le tableau des questions fournit les statistiques pour chaque question de l'évaluation. Une fois que vous avez utilisé les graphiques pour filtrer le tableau des questions, vous pouvez afficher et trier les résultats.

En général, les bonnes questions entrent dans les catégories suivantes :

• Difficulté Moyenne (30 % à 80 %)
• Les valeurs de différenciation Bon ou Juste (plus de 0,1)

En général, les questions pour lesquelles une vérification est recommandée entrent dans les catégories suivantes. Elles peuvent être de mauvaise qualité ou être notées de façon incorrecte.

• Niveau de difficulté : facile (> 80 %) ou difficile (> 30 %)
• Valeurs de différenciation : Mauvais (< 0,1).

Rappel : Si vous n'effectuez aucune sélection, toutes les questions apparaissent dans le tableau en bas de la page.

Pour vous pencher sur une question en particulier, cliquez sur son titre et vérifiez les Détails de la question.

Les informations pour chaque question sont affichées dans le tableau :

• Nécessite une révision : déclenché lorsque les valeurs de différenciation sont inférieures à 0,1 ou lorsque les valeurs de difficulté sont supérieures à 80 % (la question était trop facile) ou inférieures à 30 % (la question était trop difficile). Vérifiez la question pour déterminer si elle nécessite d'être modifiée.
• Question modifiée : affiche Oui si vous exécutez un rapport, modifiez une partie de la question puis exécutez à nouveau le rapport. Oui apparaît également si vous avez copié la question à partir d'une autre évaluation lors de la création de l'évaluation.

  Si l'option Oui apparaît dans la colonne Question modifiée en regard d'une question, elle n'est pas reportée lorsque vous archivez et restaurez le cours.

• La différenciation : indique comment une question permet de différencier les étudiants qui maîtrisent une matière et ceux qui ne la maîtrisent pas. Une question est un bon mode d'évaluation, car lorsque les étudiants répondent parfaitement à une question, cela contribue également à la réussite de l'évaluation. La plage des valeurs acceptables s'étend de -1,0 à +1,0. Les questions sont marquées pour être vérifiées lorsque la valeur de différenciation est inférieure à 0,1 ou négative. Il n'est pas possible de calculer les valeurs de différenciation lorsque la difficulté de la question est de 100 % ou que tous les étudiants obtiennent le même résultat à une question.

  Ces valeurs sont calculées en utilisant le coefficient de corrélation Pearson. X représente les notes de chaque étudiant pour une question et Y la note de chaque étudiant pour l'examen.

  

  Les variables suivantes sont respectivement la note standard, la moyenne de l'échantillon et l'écart type :

  
• La difficulté : pourcentage d'étudiants ayant répondu correctement à la question. Le pourcentage de difficulté s'affiche en regard de sa catégorie : Facile (plus de 80 %), Moyenne (entre 30 % et 80 %) et Difficile (moins de 30 %). Les valeurs de difficulté peuvent s'échelonner de 0 % à 100 %. Un pourcentage élevé indique que la question était facile. Les questions des catégories Facile ou Difficile sont marquées pour être vérifiées.

  Les niveaux de difficulté légèrement supérieurs à la moyenne permettent de mieux différencier les étudiants qui connaissent le sujet examiné ou non, entre la chance et les résultats parfaits. Les valeurs de difficulté élevées ne garantissent pas de hauts niveaux de différenciation.

• Les tentatives notées : nombre de tentatives à une question déjà notées. Les nombres élevés d'une tentative notée produisent des statistiques calculées plus fiables.
• La moyenne des résultats : Le résultat affiché est le résultat moyen pour l'évaluation consigné dans le centre de notes. Le résultat moyen peut changer une fois toutes les tentatives notées.

---

Afficher les détails d'une question unique

Vous pouvez vous pencher sur les questions qui ont été marquées à revoir et afficher les performances des étudiants. Dans le tableau des questions de la section Analyse de question, sélectionnez un titre de question liée pour accéder à la synthèse de la question.

1. Une fois que vous avez accédé à une question, utilisez le menu du titre de la question pour accéder à toutes les questions de l'évaluation. Vous pouvez accéder aux autres questions dans l'ordre de chaque côté de la page.
2. Le tableau de synthèse affiche les statistiques pour la question.
3. Sélectionnez Modifier l'évaluation pour accéder à l'évaluation et y apporter des modifications.
4. L'énoncé de la question et le choix de réponses s'affichent. Vous pouvez voir le nombre d'étudiants ayant choisi chaque réponse ou le pourcentage de réponses correctes. Par exemple, pour un test d'appariement, vous voyez le pourcentage d'étudiants qui a correctement associé les paires. Seul le texte de la question apparaît pour les questions de type dissertation.

---

À propos des tentatives multiples, des remplacements et des modifications de question

L'analyse gère certains scénarios courants de la manière suivante :

• Lorsque les étudiants passent un examen plusieurs fois, la dernière tentative reçue est celle prise en compte pour l'analyse. Dès qu'un étudiant soumet une autre tentative, les analyses suivantes incluent cette dernière.
• Les remplacements effectués dans le centre de notes n'ont pas de répercussion sur les données d'analyse, car l'analyse génère des données statistiques sur des questions en fonction des tentatives terminées par les étudiants.
• Lorsque vous modifiez une question ou que vous notez manuellement des questions, vous devez exécuter à nouveau l'analyse pour voir si les modifications ont une incidence sur les données.

---

Exemples

L'analyse des questions peut vous aider à améliorer les questions pour les prochains examens ou à corriger les questions trompeuses ou ambiguës d'un examen en cours.

• Dans une question à choix multiples, le même nombre d'étudiant a choisi respectivement A, B et C. Examinez les choix de réponse pour déterminer s'ils sont ambigus, si la question est trop difficile ou si le sujet n'a pas été abordé.
• Il est recommandé de revoir une question, car elle est classée dans la catégorie Très difficile. Vous vous rendez compte qu'il s'agit d'une question difficile, mais vous la conservez pour pouvoir évaluer vos objectifs de cours de façon adéquate.
• Une question à choix multiples est marquée à revoir. Plus du Quart supérieur (25 %) des étudiants ont choisi B, mais A est la réponse correcte. Vous réalisez que vous n'avez pas choisi la réponse correcte lorsque vous avez créé la question. Vous modifiez la question de l'évaluation et elle est automatiquement renotée.

---

Télécharger le rapport d'analyse des questions

Vous pouvez télécharger un rapport pour l'analyser ou le conserver à des fins d'utilisation ultérieure. Le fichier téléchargé inclut les colonnes de l'analyse de votre cours en plus des colonnes d'écart-type et d'erreur standard. Les rapports restent dans le système pendant 14 jours.

Sélectionnez l'icône Télécharger au-dessus du tableau des questions de la section Analyse de question. Le format de fichier par défaut est XLS. Vous pouvez également ouvrir le fichier au format CSV.