Ces informations s'appliquent uniquement à l'affichage de cours d'origine. Votre établissement détermine les outils qui sont disponibles.

Vous ne savez pas comment faire ? Consultez la rubrique de l'expérience Ultra sur l'analyse des questions.

Une analyse d'élément fournit des statistiques sur les performances générales, la qualité de l'examen et les questions individuelles. Ces données vous aident à déterminer les questions qui peuvent mal refléter les aptitudes des étudiants.

Utilisations de l'analyse d'élément :

  • Amélioration des questions pour les examens futurs ou pour ajuster les points octroyés sur les tentatives en cours
  • Discussion des résultats des examens avec votre classe
  • Apport d'une base pour le travail de rattrapage
  • Amélioration de l'enseignement en salle de classe

Exemple :

Après l'analyse d'élément, vous remarquez que la majorité des étudiants répondent de façon incorrecte à une question. Quel est la raison de ce faible taux de réussite ?

  • L'énoncé de la question porte-t-il à confusion ?
  • Les options de réponse sont-elles claires ?
  • Le contenu pédagogique fourni aux étudiants leur permet-il de répondre correctement à cette question ?
  • Le contenu pédagogique était-il aisément accessible et clair ?

En fonction des résultats de vos investigations, vous pouvez améliorer la question de l'examen afin qu'elle permette de déterminer les connaissances des étudiants sans ambiguïté.


Exécuter une analyse d'élément sur un examen

Vous pouvez exécuter une analyse d'élément sur un examen déployé avec des tentatives soumises, mais pas sur un examen non noté.

L'examen peut inclure un ou plusieurs ensembles de questions, tentatives, blocs aléatoires, types de question notées automatiquement ou manuellement. Pour les examens comportant des questions notées manuellement qui n'ont pas encore reçu de résultats, les statistiques ne sont générées que pour les questions notées. Après avoir noté manuellement les questions, relancez l'analyse d'élément. Les statistiques relatives aux questions notées manuellement sont générées et les statistiques de synthèse de l'examen sont mises à jour.

Pour de meilleurs résultats, effectuez une analyse sur un examen une fois que les étudiants ont soumis toutes leurs tentatives, et que vous avez noté toutes les questions notées manuellement. N'oubliez pas que le nombre de tentatives d'examen, le type des étudiants qui ont passé l'examen et les erreurs hasardeuses ont des répercussions sur les statistiques.

  1. Les personnes disposant de privilèges de notation (comme les professeurs, les évaluateurs et les assistants) peuvent accéder à l'analyse d'élément à trois emplacements dans le workflow d'examen.
    • Un examen déployé dans un onglet de contenu
    • Un examen déployé répertorié sur la page Examens
    • Une colonne d'examen du centre de notes
  2. Accédez au menu de l'examen et sélectionnez Analyse d'élément.
  3. Dans le menu Sélectionner un examen, sélectionnez un examen. Seuls les examens déployés sont répertoriés.
  4. Sélectionnez Exécuter.
  5. Sélectionnez le lien du nouveau rapport dans la section Analyse disponible ou sélectionnez Afficher l'analyse dans la confirmation d'état en haut de la page.

Vous pouvez accéder à une analyse exécutée préalablement dans la section Analyse disponible.


Résumé de l'examen sur la page Analyse d'élément

Le résumé de l'examen fournit des données sur l'examen dans sa globalité.

  1. Modifier un examen permet d'accéder à la page Canevas de l'examen, où vous pouvez apporter des modifications à l'examen.
  2. Afficher les statistiques de l'examen :
    • Les points possibles : nombre total de points pour l'examen.
    • Les questions possibles : nombre total de questions de l'examen.
    • Les tentatives en cours : nombre d'étudiants qui passent actuellement l'examen et qui ne l'ont pas encore soumis.
    • Les tentatives achevées : nombre d'examens soumis.
    • La moyenne des résultats : les résultats signalés par un astérisque (*) indiquent que certaines tentatives ne sont pas notées et que la moyenne des résultats peut changer une fois toutes les tentatives notées. Le résultat affiché est le résultat moyen pour l'examen consigné dans le centre de notes.
    • La durée moyenne : temps moyen pour toutes les tentatives soumises.
    • La différenciation : indique le nombre de questions appartenant aux catégories Bon (plus de 0,3), Juste (entre 0,1 et 0,3) et Mauvais (moins de 0,1). Il est impossible de calculer un résultat de différenciation lorsque la difficulté de la question est de 100 % ou que tous les étudiants ont eu la même note à une question. Les valeurs des réponses aux questions avec différenciation dans les catégories Bon et Juste permettent de mieux différencier les étudiants avec un niveau de connaissances supérieur ou inférieur. Il est recommandé de revoir les questions qui entrent dans la catégorie Mauvais.
    • La difficulté : indique le nombre de questions relevant des catégories Facile (plus de 80 %), Moyen (entre 30 % et 80 %) et Difficile (moins de 30 %). La difficulté correspond au pourcentage d'étudiants ayant répondu correctement à la question. Il est recommandé de revoir les questions classées en catégories Facile et Difficile qui sont indiquées par un cercle rouge.

Seules les tentatives notées sont utilisées dans les calculs d'analyse d'élément. Lorsque des tentatives sont en cours, elles sont ignorées jusqu'à leur soumission et la nouvelle exécution du rapport d'analyse.


Tableau des statistiques de question sur la page d'analyse d'élément

Le tableau des statistiques de question fournit les statistiques pour chaque question de l'examen. Les questions à revoir sont indiquées par des cercles rouges pour que vous puissiez rapidement visualiser celles qui nécessitent votre attention.

En général, les bonnes questions entrent dans les catégories suivantes :

  • Difficulté Moyenne (30 % à 80 %)
  • Les valeurs de différenciation Bon ou Juste (plus de 0,1)

En général, les questions pour lesquelles une vérification est recommandée entrent dans les catégories suivantes. Elles peuvent être de mauvaise qualité ou être notées de façon incorrecte.

  • Niveau de difficulté : facile ( > 80 %) ou difficile ( < 30 %)
  • Valeurs de différenciation : Mauvais ( < 0,1).
  1. Vous pouvez filtrer le tableau des questions par type de question, différenciation et difficulté.
  2. Pour vous pencher sur une question en particulier, cliquez sur son titre et vérifiez sa page Détails de la question.
  3. Les statistiques pour chaque question sont affichées dans le tableau :
    • La différenciation : indique comment une question permet de différencier les étudiants qui maîtrisent une matière et ceux qui ne la maîtrisent pas. Une question est un bon mode d'évaluation car lorsque les étudiants répondent parfaitement à une question, cela contribue également à la réussite de l'examen. Les valeurs peuvent aller de -1,0 à +1,0. Les questions sont marquées pour être vérifiées lorsque la valeur de différenciation est inférieure à 0,1 ou négative. Il n'est pas possible de calculer les valeurs de différenciation lorsque la difficulté de la question est de 100 % ou que tous les étudiants obtiennent le même résultat à une question.

      Ces valeurs sont calculées en utilisant le coefficient de corrélation Pearson. X représente les notes de chaque étudiant pour une question et Y la note de chaque étudiant pour l'examen.

      Les variables suivantes sont respectivement la note standard, la moyenne de l'échantillon et l'écart type :

    • La difficulté : pourcentage d'étudiants ayant répondu correctement à la question. Le pourcentage de difficulté s'affiche en regard de sa catégorie : Facile (plus de 80 %), Moyenne (entre 30 % et 80 %) et Difficile (moins de 30 %). Les valeurs de difficulté sont comprises entre 0 % et 100 % ; un pourcentage élevé indiquant que la question était jugée facile. Les questions des catégories Facile ou Difficile sont marquées pour être vérifiées.

      Les niveaux de difficulté légèrement supérieurs à la moyenne permettent de mieux différencier les étudiants qui connaissent le sujet examiné ou non, entre la chance et les résultats parfaits. Les valeurs de difficulté élevées ne garantissent pas de hauts niveaux de différenciation.

    • Les tentatives notées : nombre de tentatives à une question déjà notées. Les nombres élevés d'une tentative notée produisent des statistiques calculées plus fiables.
    • La moyenne des résultats : les résultats signalés par un astérisque (*) indiquent que certaines tentatives ne sont pas notées et que la moyenne des résultats peut changer une fois toutes les tentatives notées. Le résultat affiché est le résultat moyen pour l'examen consigné dans le centre de notes.
    • Écart-type : mesure des différences de notes par rapport à la moyenne. Si les notes sont très regroupées avec la plupart des valeurs proches de la moyenne, l'écart-type est faible. Si les notes sont très disparates avec des valeurs très éloignées de la moyenne, l'écart type est plus grand.
    • Erreur standard : estimation du taux de variabilité des résultats d'un étudiant que l'on attribue à la chance. Plus la valeur de mesure de l'erreur standard est petite, plus la mesure de la question d'examen est précise.

Afficher les détails d'une question spécifique

Vous pouvez vous pencher sur les questions qui ont été marquées à revoir, et afficher les performances des étudiants.

Faites défiler la page Analyse d'élément jusqu'au tableau des statistiques de question. Sélectionnez un titre de question liée pour accéder à la page Détails de la question.

  1. Utilisez les icônes Page précédente et Page suivante pour passer d'une question à l'autre. Vous pouvez également accéder directement à la première ou à la dernière question.
  2. Sélectionnez Modifier un examen pour accéder à la page Canevas de l'examen, où vous pouvez apporter des modifications à l'examen.
  3. Le tableau de synthèse affiche les statistiques pour la question. Vous pouvez passer en revue les descriptions des différentes statistiques dans la section précédente.
  4. L'énoncé de la question et le choix de réponses s'affichent. Les informations varient en fonction du type de question :
Informations sur l'analyse d'élément fournies pour les types de questions
Type d'information fourniTypes de questions
Nombre d'étudiants ayant sélectionné chaque choix de réponse

ET

répartition de ces réponses parmi les quartiles de classe
Questions à choix multiples

Question à réponses multiples

Vrai/Faux

Soit/Soit

Échelle d'opinion/Likert
Nombre d'étudiants ayant sélectionné chaque réponseCorrespondance

de classification

de la question de type Textes multiples à compléter
Nombre d'étudiants ayant donné la bonne réponse, une réponse incorrecte ou aucune réponseFormule calculée

Valeur numérique calculée

Texte à compléter

Hotspot

Jeu-questionnaire
Énoncé de la question seulementDissertation

Fichier de réponse

À réponse courte

Phrase confuse : inclut aussi les réponses parmi lesquelles les étudiants ont fait leur choix

Légende des symboles

Des symboles apparaissent en regard des questions pour vous alerter concernant des problèmes éventuels :

  • Vérification recommandée : déclenché lorsque les valeurs de différenciation sont inférieures à 0,1 ou lorsque les valeurs de difficulté sont supérieures à 80 % (la question était trop facile) ou inférieures à 30 % (la question était trop difficile). Vérifiez la question pour déterminer si elle nécessite d'être modifiée.
  • La question peut avoir changé après le déploiement : indique qu'une partie de la question a changé depuis que l'examen a été déployé. Un changement peut signifier que les données de cette question ne sont pas forcément fiables. Les tentatives soumises après modification de la question peuvent avoir tiré parti du changement.

    Cet indicateur n'apparaît pas pour les cours restaurés.

  • Toutes les soumissions ne sont pas notées : S'affiche dans le cas d'un examen contenant des questions nécessitant une notation manuelle, comme des questions Dissertation. Pour un examen contenant une question Dissertation avec 50 tentatives par étudiant, cet indicateur s'affiche jusqu'à ce que vous notiez les 50 tentatives. L'analyse utilise uniquement les tentatives que vous avez notées au moment de l'exécution du rapport.
  • (QS) et (RB) : indique qu'une question est extraite d'un ensemble de questions ou d'un bloc aléatoire. En raison de l'ordre aléatoire de la mise à disposition des questions, il est possible que certaines questions fassent l'objet d'un nombre plus élevé de tentatives que d'autres.

Tentatives multiples, remplacements et modifications de question

L'analyse prend en compte les tentatives multiples, les remplacements et d'autres scénarios courants comme suit :

  • Lorsque les étudiants passent un examen plusieurs fois, c'est la dernière tentative reçue qui est prise en compte pour l'analyse. Par exemple, pour un examen avec trois tentatives, l'étudiant A a terminé deux tentatives et est en train d'en effectuer une troisième. La tentative en cours de cet étudiant est comptabilisée dans la liste Tentative en cours et aucune de ses tentatives préalables n'est prise en compte dans les données de l'analyse d'élément actuelle. Dès que l'étudiant A soumet sa troisième tentative, les analyses suivantes la prennent en compte.
  • Les remplacements effectués dans le centre de notes n'ont pas de répercussion sur les données d'analyse car l'analyse génère des données statistiques sur des questions en fonction des tentatives terminées par les étudiants.
  • Les questions notées manuellement ou les changements apportés à l'énoncé des questions, le bon choix de réponse, les points partiels ou les points ne se mettent pas à jour automatiquement dans le rapport d'analyse. Relancez l'analyse pour voir si les modifications ont eu des répercussions sur les données.

Exemples

L'analyse d'élément peut vous aider à améliorer les questions pour les prochains examens ou à corriger les questions trompeuses ou ambiguës d'un examen en cours.

  • Une question à choix multiples est marquée à revoir. Plus du Quart supérieur (25 %) des étudiants ont choisi B, mais A est la réponse correcte. Vous réalisez que vous n'avez pas choisi la réponse correcte lorsque vous avez créé la question. Vous modifiez la question de l'examen et elle est automatiquement renotée.
  • Dans une question à choix multiples, un nombre égal d'étudiants ont choisi A, B et C. Examinez les choix de réponse pour déterminer s'ils sont ambigus, si la question est trop difficile ou si le sujet n'a pas été abordé.
  • Il est recommandé de revoir une question, car elle est classée dans la catégorie Très difficile. Vous vous rendez compte qu'il s'agit d'une question difficile, mais vous la conservez pour pouvoir tester vos objectifs de cours de façon adéquate.