Analyse d'élément

une analyse d'élément fournit des statistiques sur les performances générales, la qualité du test et les questions individuelles. Ces données vous aident à déterminer les questions qui peuvent mal refléter les aptitudes des étudiants.

Utilisations de l'analyse d'élément :

Amélioration des questions pour les tests futurs ou pour ajuster les points octroyés sur les tentatives en cours
Discussion des résultats des tests avec votre classe
Apport d'une base pour le travail de rattrapage
Amélioration de l'enseignement en salle de classe

Exemple :

Après l'analyse d'élément, vous remarquez que la majorité des étudiants répondent de façon incorrecte à une question. Quel est la raison de ce faible taux de réussite ?

L'énoncé de la question porte-t-il à confusion ?
Les options de réponse sont-elles claires ?
Le contenu pédagogique fourni aux étudiants leur permet-il de répondre correctement à cette question ?
Le contenu pédagogique était-il aisément accessible et clair ?

En fonction des résultats de vos investigations, vous pouvez améliorer la question du test afin qu'elle permette de déterminer les connaissances des étudiants sans ambiguïté.

Exécuter une analyse d'élément sur un examen

Vous pouvez exécuter une analyse d'élément sur un test déployé avec des tentatives soumises, mais pas sur un examen non noté.

Le test peut inclure un ou plusieurs ensembles de questions, tentatives, blocs aléatoires, types de question notées automatiquement ou manuellement. Pour les tests comportant des questions notées manuellement qui n'ont pas encore reçu de résultats, les statistiques ne sont générées que pour les questions notées. Après avoir noté manuellement les questions, relancez l'analyse d'élément. Les statistiques relatives aux questions notées manuellement sont générées et les statistiques de synthèse du test sont mises à jour.

Pour de meilleurs résultats, effectuez une analyse sur un test une fois que les étudiants ont soumis toutes leurs tentatives, et que vous avez noté toutes les questions notées manuellement. N'oubliez pas que le nombre de tentatives de test, le type des étudiants qui ont passé le test et les erreurs hasardeuses ont des répercussions sur les statistiques.

Les personnes disposant de privilèges de notation (comme les professeurs, les évaluateurs et les assistants) peuvent accéder à l'analyse d'élément à trois emplacements dans le workflow de test.
- Un test déployé dans un onglet de contenu
- Un test déployé répertorié sur la page Tests
- Une colonne de test du centre de notes
Accédez au menu du test et sélectionnez Analyse d'élément.
Dans le menu Sélectionner un test, sélectionnez un test. Seuls les tests déployés sont répertoriés.
Sélectionnez Exécuter.
Sélectionnez le lien du nouveau rapport dans la section Analyse disponible ou sélectionnez Afficher l'analyse dans la confirmation d'état en haut de la page.

Vous pouvez accéder à une analyse exécutée préalablement dans la section Analyse disponible.

Résumé de l'examen sur la page Analyse d'élément

Le résumé du test fournit des données sur le test dans sa globalité.

Modifier un test permet d'accéder à la page Canevas du test, où vous pouvez apporter des modifications au test.
Afficher les statistiques du test :
- Les points possibles : nombre total de points pour le test.
- Les questions possibles : nombre total de questions du test.
- Les tentatives en cours : nombre d'étudiants qui passent actuellement le test et qui ne l'ont pas encore soumis.
- Les tentatives achevées : nombre de tests soumis.
- La moyenne des résultats : les résultats signalés par un astérisque (*) indiquent que certaines tentatives ne sont pas notées et que la moyenne des résultats peut changer une fois toutes les tentatives notées. Le résultat affiché est le résultat moyen pour le test consigné dans le centre de notes.
- La durée moyenne : temps moyen pour toutes les tentatives soumises.
- La différenciation : indique le nombre de questions appartenant aux catégories Bon (plus de 0,3), Juste (entre 0,1 et 0,3) et Mauvais (moins de 0,1). Il est impossible de calculer un résultat de différenciation lorsque la difficulté de la question est de 100 % ou que tous les étudiants ont eu la même note à une question. Les valeurs des réponses aux questions avec différenciation dans les catégories Bon et Juste permettent de mieux différencier les étudiants avec un niveau de connaissances supérieur ou inférieur. Il est recommandé de revoir les questions qui entrent dans la catégorie Mauvais.
- La difficulté : indique le nombre de questions relevant des catégories Facile (plus de 80 %), Moyen (entre 30 % et 80 %) et Difficile (moins de 30 %). La difficulté correspond au pourcentage d'étudiants ayant répondu correctement à la question. Il est recommandé de revoir les questions classées en catégories Facile et Difficile qui sont indiquées par un cercle rouge.

Seules les tentatives notées sont utilisées dans les calculs d'analyse d'élément. Lorsque des tentatives sont en cours, elles sont ignorées jusqu'à leur soumission et la nouvelle exécution du rapport d'analyse.

Tableau des statistiques de question sur la page d'analyse d'élément

Le tableau des statistiques de question fournit les statistiques pour chaque question du test. Les questions à revoir sont indiquées par des cercles rouges pour que vous puissiez rapidement visualiser celles qui nécessitent votre attention.

En général, les bonnes questions entrent dans les catégories suivantes :

Difficulté Moyenne (30 % à 80 %)
Les valeurs de différenciation Bon ou Juste (plus de 0,1)

En général, les questions pour lesquelles une vérification est recommandée entrent dans les catégories suivantes. Elles peuvent être de mauvaise qualité ou être notées de façon incorrecte.

Niveau de difficulté : facile (> 80 %) ou difficile (> 30 %)
Valeurs de différenciation : Mauvais (< 0,1).

Vous pouvez filtrer le tableau des questions par type de question, différenciation et difficulté.
Pour vous pencher sur une question en particulier, cliquez sur son titre et vérifiez sa page Détails de la question.
Les statistiques pour chaque question sont affichées dans le tableau :
- La différenciation : indique comment une question permet de différencier les étudiants qui maîtrisent une matière et ceux qui ne la maîtrisent pas. Une question est un bon mode d'évaluation car lorsque les étudiants répondent parfaitement à une question, cela contribue également à la réussite du test. La plage des valeurs acceptables s'étend de -1,0 à +1,0. Les questions sont marquées pour être vérifiées lorsque la valeur de différenciation est inférieure à 0,1 ou négative. Il n'est pas possible de calculer les valeurs de différenciation lorsque la difficulté de la question est de 100 % ou que tous les étudiants obtiennent le même résultat à une question.
  Ces valeurs sont calculées en utilisant le coefficient de corrélation Pearson. X représente les notes de chaque étudiant pour une question et Y la note de chaque étudiant pour le test.
  
  Les variables suivantes sont respectivement la note standard, la moyenne de l'échantillon et l'écart type :
- La difficulté : pourcentage d'étudiants ayant répondu correctement à la question. Le pourcentage de difficulté s'affiche en regard de sa catégorie : Facile (plus de 80 %), Moyenne (entre 30 % et 80 %) et Difficile (moins de 30 %). Les valeurs de difficulté sont comprises entre 0 % et 100 % ; un pourcentage élevé indiquant que la question était jugée facile. Les questions des catégories Facile ou Difficile sont marquées pour être vérifiées.
  Les niveaux de difficulté légèrement supérieurs à la moyenne permettent de mieux différencier les étudiants qui connaissent le sujet examiné ou non, entre la chance et les résultats parfaits. Les valeurs de difficulté élevées ne garantissent pas de hauts niveaux de différenciation.
- Les tentatives notées : nombre de tentatives à une question déjà notées. Les nombres élevés d'une tentative notée produisent des statistiques calculées plus fiables.
- La moyenne des résultats : les résultats signalés par un astérisque (*) indiquent que certaines tentatives ne sont pas notées et que la moyenne des résultats peut changer une fois toutes les tentatives notées. Le résultat affiché est le résultat moyen pour le test consigné dans le centre de notes.
- Écart-type : mesure des différences de notes par rapport à la moyenne. Si les notes sont très regroupées avec la plupart des valeurs proches de la moyenne, l'écart-type est faible. Si les notes sont très disparates avec des valeurs très éloignées de la moyenne, l'écart type est plus grand.
- Erreur standard : estimation du taux de variabilité des résultats d'un étudiant que l'on attribue à la chance. Plus la valeur de mesure de l'erreur standard est petite, plus la mesure de la question de test est précise.

Afficher les détails d'une question spécifique

Vous pouvez vous pencher sur les questions qui ont été marquées à revoir, et afficher les performances des étudiants.

Faites défiler la page Analyse d'élément jusqu'au tableau des statistiques de question. Sélectionnez un titre de question liée pour accéder à la page Détails de la question.

Utilisez les icônes Page précédente et Page suivante pour passer d'une question à l'autre. Vous pouvez également accéder directement à la première ou à la dernière question.
Sélectionnez Modifier un test pour accéder à la page Canevas du test, où vous pouvez apporter des modifications au test.
Le tableau de synthèse affiche les statistiques pour la question. Vous pouvez passer en revue les descriptions des différentes statistiques dans la section précédente.
L'énoncé de la question et le choix de réponses s'affichent. Les informations varient en fonction du type de question :

Informations sur l'analyse d'élément fournies pour les types de questions
Type d'information fourni	Types de questions
Nombre d'étudiants ayant sélectionné chaque choix de réponse -ET- répartition de ces réponses parmi les quartiles de classe	Choix multiples Réponses multiples Vrai/Faux Soit/Soit Échelle d'opinion/Likert
Nombre d'étudiants ayant sélectionné chaque réponse	Correspondance Classement Textes multiples à compléter
Nombre d'étudiants ayant donné la bonne réponse, une réponse incorrecte ou aucune réponse	Formule calculée Valeur numérique calculée Texte à compléter Points actifs Jeu-questionnaire
Énoncé de la question seulement	Dissertation Fichier de réponse Réponse courte Phrase incomplète ; inclut aussi les réponses parmi lesquelles les étudiants ont fait leur choix

Légende des symboles

Des symboles apparaissent en regard des questions pour vous alerter concernant des problèmes éventuels :

Vérification recommandée : déclenché lorsque les valeurs de différenciation sont inférieures à 0,1 ou lorsque les valeurs de difficulté sont supérieures à 80 % (la question était trop facile) ou inférieures à 30 % (la question était trop difficile). Vérifiez la question pour déterminer si elle nécessite d'être modifiée.
La question peut avoir changé après le déploiement : indique qu'une partie de la question a changé depuis que le test a été déployé. Un changement peut signifier que les données de cette question ne sont pas forcément fiables. Les tentatives soumises après modification de la question peuvent avoir tiré parti du changement.
Cet indicateur n'apparaît pas pour les cours restaurés.
Toutes les soumissions ne sont pas notées : S'affiche dans le cas d'un test contenant des questions nécessitant une notation manuelle, comme des questions Dissertation. Pour un test contenant une question Dissertation avec 50 tentatives par étudiant, cet indicateur s'affiche jusqu'à ce que vous notiez les 50 tentatives. L'analyse utilise uniquement les tentatives que vous avez notées au moment de l'exécution du rapport.
(QS) et (RB) : indique qu'une question est extraite d'un ensemble de questions ou d'un bloc aléatoire. En raison de l'ordre aléatoire de la mise à disposition des questions, il est possible que certaines questions fassent l'objet d'un nombre plus élevé de tentatives que d'autres.

Tentatives multiples, remplacements et modifications de question

L'analyse prend en compte les tentatives multiples, les remplacements et d'autres scénarios courants comme suit :

Lorsque les étudiants passent un test plusieurs fois, c'est la dernière tentative reçue qui est prise en compte pour l'analyse. Par exemple, pour un test avec trois tentatives, l'étudiant A a terminé deux tentatives et est en train d'en effectuer une troisième. La tentative en cours de cet étudiant est comptabilisée dans la liste Tentative en cours et aucune de ses tentatives préalables n'est prise en compte dans les données de l'analyse d'élément actuelle. Dès que l'étudiant A soumet sa troisième tentative, les analyses suivantes la prennent en compte.
Les remplacements effectués dans le centre de notes n'ont pas de répercussion sur les données d'analyse car l'analyse génère des données statistiques sur des questions en fonction des tentatives terminées par les étudiants.
Les questions notées manuellement ou les changements apportés à l'énoncé des questions, le bon choix de réponse, les points partiels ou les points ne se mettent pas à jour automatiquement dans le rapport d'analyse. Relancez l'analyse pour voir si les modifications ont eu des répercussions sur les données.

Exemples

L'analyse d'élément peut vous aider à améliorer les questions pour les prochains tests ou à corriger les questions trompeuses ou ambiguës d'un test en cours.

Une question à choix multiples est marquée à revoir. Plus du Quart supérieur (25 %) des étudiants ont choisi B, mais A est la réponse correcte. Vous réalisez que vous n'avez pas choisi la réponse correcte lorsque vous avez créé la question. Vous modifiez la question du test et elle est automatiquement renotée.
Dans une question à choix multiples, le même nombre d'étudiant a choisi respectivement A, B et C. Examinez les choix de réponse pour déterminer s'ils sont ambigus, si la question est trop difficile ou si le sujet n'a pas été abordé.
Il est recommandé de revoir une question, car elle est classée dans la catégorie Très difficile. Vous vous rendez compte qu'il s'agit d'une question difficile, mais vous la conservez pour pouvoir tester vos objectifs de cours de façon adéquate.

Langue