Court-Traité de docimologie (3)

Vote utilisateur: 4 / 5

Etoiles activesEtoiles activesEtoiles activesEtoiles activesEtoiles inactives
 

Suite 2

 

III. Sur un premier exemple réel

 

Globalement, les notes afférentes au premier exemple (discipline 1) se trouvent résumées dans le tableau ci-dessous :

 

 

Classe Moyenne 1 Effectif σ
       
A 23.35 22 .76
B 19.53 23 2.19
C 22.02 21 1.76
D 21.74 21 1.65
E 21.09 22 1.99
F 22.23 20 1.13
       
Moyenne 21.63   2.05

Tableau n° 2 - Discipline 1 : sommation des résultats bruts.

 

Ce tableau se lit ainsi : la classe A compte vingt-deux élèves ; sa moyenne se situe à 23.35 (sur un maximum de 30. Soit 7.78 sur dix), pour un σ (écart-type) de 0.76(1).

Soit dit entre parenthèses, on chercherait en vain, ailleurs que dans un établissement de "formation", de telles moyennes(2), dont l'attribution généreuse permet un taux général de réussite de 98 %, alors que des esprits chagrins déclarent bradée l'obtention du Baccalauréat, lequel n'est accordé qu'à 70.5 % des candidats(3). D'autant que certains élèves-maîtres ont réussi le concours, par exemple en dépit d'un deux (sur 20) à l'épreuve de français, par le seul jeu des coefficients(4).

Parvenir en deux années scolaires à multiplier ses performances par huit, serait un exploit tout à fait remarquable, si on ne pouvait en suspecter la réalité(5).

On laissera le lecteur juge de conclure à travers l'extrait suivant, dans lequel il appréciera la clarté de l'expression, l'orthographe rigoureuse, la calligraphie parfaite, enfin, dû à la plume d'un élève instituteur ayant obtenu 15/20 dans l'évaluation finale de français(6) :

 

adapt

 

Mais il ne s'agit là que d'une incidente plaisante, et qu'on voudra bien accepter comme telle, car les véritables motifs d'indignation se situent ailleurs.

C'est pourquoi on nous permettra de faire un détour et de donner maintenant un exemple puisé parmi les résultats du Certificat d'Aptitude à l'Inspection primaire(7).

 

Les notes s'étendaient (dans l'épreuve d'explication d'auteurs philosophiques) de 1 à 16 ; la moyenne se situait à 9.19 (sur 20), et l'écart-type à 4. Vingt-six candidats (sur 47) n'atteignaient pas la moyenne. Voilà une distribution non pipée, à peu de chose près conforme à la courbe de Gauss.

 

Bien entendu, on nous rétorquera que notre problème est fort différent. Nous tenons pourtant que lorsqu'une épreuve transforme tous les candidats en impétrants se retrouvant à peu près au même niveau(8), il ne s'agit pas de pédagogie de la courbe en J, mais du mépris de l'École publique. Car le grand avantage d'épreuves d'évaluation qui n'évaluent rien, c'est évidemment d'éviter les notes au-dessous de la moyenne.

Ainsi toute la promotion obtient la moyenne dans la discipline 1, ce qui la dédouane vis-à-vis des épreuves dites de rattrapage, imposées par la puissance publique aux élèves instituteurs ne l'ayant pas atteinte dans les évaluations continues(9).

Mais poursuivons : le problème est de rendre plus juste ce qui ne l'est pas du tout, comme le montre le F de Snedecor(10) calculé sur cette distribution (F calc 5-123 = 12.59), qui révèle entre les notes obtenues (et surtout entre les sections) des différences très hautement significatives(11), comme si certaines sections étaient très nettement supérieures à d'autres ! Or, on l'a vu, leur mode de constitution rend ce fait hautement improbable, sinon impossible.

Il convient donc de procéder à l'égalisation entre groupes, c'est à dire de ramener toute la troupe à la même moyenne, et au même écart-type. La formule, d'une simplicité désarmante, est :

Z = (N-M)/EC

La "transformation en Z" s'obtient en soustrayant à la note brute (N) la moyenne de la classe (M), et en divisant le résultat par l'écart-type (EC) de la classe(12). Il suffit alors de choisir une nouvelle moyenne et un nouvel écart-type, et d'y confronter chaque note ; n'importe quel ordinateur fait cela en quelques secondes pour quelques centaines de notes. Nous avons choisi ici une moyenne générale de 6 (sur 10) et un écart-type de 2, nous dirons plus loin pourquoi.

Cette transformation produit, on le comprendra aisément, des résultats stupéfiants pour les séries combinant forte moyenne et faible écart-type, lorsqu'elles sont confrontées à des séries plus 'normales'(13). Et tel ou tel élève pourrait crier : "Rendez-moi mes points !", comprenant difficilement que c'était lui, auparavant, qui les volait aux autres, sans d'ailleurs y être pour quoi que ce soit !
Pour reprendre les six "21.49" de tout à l'heure (cf. note 12 du fichier précédent), ils deviennent respectivement, dans l'optique Z, 23.37, 16.21, 19.21 et 14.07(14). On voit que nous sommes loin des résultats bruts.

Mais il y a plus : alors que, officiellement, aucune note ne se situait au-dessous de la 'moyenne' (par construction volontaire ou non, puisque nous affrontons une barre à 5 sur 10 avec une moyenne oscillant, selon les sections, de 6.5 à près de 8), nous avons maintenant 35 élèves (sur 129) au-dessous(15). Enfin et surtout, la hiérarchie initiale est bouleversée. Si les cinq premiers le sont toujours (à des permutations de place près), le 10e se retrouve 19e, le 11e 28e, le 12e 29e, etc. Et ceux qui étaient situés aux places 44 et 45 occupent désormais les 8e et 9e rangs. Bref, les distributions ont été 'réduites', et on peut légitimement faire entrer en ligne de compte les coefficients.

 

 

Notes

 

(1) Comme on peut le remarquer, il s'agit là de la plus forte moyenne combinée au plus faible écart-type.
(2)De 16.5 sur 20, pour utiliser une échelle plus familière.
C'est à partir d'une constatation similaire que le journaliste Jean-Marie Cavada a pu dire d'un ton sarcastique, en voix off, après l'interview du Directeur de l'École Normale d'Antony, "Monsieur le Directeur a su adapter son discours aux dures lois du marché", au cours de l'émission Édition Spéciale de février 1989.
(3) Selon V. de Landsheere, qui a examiné de façon exhaustive les systèmes d'évaluation anglo-saxons, les taux de réussite y oscillent entre 22 et 91 %, avec un taux moyen de 64 % (in Faire réussir, faire échouer, P.U.F, 1988, p. 185). Sur les taux de réussite au Baccalauréat, on pourra lire l'article, à l'humour particulièrement corrosif, de Bernard Frank, "Le Baccalauréat en état de grâce" (in Le Monde du 27 juillet 1988, p. 11)
(4) En choisissant par avance une épreuve "majeure" à laquelle est attribué le coefficient 2. Et dans la mesure où le jury souverain a décidé de passer outre les recommandations ministérielles concernant les seuils éliminatoires. Notons qu'il n'est pas moins scandaleux de réussir avec un 1 (sur 20) en mathématique, ou avec des résultats de la même eau en Sciences-Technologie et Histoire-Géographie.
(5) L'attitude 'formative', dont le résultat le plus évident est d'attribuer systématiquement des notes supérieures à 17 sur 20 à tout formé, nous paraît alors très proche de celle dénoncée malicieusement à travers le portrait du visiteur permissif (des élèves-instituteurs en stage) dont le laxisme dissimule l'incompétence (et, ajouterions-nous volontiers, le manque de caractère). Cf. J. Saux, Être formateur, École normale de Châlons-sur-Marne, 1985, p. 7.
J. Saux ajoute d'ailleurs (ibid., p. 33), "Les adversaires de l'évaluation formative disent bien qu'avec elle on parle beaucoup de l'évaluation, mais qu'on n'évalue plus".
(6) Extrait de réponse apportée lors d'une évaluation du cours "Problèmes de l'adaptation et de l'intégration scolaires".
(7) Session 1947, ce qui permettra de ne froisser aucune susceptibilité de personnages encore en activité.
(8) Pour la classe A, rappelons-le, les notes s'échelonnent, si l'on peut s'exprimer ainsi, de 7.4 à 8.4 (sur 10).
(9) Mais tandis que le Ministère parle de moyenne à 5 (sur dix), on lui répond par des moyennes à 8. Ce qui n'est pas tout à fait la même chose. Nous serions à cet égard tenté de dire, avec Jacques Ardoino, "seule la démagogie de l'opération peut faire quelque temps illusion" (in L'imaginaire dans la formation permanente, 1976, Préface, p. XII.).
(10) Snedecor (G.W.) et Cochram (W.G.), Statistical Methods, The Iowa State University Press, 1974 (1e éd. 1937), 593 p.
(11) Au seuil de .01, pour être précis (une chance sur 100 de se tromper).
(12) Ce qui donne une note de moyenne 0 et d'écart-type 1.
(13) Un examen "naïf" du tableau n° 2 (haut de la page) permet sans difficulté aucune de comprendre que les modifications, dans la discipline 1, vont essentiellement toucher les classes A (plus forte moyenne, plus faible écart-type) et B (plus faible moyenne, plus fort écart-type). Mais dans des sens contraires...
(14) Soit l'extrait suivant du tableau notes "Z", à mettre en relation avec le tableau présenté dans la note 12 du chapitre précédent :
 
Cl. n° élève Discipline 1
     
B 24 23.37
C 53 16.21
C 54 16.21
E 93 19.21
F 115 14.07
F 116 14.07

(15) Ici, c'est par construction volontaire ; il s'agit de 35 notes au-dessous de 15 (sur 30) dans une distribution dont la moyenne se situe à 18, et l'écart-type à 2.

 

 

S. H., octobre 1989

 

Cliquer pour accéder à la suite de ce texte