Court-Traité de docimologie (7)

Vote utilisateur: 4 / 5

Etoiles activesEtoiles activesEtoiles activesEtoiles activesEtoiles inactives
 

L'article précédent était écrit depuis pas mal de temps lorsque, par hasard, je suis tombé sur un texte de Jean-René Vernes (s'agit-il de celui qui est aussi un fort brillant bridgeur ?), qui m'est apparu, dans sa simplicité évangélique (si je puis dire), d'une aveuglante nécessité. Ce texte, naturellement tombé aux oubliettes, et introuvable, me semble mériter qu'on s'y arrête. Il apporte des remèdes simples au mal universel que j'ai dénoncé dans les pages précédentes : la démagogie de la notation, ses injustices et ses aléas. Trop simples, peut-être ?
[Suite 6]

 

Annexe 1 : notes réduites et résultats scolaires

 

Nous illustrerons brièvement, ici, les directives simples à l'usage des maîtres, concernant la présentation aux familles des résultats obtenus par les enfants ; comme annoncé, nous nous appuierons pour ce faire sur un ouvrage déjà mis à contribution(1), puisant notre exemple dans des données authentiques, empruntées à une classe de CM2.

Soit 32 élèves, et leurs résultats bruts dans cinq disciplines, qu'on peut lire dans le tableau n° 6 :

 

Élèves   1 2 3 4 5
             
1
Beule
8 10 13 6 11
2
Berjhaux
17 16 17,5 12,5 15
3
Beutane
4 2 1 6 7
4
Brynel
10,5 11 19 6 1
5
Buyllat
8,5 12,5 16,5 6,5 10
6
Chemaux
20 17 18 20 18
7
Clermant
16 abs 15,5 16 20
8
Cartut
19 20 12,5 14 19
9
Depresle
7 11 13 10,5 13,5
10
Duchane
14,5 11 20 19 18
11
Dufay
12,5 16 15 13,5 12,5
12
Hallett
20 20 18 12 17,5
13
Kouenne
7 9 17 9,5 10,5
14
Letelluer
15,5 19 18,5 13,5 abs
15
Lahiec
16 14 18 17,5 12,5
16
Minelda
10,5 11 12 14 13
17
Merle
11 14 8 8 15
18
Meyer
10 15 17,5 5 18
19
Murguet
14,5 13 15 9 12
20
Male
10 12 12 13 5
21
Penyesek
14 15 12,5 11,5 16
22
Pessyfuime
15,5 18 16,5 11,5 7
23 Peulun 12,5 14 15,5 8,5 7
24
Perlusseur
15 20 20 15 19,5
25
Peyreche
14,5 20 15,5 15 20
26
Pugnat
7 7 12,5 1 3,5
27
Reymand
16 15 11,5 9 11
28
Tetun
14,5 20 16,5 8,5 14
29
Velley
7 9 8,5 6,5 11
30
Verney
8 abs 6,5 5,5 6,5
31
Vuvuer
13 20 19 13,5 16
32
Zenobanu
14,5 6 15 11,5 16
Moy   12,6 13,9 14,6 10,9 12,8
s   4,1 4,6 4,2 4,3 5

 

Tableau n° 6 - Résultats obtenus par une classe de CM² dans cinq évaluations différentes.

A partir de ces données brutes(2), on peut bâtir pour chaque élève ce que nos auteurs nomment un "profil psychologique"(3). Ceci s'effectue à partir de la construction d'une échelle normalisée à cinq classes, délimitées par les valeurs suivantes de s :

Disciplines 1 2 3 4 5
E          
- 3/2 s 6,5 7 8,3 4,4 5,2
D          
- 1/2 s 10,6 11,6 12,5 8,7 10,3
C          
1/2 s 14,6 16,6 16,7 13,1 15,3
B          
3/2 s(4) 18,7 20,9 20,8 17,4(5) 20,3
A
Moyenne 12,6 13,9 14,6 10,9 12,8
s 4,1 4,6 4,2 4,3 5

 

Tableau n° 7 - Construction d'une échelle normalisée à cinq classes pour les cinq évaluations précédentes.

[Exemple de lecture : la lettre E est attribuée aux résultats inférieurs à - 3/2 s , soit 6, 5 pour la discipline 1, 7 pour la discipline 2, 8, 3 pour la discipline 3, etc....
La lettre C est attribuée aux résultats compris entre - ½ s et + ½ s, etc...
La 'borne' 6.5 (discipline 1) est ainsi définie : 12.6 - (4.1 * 3/2 s ) = 6.5. Les 'bornes' supérieures à 20 sont naturellement ramenées à 20]

On peut désormais construire le profil psychologique d'un élève (au hasard, le n° 10) :

 

Disciplines 1 2 3 4 5
E          
- 3/2 s          
D          
- 1/2 s          
C * *      
1/2 s          
B     *   *
3/2 s          
A       *  

 

 

Tableau n° 8 - Profil de l'élève Duchane pour les cinq évaluations précédentes.

Sur un tel graphique, on lit aisément la performance d'un élève selon différentes matières, toutes choses étant rendues égales par ailleurs.

Mais il est vrai qu'une telle construction peut paraître rébarbative, quand bien même elle est parlante. Aussi est-il possible de se contenter d'une transformation en Z, que nous avons déjà rencontrée au long de ce document. Ici, nous obtenons :

 

Élèves   1 2 3 4 5
             
1
Beule
6,6 7,5 8,9 6,6 8,9
2
Berjhaux
13,2 11,3 12,1 11,1 11,3
3
Beutane
3,7 2,3 0,2 6,6 6,6
4
Brynel
8,5 8,1 13,2 6,6 3,0
5
Buyllat
7,0 9,1 11,4 7,0 8,3
6
Chemaux
15,5 12,0 12,5 16,3 13,1
7
Clermant
12,5 abs 10,7 13,5 14,3
8
Cartut
14,7 13,9 8,5 12,2 13,7
9
Depresle
5,9 8,1 8,9 9,7 10,4
10
Duchane
11,4 8,1 13,9 15,6 13,1
11
Dufay
9,9 11,3 10,3 11,8 9,8
12
Hallett
15,5 13,9 12,5 10,8 12,8
13
Kouenne
5,9 6,8 11,7 9,0 8,6
14
Letelluer
12,1 13,3 12,8 11,8 abs
15
Lahiec
12,5 10,1 12,5 14,6 9,8
16
Minelda
8,5 8,1 8,1 12,2 10,1
17
Merle
8,8 10,1 5,3 8,0 11,3
18
Meyer
8,1 10,7 12,1 5,9 13,1
19
Murguet
11,4 9,4 10,3 8,7 9,5
20
Male
8,1 8,8 8,1 11,5 5,4
21
Penyesek
11,0 10,7 8,5 10,4 11,9
22
Pessyfuime
12,1 12,6 11,4 10,4 6,6
23 Peulun 9,9 10,1 10,7 8,3 6,6
24
Perlusseur
11,8 13,9 13,9 12,8 14,0
25
Peyreche
11,4 13,9 10,7 12,8 14,3
26
Pugnat
5,9 5,5 8,5 3,2 4,5
27
Reymand
12,5 10,7 7,8 8,7 8,9
28
Tetun
11,4 13,9 11,4 8,3 10,7
29
Velley
5,9 6,8 5,6 7,0 8,9
30
Verney
6,6 abs 4,2 6,3 6,3
31
Vuvuer
10,3 13,9 13,2 11,8 11,9
32
Zenobanu
11,4 4,9 10,3 10,4 11,9

 

Tableau n° 9 - Transformation en Z des cinq évaluations précédentes.

[Cette transformation a pris pour bases une moyenne de dix sur 20, et un écart-type de 3. On pourra aisément vérifier qu'en partant d'une forte moyenne (13) et d'un faible écart-type (1, ou .80), on élimine toutes les notes inférieures à la 'moyenne' traditionnelle (10/20). On est dès lors renvoyé au tableau "Entrée à L'EN/Sortie de l'EN" (présenté dans la partie 3, & IV, "Encore un exemple, la discipline 2"), et à ce qu'on nomme la manipulation des barèmes].

Nous indiquerons une autre manière de procéder, en rapport avec la formule de normalisation en cinq classes définie ci-dessus (tableau n° 7). Il s'agit de la classique notation ABCDE qui, dans la démarche que nous utilisons, devient parfaitement pertinente, puisque les diverses distributions possèdent dorénavant des paramètres semblables :

 

Élèves   1 2 3 4 5
             
1
Beule
C C C C C
2
Berjhaux
B B B B B
3
Beutane
E E E C C
4
Brynel
C C B C E
5
Buyllat
C C C C C
6
Chemaux
A B B A B
7
Clermant
B abs B B B
8
Cartut
A B B B B
9
Depresle
C C C C C
10
Duchane
C C B A B
11
Dufay
B B B B B
12
Hallett
A B B B B
13
Kouenne
C C B B B
14
Letelluer
B B B B abs
15
Lahiec
B B B A A
16
Minelda
C C C B B
17
Merle
B B E C C
18
Meyer
C C B C B
19
Murguet
B B B B B
20
Male
C C C C E
21
Penyesek
E E E E B
22
Pessyfuime
B B B B C
23 Peulun C C C C C
24
Perlusseur
B B B B B
25
Peyreche
B B B B B
26
Pugnat
C C C E E
27
Reymand
B B C C C
28
Tetun
C B B C C
29
Velley
C C C C C
30
Verney
C abs E C C
31
Vuvuer
C B B B B
32
Zenobanu
B E E E B

 

 

Annexe 2 : éléments de bibliographie

 

- Abdi (H.), Introduction au traitement statistique des données expérimentales, P.U.G., 1987, 420 p.

- Arnoux (R.) et Corneille (C.), L'initiation psychologique de l'éducateur, SUDEL, 1967, 192 p.

- Bacher (F.), "Etude de la liaison entre deux variables par la méthode de l'information", in BINOP n° 1, janvier-février 1957, pp. 13-25.

- Bonboir (A.), La méthode des tests en pédagogie, PUF, 1972, 144 p.

- Brisebois (R.) [Frère Ephrem], La statistique à l'école normale et au Baccalauréat en pédagogie, Montréal, 1959, 273 p.

- Brisebois (R.) [Frère Ephrem], Les corrélations en pédagogie et en psychologie, Fribourg, 1967, 274 p.

- De Lagarde (J.), Initiation à l'analyse des données, Dunod, 1983, 158 p.

- De Landsheere (G.), Evaluation continue et examens (Précis de docimologie), Nathan, 1974 (3e éd.), 286 p.

- De Landsheere (G.), Introduction à la recherche en éducation, Bourrelier, 1976 (1e éd. 1976), 403 p.

- De Landsheere (V.), Faire réussir, faire échouer, PUF, 1989, 255 p.

- Faverge (J.M.), Méthodes statistiques en psychologie appliquée, PUF, 7e édition 1975, 3 tomes, 503 p.

- Fischer (H.), Les méthodes statistiques en psychologie et en pédagogie, Delachaux et Niestlé, 1955, 143 p.

- Fischer (R.A.), Les méthodes statistiques adaptées à la recherche scientifique, PUF, 1947 (trad. de la 10e éd. angl.), 325 p.

- Goujon (P.), Mathématiques de base pour les linguistes, Hermann, Paris, 1975, 164 p.

- Grais (B)., Méthodes statistiques, Dunod, 1981, 381 p.

- Guilford (J.P.), Fondamental Statistics in Psychology and Education, McGraw-Hill, Sixth Edition, 1985, 545 p.

- Guyot (R.), Travaux pratiques de psychologie, Ed. Charles Lavauzelle, 1963, 119 p.

- Hoc (J.M.), L'analyse planifiée des données, PUF, 1983, 249 p.

- Ladouceur (R.), Bégin (G.), Protocoles de recherche en sciences appliquées et fondamentales, Maloine, 1986, 136 p.

- Langouet (G.) et Porlier (J.C.), Mesure et statistique en milieu éducatif, E.S.F., 1981, 205 p.

- Laugier (H.), "Le problème de la sélection. Examens et tests", in Encyclopédie française, Tome XV-44, 1939, pp. 15-17

- Lebart (L.) et Salem (A.), Analyse statistique des données textuelles, Dunod, 1988, 209 p.

- Levasseur (R.), La statistique appliquée à la pédagogie, Montréal, 1957, 184 p.

- Mengal (P.), Statistique descriptive, P. Lang, Berne, 1979, 152 p.

- Mialaret (G.) et Pham (D.), Statistiques à l'usage des éducateurs, PUF, 1967, 265 p.

- Moroney (M.J.), Comprendre la statistique, Marabout Université n° 203, Paris, 1970, 446 p.

- Mothé (J.C.), L'évaluation par les tests dans la classe de français, Hachette/Larousse, 1975, 144 p.

- Pfister (C.), La validité de la note scolaire, Berne, 1975, 163 p.

- Piéron (H.), Examens et docimologie, PUF, 1963, 190 p.

- Pire (G.), Des enfants et des tests, H. Dessain, 1976, 351 p.

- Pottier (F.), Programmes de statistique usuelle (Initiation à l'informatique pour les sciences de l'homme), Tome II, Hachette Université, 1973, 153 p.

- Reuchlin (M.), Précis de statistique, PUF, 1976, 256 p.

- Rey (A.), Connaissance de l'individu par les tests, Dessart, Bruxelles (3e éd. 1966), 224 p.

- Rosensthiel (P.) et Mothes (J.), Mathématiques de l'action, Dunod, 1965, 483 p.

- Sire (H.) et al., "La docimologie", Amis de Sèvres n° 2, 1968, 63 p.

- Snedecor (G.W.) et Cochram (W.G.), Statistical Methods, The Iowa State University Press, 1974 (1e éd. 1937), 593 p.

- Thomazo (A.), Statistiques et Probabilités avec l'ordinateur, Scodel, s.d., 85 p.

- Thomson (Godfrey H.), L'analyse factorielle des aptitudes humaines (1e édition anglaise 1938), PUF, 1950, 421 p.

 

 

S. Huet, novembre 1989

 

 

Notes

 

(1) Cf. Mialaret-Pham, ouvr. cit., pp. 98-99.
(2) On constatera l'important écart entre les évaluations 3 et 4.
(3) Ce terme nous paraît relativement inopportun, et nous parlerions plus volontiers de profil pédagogique.
(4) Par construction, les cinq classes ainsi définies rassemblent respectivement :
6.7 % 24.2 % 38.2 % 24.2 % 6.7 %
de la population considérée. Pour les justifications théoriques de cette démarche, on se reportera à l'ouvrage précité (pp. 90 sq.), ou encore à ceux mentionnés dans la courte bibliographie présentée infra (dans l'Annexe II).
(5) Exemple de calcul de [4, 3/2 s] : la moyenne de la série est 10.9, et le s de 4.3. Nous avons : (10.9) + (4.3 * 3/2 s) = 17,4

 

 

Annexe 3 : la notation au baccalauréat

 

Tous ceux qui s'intéressent au baccalauréat connaissent à la fois les réformes essentielles qui entreront en vigueur cette année [texte écrit en 1959. Rien de nouveau sous le soleil] et les raisons de ces réformes. On a jugé que le nouveau régime était supérieur à l'ancien. Notre but n'est pas de discuter de cette question, mais de montrer qu'il existe une troisième solution, permettant de concilier les avantages des deux régimes. Cette solution avait été imaginée avant même que la réforme actuelle n'entre en vigueur. Son but initial était cependant différent : il était de diminuer les injustices existant au baccalauréat. Or il est à craindre que, dans ce domaine, le nouveau régime, loin d'apporter une amélioration, ne fasse qu'aggraver les défauts de l'ancien.

 

Les injustices de l'examen

 

Trop peu de professeurs ont malheureusement une pleine conscience des injustices de l'examen. Il faut pour cela avoir fait sur la question des études statistiques suivies. De telles études ont été entreprises depuis assez longtemps déjà sur la multiple correction d'une même copie par plusieurs examinateurs différents : elles ont consterné leurs auteurs, faisant apparaître, comme un fait banal, des différences de 5/20 et plus entre les notes données par deux correcteurs, et ceci non seulement en philosophie ou en lettres, mais même en mathématiques.

Pourtant le problème n'était encore que très imparfaitement étudié. Un candidat peut faire le jour de l'examen une copie qui mérite en valeur absolue une note, soit beaucoup moins bonne, soit bien meilleure, que ses travaux habituels. Le sujet traité peut être bien ou mal connu, le candidat être bien ou mal inspiré. Des facteurs émotionnels jouent souvent un rôle déterminant. Or, la justice n'est pas de refuser le bon candidat qui a fait accidentellement une mauvaise copie, non plus que de recevoir le mauvais candidat qui a fait accidentellement une bonne copie. Elle est de recevoir le premier et de refuser le second. La session de février prévue dans le nouveau régime n'a pas d'autre but que de nous rapprocher de cet idéal. Elle ne peut malheureusement y réussir que très imparfaitement.

Nous avons pu, grâce à l'obligeance de l'Office du baccalauréat et d'un certain nombre de collègues, faire une expérience (à Poitiers, puis à Paris) qui n'avait jamais été tentée. Nous avons demandé aux professeurs de philosophie d'une vingtaine d'établissements publics de nous envoyer la liste complète de leurs élèves avec la note qu'ils estimaient méritée par chacun d'eux en fin d'année, et nous avons comparé ces notes à celles effectivement obtenues quelques jours plus tard pour leur prestation d'examen. Les résultats ont été publiés dans la Revue d'enseignement philosophique. Nous n'en retiendrons que le plus saillant.

Définissons la "moyenne philosophique" par la note 9/20 (moyenne de toutes les dissertations, en même temps que note minimum assurant pratiquement le succès pour un candidat ayant 10/20 en sciences). Considérons, d'autre part, comme "bons élèves" tous ceux qui appartiennent au premier quart des classes (en éliminant tous les élèves "à cheval" sur deux quarts), et comme "mauvais élèves" ceux du dernier quart. Pour les classes de Paris, nous constatons que sur 55 bons élèves, 37 ont la moyenne philosophique, mais 18 ne l'ont pas ; que, sur 54 mauvais élèves, 36 ont moins de la moyenne, mais 18 ont au moins la moyenne. Ces chiffres confirment identiquement ceux de Poitiers : 22 bons élèves ayant la moyenne, contre 12 au-dessous, et 12 mauvais élèves ayant la moyenne, contre 22 au-dessous. Nous nous trouvons, très exactement, dans un cas comme dans l'autre, devant un tiers de résultats anormaux, ce qui est d'autant plus navrant que le tirage des reçus à pile ou face, ne donnerait que 50 % de tels résultats. On obtiendrait ce pourcentage de l'examen si, ayant reçu ou refusé un tiers des candidats selon leur valeur, on tirait les deux autres tiers à pile ou face.

Or, ceci n'est pas seulement vrai pour la philosophie. Un sondage analogue à Poitiers pour la dissertation française et l'épreuve de mathématiques laisse apparaître que l'écart est apparemment aussi grand en français, et qu'il est encore considérable en mathématiques.

Ces quelques chiffres montrent que l'aléa du baccalauréat est infiniment plus important que les parents et les professeurs eux-mêmes ne le soupçonnent. Il n'existe pas seulement pour les élèves situés aux alentours de la moyenne, mais pour ceux qui, en tête de leur classe, méritent à peu près sûrement le succès, et ceux qui, au contraire, mériteraient non moins sûrement l'échec. Il est si grand que, même dans l'ancien régime, on sentait de plus en plus fortement la nécessité d'une réforme.

Or, celle qui va entrer en vigueur, non seulement n'améliore pas à cet égard le régime antérieur, mais aggrave encore ses défauts, par suite de la double suppression de l'oral et de la session de septembre. Un seul palliatif est introduit : la création des épreuves de février. Le mieux qu'on puisse en espérer est qu'elle offre aux candidats la deuxième chance que leur donnait la session de septembre. Elle ne remplace pas l'oral et impose aux correcteurs un double travail, non pas seulement comme jadis, pour la moitié des candidats, puisque l'autre était déjà reçue, mais pour la totalité.

 

 

La réforme proposée

 

Nous définirons la réforme proposée par un exemple concret. On demande à chaque professeur de classe terminale d'envoyer, à la veille de l'examen, la liste de tous ses élèves, avec la note qu'il estime méritée par chacun d'eux. La note d'examen serait une synthèse entre la note du professeur et celle de l'examinateur.

Appliquons cette méthode à l'une des classes sur lesquelles ont porté nos études statistiques. Il s'agit d'une classe de 35 élèves, d'un grand lycée de Paris. Les notes considérées sont exclusivement celles de philosophie, à la session de juin 1957. En haut, les notes que leur attribue le professeur à la fin de l'année scolaire ; en bas, celles réellement obtenues pour leur dissertation d'examen.

 

  15 14 13 12.5 12.5 12 12 12
  9 8.5 16 7 11 8 8 8
  11.5 11 11 11 10.5 10.5 10.5 10
  11 8 9 6 9.5 9 10 11
  10 10 10 9.5 9.5 9.5 9 9
  8 7.5 11 10 8 12 10 8
  9 9 8.5 8 8 8 7.5 7
  9 4 7.5 7.5 9 8.5 8.5 10
  5 4 3          
  7.5 8 7.5          
[Classe de 35 élèves, lycée parisien - en rouge, les notes attribuées en "contrôle continu"]

 

On voit que parmi les huit élèves classés par le professeur en tête de la classe (le premier quart de classe), cinq ont une note d'examen inférieure à 9. Parmi les huit élèves classés en queue (le dernier quart), deux ont une note égale ou supérieure à 9. En supposant que tous ces candidats aient en science précisément 9/20, le 4e de la classe aurait obtenu exactement 23/60, les 3 6e ex-æquo auraient eu 25/60 et tous les quatre auraient très probablement été refusés (les différents jurys n'ont racheté au-dessous de 26, pour la session considérée, que 24 candidats sur les 4 600 candidats parisiens de philosophie). Inversement, parmi les derniers, le 32e aurait obtenu 29/60 et serait à peu près sûrement reçu (ici encore, l'expérience montre que les jurys parisiens ne refusent pratiquement jamais un candidat ayant un livret, même mauvais, et plus de 28/60). Au total, cinq résultats aberrants sur seize.

Nous allons appliquer à ces notes le système de correction suivant :

1°. On établit la moyenne (Me) des notes obtenues à l'examen par tous les élèves de la classe. En l'occurrence, Me = 8.9.

2°. On établit la moyenne (Mp) des notes données par le professeur aux élèves de sa classe. En l'occurrence, Mp = 9.8.

3°. On fait la différence entre les deux moyennes. D = Me - Mp = - 0.9. Cette différence montre que le professeur note un peu trop largement ses élèves, et qu'il faut abaisser ses notes de 0.9 (pratiquement, 1/20).

4°. On corrige les notes de chaque élève et l'on obtient la note de classe rectifiée.

5°. On totalise la note de classe rectifiée et la note d'examen. On obtient ainsi la note attribuée définitivement à chaque élève.

Si l'on admet, comme tout à l'heure, qu'il faut 18/40 pour réussir, on voit que tous les résultats aberrants ont été éliminés : tous les élèves du premier quart ont été reçus, et tous ceux du dernier quart refusés (voir tableau ci-dessous).

 

Élèves Notes professeur Notes rectifiées Notes de l'examen Total Résultats
           
1
15
14 9 23 A
2
14
13 8,5 21,5 A
3
13
12 16 28 A
4
12,5
11,5 7 18,5 A
5
12,5
11,5 11 22,5 A
6
12
11 8 19 A
7
12
11 8 19 A
8
12
11 8 19 A
9
11,5
10,5 11 21,5 A
10
11
10 8 18 A
11
11
10 9 19 A
12
11
10 6 16 R
13
10,5
9,5 9,5 19 A
14
10,5
9,5 9,5 19 A
15
10,5
9,5 10 19,5 A
16
10
9 11 20 A
17
10
9 8 17 R
18
10
9 7,5 16,5 R
19
10
9 11 20 A
20
9,5
8,5 10 18,5 A
21
9,5
8,5 8 16,5 R
22
9,5
8,5 12 20,5 A
23 9 8 10 18 A
24
9
8 8 16 R
25
9
8 9 17 R
26
9
8 4 12 R
27
8,5
7,5 7,5 15 R
28
8
7 7,5 14,5 R
29
8
7 9 16 R
30
8
7 8,5 15,5 R
31
7,5
6,5 8 15,5 R
32
7
6 10 16 R
33
5
4 7,5 11,5 R
34
4
3 8 11 R
35
3
2 7,5 9,5 R
  Mp = 9,8   Me = 8,9    

 

 

Objections et réponses

 

Le projet succinctement exposé ci-dessus est devenu depuis l'année dernière le projet officiel de l'Association des professeurs de philosophie. Il n'est toutefois pas inutile de rappeler les objections présentées, pour y répondre rapidement. Elles sont en gros de deux ordres :

1°. - On a dit tout d'abord que ce système aliénait la souveraineté du jury et risquait de faire intervenir dans le résultat des considérations étrangères au mérite des candidats, les établissements privés, notamment, pouvant surnoter leurs élèves.

On remarquera toutefois que le danger principal, qui consisterait à surnoter tous les élèves, est totalement écarté, puisque la moyenne réellement admise pour la classe est indépendante des notes du professeur et fixée exclusivement par les notes de l'examen.

Reste la possibilité pour le professeur de sur-noter (ou, éventuellement, de sous-noter) tel ou tel de ses élèves. Pour qu'une telle erreur perturbe l'examen, il faudrait qu'elle atteigne des proportions considérables.

On notera en effet que les élèves de la classe ayant obtenu les meilleures notes à l'examen (au moins 11/20) étaient largement admissibles pour la philosophie. Inversement, parmi les huit candidats ayant obtenu moins de 8/20 à l'examen, un seul, le 4e de la classe, serait admissible. Même si l'on suppose que les injustices de notation découlant de considérations personnelles auraient une amplitude comparable à celle de l'examen actuel, ce qui est douteux, elles pourraient tout au plus jouer sur la moitié de la note et non sur sa totalité.

2°. - On a objecté que ce système présenterait de grosses difficultés de réalisation. Mais cette objection est encore plus facile à réfuter. L'emploi des machines électroniques, qui enregistrent déjà les notes, permet de faire sans peine tous les calculs nécessaires. Tout au contraire, les avantages que l'on pourrait tirer de la réforme sont considérables :

a). On pourrait supprimer la session prévue pour février avec tous les inconvénients et les servitudes qu'elle apporte.

b). La note de classe porterait sur le travail fait pendant toute l'année scolaire, et pas seulement sur celui de la première moitié.

c). Ce système n'aurait pas seulement pour effet de repêcher les bons candidats malchanceux, mais d'éliminer les mauvais candidats heureusement inspirés ou favorisés par le sort le jour de l'examen. On oublie un peu trop facilement que, si l'échec d'un bon élève paraît plus injuste que le succès d'un mauvais, rien ne discrédite plus les études que la réussite "par hasard" d'un candidat insuffisant.

 

Jean-René Vernes, in L'Éducation nationale du 5 novembre 1959, pp. 4-6

 

 

P.S. : une étude plus fine (transformation en Z), à partir de :

 

Notes Examen Contrôle continu
Moyenne 8.87 9.79
s 1.98 2.52

 

m'a convaincu que le processus développé par J.-R. Vernes produisait un correctif très pertinent eu égard au problème posé.

 

 

Annexe 4 : Un obus explosif...

 

Le n° 2 des Amis de Sèvres de cette année rend longuement compte d'un stage organisé au C.I.E.P., en  mai 1967, sur les problèmes de docimologie(1). Nous remercions le C.I.E.P. de nous autoriser à publier des extraits de l'article de M. Marcel Sire, inspecteur général, qui présidait le stage. Il s'agissait, selon ses propres termes, de créer un choc en tirant  "un obus explosif".  Une rédaction d'un élève de 3ème et un problème de géométrie d'un autre élève de 3ème avaient été soumis à un certain nombre de correcteurs : la première a été notée par 58 professeurs, le second par 54. M. Sire présente et commente ainsi les résultats obtenus :

 

Deux conclusions se sont imposées immédiatement aux participants au stage :

- Les notes sont dispersées : en français, elles s'échelonnent entre 4 et 15 ;

en géométrie, entre 4 et 17.

Cette dispersion étonne les correcteurs ; certes ils s'attendaient à des variations ; a priori, ils pensaient qu'elles seraient plus fortes en français qu'en géométrie... mais, ils étaient loin de s'imaginer qu'elles auraient pareille ampleur :

11 en français sur 20 !

13 en géométrie sur 20 !

La prise de contact est rude ; c'est ce que nous souhaitions ; la tranquillité dans laquelle vivaient jusqu'alors les notateurs a fait place à une anxiété certaine ; on sourit, on rit même de constater qu'on a perdu la vérité qu'on croyait posséder, depuis de nombreuses années ; qui désormais la possède, cette vérité ? moi ou le collègue ? mais quel collègue ? y a-t-il même une vérité dans la notation ? peut-on noter ? la note n'est-elle pas une fausse monnaie que la loi ne punit pas mais que la tradition maintient ; un correcteur n'est-il pas un faux-monnayeur ?

- Tentons de trouver un refuge dans la  moyenne ; si chacun a tort, la collectivité a peut-être raison ? Calculons la moyenne arithmétique de toutes les notes de français ; elle est de 8,86 sur 20, neuf notateurs sur cinquante-huit qui ont noté 9 sont contents ; vingt-huit sont en dessous ; vingt et un sont au-dessus.

La moyenne en géométrie est 12 ; neuf notateurs ont mis cette note (sur cinquante-quatre) ; vingt-deux sont en dessous ; vingt-trois sont au-dessus ; quatorze avaient noté 11 ; la majorité semble avoir eu tort (ce ne serait pas la première fois!). Voici une question que nous laissons sans réponse :

Ces 14 qui ont noté 11 ont-ils raison devant 9 qui ont noté 12 ? On a envie de dire "oui" ; ont-ils raison devant 54 notateurs dont la moyenne des notes est 12 ; on a envie de dire non.

- Une troisième conclusion aurait pu être établie si le temps ne nous avait pas manqué pour dépouiller les appréciations des notateurs ; ces appréciations sont parfois contradictoires ; nous avons relevé les principales en français autour de deux idées :

- les sujet était-il compris ? neuf notateurs disent "oui" ; dix disent "non".

- l'élève avait-il ou manquait-il de sensibilité ? deux disent qu'il en manquait, six affirment qu'il en avait.

Le dépouillement montre que certains notateurs attachent plus d'importance que d'autres :

- à la longueur du devoir (ici il était court) ;

- à l'orthographe ;

- à l'originalité des idées ;

- à l'aisance du style, etc.

Bref, les points de vue des notateurs diffèrent profondément les uns des autres.

Dans ces conditions habituelles de la notation des exercices traditionnels, peut-on utiliser une échelle de notation, comparable à une échelle de thermométrique, étalonnée à partir de repères fixes, qui permettrait aux notateurs d'un même exercice scolaire de lui affecter la même note-repère ? Non. Noter un exercice scolaire n'est donc pas repérer.

Là encore, le notateur n'est pas un physicien. Faire, pour un élève donné, dans un exercice scolaire déterminé, le graphique de ses notes mises toujours par le même correcteur est certes comparable au tracé du graphique des températures d'un malade, à cette différence près que si les degrés de température peuvent être correctement repérés puisqu'on dispose d'échelles de repères thermométriques stables, il n'en est pas de même des notes pour lesquelles aucun étalonnage n'est possible.

Une note ne peut être, comme une pesée, ni juste, ni fidèle ; elle ne peut davantage être précise comme l'est un degré thermométrique. Elle varie d'un professeur à l'autre et, pour un même professeur, d'un moment à l'autre ; c'est pourquoi nous nous répétons - on a pu dire qu'une note est une fausse monnaie puisque son étalonnage est impossible, et que les notateurs sont, inconsciemment, des faux-monnayeurs.

Pourtant, ils connaissent bien la subjectivité de leurs notes ; mais c'est une conscience diffuse et fragile qui n'empêche pas la plupart d'entre eux d'affirmer qu'ils "savent" noter, que le 13/20 qu'ils ont attribué à telle copie repère bien sa valeur, à moins que ce ne soit 13 1/2 - ou même 13,25... ou même 13 +. En disant 13 1/2, ils affirment la possibilité de soupeser le devoir avec la précision du 1/40e. Quelle prétention, et quelle illusion !

Le correcteur est dans la situation d'un topographe qui voudrait mesurer une longueur au double-pas, un double-pas que, certes, il aurait étalonné, sur une base de longueur connue... mais

- la longueur à mesurer serait d'une part mal définie dans ses origines et son tracé ; serait-elle rectiligne, circulaire, courbe, capricieusement sinueuse, horizontale, ascendante, descendante ?

- d'autre part l'étalonnage du pas serait incertain, autrement dit il ne serait pas étalonné d'une manière stable ; il dépendrait du moment de la journée, de la fatigue, du repas consommé, du temps orageux, de la montée, de la descente,, etc.

Ce numéro contient par ailleurs d'importants articles sur ce même problème de la notation, de Jacqueline Pelnard-Considere (Les tests de connaissance), Maurice Reuchlin (La docimologie), Jean Pasquier (Baccalauréat et docimologie) et Louis Legrand (Comment améliorer la notation).

Marcel Sire, in L'Éducation nationale du 9 mai 1968, p. 25.

 

Note

(1) Ce numéro contient par ailleurs d'importants articles sur ce même problème de la notation, de Jacqueline Pelnard-Considere (Les tests de connaissance), Maurice Reuchlin (La docimologie), Jean Pasquier (Baccalauréat et docimologie) et Louis Legrand (Comment améliorer la notation).