Court-Traité de docimologie (6)

Vote utilisateur: 4 / 5

Etoiles activesEtoiles activesEtoiles activesEtoiles activesEtoiles inactives
 

Suite 5

 

 

VI. Où l'on fait un dernier détour

 

"Les désaccords entre correcteurs sont d'autant plus importants qu'ils peuvent se traduire en termes de réussite ou d'échec".
(G. Langouet, Mesure et statistique en milieu éducatif, ESF, 1981, p. 24)

 

 

Nous nous intéresserons, pour achever cette étude de notes, non plus à la sortie, mais à l'entrée d'un flux de normaliens. Passons sur le fait, peut-être anecdotique, mais aussi tellement révélateur, qu'un concours des PTT, du niveau de l'entrée en 6e paraît-il, entraîne l'inscription de 35 000 candidats (dont beaucoup possèdent le Baccalauréat), pour 2 000 places(1), tandis que nous-mêmes ne voyons poindre que quelque 400 personnes pour près de 300 postes(2). Rappelons également que les modalités de correction des épreuves écrites nous paraissent satisfaire (au plan théorique) aux exigences minimales de l'équité(3).

Il s'agit ici d'examiner les conditions de passation d'une épreuve orale, dite Entretien sur l'éducation, déterminante car affectée du coefficient 3, d'une part, et par ailleurs pourvue d'un seuil éliminatoire (au-dessous de 5/20). Or, la séance regroupant les 20 vice-présidents des jurys(4) s'est bornée à prendre acte du fait qu'un tout petit nombre de candidats (environ 4 %) se trouvaient en deçà du seuil fatidique, et donc éliminés : et elle s'intitulait réunion d'harmonisation ! Avant toute démonstration, disons qu'il serait grand temps de dépasser le stade de la constatation platonique, et d'arriver enfin à l'application de procédures authentiquement harmonisatrices, non pas d'ailleurs pour viser une équité absolue, mais pour gommer les injustices les plus flagrantes : et "indiquons comment, involontairement, le concours [a été] radicalement faussé"(5).  
Car si, globalement, l'analyse des moyennes des jurys révèle un accord général oscillant entre onze et douze (sur vingt), s'agissant des deux jurys extrêmes, l'écart paraît relativement important (14.56 vs 10.75), du moins avant toute étude statistique. La seule question à résoudre, ici, est donc : les deux groupes de 16 candidats pouvaient-ils différer, en moyenne, de près de quatre points ? Nous allons nous efforcer d'y répondre.

Le premier fait à mettre en avant, c'est que les vingt groupes étaient d'une relative homogénéité : d'une part les candidats devaient posséder, pour concourir, un minimum de bagage universitaire ; d'autre part, un premier écrémage avait eu lieu, puisque tous venaient de franchir, au long de quatre épreuves, le barrage de l'écrit(6) ; enfin, pour étayer cette opinion il est possible de comparer précisément les performances obtenues à l'écrit, ce que l'on peut faire à l'aide du tableau général ci-dessous(7), et dont voici un exemple de lecture : le candidat 1 du jury 1 possédait un total de 72 points à l'écrit ; cependant que le candidat 1 du jury 2 avait obtenu, pour sa part, 56.5 points.

 

Candidats Entretien Écrit Épreuve d'admission Total
   
  1 2 3 4 5 6 7 8
1 19 13 72,00 56,50 35,16 40,00 164,16 135,50
2 19 14 65,50 62,50 38,00 37,66 160,50 142,16
3 18 18 53,00 51,50 59,16 59,50 166,16 165,00
4 12 9 55,50 41,00 31,83 54,00 123,33 122,00
5 19 14 63,50 66,50 61,33 41,32 181,83 149,82
6 10 9 61,50 76,50 38,32 61,00 129,82 164,50
7 12 10 59,50 79,50 13,66 46,66 109,16 156,16
8 19 13 71,00 49,50 53,00 52,32 181,00 140,82
9 11 9 65,00 65,00 40,66 24,32 138,66 116,32
10 11 10 50,50 70,50 40,16 32,00 123,66 132,50
11 11 11 64,50 55,00 31,00 35,00 128,50 123,00
12 13 4 60,00 45,00 42,32 30,32 141,32 87,32
13 17 7 77,00 56,00 48,66 36,32 176,66 113,32
14 16 11 57,00 58,00 54,66 69,00 159,66 160,50
15 13 15 61,50 52,00 41,66 44,41 142,16 141,91
16 13 5 57,50 53,00 41,00 27,66 137,50 95,66
    172 944,50 938,00 670,58 691,49 2364,08 2146.49
                 
Moyenne 14,56 10,75 62,16 58,69 41,91 43,22 147,76 134,16
Sigma 3,33 10,75 6,83 10,42        

 

 

Tableau n° 5 - Résultats obtenus à l'entrée pour une cohorte (jurys 1 et 2 seulement).

 

Le calcul des indices de dispersion donne les résultats suivants :

 

Elèves du Jury 1 du Jury 2
     
Moyenne 62,16 58,69
Écart-type 6,83 10,42

 

 

Le T de Student(8) est de 1.11, ce qui est sans signification. Nous pouvons donc prendre le risque d'affirmer que les deux groupes étaient relativement homogènes eu égard à l'origine des échantillons, au franchissement du barrage de l'écrit, aux résultats de l'écrit, enfin.

S'agissant maintenant de l'épreuve orale dite Entretien, il est clair que des facteurs très aléatoires peuvent intervenir (aise dans la présentation devant le jury, assurance personnelle, culture générale, et tout ce que l'on voudra) : mais rien ne permet de dire qu'ils n'ont joué qu'en faveur des candidats du jury 1 : que l'on sache, ceux-ci ne constituaient pas un échantillon de l'ensemble parent des invités de Bernard Pivot, pas davantage que leurs camarades du jury 2 n'avaient été recrutés dans une émission de Patrick Sabatier. Dès lors, les résultats obtenus(9) ne laissent pas d'être préoccupants, car le même calcul que précédemment effectué aboutit aux données suivantes :

 

Notes du Jury 1 du Jury 2
     
Moyenne 14,56 10,75
Écart-type 3,33 3,58

 

A partir de ces données, nous obtenons un T de Student de 3.12, qui est significatif à .005(10).

Or la docte assemblée des vice-présidents s'est contentée d'observer ces faits, et d'en prendre acte, avant de se séparer : et pourtant, comme l'écrit un philosophe, "une telle réalité est intelligible ; il y a des relations déterminées entre les faits ; n'importe quoi n'est pas dans n'importe quel rapport avec n'importe quoi d'autre"(11). Autrement dit, on ne peut se borner à constater des différences, et même les juger importantes. Il convient de rechercher la cohérence de l'ensemble. Pourquoi donc des procédures, en œuvre depuis près de vingt ans pour l'examen du Baccalauréat, se trouvent superbement ignorées chez nous ? Encore une question qui ne sera pas posée(12).

Procédons donc, pour la beauté du geste, à ce qui eût dû appartenir à l'initiative des vice-présidents. Un premier correctif, immédiat mais par trop sommaire, serait de diminuer chaque note décernée par le jury 1 de près de quatre points. Nous utiliserons donc, à la place, la réduction en Z, que nous avons déjà rencontrée(13).

Otons du circuit le candidat 12 du jury 2, dont la note est par définition éliminatoire (cf. ligne 12, colonne 3, du tableau n° 5 ci-dessus présenté). Il nous reste 31 candidats : la moyenne de leurs résultats s'élève à 12.9, pour un s (écart-type) de 3.7 : ces deux indices de dispersion vont nous servir à réduire toutes les notes, ce qui est présenté dans les deux tableaux ci-après, dont voici un exemple de lecture : les trois candidats qui ont obtenu 11 devant le jury 1 se trouvent ramenés à 8.9 ; les deux candidats auxquels le jury 2 a donné 11 obtiennent 12.7.

 

  Notes br. Ef. Notes br.   Notes Z Ef. Notes Z
               
  10 1 7,8   5 1 5,8
  11 3 8,9   7 1 8,1
  12 3 10,1   9 3 10,4
Jury 1 13 3 11,2 Jury 2 10 2 11,5
  16 1 14,5   11 2 12,7
  17 1 15,6   13 2 15,0
  18 1 17,7   14 2 16,1
  19 4 17,8   15 1 17,3
          18 1 20

 

 

Il n'y a plus, alors, qu'à recalculer les totaux(14), ce que présente le document suivant(15), sur lequel chacun pourra méditer :

 

  Jury 1 Jury 2
     
1 160,56 141,50
2 156,90 148,48
3 162,26 171,00
4 117,63 126,20
5 178,23 156,12
6 123,22 168,70
7 103,46 160,66
8 177,40 146,82
9 132,36 119,32
10 117,36 137,00
11 122,20 128,10
12 135,92  
13 172,46 116,62
14 155,16 165,60
15 136,76 148,81
16 132,10 98,06

 

 

 

 

[Totaux recalculés après transformation en Z (à mettre en parallèle avec les colonnes 7 et 8 du tableau n° 5]

 

S'il y a de spectaculaires remontées ou plongées(16), le seul fait véritablement capital se joue sur les marges de l'admission, car des candidats 'liste supplémentaire' du jury 2 auraient pu intégrer l'Ecole Normale directement(17) ... et vice versa !

 

Procéder à de semblables ajustements n'a rien de bien sorcier, et la volonté de gommer les inégalités les plus flagrantes est inscrite, on l'a vu, dans les textes officiels : pourquoi, dès lors, la simple mention d'une réelle difficulté entraînée par la disparité constatée par tous a-t-elle conduit à tant de remue-ménage, et à une sortie intempestive(18) ? Irrésistiblement, on ne peut s'empêcher de songer à cet "aveuglement des locuteurs" dont parle N. Bisseret dans un contexte certes différent(19). C'est pourquoi il serait utile de méditer sur ces quelques réflexions de Simone Fraisse : "Un rôle capital est dévolu à l'examinateur... Lourde responsabilité que nous ne pesons pas toujours et à laquelle, il faut l'avouer, nous sommes bien mal préparés. L'examinateur - comme le professeur, trop souvent, hélas ! -, est un homme qui a toujours raison, à qui l'on ne demande jamais de comptes"(20).

 

Jusques à quand faudra-t-il argumenter à perdre haleine pour obtenir enfin un supplément de lucidité ?

 

VII. Envoi

 

Ainsi, nous dira-t-on, tant de calculs pour si peu de chose : certes, mais au moins "la docimologie est salutaire si elle fait naître des inquiétudes, si elle incite l'examinateur à mieux prendre conscience des responsabilités qui sont les siennes"(21), et c'était là notre premier objectif. D'autre part, "rendre la mesure à l'école moralement plus juste et scientifiquement plus exacte"(22), n'est pas une préoccupation négligeable. Dans une société qui prétend mettre au premier rang de ses préoccupations la lutte contre les inégalités de traitement, cela devient même un point capital(23).

Le jour même de réunion du grand jury de fin de formation, et dans les mêmes locaux, siégeaient parallèlement les commissions d'entente et d'harmonisation, prévues par la Circulaire de 1987(24). Que n'y a-t-il eu entre les deux réunions, des amorces de discussion ! L'équité de notre "classement" final y eût, à n'en pas douter, beaucoup gagné !

Mais les parallèles, c'est bien connu, ne se rencontrent pas. Et c'est dans l'indifférence générale que les résultats de sortie ont été proclamés. Lorsque des procédures aussi aberrantes, et scientifiquement condamnables, ne produisent aucune réaction de la part des actants(25), c'est que l'institution est déjà moribonde ; il ne faut donc pas s'étonner si la fermeture généralisée des Ecoles Normales s'effectue dans le désintérêt le plus total(26) : on peut toujours faire mine d'arrêter le tramway(27): le vrai courant passe au-dessous, tandis qu'on récolte les fruits amers du désordre établi.

Notes

(1) D'après le Dauphiné Libéré du 30 septembre 1989.
(2) En ajoutant les reçus "immédiatement" aux "liste supplémentaire", qui rejoindront le lieu de formation après un an passé sans formation sur le terrain.
(3) Cf. supra, note 5, chapitre II ("Généralités sur l'évaluation").
(4) Rappelons que plus on multiplie le nombre de jurys, plus on augmente les causes de distorsion.
(5) Mialaret-Pham, ouvr. cit., p. 99.
(6) La réalité du "barrage" et, d'une façon générale, de la sélectivité de ce concours est beaucoup plus prosaïque : 400 personnes environ s'étaient portées candidates ; 300 d'entre elles étaient allées jusqu'au bout des quatre épreuves écrites : toutes ont été admises à l'oral. Une dizaine ont été éliminées lors de cette dernière épreuve. Toutes les autres, selon leur rang, ont intégré l'Ecole normale, ou gagné immédiatement le terrain, sans aucun bagage pédagogique, comme "listes complémentaires" (avant de revenir, l'année suivante, pour une formation).
(7) Tableau n° 5, colonnes 3 et 4.
Note de lecture : les colonnes impaires (bleutées) concernent le jury 1. La colonne 7 est la somme des colonnes 1, 3 et 5. Mais il faut, auparavant, multiplier par trois (à cause du coefficient) le contenu de la colonne 1. Exemple pour la première ligne : (19 * 3) + 72 + 35.16 = 164.16 On le voit, l'épreuve dite Entretien sur l'éducation pèse d'un poids considérable dans le concours.
(8) Procédure parallèle à l'analyse de variance, que nous avons utilisée jusqu'ici.
(9) Colonnes 1 et 2 du tableau n° 5.
(10) Soit à 1 pour 500. Les statisticiens considèrent un résultat significatif à partir d'un seuil de 5 pour cent.
(11) J.W. Lapierre, L'analyse des systèmes politiques, P.U.F, 1959, p. 12.
(12) La Circulaire 71.369 du 19 XI 71, à laquelle renvoie la Note de service citée supra (page 5, note 9), stipule que "les présidents de jurys peuvent prendre l'initiative de comparer les résultats et, en cas de disparité, proposer aux correcteurs les révisions nécessaires". Ce qui entre tout-à-fait dans le cadre des procédures d'harmonisation 'a posteriori' (cf. note 12, page 5. Consulter également P. Pelpel, Se former pour enseigner, Bordas, 1986, passim).
(13) Cf. supra, chapitre II ("Généralités sur l'évaluation"), passim, et note 21 du même chapitre.
(14) La somme des trois autres épreuves d'admission, qu'on peut trouver dans les colonnes 5 et 6 du tableau général n° 5, ne changeant évidemment pas.
(15) A mettre en parallèle avec les colonnes 7 et 8 du tableau n° 5.
(16) Par exemple, le candidat 1 du jury 1 passe de la 40e à la 50e place ; le candidat 5 du jury 2 monte de la 89e à la 67e place !
(17) Le 8e et le 15e, au moins.
(18) On l'a compris sans doute, de la part du vice-président du jury 1 à l'égard de son homologue du jury 2.
(19) N. Bisseret, Les inégaux ou la sélection universitaire, P.U.F, 1974, p. 122. L'auteur utilise cette heureuse expression à propos de la bonne conscience des 'héritiers'.
(20) "Les examens. Auto-critique d'un examinateur", in Cahiers pédagogiques, n° 53, mars 1965, p. 91.
(21) R. Arnoux et C. Corneille, L'initiation psychologique de l'éducateur, Sudel, 1967, p. 125.
(22) G. de Landsheere, Évaluation continue et examens, p. 7.
(23) Cette absence d'harmonisation entre les jurys a été également déplorée, entre autres, à propos du Brevet des Collèges (moyenne nationale de réussite : 58 %) : "d'énormes disparités de résultats [ont été constatées] entre les départements", selon Le Monde du 12 juillet 1986, p. 10.
(24) Si, dans les copies du Baccalauréat, des disparités importantes sont constatées, alors il y a recours aux procédures de révision ; cf. Note de service 83-538 du 26 décembre 1983, parue au B.O. n° 3, 1984.
(25) Vocable que nous utilisons dans le sens de L. Tesnière ou de A. Martinet : agents vs patients vs bénéficiaires.
(26) Alors qu'on se souvient sans doute des extraordinaires mouvements de protestation entraînés en 1978 par les timides (et justifiées) tentatives de M. Beullac pour fermer quelques Ecoles Normales faisant manifestement double emploi. Et alors que leur remplacement par des IUFM n'est pas sans poser de très graves problèmes, les Universités n'étant que très rarement ces "lieux de création du savoir et de l'innovation" qu'on se plaît tant à nous décrire (cf. les divers rapports de L. Schwartz), et encore moins des endroits où le souci de la formation des maîtres a été un jour pris en compte.
(27) Cf. Le Dauphiné libéré, septembre 1989 : "Les professeurs de l’École normale de Grenoble arrêtent le tramway pendant une heure, pour protester contre la création de l'IUFM".

 

Cliquez pour accéder à la suite (et fin !) de ce texte