Peut-on automatiser la création de critères de réussite en formation ?

Il y a quelques temps, j’ai créé un outil facilitant la rédaction d’objectifs pédagogiques. Depuis, les IA génératives ont un peu bousculé cet outil puisqu’elles peuvent facilement faire ce travail, pour peu que l’on sache ou l’on va et ce que l’on veut faire. Mon générateur reste donc pertinent dans de nombreux cas, notamment pour apprendre à rédiger ces objectifs et être en capacité ensuite d’utiliser l’IA en rédigeant un prompt adapté.

Il y a quelques jours, j’ai complété cela par une analyse des items descendant de ces objectifs : critères et indicateurs de réussite. Toujours dans un esprit de facilitation et d’apprentissage, je cherche comment structurer et décliner de façon automatique la création de ces critères à partir d’objectifs prédéfinis… et je me heurte à mes limites : Celles où le formateur se retrouve obligé de faire ce travail lui-même.

Vous le savez si vous me lisez : j’aime bien chercher les limites d’un système, trouver une entrée ou une faille qui permet de dire si l’on peut utiliser un outil dans un cadre ou un autre… ou pas. Si j’ai atteint mes limites de créativité, j’ai voulu vérifier quelles étaient celles de l’IA. J’ai donc demandé à ChatGPT de me proposer une méthode d’automatisation de la création de critères de réussite.

Sa réponse est intéressante à plus d’un titre : C’est “possible dans une certaine mesure mais cela nécessite souvent une intervention humaine” et il termine même ses propositions par “une vérification et une validation humaines restent essentielles pour s’assurer que les critères de réussite sont appropriés, adaptés et alignés avec les objectifs pédagogiques spécifiques de la formation”. l’IA respecte l’idée selon laquelle la spécificité et de la nature des objectifs pédagogiques proposés en formation va demander une intervention humaine pour vérifier et valider les critères définis en fonction du contexte de la formation, des apprenants et des méthodes d’évaluation préférées.

De quoi alimenter le débat sur une IA qui pourrait remplacer des formateurs, même si certaines de ces propositions montrent la possibilité d’un formatage de la formation pour la faire entrer dans divers moules algorithmiques (Et désolé pour ceux qui ont lu mon titre et pensé qu’ils pourraient se dispenser de faire le travail essentiel de tout bon formateur 😉 )

La réponse entière de ChatGPT :

“Automatiser la création de critères de réussite à partir d’objectifs pédagogiques est possible dans une certaine mesure, mais cela nécessite souvent une intervention humaine pour une définition précise. Cependant, il existe des approches pour faciliter ce processus :

1. Utilisation d’outils d’alignement :

• Certains outils technologiques permettent d’aligner les objectifs pédagogiques avec des indicateurs de réussite. Par exemple, des logiciels de gestion de l’apprentissage ou des plateformes éducatives peuvent aider à relier automatiquement des objectifs spécifiques à des critères d’évaluation prédéfinis.

2. Analyse textuelle et traitement automatique du langage :

• Des techniques d’analyse de texte peuvent être utilisées pour extraire automatiquement des éléments clés des objectifs pédagogiques et les associer à des critères de réussite préétablis. Cela peut impliquer des algorithmes de traitement automatique du langage naturel pour identifier des termes ou des actions spécifiques liés à des critères de performance.

3. Bases de données ou référentiels existants :

• En utilisant des bases de données ou des référentiels existants, vous pouvez élaborer des modèles d’objectifs pédagogiques avec leurs critères de réussite correspondants. Ces références peuvent être utilisées pour automatiser partiellement le processus en proposant des critères basés sur des modèles préexistants.

4. Intelligence artificielle et apprentissage machine :

• Les systèmes d’intelligence artificielle et d’apprentissage machine peuvent être formés à reconnaître des schémas dans des ensembles de données d’objectifs pédagogiques et d’indicateurs de réussite pour suggérer des correspondances. Cela demande toutefois un grand ensemble de données pour l’entraînement.

Cependant, la création de critères de réussite précis et pertinents dépend souvent de la spécificité et de la nature des objectifs pédagogiques. Une intervention humaine reste souvent nécessaire pour interpréter, affiner et personnaliser ces critères en fonction du contexte de la formation, des apprenants et des méthodes d’évaluation préférées.

Même avec une automatisation partielle, une vérification et une validation humaines restent essentielles pour s’assurer que les critères de réussite sont appropriés, adaptés et alignés avec les objectifs pédagogiques spécifiques de la formation.”