Roteiros de avaliação no âmbito dos processos de reconhecimento e validação de adquiridos experienciais: Tensões e contradições [Itineraries of assessment in recognition of prior learning: Tensions and contradictions].

Catarina Paulos

Cette étude a le dessein d’analyser la façon dont les éducateurs d’adultes envisagent l’évaluation des compétences dans le cadre des processus de reconnaissance, de validation et de certification des compétences. La méthodologie qualitative a été utilisée et trente-deux entretiens ont été réalisés aux Professionnels de RVC. Les résultats de la recherche permettent d’affirmer que ces éducateurs d’adultes perçoivent de deux manières leur rôle d’évaluateurs dans le cadre des processus de reconnaissance, de validation et de certification des compétences. D’une part, ils revêtent l’habit d’évaluateurs, dans le sens où ils analysent des parcours de vie en établissant des ponts avec les référentiels de compétences. D’autre part, ils centrent l’évaluation sur la phase de validation des compétences en attribuant cette fonction aux formateurs. Indépendamment de la façon dont le rôle de l’évaluateur est accepté par ces éducateurs d’adultes, toute leur activité est empreinte d’une charge relati...

Il est souvent difficile d’identifier et de valoriser des apprentissages réalisés à l’occasion d’une mobilité internationale. Nous avons mené une recherche avec un cadre théorique et méthodologique de didactique professionnelle (Pastré, Mayen & Vergnaud, 2006), cadre éprouvé sur les apprentissages professionnels issus de l’expérience et proche de l’esprit des démarches de Validation des Acquis de l’Expérience, afin de tenter de jeter un éclairage nouveau sur la nature des apprentissages informels réalisés lors d’un séjour à l’étranger, les processus de leur construction et les conditions qui les inhibent ou les favorisent. Cette recherche a été menée par le biais d’entretiens d’explicitation auprès de 17 jeunes partis en stage à l’étranger durant une période de un à trois mois, dans le cadre de leurs études de BTS agricoles. Elle a été financée par le Ministère de l’Agriculture, de l’Alimentation et de la Forêt (MAAF) français et a servi de base à la construction d’un référentiel de l’expérience internationale. Nous avons également tiré des leçons pratiques à destination des acteurs qui ont pour mission d’aider les jeunes à prendre conscience de leurs apprentissages, à les autoévaluer et à les valoriser en vue de leur insertion.

ACTES DU COLLOQUE DE L’ADMEE-EUROPE ACTES DU 28ÈME COLLOQUE QUI S’EST TENU EN JANVIER 2016 À LISBONNE ORGANIZADORES: Carmen CAVACO (Coordenação) Natália ALVES Paula GUIMARÃES Christophe DIERENDONCK Palmira ALVES André MACHADO Pedro RODRIGUES Marcelo MARQUES Catarina PAULOS TÍTULO / TITRE AVALIAÇÃO E APRENDIZAGEM ÉVALUATIONS ET APRENTISSAGES ORGANIZADORES: Carmen CAVACO (Coordenação), Natália ALVES, Paula GUIMARÃES, Christophe DIERENDONCK, Palmira ALVES, André MACHADO, Pedro RODRIGUES, Marcelo MARQUES & Catarina PAULOS ISBN: 978-989-20-6591-5 © 2016 Universidade de Lisboa Instituto de Educação Alameda da Universidade, 1649-013, Lisboa ALL RIGHTS RESERVED Índice Comissão Científica / Comité Scientifique…………………………………………………………………………………………………..…..11 Introdução (PT)……………………………………………………………………………………………………………………………………………. 12 Introduction (FR)…………………………………………………………………………………………………………………………………………. 14 Comunicações Individuais / Communications Individuelles De la médiation par le numérique au développement professionnel des enseignements du supérieur (ID 2) ………………………………………………………………………………………………………………………………………………………………………..17 Convergences et divergences dans le discours des formateurs de stagiaires en enseignement au secondaire (ID 4) ……………………………………………………………………………………………………………………………………………………………………19 Professionnalité des futurs infirmiers : la compétence analysée comme interactivité (ID 5)……………….…………..23 Currículo escolar e desigualdade: oportunidades de aprendizado segundo a avaliação nacional “Prova Brasil” (ID 7) ….…………………………………………………………………..………………..…………………………………………………………………….27 La co-construction de l’évaluation ou le tutorat comme monde commun (ID 10)……………………………………………30 Une recherche collaborative sur les pratiques d’évaluation au préscolaire 5 ans : quand les besoins de développement professionnel des enseignantes donnent le ton (ID 11)………………………………………………………….33 lles crédibles? Etude de la relation entre les perceptions des étudiants et les données quantitatives relatives aux programmes (ID 19)………………………………………………………………………………………………………………………………….36 O diário de campo como registro de avaliação e reflexão das práticas de estágio no Curso de Licenciatura em Química do Instituto Federal de Santa Catarina – Brasil (ID 20)……………………………………………………………………….39 Pratiques d’annotations de productions écrites dans un contexte scolaire libanais (ID 22)……………………………..42 Contributos do componente curricular Avaliação da Aprendizagem para o desenvolvimento da Quarta Geração da avaliação: o que dizem estudantes do curso de Pedagogia (ID 23)……………………………………………………………..50 Perspectivas analíticas sobre os desempenhos da educação básica no Rio Grande do Sul: as aproximações entre o IDEB e o contexto de atuação das escolas (ID 24)………………………………………………………………………………..53 « Eloge de la transversalité : autour de la plus-value de la participation d’experts transversaux dans les comités d’évaluation de l’AEQES : regards croisés sur le sens de la pratique des experts transversaux dans l’élaboration d’un processus d’évaluation de la qualité des programmes » (ID 27) ……………………………………………………………..56 Evaluation des attitudes en cours d’allemand: comparaison de classes ordinaires et en immersion partielle (ID 30) ………………………………………………………………………………………………………………………………………………………………….64 Avaliação de cursos técnicos como instrumento de aprendizagem: identificação de barreiras (ID 32)…………….66 Trabalho docente na escola pública: sentidos para a avaliação de rendimento no cotidiano escolar (ID 33)……69 Quels sont les enjeux pédagogiques et didactiques de l’utilisation d’animations interactives pour évaluer les élèves? (ID 35)…………………………………………………………………………………………………………………………………………………77 Auto-évaluation institutionnelle par l'outil diagnostique CAF: quel impact sur les apprentissages? (ID 36)……..79 Le travail personnel en fin de cycle secondaire De l ‘évaluation de sa mise en place expérimentale à l’évaluation du travail de production (ID 38)……………………………………………………………………………………………………81 O Pacto Nacional de Alfabetização na Idade Certa (PNAIC): aprendizagem e avaliação no ciclo da política educativa (ID 39)……………………………………………………………………………………………………………………………………………..84 Les évaluations de programmes par les étudiants sont-elles crédibles? (ID 40)……………………………………………….86 Avaliação das Aprendizagens: do Regulamentado ao Quotidiano de uma Sala de Aula de Geografia (ID 43)…..90 1 Evaluer sans noter: quels effets sur le sentiment d’efficacité personnelle des collégiens? (ID 44)……………………95 Evaluation formative, evaluation sommative et examens dans la pratique de trois professeurs de portugais de 12eme annee (ID 45)……………………………………………………………………………………………………………………………………..98 Quelles pratiques d’enseignement et d’apprentissage en éducation physique en regard du contexte évaluatif ? Le point de vue des eleves (ID 47)………………………………………………………………………………………………………………….101 Quelle efficacité du soutien pédagogique dans le cadre d'un maintien au primaire? (ID 48)…………………………104 Développement d’une plateforme de mise en ligne de questionnaires : partage d’expérience et bilan (ID 51)…………… …………………………………………………………………………………………………………………………………………………..106 Les nouvelles technologies (TIC) comme instrument d’apprentissage dans l’école (ID 53)…………………………….109 Evaluation des activités de formation et de conseil-accompagnement sur le développement professionnel des enseignants-chercheurs (ID 53)………. ……………………………………………………………………………………………………………111 Le développement de l’observation professionnelle via la vidéoformation : perspectives de recherche pour analyser le transfert (ID 54) ………………………………………………………………………………………………………………………….114 Outiller les élèves à évaluer les textes des pairs-auteurs et développer des habilités de relecture critique (ID 55) ………………………………………………………………………………………………………………………………………………………………..117 Les représentations des étudiants à l’égard de l’évaluation des enseignements: le cas de la Faculté de Pédagogie de l’Université Libanaise (ID 57) …………………………………………………………………………………………………..120 Développer des compétences professionnelles à travers l’élaboration d’un portfolio tout au long de la formation initiale des futur(e)s enseignant(e)s du secondaire inférieur (ID 58)……………………………………………..123 Apprendre a s’auto-evaluer par le biais du dossier de formation (ID 61)……………………………………………………….139 A avaliação no âmbito do reconhecimento de adquiridos experienciais: Perceções de educadores de adultos (ID 62) …………………………………………………………………………………………………………………………………………………………..142 Analyse des pratiques d’évaluation certificative des attitudes en Techniques d’éducation à l’enfance : le cas de l’épreuve finale de cours (ID 64) ……………………………………………………………………………………………………………………145 Conception d’un dispositif d’évaluation des stagiaires en sciences de l’éducation: méthodologie d’élaboration et mise en œuvre (ID 66) ………………………………………………………………………………………………………………………………147 Recherche-action: les acteurs de l’évaluation analysent (ID 67) ……………………………………………………………………149 La contribution des étudiants dans l’évaluation qualité : développement d’un outil pour les programmes de l’Université de Genève (ID 68)……………………………………………………………………………………………………………………….153 L'évolution d'un outil d'évaluation de la qualité de la formation des enseignants du secondaire: genèse, finalités, enjeux, limites et perspectives (ID69)……………………………………………………………………………………………..156 Comprendre le développement d’um discours d’expérience sur le travail em situation d’accompagnement à la VAE (ID 70) ……………………………………………………………………………………………………………………………………………………159 Impact des modalités des questions sur les performances des évalués: étude empirique en mathématiques en fin de college (ID 71) …………………………………………………………………………………………………………………………………….161 Evaluer les interactions maître-élèves en classe à la lumière des connaissances psychopédagogiques des enseignants du primaire (ID 72) ……………………………………………………………………………………………………………………163 Élaboration et évaluation des rapports à visée diagnostique des résultats du test PIRLS 2011 (ID 74)…………..166 L'Évaluation Clinique Objective Structurée en Orthophonie (ID 75)………. ……………………………………………………..168 Difficultés d’apprentissages des concepts de base de la thermodynamique chimique en rapport avec les pratiques d’évaluation (ID 77)……………………………………………………………………………………………………………………….169 Evaluation scolaire au secondaire : Quels problèmes pour quelles solutions? (ID 80)……………………………………172 Quelle évaluation de la politique de lutte contre le décrochage en France et au Québec ? Le cas des « Alliances éducatives » (ID 84) ………………………………………………………………………………………………………………………………………174 2 Le contrat d’évaluation en didactique des langues : une analyse multimodale de l’évaluation orale en contexte universitaire (ID 85) ………………………………………………………………………………………………………………………………………177 Mesure de l’anxiété scolaire et performances : Validation d’une échelle et expérimentations en contexte de classe (ID 86) …………………………………………………………………………………………………………………………………………………179 Articular a avaliação sumativa com a formativa para a aprendizagem de todos os alunos: potencialidades e tensões (ID 87) ………………………………………………………………………………………………………………………………………….….182 Reflexões sobre a reprovação na licenciatura: relato de uma experiência (ID 88)………………………………………….185 Effet des pratiques evaluatives des enseignements sur le sentiment d’efficacite personnelle des enseignants (ID 90) …………………………………………………………………………………………………………………………………………………………..191 L'évaluation annuelle d’une nouvelle filière de formation dans une logique d’aide au pilotage, le cas de la filière d’ostéopathie de la HES-SO (ID 91) ……………………………………………………………………………………………………..195 Les évaluations cantonales à Genève: vers une standardisation des épreuves (ID 92) ………………………………….198 Évaluation précoce de la filière d’études et liens avec la réussite (ID 98) ………………………………………………………200 Relação entre o suporte/feedback do professor e o desempenho e motivação dos alunos para a aprendizagem (ID 99) …………………………………………………………………………………………………………………………………………………………..202 Évolution de l’assessment literacy de futurs enseignants en enseignement secondaire en contexte de stage (ID 100) ………………………………………………………………………………………………………………………………………………………………204 Evaluation des compétences, apprentissages des élèves et politiques d'éducation prioritaire (ID 102)…………207 Le stress causé par les EEE et l’impact sur la performance académique (ID 103) …………………………………………..209 Du processus de reconnaissance à l'évaluation de la pratique professionnelle. Le cas de séminaires d'analyse de l'activité pour une pratique professionnelle en développement (ID 104) …………………………………………………212 Analyse comparative d’une formation en présentiel et d’une formation mixte (jeu sérieux et une journée en présentiel) à Hydro-Québec (ID 105) …………………………………………………………………………………………………………….216 Leblanc, Gladistonne Louverture, Université de Montréal (CA) …………………………………………………………………….216 De la co-évaluation des pratiques à leur amélioration (ID 106) …………………………………………………………………….218 Saberes experienciais de adultos pouco escolarizados (ID 107) ……………………………………………………………………227 Desafios da educação inclusiva nas práticas avaliativas no ensino secundário: implicações para a formação de professores (ID108) ………………………………………………………………………………………………………………………………………229 Complexidade, cotidianos escolares e processos avaliativos: ou sobre problematizações das práticas pedagógicas (ID 112) …………………………………………………………………………………………………………………………………….231 A tessitura da complexidade na visão transdisciplinar: a formação de professores da Educação Infantil (ID 113) ………………………………………………………………………………………………………………………………………………………………………233 Contribution de l'expérience scolaire au développement de la créativité : apports et limites de données autoreportées (ID 115) ……………………………………………………………………………………………………………………………………….235 Mise en œuvre de l’Evaluation des formations et des Enseignements par les Etudiants (EEE) : un dispositif de type "détecteur de fumée" à l’épreuve des faits (ID 117) ……………………………………………………………………………..244 Quel outil d’entrainement pour des étudiants en médecine évalués par QCM en physique? (ID 120)…………..247 Comment de futurs enseignants du secondaire supérieur en psychologie et sciences de l’éducation apprennent à évaluer les apprentissages? (ID 121) ………………………………………………………………………………………………………….249 Expérimentation et changement de pratique évaluatives des compétences métiers dans un centre de formation professionnel (ID 122) ………………………………………………………………………………………………………………….252 Evaluer le projet professionnel de l’étudiant lors de son entrée à l’université: validation de cinq profils professionnels auprès d’étudiants de Psychologie (ID 123) …………………………………………………………………………..255 3 Les gestes de régulation des enseignants face aux obstacles d’apprentissage des élèves en production écrite : Quels liens avec les progrès observés? (ID 124) ……………………………………………………………………………………………258 Un dispositif d'accompagnement personnalisé en amont des stages (ID 126) ………………………………………………261 Évaluation du développement de compétences suite à um apprentissage par projet transdisciplinaire: etude de cas em Faculte de Pharmacie (ID 127) …………………………………………………………………………………………………………..265 Compréhension de textes: Comparaison de deux modes d'évaluation (ID 128) ……………………………………………278 Caminhos para a onstrução de um instrumento de avaliação multidimensional: por uma qualidade educacional socialmente referenciada (ID 129) ………………………………………………………………………………………………………………..281 Analyse d’un dispositif automatisé d’évaluation diagnostique d’étudiants dans un centre universitaire de langues étrangères (ID 130)…………………………………………………………………………………………………………………………..284 Perception des étudiants en formation à l’enseignement secondaire sur leur développement professionnel, le dispositif de formation et leurs representations (ID 131) ……………………………………………………………………………..288 Les conceptions des futurs enseignants du secondaire en matière d’évaluation: frein ou levier à un changement de pratiques? (ID 132) ………………………………………………………………………………………………………………292 Qu'évaluent les questionnaires de compréhension de texte? (ID 134) ………………………………………………………….295 Transition entre école obligatoire et monde professionnel: enjeux autour d'une recherché (ID 137)……………298 Mise en place de procédures psychométriques pour calibrer des épreuves d’évaluation langagières (ID 138) ………………………………………………………………………………………………………………………………………………………………………300 Fatores de impacto no (in)sucesso escolar dos alunos e escolas, medidos por avaliação interna (escola) e externa (exames) (ID 139) …………………………………………………………………………………………………………………………….302 Les évaluations standardisées des élèves en France : avancées et reculs (ID 140) …………………………………………305 Former à l’évaluation: le levier de l’autoévaluation entre auto contrôle et auto questionnement (ID 141)…..307 Evolution de l’accompagnement de l’étudiant de deuxième année en Architecture des Jardins et du Paysage et dans un dispositif professionnalisant? (ID 142) …………………………………………………………………………………………….310 Impact de l’organisation du secondaire I en filières sur la satisfaction des élèves (ID 144) ……………………………312 Mettre l’évaluation au service de l’apprentissage des compétences tout en respectant les exigences de pertinence, de validité et de fiabilité : le cas d’un atelier de prise de parole en public à HEC-Ecole de Gestion de l’ULg (ID 145) ………………………………………………………………………………………………………………………………………………..314 Tensões de um agir avaliativo em mutação na escola atual (ID 146). ……………………………………………………………317 Rhétorique de la professionnalisation et évaluation des compétences en formation des enseignants (ID 148) ……………………………………………………………………………………………………………………………………………………………………...320 A utilização de novas modalidades de avaliação da aprendizagem e sua importância para uma trajetória de trabalho harmoniosa dos professores: a experiência do Quebec (ID 149) …………………………………………………….323 Les enseignants débutants du canton de Fribourg et l’évaluation sommative: entre prescriptions et pratiques réelles (ID 150) ……………………………………………………………………………………………………………………………………………..325 De la co-évaluation à l’auto-évaluation: actions et perceptions dans une classe de FLE (ID 151)…………………328 Reflexions a propos du Baccalaureat Français (ID 152) …………………………………………………………………………………341 Les indicateurs de performance dans l'enseignement supérieur dans le cadre de l’assurance qualité au sein d'une faculté de l’Université de Bouira (ID 153) ……………………………………………………………………………………………353 Comment l’analyse des données de production permet d’améliorer la formation continue des évaluateurs d’une épreuve d’expression orale (ID 154) ……………………………………………………………………………………………………357 L’apport du modèle de Rasch dans un processus de validation d’un test de concordance de script (ID 156) ………………………………………………………………………………………………………………………………………………………………………359 Contextualizaçãp e temas estruturadores no exame nacional do Ensino Médio de Química (ID 159)……………362 4 Etude exploratoire de décalages potentiels entre les méthodes d’évaluation employées par PISA et la complexité des réponses apportées par les élèves: une étude de cas avec un item de mathématiques (ID 162) ………………………………………………………………………………………………………………………………………………………………………373 Évaluation de la réflexivité au travers de portfolios (ID 163) …………………………………………………………………………377 As implicações da avaliação de desempenho na valorzação dos docentes da rede pública estadual de ensino do Rio Grande do Norte (Brasil) (ID 164) ……………………………………………………………………………………………………………379 Evaluation des Seminaires de Collaboration Interprofessionnelle - Initiative du Pôle Santé de l'Université libre de Bruxelles (ID 165) …………………………………………………………………………………………………………………………………….381 L'évaluation des pratiques évaluatives dans leur contexte: vidéoscopie et analyse séquentielle des logiques et des démarches (ID 167) ………………………………………………………………………………………………………………………………..386 L’évaluation des « compétences fondamentales » dans le cadre de l’intervention éducative d’organismes communautaires montréalais s’adressant aux parents marginalisés (ID 168) ……………………………………………….388 A autoavaliação e a coavaliação como estratégia terapêutica no processo de aprendizagem do desenho (ID 169) ………………………………………………………………………………………………………………………………………………………………390 L’évaluation comme outil de remédiation à l’université (id 170) …………………………………………………………………..393 O Dispositivo de Avaliação Externa do Projeto Piloto de ensino bilingue precoce no 1º CEB em Portugal (ID 171) ………………………………………………………………………………………………………………………………………………………………………402 Avaliação das estratégias de autorregulação na produção textual escrita de escolares (ID 172) …………………..405 Comparação da produção textual escrita de adultos com dislexia de desenvolvimento e controles leitores proficientes (ID 173) ……………………………………………………………………………………………………………………………………..408 L’évaluation des productions écrites au primaire: pierre angulaire du développement de la compétence scriptural (ID 176) …………………………………………………………………………………………………………………………………………410 A métrica na educação: uma avaliação do professor e uma educação pós-moderna (ID 177)……………………….413 Regard sur les croyances de futurs enseignants québécois à l’égard de l’évaluation (ID 179)………………………..415 As avaliações do ensino pelos estudantes: efeitos em contextos diferenciados (ID 180)……………………………….418 A integração das TIC na Aprendizagem e Avaliação da Língua Inglesa no Ensino Superior em Portugal (ID 181)……… ………………………………………………………………………………………………………………………………………………………421 O processo de avaliação no contexto da autorregulação da aprendizagem (ID184) ……………………………………..428 Mobilité internationale et démarche d’apprentissage dans le cadre d’un Master: un parcours de construction de soi? (ID 185) …………………………………………………………………………………………………………………………………………….430 Certificar os saberes do trabalho: uma análise do dispositivo de reconhecimento de saberes e certificação profissional no Brasil (ID 186)………………………………………………………………………………………………………………………..433 Avaliar para aprender: Um estudo sobre conceções e práticas de avaliação com estudantes e docentes do Ensino Superior (ID 187) ……………………………………………………………………………………………………………………………….435 O Mapa Concetual como Instrumento de Avaliação Digital – um estudo realizado no Ensino Superior (ID 188) ………………………………………………………………………………………………………………………………………………………………………438 Aprendizagem e avaliação da aprendizagem na universidade: a lição do pensamento complexo e da gestão de competências (ID 189) ………………………………………………………………………………………………………………………………….443 L’archi-élève comme outil d’aide à la décision de finir une sequence (ID 190) ………………………………………………457 La dimension métacognitive dans le dispositif d'évaluation de la compréhension de textes : alignement curriculaire et propositions didactiques (ID 192) …………………………………………………………………………………………..459 Haroun, Zineb, Université des Frères Mentouri Constantine (DZ) ………………………………………………………………..459 Avaliação, Aprendizagem e os desafios da prática pedagógica no Ensino Fundamental (ID 193)……………………462 Avaliação no ensino superior: um estudo com docentes universitários (ID 194)……………………………………………473 5 A Dimensão Operacional do Projeto Pedagógico do Curso de Matemática: avaliação da política de formação de professores e a qualidade da educação (ID 195) …………………………………………………………………………………………..476 Avaliação de Política de Aceleração da Aprendizagem na Educação Básica (ID 196) ……………………………………..479 Avaliação da Aprendizagem: Articulações e Perspectivas com o Mundo do Trabalho (ID 197)……………………..481 O uso da fotografia como ferramenta de ensino e aprendizagem: uma abordagem e avaliação inovadoras (ID 198) ………………………………………………………………………………………………………………………………………………………………492 Méthodologies et outils pour l’analyse vidéo de pratiques d’évaluation formative en classe. Un projet de recherche international (ID 199) …………………………………………………………………………………………………………………..494 Vers un modèle d’analyse du potentiel de soutien à l’autorégulation des apprentissages de dispositifs d’Assessment for Learning: exemples d’applications dans un projet d’aide à la réussite en 1er bachelier à l’Université de Liège (ID 201)…………………………………………………………………………………………………………………………502 Noter (l’enseignement de) l’art: entre liberte de creation et exigencies institutionnelles. Dans le cadre d’une formation à visée certificative d’enseignants en arts visuels du secondaire supérieur, comment concilier processus de création personnel et la (ID 204) ……………………………………………………………………………………………..518 Os instrumentos de avaliação institucional da capacitação destinadas a servidores públicos brasileiros: um estudo sobre a realidade da universidade (ID 205) ……………………………………………………………………………………….522 As Reformas Educacionais dos anos 1990 e a Centralidade das políticas de avaliação: Choque de Gestão e Políticas Gerencialistas no estado de Minas Gerais – Brasil (207) ………………………………………………………………….526 Jorge, Tiago, Universidade Federal de Minas Gerais (BR) ………………………………………………………………………………526 Evaluation formative de la maitrise des compétences d'enseigner les sciences expérimentales (ID 208)………528 Double confrontation des autoévaluations du fonctionnement du groupe-projet … au service de l’apprentissage du travail en équipe chez les étudiants de l’enseignement supérieur (ID 212)………………………531 Roteiros de avaliação no âmbito dos processos de reconhecimento e validação de adquiridos experienciais: Tensões e contradições (ID 214) …………………………………………………………………………………………………………………..537 Les compétences transversales des étudiants évaluées dans la formation universitaires en cursus d’Histoire (ID 215) ……………………………………………………………………………………………………………………………………………………………..541 Valider les acquis de l’expérience selon une approche par dossier (ID 216) ………………………………………………….544 L’implication des élèves lors d’évaluations externes à faibles enjeux: le cas de l’évaluation « Épreuves Standardisées » au Luxembourg (ID 219) ………………………………………………………………………………………………………546 Susciter l’implication des étudiants dans l’évaluation de leur «posture professionnelle » centrée sur l’écrit de pratiques (ID 220) …………………………………………………………………………………………………………………………………………549 Le défi pédagogique de l’évaluation des compétences dans un diplôme professionnel. Le cas de la Licence professionnelle « Formation – Accompagnement » à l’Université de Strasbourg (ID 221)……………………………..552 NTIC comme outil pédagogique d’évaluation, comment les intégrer? (ID 222) …………………………………………….555 Conception d’un modèle de diagnostic basé sur une approche didactique pour évaluer des connaissances numériques en mathématiques (ID 223) ………………………………………………………………………………………………………560 Conception d’un modèle de diagnostic basé sur une approche didactique pour évaluer des connaissances numériques en mathématiques (ID 223) ………………………………………………………………………………………………………563 Comment rendre l’évaluation apprenante en formation d’adultes ? (ID 224) ……………………………………………….566 Liderança distribuída a partir de uma visão da gestão escolar em algumas escolas de Madrid (ID 225)…………568 Avaliação Formativa - Conceções e Práticas (ID 226) …………………………………………………………………………………….572 Wiki como veículo potencializador do feedback do professor em aulas de física: um estudo com alunos do 9º ano (ID 229) ………………………………………………………………………………………………………………………………………………….575 O Guided Inquiry e a Avaliação das Aprendizagens (ID 230) ………………………………………………………………………….578 6 Avaliação de Perfil e Competências na Educação Superior (ID 232) ………………………………………………………………580 Os estudantes adultos e o acesso ao Ensino Superior (ID 233) ……………………………………………………………………..582 Participção em fóruns online e sucesso em e-learning: um contributo para (re)pensar a avaliação digital (ID 238) ………………………………………………………………………………………………………………………………………………………………584 Évaluer les connaissances mathématiques dans des tâches de dénombrement chez les élèves du Cours Préparatoire, élèves âgés de 6-7 ans : un nouvel outil d’analyse, des premiers résultats (ID 240) …………………585 Testagem Processual de Produção Escrita (ID 241) ……………………………………………………………………………………….588 Avaliação de um Programa de Formação em Competências Empreendedoras no Ensino Superior (ID 244)….594 A interdependência entre avaliação e aprendizagem – reflexão em torno de dinâmicas de educação não formal e informal (ID 245) ………………………………………………………………………………………………………………………………………..597 A avaliação das aprendizagens: sentidos e implicações do ponto de vista dos alunos (ID 250)………………………602 Simpósios / Symposiums L’étude des pratiques d’évaluation sommative des enseignants: une urgence pour mieux comprendre les compétences professionnelles en jeu (ID 59) ………………………………………………………………………………………………..606 Communication 1 - Aligner ses pratiques d’évaluation sommative, ou la quête perpétuelle de coherence……607 Communication 2 - Nature et diversité des tâches mathématiques proposées en évaluation sommative par des professeurs des écoles, en France…………………………………………………………………………………………………………………609 Communication 3 - Pratiques d’évaluation sommative en enseignement supérieur: les tâches complexes et les outils de jugement…………………………………………………………………………………………………………………………………………611 Communication 5 - Investigation des liens entre intentions évaluatives (des professeurs) et conscience évaluative (des collégiens) ……………………………………………………………………………………………………………………………613 Agir évaluatif et accompagnement professionnel (ID 60) ……………………………………………………………………………..616 Communication 1 - Analyse des postures et des gestes de l’accompagnateur dans différents contexts………..616 Communication 2 - L’évaluation au service du développement professionnel……………………………………………….618 Communication 3 - L’activité évaluative dans le conseil en évolution professionnelle…………………………………..621 Communication 4 - Régulations évaluatives et nature des interprétations en littérature………………………………622 Qu’apprennent les évaluateurs de leur activité d’évaluation? (ID 79) …………………………………………………………..626 Communication 2 - Les interventions à visée régulatrice des enseignants auprès d’élèves apprentis-scripteurs en difficulté……………………………………………………………………………………………………………………………………………………627 Communication 3 - Les théoriciens spontanés: comment des évaluateurs construisent et révisent leurs savoirs dans l’expérience…………………………………………………………………………………………………………………………………………..630 Transition vers le numérique: quelles implications pour l’évaluation des élèves et leurs apprentissages? (ID 81) ………………………………………………………………………………………………………………………………………………………………………632 Communication 1 - Tour d’horizon des contraintes et opportunités liées à la mutation numérique, dans le cadre des programmes d’évaluations standardisées conduits en France ……………………………………………………….633 Communication 4 - L’utilisabilité et les nouvelles formes d’évaluation: pourquoi les méthodes d’interaction homme-machine améliorent la qualité et l’équité des évaluations informatisées …………………………………………638 L’évaluation des pratiques innovantes et de leur impact sur les apprentissages (ID 93) ……………………………….643 Communication 1 - Evaluation des activités de formation et de conseil-accompagnement sur le développement professionnel des enseignants-chercheurs…………………………………………………………………………………………………….645 Communication 2 - Retour d’expérience : accompagnement à l’innovation pédagogique dans une HES……….655 7 Communication 3 - Evaluation de l’utilisation de l’EEE et de ses effets sur le développement professionnel des enseignants à l’Université de Strasbourg……………………………………………………………………………………………………….663 Communication 4 - Se former à la recherche appliquée pour assurer l’apprentissage des étudiants…………….670 Communication 5 - Peut-on validement mesurer (et si oui, à l’aide de quels indicateurs) « l’impact » de pratiques innovantes de formation et d’accompagnement? …………………………………………………………………………680 Evaluation des compétences, apprentissages des élèves et politiques d'éducation prioritaire (ID 102)…………682 Communication 1 - L’efficacité relative des projets d’éducation prioritaire dans le canton de Vaud en Suisse. ………………………………………………………………………………………………………………………………..…………………………………….683 Communication 2 - Compétences des élèves et pratiques pédagogiques dans un contexte d'éducation prioritaire à Genève? ……………………………………………………………………………………………………………………………………685 Communication 3 – Attentes et aspirations en contexte d’enseignement prioritaire: le point de vue des enseignants et de leurs élèves……………………………………………………………………………………………………………………….687 Communication 4 - Différenciation dans le processus d'enseignement-apprentissage des mathématiques en France, en éducation prioritaire et ailleurs……………………………………………………………………………………………………689 Communication 5 - Des dispositifs à la classe ordinaire, quels soutiens aux apprentissages? Ruptures et continuités de l’activité enseignante dans un collège REP……………………………………………………………………………..692 ePortfolio: quelles plus-values pour l’apprentissage lorsque le numérique s’invite à la pratique du portfolio? (ID 133) ………………………………………………………………………………………………………………………………………………………………694 Communication 1 – Le Portfolio orientant électronique, un outil efficace pour travaliller l’orientation chez les élèves? …………………………………………………………………………………………………………………………………………………………695 Communication 2 – Utilisation d’un e-Portfolio dans la formation des professeurs d’instrument: quelle plusvalue selon les étudiants et les professeurs? ………………………………………………………………………………………………..697 Communication 3 – Développement d’un dispositife d’ “E-valuation formatrice interactive” ……………………….700 Des dispositifs d’évaluation formative en mathématiques aux apprentissages des élèves (ID 135) ………………702 Communication 1 - Analyser les pratiques d’évaluation des enseignants à travers la prise en compte des élèves…………………………………………………………………………………………………………………………………………………………….703 Communication 2 - Rôle du savoir dans des pratiques de régulation en calcul algébrique…………………………….714 Communication 3 - Evaluation des apprentissages de et par la résolution de problèmes en mathématiques. Etude des pratiques et des discours d’enseignants genevois autour de l’évaluation formative……………………..717 Communication 4 - Effets de différentes modalités d’évaluation formative sur l’évolution du milieu de l’élève……………………………………………………………………………………………………………………………………………………………725 Coomunication 5 - Analyses de l’évolution de réponses d’élèves lors d’évaluations formatives dans le cadre de la résolution d’un problème complexe………………………………………………………………………………………………………….732 Les recherches collaboratives autour de l’accompagnement des pratiques professionnelles: démarches de coconstruction des acteurs en presence (ID 136) ……………………………………………………………………………………………..743 Communication 3 - Analyse des outils facilitant l’accompagnement des stagiaires en enseignement: point de vue des formateurs de terrain……………………………………………………………………………………………………………………….751 Communication 5 - Spécificités et enjeux du travail conjoint des formateurs/trices en milieu de stage…………757 Participação infantil e práticas avaliativas (ID 143) ……………………………………………………………………………………….760 Comunicação I - Educação de Infância, direitos da criança e práticas educacionais participativas………………..761 Comunicação 2 – A participação das crianças nos processos avaliativos: “Por onde anda a Educação Infantil?” ………………………………………………………………………………………………………………………………………………………………………763 Comunicação 3 – Culturas lúdcas infantis no contexto da Educação Física…………………………………………………….768 Comunicação 4 – Avaliando a escola sob o olhar da criança………………………………………………………………………….773 8 Comunicação 5 – A rotina na Educação Infantil: avaliando a ilusão docente na tentativa de controlar e silenciar as crianças……………………………………………………………………………………………………………………………………………………777 A avaliação em educação infantil a partir da avaliação de contexto (ID 157) ………………………………………………..786 Comunicação 1 – Avaliação a partir de uma experiência de pesquisa em uma institutição pública de Educação Infantil Curitiba……………………………………………………………………………………………………………………………………………..787 Comunicação 2 – Avaliação de contexto em uma instituição pública de Educação Infantil em Florianópolis…788 Comunicação 3 - Uma abordagem reflexiva e dialógica sobre a avaliação de contextos educativos: a “promoção do interno” …………………………………………………………………………………………………………………………………………………..790 Apprentissage accompagnè et évaluation… un duo en équilibre instable? (ID 161) ………………………………………792 Communication 1 – Equilibres et déséquilibres dans les meanders de l’évaluation: la visée des formateurs accompagnant les stagiaires lors des entretiens formatifs et certificatifs………………………………………………………793 Communication 2 - Du processus de reconnaissance à l’évaluation de la pratique professionnelle, le cas de séminaires d’analyse de l’activité pour une pratique professionnelle en developpement……………………………..795 Communication 3 – Des stagiaires en quête d’apprentissages au contact des formateurs? ………………………….798 Communication 4 – Accompagner et contrôler: étude d’un cas problématique…………………………………………….801 Communication 5 – L(‘a)symétrie dans la relation d’accompagnement…………………………………………………………802 A Formação de Professores: uma avaliação sobre políticas públicas instituídas em Portugal e no Brasil (ID 174) ………………………………………………………………………………………………………………………………………………………………………805 Comunicação 1 - A Formação continuada nas escolas brasileiras: uma política pública em processo de reconhecimento e consolidação na cidade de petrópolis, RJ – Brasil……………………………………………………………..806 Comunicação 2 - Avaliação de Políticas Públicas: A formação e valorização de professors no PEE/RJ/Brasil….816 Comunicação 3 - As competências digitais dos formadores para uma formação em regime de E-Learning……824 École première sous la loupe: quelle évaluation pour quels apprentissages? (ID 203)…………………………………..834 Communication 1 - Dossiers d’évaluation: rendre visible la progression de l’élève pour qui et pour quoi?.....835 Communication 2 - Vers une évaluation diagnostique pour l'action pédagogique ? L'école maternelle en fédération Wallonie-Bruxelles à la recherche d'un modèle d’évaluation……………………………………………………….837 Communication 3 - Nouveaux programmes, nouvelles évaluations? L'école maternelle française à la recherche d'un nouveau modèle pédagogique ………………………………………………………………………………………………………………839 Évaluer les dispositifs de formation: des enjeux pour les recherches collaboratives (ID 206) ………………………..842 Comunication 1 - Évaluer les effets d’un dispositif de formation à long terme. Le point de vue de vue des participant-e-s, enjeux théoriques, méthodologiques et pragmatiques…………………………………………………………843 Communication 3 La posture évaluation comme interprétation des discours sur et pour la professionnalisation………………………………………………………………………………………………………………………………………848 Rôle(s), forme(s) et usage(s) des données issues de l'évaluation dans les dispositifs d'accompagnement d'équipes éducatives en projet de développement professionnel (ID 218) …………………………………………………..853 Communication 1 - Rôle(s), forme(s) et usage(s) des données issues de l’évaluation dans les dispositifs d’accompagnement d’équipes éducatives en projet de développement professionnel…………………………………854 Communication 2 - Accompagner pour mieux évaluer : la coformation au service des pratiques d’évaluation…………………………………………………………………………………………………………………………………………………863 Communication 3 - L'évaluation au service de l'accompagnement d'équipes éducatives. Expérience au sein du projet Solidarité…………………………………………………………………………………………………………………………………………….865 Communication 4 - Le développement de la qualité scolaire au Luxembourg: accompagnement à l’évaluation interne dans les établissements scolaires………………………………………………………………………………………………………867 9 L'évaluation des enseignements et les politique qualité au Liban et en Belgique (ID 236) …………………………….871 Communication 2 - Vers une autoévaluation au supérieur: le profil des compétences, un des piliers du développement professionnel……………………………………………………………………………………………………………………….873 Communication 3 - L’évaluation des enseignements: Défis des Pratiques réflexives en vue d’une démarche qualité……………………………………………………………………………………………………………………………………………………………877 Evaluer des apprentissages spatiaux: sur la base de quels modèles cognitifs, pour quelles finalités? (ID 237) ………………………………………………………………………………………………………………………………………………………………………879 Communication 2 - Représentations égocentrées et allocentrées dans l'orientation spatiale: des modèles à l'enseignement………………………………………………………………………………………………………………………………………………883 Communication 5 - Evaluer les apprentissages spatiaux au travers des processus de régulation, quels enjeux? ………………………………………………………………………………………………………………………………………………………………………889 Communication 6 (Synthèse du symposium) - Evaluer des apprentissages spatiaux: sur la base de quels modèles cognitifs, pour quelles finalités? ……………………………………………………………………………………………………..891 10 COMISSÃO CIENTÍFICA Dominique VERPOORTEN Paula GUIMARÃES _____________________ Géry MARCOUX Pedro RODRIGUES COMITÉ SCIENTIFIQUE Jesus Maria SOUSA Philippe CHARTIER Presidente Christophe DIERENDONCK Katia TERRIOT Pierre PETIGNAT Leonor SANTOS Raphaël PASQUINI Membros Lucie MOTTIER LOPEZ Raymond MEYERS Abderrahim KHYATI Marc ROMAINVILLE Réginald BURTON Almerindo JANELA AFONSO Marc VANTOUROUT Rémi GOASDOUE Marcel CRAHAY Richard ETIENNE Marcel LEBRUN Sandrine BREITHAUPT Marcelo GIGLIO Scarlet SARRAF Maria do Céu ROLDÃO Somia SALAH Maria Palmira ALVES Vincent DUPRIEZ Mohamed RADID Walther TESSARO Mohamed TALBI Yann MERCIER-BRUNEL André MACHADO Anne SOUSSI Annick FAGNANT Bruno SUCHAUT Carmen CAVACO Claire TOURMEN Christian NIDEGGER Eric DIONNE Eric FRENETTE Fadi EL HAGE Francisco SOUSA François-Marie GERARD Daniel PERAVA Débora PONCELET Domingos FERNANDES Mohammed El ASSAAD Natacha DUROISIN Natália ALVES Nathalie DROYER Nathalie LOYE Nathalie YOUNÈS Nathalie SAYAC Palmira ALVES Pascal DETROZ Dominique LAFONTAINE 11 INTRODUÇÃO (PT) O presente livro de atas publica os textos referentes a comunicações, apresentadas em simpósios e ateliês, no 28º Colóquio da ADMEE-Europe (Associação para o Desenvolvimento de Metodologias de Avaliação em Educação). Subordinado à temática Avaliação e Aprendizagens, o Colóquio teve lugar nos dias 13, 14 e 15 de janeiro de 2016, no Instituto de Educação, Universidade de Lisboa e nele participaram cerca de 350 investigadores e especialistas em avaliação, provenientes de treze países (Portugal, França, Bélgica, Suíça, Luxemburgo, Itália, Espanha, Marrocos, Líbano, Argélia, Canadá, Brasil e Argentina). Tratando-se de um evento bilingue, em Português e Francês, a Comissão Organizadora considerou importante publicar os textos na língua de origem, contribuindo para maior difusão dos trabalhos sobre a Avaliação e Aprendizagens. Na atualidade, resultado de uma grande multiplicidade de políticas e de dispositivos de avaliação e de algumas décadas de investigação, os trabalhos consagrados à avaliação e à aprendizagem constituem um vasto corpus empírico e teórico. No âmbito dos processos de educação e de formação, desenvolvidos em contextos organizacionais muito diversificados, o trabalho de avaliação das aprendizagens constitui um elemento crucial e complexo, que não se reduz à mera utilização de instrumentos e à análise de resultados. Trata-se de um tempo e de um espaço em que se evidenciam práticas sociais, educativas, pedagógicas e didáticas, orientadas, explicita ou implicitamente, por múltiplos referenciais, de ordem epistemológica, teórica, metodológica e política, colocados em interação por uma heterogeneidade de atores com perspetivas e funções diversas. Ao incidir sobre objetos, tais como, os saberes, as competências ou os adquiridos experienciais, a avaliação contribui para a orientação de políticas públicas, de referenciais, de currículos, de projetos e de práticas, ao nível do sistema educativo. Neste contexto, as práticas de avaliação têm um potencial formativo para os diferentes atores envolvidos, avaliadores e avaliados. Os textos que aqui se publicam visam contribuir para o reforço e consolidação do debate científico sobre perspetivas, dispositivos, metodologias, instrumentos, práticas de avaliação, e sobre os efeitos destas práticas, tendo como referência três abordagens de avaliação: a avaliação “da aprendizagem” (perspetiva sumativa), a avaliação ao serviço da ou “para a aprendizagem” (perspetiva “formadora” que inclui a autoavaliação e a metacognição e situa a avaliação no âmago do processo de aprendizagem). Estas dimensões foram discutidas a três níveis de análise (macro, meso e micro), estruturadas em quatro temas: articulações entre avaliação e aprendizagem no âmbito das políticas educativas; articulações entre avaliação e aprendizagem no âmbito das práticas pedagógicas; articulações entre avaliação e aprendizagem no âmbito das metodologias e dos instrumentos e articulações entre avaliação e aprendizagem no âmbito das avaliações externas, internacionais e nacionais. Nas últimas décadas, as políticas públicas têm vindo a atribuir importância e visibilidade ao processo de avaliação, no campo da educação e da formação. Numa perspetiva de regulação das aprendizagens, as políticas de avaliação associam, cada vez mais, finalidades de autonomia, de responsabilização e de regulação, ao nível quer dos sistemas e das organizações quer dos atores e dos profissionais envolvidos na educação e na formação. Neste contexto, é importante debater as finalidades, os objetos e as formas de avaliação presentes nas políticas educativas. Os textos sobre o tema da avaliação e aprendizagem no âmbito das políticas educativas estão orientados para a descrição e a análise da evolução do conceito de avaliação, para as funções da avaliação e as 12 perspetivas que lhe estão associadas no âmbito das políticas públicas, para o modo como os atores se situam face a essas orientações políticas e às práticas e aprendizagens que daí resultam. As mudanças ao nível das políticas de avaliação têm efeitos sobre as práticas pedagógicas. Os textos enquadrados neste tema estão orientados para a descrição e análise desses efeitos, nomeadamente, no que diz respeito aos problemas, tensões e novos desafios que colocam aos práticos. Através de quadros interpretativos e compreensivos das práticas de avaliação, sejam sumativas ou formativas (de autoavaliação e de coavaliação), os textos problematizam e concetualizam um agir avaliativo em mutação, de acordo com os contextos, os recursos, as margens de autonomia e as limitações dos atores. Investigadores e especialistas procuram assegurar critérios de rigor, pertinência, fiabilidade e validade das metodologias e dos instrumentos de avaliação. Contudo, as políticas públicas, as opções paradigmáticas, as finalidades e os referenciais de avaliação levam, por vezes, os atores a abdicar de alguns destes critérios. O objetivo dos textos centrados no tema da avaliação e aprendizagem no âmbito das metodologias e dos instrumentos é, assim, o de debater as questões do rigor, da validade, da fiabilidade e da pertinência das metodologias e dos instrumentos de avaliação em educação e formação, mas também as condições necessárias para que o processo de avaliação possa ser formativo para todos os atores envolvidos, não perdendo de vista, por conseguinte, os critérios da utilidade (educativa), da adequação ética e da equidade. Nas últimas duas décadas, os dispositivos de avaliação externa das aprendizagens tiveram um desenvolvimento considerável, tanto no plano internacional, com os inquéritos como o PISA, o PIRLS, o TIMSS, o TALIS, o AHELO, o ICCS, o ICILS, o ESLC, o PIAAC e o CERCE, como no plano nacional. Apesar da diversidade de objetivos e de métodos, estes inquéritos visam sempre avaliar aprendizagens. Estes dispositivos têm sido objeto de análises críticas, devido aos valores que veiculam, às opções metodológicas e aos custos que lhe estão inerentes. Os textos abordam o tema da avaliação e aprendizagem no âmbito das avaliações externas, internacionais e nacionais, debatem as finalidades das avaliações externas, questionam o que estas avaliam realmente, sobre as suas vantagens e limitações, sobre o modo como são concebidas e implementadas, sobre a sua integração nas políticas públicas, nas organizações e nas práticas pedagógicas. Trata-se, também, de interrogar os efeitos formativos destas avaliações nas escolas, nos professores, nos alunos e nos cidadãos, em geral. 13 INTRODUCTION (FR) Dans ces actes sont compilés les textes des communications entendues lors des symposiums et des ateliers du 28e Colloque de l'ADMEE-Europe. Ce Colloque avait pour thème « Évaluations et Apprentissages ». Il s’est déroulé les 13, 14 et 15 janvier 2016 à Institut de l´Éducation de l’Université de Lisbonne. Au total, le colloque a réuni environ 350 chercheurs et experts de treize pays (Portugal, France, Belgique, Italie, Espagne, Luxembourg, Suisse, Maroc, Algérie, Liban, Canada, Brésil, Argentine). Les langues du Colloque était le Portugais et le Français, ce qui explique la présence dans les actes de textes dans ces deux langues. Les travaux consacrés aux notions d'évaluation et d'apprentissage forment un vaste corpus empirique et théorique issu de la mise en œuvre d´une grande multiplicité de politiques et de dispositifs d’évaluation et de quelques décennies de recherche. Au sein des processus d´éducation et de formation dans des contextes organisationnels très divers, la phase d'évaluation des apprentissages constitue une étape cruciale et complexe qui ne peut être réduite à l'utilisation d'outils et à l'analyse de résultats. C´est un moment et un lieu où s'expriment des pratiques sociales, éducatives, pédagogiques, didactiques, guidées explicitement ou implicitement par des références multiples d'ordre épistémologique, théorique, méthodologique et/ou politique que partagent, ou non, une multitude d’acteurs avec des perspectives et des fonctions diverses. Portant sur des objets comme les savoirs, les compétences ou encore les acquis de l´expérience, l'évaluation peut aussi cibler les politiques éducatives, les référentiels, les programmes d'études, les pratiques ou les projets qui existent tant au niveau du système éducatif qu'au niveau des entités qui le composent. De nombreux travaux s'intéressent également au potentiel formatif du processus évaluatif aussi bien pour les évalués que pour les évaluateurs. Ces actes ont pour objectif d'alimenter les débats scientifiques sur les plans des postures, des dispositifs, des méthodologies, des outils, des pratiques et des effets produits en se situant par rapport à trois formes d'évaluation : l'évaluation de l'apprentissage (perspective sommative), l'évaluation au service de l'apprentissage (perspectives diagnostique et formative) et l'évaluation en tant qu'apprentissage (perspective incluant l'auto-évaluation et la métacognition). Lors du colloque, ces dimensions ont été discutées à différents niveaux d´analyse (macro, méso et micro) au travers de quatre axes spécifiques : l´axe 1 sur les liens entre « évaluation» et « apprentissage » à la lumière des politiques éducatives ; l´axe 2 sur les liens entre « évaluation » et « apprentissage » à la lumière des pratiques pédagogiques ; l´axe 3, sur les liens entre « évaluation » et « apprentissage » à la lumière des méthodologies et des outils ; et l´axe 4, centré sur les liens entre « évaluation » et « apprentissage » à la lumière des évaluations externes internationales et nationales. Ces derniers années, les politiques publiques ont accordé davantage d'importance et de visibilité au processus évaluatif dans l'acte d'enseigner. Principalement orientées vers la description et la régulation des apprentissages des apprenants, les politiques d'évaluation promeuvent à présent de plus en plus une posture mêlant autonomie, responsabilisation et régulation tant au niveau des organisations que des professionnels de l'éducation. Dans ce contexte, il importe de débattre des finalités, de l'importance et des formes données à l´évaluation au niveau des politiques éducatives. Les textes présentés au sein de l'axe 1 cherchent à décrire et à analyser comment la notion d'évaluation a évolué dans les politiques publiques, comment ces dernières prescrivent des 14 fonctions, des démarches et/ou des outils d'évaluation et comment les acteurs se situent par rapport à ces changements attendus. Les changements de politiques en matière d'évaluation ont des effets sur les pratiques pédagogiques. Les textes présentés au sein de l'axe 2 cherchent à décrire et à analyser ces effets sous l'angle des problèmes, des tensions et des enjeux nouveaux auxquels doivent faire face les praticiens. En proposant des cadres compréhensifs de pratiques d'évaluation innovantes, qu'elles soient sommatives ou formatives (notamment l'autoévaluation, l’évaluation mutuelle et la coévaluation), les contributions visent à problématiser et à conceptualiser un agir évaluatif en mutation, selon le contexte, les ressources et les contraintes des acteurs. Les méthodologies et les outils d´évaluation doivent respecter des critères de rigueur, de pertinence, de fiabilité et de validité. Mais les politiques publiques, les choix paradigmatiques, les finalités associées au processus d'évaluation ou les référentiels et leur interprétation poussent parfois les acteurs à sacrifier, en tout ou partie, certains des critères précités. L'objectif des textes repris dans l´axe 3 est de remettre au centre du débat à la fois les questions de rigueur, de validité, de fiabilité et de pertinence des méthodologies et des outils d'évaluation en éducation mais aussi d'identifier les conditions dans lesquelles ces derniers peuvent contribuer à la formation des acteurs impliqués dans ces processus. Depuis deux décennies, les dispositifs externes d'évaluation se sont considérablement développés, tant sur le plan international avec les enquêtes comme PISA, PIRLS, TIMSS, TALIS ou PIAAC, qu'au niveau des systèmes d'éducation et de formation avec le développement de plus en plus marqué d'évaluations externes nationales, voire locales. Malgré la diversité des objectifs et des méthodes, ces enquêtes proposent toutes d´évaluer, de manière récurrente, l'état des apprentissages. De manière tout aussi récurrente ont émergé des remises en question de ces dispositifs, des analyses critiques en lien avec les valeurs véhiculées ou avec les choix méthodologiques opérés. Le coût de ces dispositifs d'évaluation externe a également été beaucoup critiqué. Les textes présentées au sein de l'axe 4 cherchent à nourrir ce débat sur les finalités poursuivies par ces évaluations externes, sur ce qu'elles évaluent réellement, sur leurs avantages et leurs limites, sur la façon dont elles sont élaborées et sur leur degré d'intégration dans les politiques publiques, les organisations et les pratiques d'enseignement et de formation. Il s'agit aussi de s’interroger sur les effets formatifs que peuvent ou pourraient avoir ces évaluations externes sur les différents types d'acteurs impliqués. 15 COMUNICAÇÕES INDIVIDUAIS COMMUNICATIONS INDIVIDUELLES 16 DE LA MÉDIATION PAR LE NUMÉRIQUE AU DÉVELOPPEMENT PROFESSIONNEL DES ENSEIGNEMENTS DU SUPÉRIEUR (ID 2) DIAKHATE, Diarra, MICA - Bordeaux 3 (FR) AUDRAN, Jacques, LGECO (FR) Problématique et cadre théorique general Le développement du numérique porte les enseignants du supérieur à intégrer progressivement ces instruments dans leurs pratiques (Proulx, 2005). Nous faisons l’hypothèse que ces pratiques peuvent transformer leurs représentations, voire développer leurs compétences (Brotcorne & Valenduc, 2009, p. 16) et génèrent des connaissances et des habiletés cognitives. En effet, (Day, 1999) souligne qu’il existe un processus par lequel, individuellement et collectivement, les enseignants révisent, renouvellent et augmentent leur engagement en tant qu’agents de changement, aux fins morales de l’éducation. Grâce à ce processus, ils acquièrent et développent de façon critique le savoir, les habiletés et l’intelligence émotionnelle qui sont essentiels à une pensée, à une planification et à une pratique de qualité, tout au long de la vie professionnelle (p. 4). Par ailleurs, l’articulation du numérique et de la pédagogie, nous laisse penser que ce développement professionnel peut améliorer les pratiques individuelles (Gueudet & Trouche, 2009) ou collectives (Marcel, 2005, p. 587). Toutefois, peu de recherches empiriques se sont attachées à analyser ce mode de développement et la manière par laquelle les pratiques peuvent interférer avec d’autres facteurs cognitifs, sociaux et culturels (Brotcorne & Valenduc, 2009) car au-delà de l’accès physique aux TIC les usages restent très variés. En effet, alors que certains enseignants sont réticents à l’usage des instruments numériques, d’autres acceptent de les intégrer dans leurs pratiques pédagogiques et d’autres encore militent pour un usage généralisé du numérique. Toutefois, il nous semble important de dépasser l’opposition, souvent soulignée, entre technophobie et technophilie. En tant que processus complexe l’intégration des technologies nous semble intéressante à étudier sous l’angle de la médiation instrumentale. C’est cette approche que nous allons expérimenter. Méthodologie La mise en place, dans plusieurs universités, d’objectifs de professionnalisation dans une perspective de formation tout au long de la carrière (Brodeur, Deaudelin, & Bru, 2005, p. 5), nous a donné l’occasion dans le cadre de notre thèse d’observer les pratiques des enseignants du supérieur et de recueillir leur point de vue sur le développement du numérique. Pour analyser le niveau de développement professionnel lié à l’usage du numérique, cette étude a donc évalué 3 niveaux de compétences : instrumentales, informationnelles et stratégiques (Steyaert & Haan, 2001 ; Valenduc & Vendramin, 2006). Cette recherche repose sur une approche clinique et s’est déroulée en deux phases : d’une part, une partie exploratoire est basée sur une observation de sept enseignants durant une période d’un an. Et d’autre part une série d’entretiens informels et semi-directifs ont été menés à partir de nos premiers questionnements : comment se construisent les compétences relative au numérique ? 17 Dans quelle situation pouvons-nous parler de développement professionnel chez un enseignant du supérieur et quels en sont les indicateurs? Cet hypothétique développement est-il global ou en rapport avec un type de compétence ou connaissance spécifique? Un modèle théorique de référence : TPACK Les résultats présentés seront rapprochés de postures particulières issues du modèle TPACK (Technological Pedagogical and Contents Knowledge de Mishra & Koehler, 2006) qui permet d’étudier dans leur contexte des pratiques pédagogiques intégrant les TIC (Vekout, 2013). Avec ses trois dimensions: connaissance des contenus (CK), connaissance de la pédagogie (PK) et connaissance de la technologie (TK), (cf. Figure 1), ce modèle permet d'évaluer le développement professionnel des enseignants sur la base du degré d'usage, du degré de changement dans le processus de transmission des connaissances et des motivations... Premiers résultats Les premiers résultats montrent d’une part, que les différences d’usage et celles accordées en matière de place aux dispositifs technico-pédagogiques ont une incidence sur la pratique pédagogique et le rééquilibrage du modèle TPACK. D’autre part, il est constaté que la relation entre usage et développement professionnel reste faible et que les processus différent selon les enseignants et leur engagement. Références Brodeur, M., Deaudelin, C., & Bru, M. (2005). Introduction: le développement professionnel des enseignants: apprendre à enseigner pour soutenir l’apprentissage des élèves. Revue Des Sciences de L’éducation, 31(1), 5–14. Brotcorne, P., & Valenduc, G. (2009). Les compétences numériques et les inégalités dans les usages d’internet. Les Cahiers du numérique, 5(1), 45–68. Day, C. (1999). Developing Teachers: The Challenges of Lifelong Learning. Psychology Press. Gueudet, G., & Trouche, L. (2009). Conceptions et usages de ressources pour et par les professeurs, développement associatif et développement professionnel. Dossiers de l’ingénierie éducative, 65, 76–80. Marcel, J.-F. (2005). Le développement professionnel au travers de l’évolution des pratiques enseignantes. Revue Des Sciences de L’éducation, 31(3), 585–606. Mishra, P., & Koehler, M. (2006). Technological pedagogical content knowledge: A framework for teacher knowledge. The Teachers College Record, 108(6), 1017–1054. Proulx, S. (2005). Penser les usages des technologies de l’information et de la communication aujourd’hui: enjeux–modèles–tendances. Lise Vieira et Nathalie Pinède, Éds, Enjeux et Usages Des TIC: Aspects Sociaux et Culturels, Tome, 1, 7–20. Steyaert, J., & Haan, J. de. (2001). Geleidelijk digitaal, een nuchtere kijk op sociale gevolgen van ict. Valenduc, G., & Vendramin, P. (2006). Fractures numériques, inégalités sociales et processus d’appropriation des innovations. Terminal. 18 CONVERGENCES ET DIVERGENCES DANS LE DISCOURS DES FORMATEURS DE STAGIAIRES EN ENSEIGNEMENT AU SECONDAIRE (ID 4) GOUIN, Josée-Anne, Université Laval (CA) HAMEL, Christine, Université Laval (CA) Cadre conceptuel et problématisation La supervision en formation pratique : le modèle de la triade Au Québec, l’accompagnement des futurs enseignants dans la formation pratique veut favoriser le développement de leur professionnalisation par la mobilisation de douze compétences professionnelles. Pour les accompagner dans ce processus de professionnalisation, les universités offrent aux étudiants en enseignement primaire et secondaire d’être encadrés par deux formateurs ; un enseignant associé qui lui permettra de s’intégrer à sa classe et un superviseur universitaire qui fera le pont entre les exigences du baccalauréat et la classe. S’appuyant sur les travaux du Holmes Group (1990) la triade est une stratégie de supervision des stagiaires en enseignement très répandue dans les universités québécoises (Boutet & Rousseau, 2002). Cette équipe interagit à différents moments d’un stage : pour échanger sur les observations après une séance d’enseignement effectuée par le stagiaire, lors des évaluations (formatives ou sommatives) de ce dernier ou encore, lorsqu’une situation particulière survient en cours d’apprentissage. Plusieurs raisons ont motivé les Facultés des sciences de l’éducation à adopter ce modèle de supervision. D’abord, la triade favorise le développement de la pratique réflexive chez le stagiaire lorsque « la proximité de l’enseignant associé l’aide à construire quotidiennement son savoir-enseigner alors que la distance crée par le superviseur permet d’analyser, voire dépasser, la situation expérimentée pour éviter la fermeture prématurée sur une situation ou un modèle quelconque d’enseignement. » (Boutet et Rousseau, 2002, p. 83). Des auteurs comme Donnay et Charlier (2006) vont parler de compagnonnage réflexif pour décrire le rôle de ces deux formateurs qui mobiliseront des compétences (Portelance et al. 2008) visant l’accompagnement des stagiaires. Également, les stagiaires qui profitent d’un accompagnement en triade bénéficient de la complémentarité des rôles de ses formateurs. Selon plusieurs auteurs (Desbiens, Spallanzani, & Borges, 2013; Gervais, 1997; Portelance & Tremblay, 2006) les formateurs de stagiaires ne partagent pas une vision commune de leur rôle. Pour Boutet et Pharand (2008), certains enseignants associés, qui sont jugés comme des modèles dans leur milieu de travail, demanderont à leur stagiaire de les copier afin de reproduire « un modèle d’enseignant qui fonctionne ». Les enseignants associés servent donc d’exemple et se dissocient de leur rôle de guide, posture nécessaire dans un processus d’accompagnement professionnel. D’après Koskela et Ganser (1995), 60 % des enseignants associés ne démontrent pas une compréhension précise de leur rôle auprès des stagiaires. Du côté des superviseurs universitaires, leur rôle n’est pas non plus clairement défini ; il le devient lorsque des opportunités d’échanges soutenus et structurés sont organisées entre eux, ce qui rejoint la suggestion de Gervais & Molina (2008) : celle de mettre en place des communautés de pratique avec les formateurs. Portelance et al. (2008) soutiennent que le partenariat entre superviseurs et enseignants est essentiel pour une vision claire des rôles de chacun afin d’assurer la complémentarité entre les deux 19 formateurs. Gervais (2008) parle d’un « partenariat de réciprocité ». Ce partenariat permettrait d’assurer une conformité dans les exigences de stage. En l’absence d’un partenariat, la non-cohésion entre les exigences des formateurs peut apporter confusion et difficulté pour le développement professionnel et l'évaluation des stagiaires. Depuis 2001, des rencontres avec les formateurs de stagiaires dans les universités québécoises ont été prévues afin d’assurer une meilleure cohésion dans la vision de la formation à l’enseignement autour de la professionnalisation de l’acte d’enseigner (Tardif & Desbiens, 2014). Dans le cadre d’une étude doctorale, nous avons réuni des formateurs de stagiaires afin de discuter de la mobilisation et de l’évaluation formative de la compétence Concevoir des situationsapprentissage pour les contenus à faire apprendre, et ce, en fonction des élèves concernés et du développement des compétences visées dans les programmes de formation (MEQ, 2001) ; en tant que co-formateurs, partagent-ils la même représentation de cette compétence qui doit être mobilisée par leurs stagiaires ? Nous nous sommes intéressés aux divergences et aux convergences à l’intérieur de leurs échanges afin de constater la cohésion ou non de leurs pratiques et de leurs représentations. Démarches Pour cette étude, nous avons choisi d’étudier les trois premières rencontres menant à l’élaboration d’une trajectoire développementale (Tardif, 2006) pour la compétence ciblée. Des verbatim de ces rencontres ont été réalisés afin de permettre l’analyse des discussions entre les membres. Nous nous sommes intéressés aux interactions entre les deux groupes de formateurs (entre superviseurs et enseignants associés) afin de nommer la négociation de sens qu’ils entretiennent tout au long de leurs discussions selon les zones définies par Morissette (2010). Sept formateurs de stagiaires ont accepté de participer de manière volontaire au projet de recherche. Quatre superviseurs universitaires et trois enseignants associés rattachés à la même université québécoise se sont rencontrés pendant cinq rencontres entre novembre 2014 et mars 2015. L’analyse thématique des données Nous avons débuté l’analyse thématique des discussions par une lecture approfondie et répétée des verbatim afin de recenser les convergences et les divergences dans les interactions entre les participants (Paillé et Mucchielli, 2010). Ces convergences et ces divergences étaient les deux thèmes centraux de l’analyse qui ont émergé pendant les rencontres. Nous avons par la suite élaboré un tableau à partir des idées principales qui émergeaient des interactions entre les participants (Miles & Huberman, 2003). En choisissant l’élaboration d’une carte conceptuelle, nous avons voulu éviter de morceler à outrance les interactions des participants afin de ne pas perdre l’essence des idées partagées dans le but de faire émerger les convergences et les divergences (Miles & Huberman, 2003). À ce propos, Miles et Huberman (2003) mentionnent que l’exploitation d’une carte conceptuelle favorise la mise à plat « d’une grande quantité d’informations immédiatement analysable » (p.179). Parallèlement, nous avons également relu nos journaux de bord pour maximiser l’émergence de la négociation de sens. Les résultats seront présentés lors de cette communication. Ils présentent les convergences et les divergences dans le discours des 20 formateurs de stagiaires par rapport au développement et à l'évaluation formative d'une compétence professionnelle ciblée. Références Boutet, M. & Pharand, J. (2008). L’accompagnement concerté des stagiaires en enseignement Québec, Québec : Presses de l'Université du Québec. 188 p. Boutet, M & Rousseau, N. (2002). Les enjeux de la supervision pédagogique des stages. SainteFoy. Desbiens, J.-F., Spallanzani, C. & Borges, C. (2013). Quand le stage en enseignement déraille. Québec, Québec : Presses de l’Université du Québec. 205 p. Desgagné, S. (1997). Le concept de recherche collaborative : l’idée d’un rapprochement entre chercheurs universitaires et praticiens enseignants. Revue Des Sciences de L’éducation, 23(2), 371. doi:10.7202/031921ar Donnay, J., & Charlier, É. (2006). Apprendre par l’analyse de pratiques: Initiation au compagnonnage réflexif (Vol. 95, p. 189). Presses universitaires de Namur. Retrieved from http://books.google.com/books?id=mXbWvj95qrMC&pgis=1 Gervais, C. (1997). Spécificité du rôle de superviseur universitaire en stage. In Continuités et ruptures dans la formation des maitres au Québec (pp. 68–89). Gervais, C. (2008). Pour une formation des stagiaires en concertation : le rôle des superviseurs. In L’accompagnement concerté des stagiaires en enseignement. Québec, Québec : Presses de l'Université du Québec. pp. 91–108. Gervais, C., & Molina, E. (2008). Les stages en formation à l’enseignement: pratiques et perspectives théoriques. Québec, Québec : Presses de l’Université du Québec. 253 p. Holmes Group. (1990). Tomorrow’s schools: A report of the Holmes Group. Koskela, R., Ganser, T. (1995) Exploring the role of co-operating teachers in relationship to personal career development. Paper presented at the Annual Meeting of the Association of Teacher Educators, Detroit, MI, February. Miles, M. & Huberman, M. (2003). Analyse des données qualitatives. 2ème éd. Paris : De Boeck. Ministère de l’Éducation du Québec. (2001). La formation à l’enseignement – Les orientations – Les compétences professionnelles. (Gouverneme). Morrissette, J. (2010). Une perspective interactionniste: un autre point de vue sur l’évaluation des apprentissages. SociologieS, 21p. [En ligne] http://sociologies.revues.org/index3028.html Paillé, P. & Mucchielli, A. (2008). L’analyse qualitative en sciences humaines et sociales. 2ème éd. Paris : Armand Colin. Portelance, L & Tremblay, F. (2006). Les responsabilités complémentaires de l’enseignant associé et du stagiaire au regard de la formation à l’enseignement (pp. 41–68). Portelance, L. Gervais, C. Lessard, M. & Beaulieu, P. (2008). La formation des enseignants associés et des superviseurs universitaires. Tardif, J. (2006). L’évaluation des compétences : de la nécessité de documenter un parcours de formation. Université de Sherbrooke. 21 Tardif, M. et Desbiens, J.-F. (2014). La vogue des compétences dans la formation des enseignants. (Presses de l’Université Laval, Ed.) (p. 265). Wenger, E. (2005). la théorie des communautés de pratique. 22 PROFESSIONNALITÉ DES FUTURS INFIRMIERS : LA COMPÉTENCE ANALYSÉE COMME INTERACTIVITÉ (ID 5) PLENCHETTE, Marcel, CRF CNAM Paris (FR) PATHE, Myriame, IFSI MGEN La Verrière (FR) BAUDIER, Céline, IFSI MGEN La Verrière (FR) Cette communication vise à rendre compte du travail de recherche-collaborative effectué par un groupe pluri-professionnel composé de cadres de santé formateurs à l’Institut de Formation en Soins Infirmiers du Centre Hospitalier Marcel Rivière MGEN La Verrière (78), d’un cadre de santé kinésithérapeute, d’un infirmier-tuteur du même établissement et d’un praticien-chercheur en formation des adultes membre du CRF (Centre de Recherche sur la Formation) du CNAM à Paris. L’ingénierie de la formation infirmière évolue en septembre 2009. Ce référentiel de formation en soins infirmiers (Annexe II de l’arrêté du 31 juillet 2009) n’échappe pas à l’approche par les compétences déployée dans la plupart des référentiels depuis la création en 2002 du Répertoire National des Certifications Professionnelles (RNCP). La notion de compétence y est fortement mobilisée, portant avec elle la polysémie attribuée au concept. Notre groupe de travail inscrit dans une recherche collaborative (Vinatier, 2014) cherche à conceptualiser un agir évaluatif en mutation. Dès lors comment reconnaître la professionnalité émergente chez les étudiants (Jorro & De Ketele, 2011), comment sortir des notions de validation des compétences pour aller vers situer le niveau de développement de la compétence ? Identifier les indicateurs d’une professionnalité en construction ? Nous avons choisi d’étudier la compétence « Communiquer et conduire une relation dans un contexte de soins ». Cette compétence, la 6e dans la liste du référentiel de compétences en soins infirmiers1, subit de grandes variations en matière d’évaluation. Parfois considérée comme des rapports sociaux fonctionnels, parfois comme un véritable savoir-agir en contexte professionnel. Cette compétence nommée « compétence relationnelle » par les professionnels de terrains n’est pas spécifique aux infirmiers, elle est également présente dans de nombreux référentiels de formation paramédicale. Son caractère transdisciplinaire et la difficulté de la saisir par les tuteurs-infirmiers des terrains de stages des étudiants constituent une problématique évaluative attachée au champ de pratique du groupe professionnel et nous ont conduits à l’étudier en premier lieu. Le recours à la notion de compétence, à la fois omniprésente et mal définie conceptuellement, nous a conduit à développer cette recherche. « Pour certains auteurs, une théorie des compétences reste à construire en tant que théorie des apprentissages complexes » (Lefeuvre, 2014). Notre démarche inscrite dans une épistémologie de type phénoménologique, s’appuie sur les concepts de développement professionnel (Jorro, 2014), de professionnalité (Jorro & De Ketele, 2011), de compétence (Tardif, 2006), d’activité (Barbier, 2011) et d’activité critique (Pastré, 2011). 1 Annexe II de l’arrêté du 31 juillet 2009 relatif au diplôme d’Etat d’infirmier 23 Nos objectifs consistent à : 1. Identifier des indicateurs de développement de la compétence répartis sur une échelle de développement (Benner, 1984) 2. Concevoir un nouvel outil d’évaluation qui participe à la fois, à la reconnaissance d’une professionnalité émergente chez les futurs professionnels et qui rende compte de la dynamique d’une competence 3. Questionner notre base conceptuelle de départ Notre protocole de recueil de données s’articule autour de 3 temps : L’observation filmée de la mobilisation de la compétence 6 du référentiel de compétences en soins, dans 4 familles de situations professionnelles prévalentes : Choix des situations au regard de leur pertinence dans la déclinaison de la compétence 6 autour de la thématique de la négociation lors de soins. 4 secteurs d’activité ont été retenus : la gériatrie, la chirurgie, la pédiatrie et la santé mentale. Recrutement des acteurs effectués sur le mode du volontariat : 4 patients standardisés ont joué une saynète, 18 étudiants de 1ere, 2ème ou 3ème années et 12 acteurs infirmiers qui ont joué leur propre rôle Enregistrement vidéo des 36 simulations comme trace d’activité Autoconfrontation simple filmée avec retranscriptions écrites pour l’analyse collective et systématique par le groupe puis identification de traces d’activités significatives de la mobilisation de la compétence. En conclusion, la compétence apparait comme une combinaison articulée de 7 activités mobilisées simultanément. 24 Ce résultat nous conduit à envisager le développement d’un outil d’évaluation que nous soumettons à une analyse critique. Nous avons testé en situation prévalente de stage auprès d’un étudiant masseur-kinésithérapeute de première année, auprès d’un professionnel infirmier de moins de 5 ans de diplôme et auprès d’un groupe de 5 étudiants infirmier de troisième année dans le cadre de l’Unité d’Enseignement « soins relationnels ». Le fait de chercher à situer le niveau de développement de la compétence du futur professionnel et de tenter de visualiser la dynamique qui fait bouger les frontières de celle-ci plutôt que chercher à valider un acquis modifie les postures des évaluateurs. Nous cherchons à rendre lisible la mobilisation des 7 activités et leur dynamique par la représentation d’une courbe qui situe le niveau de développement de la compétence. Cette courbe change selon la situation dans laquelle s’effectue l’observation. Nous parlerons d’évaluation uniquement dans un rapport dialogique où il y a mis en récit dans une interactivité : celle du sujet-évaluant et celle du sujet-évalué. Cette interaction s’effectue avec une posture de reconnaissance. Reconnaissance par soi et reconnaissance par les autres (Ricoeur, 2004) Le caractère émergent de la professionnalité et sa reconnaissance bouscule les positions de départ. Nous espérons que ce changement de posture puisse favoriser le développement d’environnements capacitants (Fernagu-Oudet, 2012) Ces premiers résultats nous semblent pouvoir participer au questionnement relatif à l’agirévaluatif des professionnels infirmiers, tuteurs et formateurs. 25 Références Barbier, J.-M. (2011). Vocabulaire d'analyse des activités. Paris: PUF. Benner, P. (1984). From Novice to Expert : Excellence and Power in Clinical Nursing Practice. New Jersey : Prentice Hall Health. Clot, Y., Faïta, D., Fernadez, G., & Scheller, L. (2001). Les entretiens en autoconfrontation croisée : une méthode en clinique de l’activité. Éducation permanente, 146, pp. 17-25. Fernagu-Oudet, S. (2012). Favoriser un environnement "capacitant" dans les organisations. Dans E. Bourgeois, & M. Durand, Apprendre au travail (pp. 201-213). Paris: PUF. Jorro, A. (2014). Développement professionnel. Dans A. Jorro, Dictionnaire des concepts de la professionnalisation (pp. 75-79). Louvain-la-Neuve: De Boeck Supérieur. Jorro, A. (2015). De l'évaluation à la reconnaissance professionnelle en formation. Revue française de pédagogie n°190. Jorro, A., & De Ketele, J.-M. (2011). La professionnalité émergente : quelle reconnaissance ? Bruxelles: De Boeck. Lefeuvre, G. (2014). Compétence professionnelle. Dans A. Jorro, Dictionnaire des concepts de la professionnalisation (pp. 65-69). Louvain-la-Neuve: De Boeck Supérieur. Pastré, P. (2011). La didactique professionnelle: approche anthropologique du développement chez les adultes. Paris: PUF. Ricœur, P. (2004). Parcours de la reconnaissance. Paris: Gallimard. Tardif, J. (2006). L'évaluation des compétences. Montréal: Chenelière Education. Vermersch, P. (2003). L'entretien d'explicitation. Paris: ESF. Vinatier, I. (2014). Recherches collaboratives. Dans A. (. Jorro, Dictionnaire des concepts de la professionnalisation (pp. 249-252). Louvain-la-Neuve: De Boeck Supérieur. Annexe I Membres du groupe de recherche Marcel Plenchette Praticien chercheur Doctorant au CRF Laboratoire EA1410 CNAM Paris marcelplenchette@me.com Myriame Pathé Cadre de santé formateur cpathe@free.fr Claude Baudier Cadre de santé formateur cbaudier@mgen. fr Nathalie Pérault Cadre de santé formateur nperault@mgen. fr Michèle Montéro Cadre de santé formateur mmontero@mgen. fr Joëlle lebreton Cadre de santé formateur jlebreton@mgen. fr Céline D’Amico Cadre Rééducateur cdamico@mgnen.fr Bertrand Besnard Infirmier-tuteur bbesnard@mgen.fr 26 CURRÍCULO ESCOLAR E DESIGUALDADE: OPORTUNIDADES DE APRENDIZADO SEGUNDO A AVALIAÇÃO NACIONAL “PROVA BRASIL” (ID 7) ALVES, Maria Teresa Gonzaga, Universidade Federal de Minas Gerais (UFMG) (BR) XAVIER, Flavia Pereira, Universidade Federal de Minas Gerais (UFMG) (BR) RESUMO A definição sobre o que se deve ensinar aos alunos é uma tarefa central para as escolas. No Brasil, os Parâmetros Curriculares Nacionais produzidos na década de 1990, mesmo não sendo obrigatório, sempre exerceram forte poder indutor sobre os currículos escolares (Barretto, 2013). A partir de 2007, com a divulgação do Índice de Desenvolvimento da Educação Básica (Ideb) – uma medida composta do desempenho médio em testes padronizados e taxas de aprovação de cada escola – muitos sistemas de ensino, com vistas a melhorar seus resultados, adotaram currículos próprios com especificação dos conhecimentos esperados para cada etapa escolar. O Plano Nacional da Educação para o decênio 2014-2024 fortaleceu esta tendência ao incluir entre as suas estratégias “pactuar entre União, Estados, Distrito Federal e Municípios [...] a implantação dos direitos e objetivos de aprendizagem e desenvolvimento que configurarão a base nacional comum curricular do ensino fundamental” (Brasil, 2014). O currículo básico deverá ditar 60% do conteúdo ensinado na sala de aula. O restante ficará a critérios das redes de ensino e escolas. Por meio da imprensa, é possível apreender que há duas posições em debate sobre esse tema. De um lado, aqueles que defendem que a especificação dos currículos pode ser um mecanismo para reduzir desigualdades. De outro, os que se preocupam com o estreitamento dos currículos aos conteúdos das avaliações externas. Nas pesquisas acadêmicas, a temática do currículo é também controversa visto que envolve diferentes posições ideológicas, filosóficas, pedagógicas e políticas (Duru-Bellat, 2013; Santos, 2007). Neste artigo, a análise do tema se centra na perspectiva que o vincula à discussão sobre justiça, equidade e desigualdade em educação conforme discutido por Dubet (2004) e Young (2011). Dubet argumenta que a noção de justiça em educação não passaria pela eliminação das desigualdades, mas pela garantia de que os alunos com pior desempenho e menos favorecidos adquiram competências consideradas elementares. Young reconhece a centralidade da escola para promover a aquisição do conhecimento, defende as disciplinas escolares e considera simplista a ideia de que o papel da escola e do currículo é apenas manter desigualdades. Nesse sentido, o objetivo deste artigo é analisar a associação entre o nível de desempenho em leitura e matemática e o cumprimento do currículo pela escola. Os dados foram obtidos na Prova Brasil de 2007, 2009, 2011 e 2013, junto aos alunos do 5º e 9º ano do ensino fundamental em escolas públicas que realizaram testes de língua portuguesa e matemática e responderam a um questionário contextual. Professores e diretores também responderam a questionários. As quatro edições do teste juntas possuem dados de 68,2 mil escolas e 16,271 milhões de alunos. Na primeira etapa das análises, a proficiência dos alunos nos testes, originalmente numa escala contínua, foi categorizada em três níveis: abaixo do básico, básico e adequado. Como a variável resposta é categórica, foram ajustados modelos de regressão hierárquica multinomial, cuja categoria 27 de referência é o nível básico. As variáveis de controle foram sexo, cor, adequação idade-série, nível socioeconômico do aluno e a média do nível socioeconômico da escola, para controle do efeito dos pares. Os resíduos do modelo correspondem, estatisticamente, aos efeitos das escolas, isto é, ao que não pode ser explicado pelas variáveis de controle. O “efeito escola” é um conceito empírico utilizado para medir a capacidade das escolas influenciarem o desempenho de seus alunos. Para estimá-lo, devem-se utilizar modelos estatísticos adequados para controlar os fatores extraescolares associadas à origem social e trajetória escolar dos alunos, mas que influenciam seus resultados (Willms, 1992). Foram estimados dois tipos de efeitos das escolas: o efeito tipo 1, se refere às chances dos alunos estarem no nível de desempenho abaixo do básico, em vez de estarem no nível básico; e o efeito tipo 2, corresponde às chances dos alunos estarem no nível adequado em vez de estarem no nível básico. Como a situação do efeito 1 não é desejável (chance do aluno estar no nível abaixo do básico), o sinal desse efeito foi invertido e o resultado se refere à chance do aluno estar no nível básico. Em seguida, variáveis do questionário do professor referentes à adequação e ao cumprimento do currículo foram utilizadas para se construir o fator currículo escolar com uma técnica estatística multivariada que possibilitou a agregação dos itens em uma única dimensão latente. Finalmente, o fator currículo escolar ordenado em quartis foi associado aos efeitos tipo 1 e tipo 2. Adicionalmente, foi realizada uma análise da relação entre os efeitos das escolas tipo 1 e tipo 2 e o fator currículo, por unidades da federação, para descrever diferenças regionais. Os resultados mostram que há um claro crescimento do efeito tipo 1 e tipo 2 quanto maior o valor do fator currículo, especialmente em relação ao efeito tipo 2. Isto significa que o currículo está associado ao aumento das chances do aluno estar nos níveis de proficiência mais altos, principalmente de estar no nível de proficiência adequado, o que é desejo numa situação em que o aprendizado está sendo bem sucedido, controlando-se pelo efeito da origem social. Na análise por unidades da federação, observou-se que aquelas com maior a média do fator currículo têm também menores efeitos tipo 1 e maiores do tipo 2, com destaque para Minas Gerais. Porém há estados com valores muito baixos tanto para o fator currículo, quanto para as médias os efeitos de suas escolas. Minas Gerais é um dos estados pioneiros na definição de um currículo básico. O resultado sugere que isso pode ter contribuído para aumentar os efeitos positivos de suas escolas. Entretanto, devido as diferentes situações e temporalidades em cada estado em relação à atual discussão sobre o currículo básico, é preciso estudos adicionais para propor generalizações. Os resultados desta pesquisa fornecem evidências de que uma base curricular constitui-se elemento de justiça em educação, ao reduzir as desigualdades. Pesquisas qualitativas estão sendo realizadas em Minas Gerais e no estado do Maranhão, estados que se destacam pelas médias dos efeitos das escolas mais altas e mais baixas, respectivamente, a fim de avançar na análise sobre as práticas curriculares nas escolas. Referências Barretto,, E. S. As novas relações entre o currículo e a avaliação. Revista Retratos da Escola, v.7, n.12, p.133-144, 2013. Brasil (2014) Lei No 13.005, de 25 de junho de 2014. Aprova o Plano Nacional de Educação - PNE e dá outras providências. Brasília. 28 Dubet, F. O que é uma escola justa? Cadernos de Pesquisa, v.34, p.539-555, 2004. Duru-Bellat, M. Conhecimentos ou competências: o que transmitir? Cadernos Cenpec – Pesquisa e Ação Social, vol. 3, n. 2, p. 251-258, 2013. 29 LA CO-CONSTRUCTION DE L’ÉVALUATION OU LE TUTORAT COMME MONDE COMMUN (ID 10) CHILOTTI, Pasquale (FR) RÉSUMÉ L’entretien d’évaluation de fin de stage : quand la collaboration est prescrite Il convient de présenter brièvement la réforme française de 2009 des études en soins infirmiers. Ce que nous pouvons noter, c’est le passage d’une formation articulée en modules théoriques que nous pourrions qualifier de disciplinaires à un enseignement construit à partir de dix compétences à acquérir. Les stages ont une place prépondérante, puisqu’ils sont les lieux où l’étudiant pourra non seulement mobiliser des connaissances acquises, mais aussi construire des savoirs et acquérir des compétences à visée professionnelle. Il est intéressant de regarder comment le tuteur sollicitera l’étudiant pour adopter un regard critique sur sa pratique, sur son expérience clinique afin de lui donner sens au regard de cette professionnalité émergente et surtout comment l’apprenant se saisit de la fonction du tuteur pour développer sa capacité réflexive, pour réajuster son auto-évaluation en tenant compte des remarques du tuteur. De l’hétéro-évaluation à la coévaluation : 8 dispositions différentes Dans cette seconde partie, nous développerons chacune des 8 dispositions suivantes : • Hétéro-évaluation globale • Hétéro-évaluation argumentée avec les critères du portfolio Que ce soit pour l’hétéro-évaluation globale ou pour l’hétéro-évaluation argumentée, le tuteur se positionne d’emblée en supériorité dans l’échange. Il ouvre le dialogue et dirige les interactions. • Hétéro-évaluation mais avec souci de l’adhésion de l’ESI Cette configuration se rapproche de la précédente dans la mesure où le tuteur utilise le portfolio. Par contre, le tuteur a le souci d’expliquer ce qu’il évalue afin d’être certain que l’étudiant partage son appréciation et demande l’adhésion de celui-ci d’un « d’accord ? ». • Auto-évaluation globale de type « je pense que c’est acquis » Les étudiants utilisent des formules générales de type « C’est complètement, moi, moi je pense que j’ai beaucoup pratiqué ça, en tout cas ». • Construction assistée de l’argumentation Cette configuration relève de deux types de situations : - Certains tuteurs explicitent leur façon d’évaluer, leurs prises d’indices. L’étudiant peut ainsi comprendre comment argumenter. - Des professionnels vont au-delà en aidant l’apprenant à structurer son argumentation. • Contestation du tuteur de la contre-argumentation proposée par l’étudiant Cette configuration s’observe dans quatre types de situations : 30 1) Selon la formulation utilisée par l’étudiant, sans éléments de preuve, ou utilisant des termes qui peuvent agir comme des FTas (Face Threateninng Acts) en termes de contenu des échanges mais également de la manière dont elle les formule, du ton employé et du mimogestuel qui accompagne ses dires. Mais cette perte de face peut-être due au fait que le tuteur se sente pris à défaut et du coup n’entende pas les arguments de l’étudiant. 2) La perte de face est à relier alors à un non partage du monde du tutorat qui est le second motif de refus de la contre-proposition de l’étudiante. 3) Le non partage à travers les dire de l’étudiant du monde du soin explique le refus par le tuteur d’adhérer à la contre-proposition formulée. 4) Enfin, la contestation du tuteur de la contre-argumentation peut-être due à la difficulté du tuteur à évaluer du fait de sa non maîtrise des termes du portfolio. • Auto-évaluation argumentée par le portfolio validée par le tuteur C’est la configuration où l’étudiant se saisit du portfolio comme d’un instrument pour développer sa réflexivité. De plus, l’étudiant doit avoir la capacité de se saisir des questions du tuteur pour compléter son argumentation, la préciser, l’affiner. • Contre-argumentation de l’hétéro-évaluation avec adhésion du tuteur Au-delà du partage d’un monde commun du soin, l’étudiant et le tuteur doivent avoir coconstruit un monde commun du tutorat dans lequel la contre-argumentation est possible voire attendue par le tuteur. Le tutorat comme monde commun Béguin (2009), en référence à Prieto (1975) définit dans un premier temps le monde commun « comme une saisie par le sujet, de certaines propriétés du réel, dans le cadre de son activité historiquement et socialement située ». A priori, l’apprenant et l’infirmier tuteur n’ont pas la même perception de la situation d’évaluation de par leur posture différente dans cet espace, de leurs expériences cliniques inégales, de leur niveau d’appropriation du portfolio, du langage professionnel, des concepts scientifiques de référence pour la profession, des valeurs du métier… La construction d’un monde commun nécessite de penser le rapport de l’autre dans la construction de l’identité (Ricœur, 1990). L’identité s’élabore dans une dialectique entre l’idem et l’ipsé, par une mise en récit, véritable reconstitution réflexive du soi dans un rapport à l’autre. Nous pouvons nous demander si l’étudiant dans la construction du monde commun, se revendique dans les actions qu’il a effectuées en se soumettant au jugement de l’autre, le tuteur? De plus, l’étudiant et le tuteur peuvent également construire un monde commun du tutorat, non pas seulement en tant que représentation partagée de ce que devrait être l’espace tutoral mais comme une création en situation pour orienter leur action. Il va donc dépendre des indices prélevés in situ par chacun des acteurs afin de choisir les règles d’action mobilisées afin que cette action soit pertinente vis-à-vis des objectifs poursuivis : la validation du niveau de compétence de l’étudiant. L’analyse des verbatim nous a permis de mettre en exergue en quoi la non co-construction des mondes du soin et du tutorat nuisent à l’activité d’évaluation. C’est ce que nous allons développer à présent grâce à une étudiante, Zoé. 31 Discussion Ce travail d’analyse a été mené pour les dix étudiants de la cohorte. Nous avons ainsi identifié la structure conceptuelle de la classe de situation « entretien d’évaluation de fin de stage » et mis en évidence les différents modèles opératifs. Précisons que selon le référentiel, le degré de complexité de la tâche productive ne varie pas pendant les trois ans. Pour autant nous avons appris grâce à l’analyse des verbatim que de semestre en semestre, la nature de l’évaluation se déplace et se transforme. Dans les semestres 3 et 4, il y a plus de place au contrôle des connaissances et à la transmission et aux semestres 5 et 6 les tuteurs sont plus dans la reconnaissance de la professionnalité. 32 UNE RECHERCHE COLLABORATIVE SUR LES PRATIQUES D’ÉVALUATION AU PRÉSCOLAIRE 5 ANS : QUAND LES BESOINS DE DÉVELOPPEMENT PROFESSIONNEL DES ENSEIGNANTES DONNENT LE TON (ID 11) HÉBERT, Marie-Hélène, Université du Québec à Rimouski (CA) BOUDREAU, Monica, Université du Québec à Rimouski (CA) MÉLANÇON, Julie, Université du Québec à Rimouski (CA) BOILY, Francine, Université du Québec à Rimouski (CA) FRENETTE, Eric, Université Laval (CA) RÉSUMÉ Au Québec, le programme d’éducation préscolaire (MELS, 2006) vise le développement de six compétences chez les enfants. À l’obligation de les développer s’ajoute, par le Régime pédagogique (MELS, 2014a), celle d’en certifier le développement. Ce qui rend le choix des dispositifs d’évaluation fondamental, parce qu’ils permettent le recueil d’informations sur lesquelles s’appuieront les enseignantes pour juger du niveau de développement des compétences (MEQ, 2002). Placer les enfants dans des dispositifs pour qu’ils manifestent leurs compétences devient l’objectif central du point de vue de l’évaluation (Scallon, 2004) et soulève une question majeure : avec quelle efficacité les enseignantes procèdent-elles ? Au préscolaire, le choix des dispositifs d’évaluation pour certifier du développement des compétences revient aux enseignantes (MELS, 2014b). Afin de s’outiller, elles peuvent, à l’indication du Ministère (MEQ, 2002), les élaborer seules ou en collaboration avec des collègues, mais aussi les tirer de matériels pédagogiques (Roy, Hébert, & Boudreau, 2015). Il est à noter qu’il n’y a ni dans le programme d’éducation préscolaire (MELS, 2006), ni dans le Cadre d’évaluation des apprentissages (MELS, 2011), d’exemples pour aider les enseignantes à les produire. À l’éducation préscolaire, qui joue un puissant rôle de prévention des difficultés scolaires ultérieures, se servir de dispositifs d’évaluation aux qualités suffisantes apparaît être un enjeu de taille lorsqu’il s’agit de reconnaître chez les enfants le développement de leurs compétences. Une recherche collaborative, pilotée par une équipe université/commission scolaire, vise justement à apporter une contribution à cet égard. Dans une perspective de développement professionnel, elle s’articule autour d’objectifs fondés sur les besoins en évaluation des enseignantes du préscolaire d’une commission scolaire québécoise : a) un premier, d’ordre général, centré sur l’acquisition par les enseignantes de savoirs stratégiques liés à l’évaluation et b) un second, plus spécifique, centré sur la construction d’une banque de dispositifs pour évaluer les compétences du programme. La présente communication traitera de l’analyse des besoins des enseignantes qui a permis de dégager les actions prioritaires à mettre en place pour leur développement professionnel en évaluation et ainsi orienter la présente recherche collaborative. Elle poursuivra par ailleurs l’objectif d’inspirer d’autres recherches du même type. 33 À des fins de diagnostic, un questionnaire a été administré en ligne à l’ensemble des enseignantes du préscolaire de la commission scolaire (n = 85). Il comportait, en plus des questions de nature sociodémographique, les deux questions d’intérêt suivantes : – Comment qualifieriez-vous votre capacité à évaluer les compétences du programme d’éducation préscolaire chez les enfants ? – Quel(s) thème(s) correspond(ent) à vos besoins de formation dans le domaine de l’évaluation au préscolaire ? Trente-six enseignantes parmi les 85 sollicitées ont rempli le questionnaire (taux de réponse = 42,4 %). Elles détiennent en moyenne 20,14 années d’expérience en enseignement (ÉT = 7,40), dont 9,56 au préscolaire (ÉT = 7,65). On dénombre en moyenne 15,56 enfants dans les classes du préscolaire où elles enseignent (ÉT = 2,71) et 2,56 classes par école (ÉT = 1,52). En ce qui concerne leur capacité à évaluer, la majorité des enseignantes l’a qualifiée de très élevée ou élevée pour les compétences « Interagir de façon harmonieuse avec les autres » (91,7 %), « Communiquer en utilisant les ressources de la langue » (88,9 %), « Agir avec efficacité dans différents contextes sur le plan sensoriel et moteur » (83,3 %), « Affirmer sa personnalité » (63,9 %) et « Construire sa compréhension du monde » (61,1 %). Pour la compétence « Mener à terme une activité ou un projet », 24 des 36 enseignantes l’ont plutôt qualifiée de moyenne ou faible. Au sujet de leurs besoins de formation en évaluation, les enseignantes ont classé, dans l’ordre, les dix thèmes suivants parmi leurs priorités : 1) l’élaboration d’activités pour évaluer, 2) les attentes à la fin de l’éducation préscolaire et leur évaluation, 3) le partage de pratiques efficaces liées à l’évaluation, 4) la consignation de traces pour le bulletin, 5) l’attribution de cotes, 6) l’observation des manifestations des compétences à égalité avec les contextes pour les observer, 8) l’évaluation des productions des enfants et 9) l’uniformisation de l’évaluation d’une classe à l’autre. « Tâche difficile mais nécessaire » (Boudreau, Hébert, & Roy, 2015, p. 7), le succès de l’évaluation à l’éducation préscolaire passe, entre autres, par le développement professionnel des enseignantes. Des enseignantes soucieuses d’être bien formées à l’évaluation, un levier pour le développement professionnel, mais aussi pour la réussite des enfants! Références Boudreau, M., Hébert, M.-H., & Roy, A. M. (2015). L’évaluation à l’éducation préscolaire : discussion autour du « quoi », « où » et « comment » évaluer. Revue préscolaire, 53(1), 5-7. Ministère de l’Éducation du Québec (2002). L’évaluation des apprentissages au préscolaire et au primaire. Cadre de référence. Québec, Québec : Gouvernement du Québec. Ministère de l’Éducation, du Loisir et du Sport du Québec (2006). Programme de formation de l’école québécoise. Éducation préscolaire. Enseignement primaire. Québec, Québec : Gouvernement du Québec. Ministère de l’Éducation, du Loisir et du Sport du Québec (2011). Cadres d’évaluation des apprentissages. Québec, Québec : Gouvernement du Québec. Ministère de l’Éducation, du Loisir et du Sport du Québec (2014a). Régime pédagogique de l’éducation préscolaire, de l’enseignement primaire et de l’enseignement secondaire. Québec, Québec : Gouvernement du Québec. 34 Ministère de l’Éducation, du Loisir et du Sport du Québec (2014b). Loi sur l’instruction publique. Québec, Québec : Gouvernement du Québec. Roy, A. M., Hébert, M.-H., & Boudreau, M. (2015). La manière de faire l’évaluation à l’éducation préscolaire… pour en connaître plus ! Revue préscolaire, 53(1), 8-10. Scallon, G. (2004). L’évaluation des apprentissages dans une approche par compétences. SaintLaurent, Québec : Éditions du Renouveau Pédagogique Inc. 35 LLES CRÉDIBLES? ETUDE DE LA RELATION ENTRE LES PERCEPTIONS DES ÉTUDIANTS ET LES DONNÉES QUANTITATIVES RELATIVES AUX PROGRAMMES (ID 19) BRAIBANT, Jean-Marc, Université Catholique de Louvain (UCL) (BE) TEMPLES, Linda, Université Catholique de Louvain (UCL) (BE) RÉSUMÉ Contexte Le processus de Bologne invite nos universités à évaluer régulièrement la qualité de leurs formations. Dans ce cadre, l’évaluation des enseignements et des programmes par les étudiants est une pratique de plus en plus répandue. Depuis cinquante ans, la littérature s’interroge sur la fidélité et la validité de la mesure recueillie à travers ces enquêtes par questionnaires. Les conclusions des méta-analyses réalisées à propos du cas particulier des évaluations des enseignements montrent l’importance de prendre en compte la perception que les étudiants ont de leurs cours (Bernard, 2011), l’effet positif qu’elles peuvent avoir à condition de prendre certaines précautions méthodologiques et d’assurer un accompagnement pédagogique (Detroz, 2009, Rege Colet 2009, Younes, 2009). L’évaluation des programmes par les étudiants est une pratique plus récente. Les études sur ce sujet sont nécessairement plus rares. Celles qui existent mettent surtout l’accent sur des considérations liées à la validité instrumentale ou technique des questionnaires alors que la question centrale se situe davantage, selon notre point de vue, au niveau de la crédibilité accordée à la mesure recueillie. Pour être crédible, le jugement des étudiants ne peut se contenter de présenter les qualités méthodologiques requises. Au sens anglophone du terme (“credibility”), il doit aussi être “acceptable” aux yeux des parties prenantes - doyens, responsables de programmes, enseignants que celles-ci “aient une confiance suffisante pour croire que l’avis des étudiants est le reflet de la réalité” (Hurteau & coll, 2011, p. 40). La “subjectivité” est cependant inhérente au processus d’évaluation par questionnaire. En effet, “un tel questionnaire ne mesure pas à proprement parler la qualité des formations dispensées par une université mais la perception qu’en ont les étudiants” (Weisser & coll, 2014, p.93). Les résistances d’universitaires habitués à la démarche scientifique factuelle se situent souvent à ce niveau-là. Quelle crédibilité pouvons-nous accorder à un jugement basé sur des représentations ? Et, parmi d’autres sources d’information disponibles, quelle place vat-on lui donner pour prendre les décisions nécessaires pour améliorer la qualité de nos programmes? C’est dans ce cadre que se situe la présente étude. L’objectif est de croiser les résultats des enquêtes étudiants avec les indicateurs quantitatifs caractérisant les programmes évalués et de voir s’il y a un lien entre les deux. A notre connaissance, ce type d’étude est inédit dans les pays francophones. L’évaluation des programmes par les étudiants Depuis 5 ans, le Service d’évaluation en appui de la qualité (EVA) de l’UCL a développé un questionnaire standardisé qui permet de recueillir la perception des étudiants à propos de la qualité de l’ensemble de leur formation. Les items sont regroupés autour des 11 dimensions suivantes : 36 • Satisfaction globale de la formation suivie • Qualité de l’enseignement et de l’encadrement • Clarté des objectifs • Pertinence de l’évaluation des acquis • Adéquation de la charge de travail • Développement des compétences transversales • Intérêt pour les méthodes pédagogiques • Qualité des ressources et de l’environnement • Implication personnelle • Cohérence du programme • Liens avec la pratique et le monde professionnel Chacune de ces dimensions est évaluée à partir des réponses données à plusieurs items fermés (degré d’accord selon une échelle Lickert). Trois questions ouvertes donnent l’occasion aux étudiants d’exprimer leurs commentaires sur les points forts, les points faibles et leurs suggestions d’amélioration du cursus. Ces enquêtes ont pour but de procurer aux responsables du programme et aux enseignants les moyens d’analyser les forces et les faiblesses de leurs programmes en vue de définir les lignes d’action concrètes pour les améliorer. Elles sont réalisées à la demande des facultés, en fin de cycle. La base de données utilisée pour cette étude comprend 35 programmes de bachelier et concerne 1486 répondants. Les indicateurs chiffrés caractérisant les programmes Depuis 2009 une des missions confiée par le rectorat au service d’études de l’UCL (SET) est de mettre au point des’indicateurs quantitatifs permettant de caractériser un programme sur base de données propres à chacun d’eux, comme par exemple le nombre d’étudiants isncrits, la charge horaire moyenne d’un étudiant, le pourcentage de cours qui rassemble moins de 30 étudiants. Ces indicateurs constituent des outils de pilotage des programmes. Une analyse en composantes principales réalisée sur les 12 indicateurs retenus au départ ont permis d’en dégager 3 pour cette étude. • L’indicateur 1 reflète la diversité des choix proposés aux étudiants en matière d’offre d’unités d’enseignement. Plus cet indicateur obtient une valeur élevée, plus les choix des étudiants sont variés. • L’indicateur 2 caractérise le nombre d’étudiants que l’on retrouve en moyenne dans un amphithéatre du programme concerné. Plus cet indicateur est élevé, plus les étudiants sont nombreux dans les salles. • L’indicateur 3 résume une dimension plus pédagogique du programme : le poids relatif des heures pratiques par rapport au nombre total d’heures dispensées dans le programme. Plus ce rapport est élevé, plus les activités d’enseignement sont soutenues par des TP, TD, labos, projets, … 37 Croisement de ces deux types de variables Le croisement de ces deux types de variables permet d’obtenir une matrice de corrélation de 33 cases (11 dimensions X 3 indicateurs objectifs). Nous obtenons 10 corrélations significatives au seuil de 0,05 (dont 3 au seuil de 0,01). Les résultats les plus significatifs se situent au niveau de l’indicateur 3 puisqu’il est corrélé positivement à une bonne perception de la qualité du programme pour 7 dimensions sur 11. En revanche, des amphi bien remplis sont liés de manière significative à une moins bonne perception de la qualité de la formation pour 2 dimensions sur 11. Enfin, on n’observe pas de plus value associée à la diversité des choix des étudiants. Conclusion La perception qu’ont les étudiants quant à la qualité de leur formation est en concordance avec plusieurs indicateurs objectifs caractérisant leur programme. A un premier niveau d’analyse, ces résultats indiquent que l’on peut se fier à l’avis des étudiants tel qu’il s’exprime à travers les enquêtes de perception. On peut être rassuré quant à la crédibilité de leur jugement. Cette étude confirme, par ailleurs, que les facteurs structurels peuvent avoir un réel impact sur la qualité perçue. Elle suggère notamment l’importance d’associer un nombre suffisant d’activités pratiques aux heures de cours magistrales. Ces résultats devraient être utiles à l’avenir pour appuyer les décisions liées à la gestion et au contenu des programmes en vue d’améliorer leur qualité. Références Bernard, H. (2011). Comment évaluer, améliorer, valloriser l’enseignemnt supérieur ? Bruxelles : De Boeck. Detroz, P. (2008). L’évaluation des enseignements par les étudiants : état de la recherche et perspectives. Revue française de pédagogie, 165, 117-135. Hurteau, M. Houle, S. & Guillemette, F. (2012). L’évaluation de programme axée sur le jugement crédible. Québec : Presses de l’Université du Québec Rege Colet, N. (2009). La place de l’évaluation formative dans le développement professionnel des enseignants-chercheurs. In V. Bedin (Ed.), L’évaluation à l’université : évaluer ou conseiller ? (pp. 275-293). Rennes, France : Presses universitaires de Rennes. Weisser, M., Gangloff-Ziegler, C. & Hermann, H. (2014). Perception de la qualité d’une formation universitaire par les étudiants : étude comparative selon le mode d’orientation et l’ancienneté dans le cursus. Mesure et évaluation en éducation, 37,1, 83-108. Younès, N. (2009). L’évaluation de l’enseignement par les étudiants comme seuil de changement. In M. Romainville & C. Coggi (Eds). L’évaluation de l’enseignement par les étudiants : approches critiques et pratiques innovantes (pp. 191-210). Bruxelles : De Boeck. 38 O DIÁRIO DE CAMPO COMO REGISTRO DE AVALIAÇÃO E REFLEXÃO DAS PRÁTICAS DE ESTÁGIO NO CURSO DE LICENCIATURA EM QUÍMICA DO INSTITUTO FEDERAL DE SANTA CATARINA – BRASIL (ID 20) PEREIRA, Giselia Antunes, IFSC-SJ (BR) AGUIAR, Paula Alves, IFSC-SJ (BR) RESUMO Este estudo se insere na pesquisa intitulada “O Estágio Supervisionado na Formação de Professores: avaliação das práticas desenvolvidas no curso de Licenciatura do Câmpus São José”, em coordenação compartilhada pelas autoras deste texto. O projeto* de pesquisa busca compreender a perspectiva dos diferentes sujeitos envolvidos, sobre as práticas de estágio do Curso de Licenciatura em Ciências da Natureza – Hab. em Química (5ª fase, 6ª fase, 7ª fase e 8ª fase) do Instituto Federal de Ciência e Tecnologia de Santa Catarina (IFSC) - Câmpus São José. O período de investigação envolveu os anos de 2014 e 2015. Este texto discutirá, a partir de uma perspectiva qualitativa, especificamente o diário de campo como instrumento de pesquisa e avaliação utilizado durante as diferentes práticas de estágio na formação de professores do referido curso de licenciatura. O diário de campo como um instrumento de avaliação reflexiva e processual, torna-se pratica fundamental para formação de professores pesquisadores que visam investigar a própria prática (Pimenta, 2012). A forma como ele é utilizado no curso em questão e seus reflexos na formação dos professores serão foco de análise. As questões que nortearam a investigação aqui apresentada foram: de que modo o diário pode se constituir em instrumento de avaliação da aprendizagem no curso de licenciatura? Quais os critérios de avaliação dos diários de campo? Quais os indicadores presentes nos registros apresentam reflexos de articulação entre teoria e prática, a partir da reflexão das vivências pedagógicas proporcionadas pelo estágio? Corrobora-se com Pereira (2011), quando autora afirma que as práticas de avaliação se constituem em procedimentos didáticos fundamentais às novas práticas educativas, como é o caso do estágio na perspectiva da pesquisa. As práticas de estágio do Câmpus São José partem da perspectiva da pesquisa, a qual, segundo Pimenta e Lima (2004), visa superar a separação teórica e prática dos cursos de licenciaturas. Nessa perspectiva, acredita-se que o conhecimento se dá pela pesquisa e que esta prática é fundamental para atuação político-pedagógica dos educadores, sendo o diário de campo um instrumento essencial para essa construção. Por defendermos que a educação é necessariamente um ato político (FREIRE, 1984), que está articulada com uma concepção de sociedade, parte-se da perspectiva que o diário de campo é uma construção pedagógica e política do professor. Com ele é possível registrar a prática, as vivências, o processo de construção do ensino e do aprendizado dos alunos, possibilitando a ação, reflexão, 39 ação. O professor tem a possibilidade de olhar para sua própria prática após um período de afastamento, analisando seus conhecimentos, limites, possibilidades e visão de mundo e de sujeito. Na licenciatura a perspectiva da pesquisa se reveste de maior importância quando permite primeiramente aos acadêmicos, e a todos aqueles que estão envolvidos com a formação do professor, vivenciar concretamente aprendizagens significativas e de caráter processual. Pela produção da escrita e registros dos diários de campo, num fluxo de crescente de aprimoramento o acadêmico estagiário, vê-se como sujeito ativo de sua própria formação. Ao registrar as vivências do estágio no diário de campo, os acadêmicos marcam fragmentos significativos das experiências nas escolas, mantendo-as vivas. Esses registros não são apenas lembranças, mas fazem parte das suas histórias, identidades e memórias de suas formações profissionais. Como afirma Weffort (1996, p. 06), pelo registro “construímos nossa memória pessoal e coletiva. Fazemos história”. A prática dos registros no estágio do referido curso, partem de dados qualitativos e quantitativos das práticas vivenciadas no campo de estágio (nos momentos de observação da ação pedagógica de outros professores e nos momentos que realizam regências), com análise e reflexão teórica embasadas por autores que discutem as temáticas selecionadas pelos estudantes da graduação. A utilização do diário como instrumento de pesquisa inicia-se na primeira fase de estágio e perdura pelas fases subsequentes. Eles não demonstram conclusões, mas sim, inquietações, questionamentos que proporcionarão exercício reflexivo, reparo, aprofundamento, verificação, mudança de seu posicionamento frente ao aluno, à escola, ao conhecimento. A produção do diário de campo na perspectiva da pesquisa adotada, além de ser compartilhada entre os acadêmicos e os professores de estágio da licenciatura, também é processual na medida que os estudantes escrevem suas observações fundamentadas sobre o estágio, os professores da graduação lêem, colocam questionamentos, dúvidas, estimulam novas leituras e reflexões. A escrita e avaliação não se finalizam na primeira versão entregue do diário, mas na construção final após várias idas e vindas, pois é a evolução da aprendizagem e o empenho pedagógico que são avaliados. A proposta é que no decorrer das disciplinas de estágio os acadêmicos se apropriem de ferramentas de pesquisa e, com base no diário de campo, façam investigações que resultem em ensaios e artigos científicos. Um exemplo dessas produções é o excerto extraído do artigo de uma acadêmica que investigou os processos de avaliação escolar. Segundo ela o interesse “pela docência iniciou na infância, quando desde criança manifestava pelas brincadeiras vontade de ensinar. Um aspecto didático que sempre me intrigou foi: como avaliar de forma justa a aprendizagem dos alunos?”. Percebe-se, portanto, que o diário de campo possibilitou reflexões de caráter pessoal, profissional, estimulando a estudante a querer investigar a avaliação escolar. Além disso, permite que ocorra uma transparência do pensar, uma vez que revela à intimidade dos sujeitos, acadêmicos futuros professores, assim como dilemas e impasses da trajetória formativa e profissional (Alvez, 2004; Zabalza, 1994). O presente estudo buscou investigar as contribuições da escrita de diários de campo, enquanto recurso de avaliação de aprendizagem processual, nas práticas de estágio que se constituem como fundamentais para construção da identidade docente (André, 2012; Fazenda, 2008; Pimenta, 2012). Ao longo deste texto, discutiu-se que o diário pode ser um instrumento formativo que se articula com a perspectiva do estágio por pesquisa. O que vem (re)confirmar que o processo de fazer pesquisa das práticas de estágio desenvolvidas no Câmpus São José é condição para aprimoramento 40 e desenvolvimento desta atividade que se constitui como fundamental para formação de professores. * Projeto de pesquisa financiado pelo EDITAL Nº 13/2015/PROPPI. Referências Alves, F. C. (2004) Diário: contributo para o desenvolvimento profissional dos professores e estudo dos seus dilemas. Millenium: Revista do ISPV, [S.l.], n. 29, p. 222-239. Disponível em http://www.ipv.pt/millenium/Millenium29/30.pdf .Acesso em: 12 de ago de 2015. André, M. E. D. A. de (Org.). (2012) O papel da pesquisa na formação e na prática dos professores. 12. ed. Campinas: Papirus. Bianchetti, L. (Org). (2002) Trama e texto: leitura crítica, escrita criativa. 2ª ed. São Paulo:Summus, Freire, P (2008). Pedagogia do oprimido. Rio de Janeiro: Paz e Terra, 1984. Fazenda, I. (Org.) (2008). Metodologia da pesquisa educacional. São Paulo: Cortez.. Machado, A. M. N.; Bianchetti, L. (orgs). (2002) A Bússola do escrever: desafios e estratégias. Florianópolis, editora da UFSC. Martins, H. T. de S. (2004) Metodologia qualitativa de pesquisa. Educação e Pesquisa,, 30:2, p. 289-300, maio/ago. Pereira, G. A. (2011). Avaliação da Aprendizagem e Avaliação Institucional. In: Carmen M. Cipriani Pandini. (Org.). Planejamento e Avaliação Educacional e Institucional. 1ed.Florianópolis: Dioesc, v. I, p. 79-111. Pimenta, S. G. & Lima, M. S. L. (2004). Estágio e Docência. 2. ed. São Paulo: Cortez, 2004. Pimenta, S. G. (2012). O estágio na formação de professores: unidade teoria e pratica? 11. ed. São Paulo: Cortez. Revista brasileira de ensino de Química. Todas as edições. Disponível em: Acesso em: 08 out. 2014. Scocuglia, A. C. (2014), Paulo Freire e a pedagogia da pesquisa. EJA em Debate, Florianópolis, n. 3, n.4. jul. 2014. Werfor, M, F, (1996). Observação, registro e reflexão: instrumentos metodológicos I. São Paulo: Espaço pedagógico. Zabalza, M. A. (1994) Diários de aula: contributo para o estudo dos dilemas práticos dos professores. Porto: Porto Editora. Zago, N. & Carvalho, M. P. de & Vilela, R. A. T. (2003). Itinerários de pesquisa: perspectivas qualitativas em sociologia da educação. Rio de Janeiro: DP&A. 41 PRATIQUES D’ANNOTATIONS DE PRODUCTIONS ÉCRITES DANS UN CONTEXTE SCOLAIRE LIBANAIS (ID 22) RIACHI, Mireille, Université de Balamand, (LIB) RÉSUMÉ Les pratiques évaluatives des enseignants ont une grande influence sur la motivation et les représentations des apprenants. Elles jouent un rôle crucial dans leur engagement et persévérance scolaires et sont capables d’encourager l’apprenant et de valoriser sa personne (Chouinard, 2005). Cette communication, qui s’inscrit dans le 2ème axe du colloque, s’intéresse aux pratiques d’annotations de productions écrites dans un contexte scolaire libanais. Comment les enseignants évaluent les productions des apprenants ? Quelles sont les caractéristiques et le type d’annotations rédigées ? Sont-elles axées sur le processus d’apprentissage ou sur la performance des apprenants ? Quels usages font les enseignants de ces annotations pour accompagner leurs apprenants dans leurs productions et qu’en font les apprenants pour progresser dans leur apprentissage ? Nous désignons par annotations, des modalités de communications écrites, des traces de rétroaction laissées par l’enseignant sur la copie de l’apprenant et qui prennent la forme de commentaires ou d’appréciations positives ou négatives. Nous partons de l’hypothèse que les annotations et les appréciations peuvent influencer les représentations de l’acte d’écrire chez l’apprenant et que l’exploitation des annotations en tant qu’outil pédagogique peut motiver l’apprenant et le conduire vers une interrogation constructive sur ses propres démarches et stratégies d’apprentissage. La méthodologie adoptée repose sur une analyse thématique, lexicale et syntaxique des annotations professorales. Le dépouillement de ces énoncés évaluatifs nous éclairera sur les caractéristiques de la portée interactionnelle de ces énoncés ainsi que sur le type de discours évaluatifs limités aux énoncés verdictifs, incitatifs et appréciatifs. Cette analyse apparaîtra sous la forme de tableaux représentant les intentions de l’enseignant/évaluateur dans sa formulation d’annotations. Les résultats de cette recherche nous amèneront à proposer des pistes pour l’usage d’annotations qui peuvent fournir à l’élève une meilleure compréhension de ses processus d’apprentissage et l’incitent à identifier ses erreurs, à les répertorier, à s’autocorriger et à s’autoévaluer » (Durand et Chouinard 2006). Problématique L’acte d’écrire est une opération complexe qui implique la personnalité de l’apprenant, ses goûts, ses centres d’intérêts, ses représentations de l’acte d’écriture en plus de l’intégration des connaissances langagières dans une situation fictive ou authentique. Et en évaluant une production écrite, l’évaluateur intervient sur le rapport de l’évalué à l’écrit et lui donne une indication sur ses représentations et modifie ses représentations. Ainsi, les traces laissées par l’enseignant sur la copie 42 de l’apprenant vont avoir une influence sur ses représentations de l’écriture ainsi que sur son engagement cognitif et sa persévérance dans l’apprentissage. Cependant, l’acte d’écrire est souvent mal vécu par les apprenants libanais. Au lieu de vivre le « plaisir d’écrire », de percevoir l’écriture comme une activité plaisante et agréable et une expression de soi, elle est plutôt considérée comme une contrainte et une activité « répugnante ». Les témoignages des enseignants de français attestent que malgré les efforts déployés pour engager les apprenants dans l’activité de production écrite, ils se trouvent toujours démotivés et adoptent des comportements pour éviter de s’engager dans l’activité. Les apprenants jugent inutiles l’activité proposée et se sentent incapables de la faire. Un simple coup d’œil jeté sur l’évaluation des productions écrites des apprenants, révèlent des copies notées, annotées avec des remarques, des commentaires et des appréciations. Ces traces écrites, quelles que soient leurs significations, sont toujours chargées d’émotions. Un commentaire, une remarque et une appréciation positive ou négative sont capables d’encourager l’apprenant ou engendrer une mésestime de soi et peuvent induire des comportements qui peuvent se répercuter sur leur apprentissage et sur leur rapport à l’écrit. Ces « informations » qui viennent sanctionner l’apprentissage ont une portée interactionnelle, laissant passer un message à l’apprenant. Les annotations ont donc pour fonction d’interagir et de transmettre un message. De quel message s’agit-il ? Quel type d’interaction se crée entre l’évaluateur et l’évalué ? Cadre théorique Clarification terminologique Nous employons spécifiquement le mot annotation dans notre étude pour traduire l’action de porter des indications, ou des explications sur la production écrite d’un élève afin de le situer sur ses forces, ses erreurs et surtout lui indiquer les voies et moyens pour les surmonter. L’annotation est définie donc comme un fragment de dialogue entretenu entre l’enseignant et l’élève et cette annotation, soulignant les bons coups et les moins bons coups, apparaît sur la copie de l’élève dans l’aire scripturale habituellement réservée aux commentaires : marge, en-tête, bas de page (Halté, 1984). Le « Petit Robert » (1996) donne à l’annotation, la définition suivante : « parole par laquelle on fait remarquer quelque chose à quelqu’un, remarque, écrit exprimant le résultat d’une considération attentive d’une chose », « notation écrite qui attire l’attention du lecteur ». Nous avons alors préféré « annotation » parce que ce terme prend en compte non seulement l’observation globale mais également toutes les indications faites sur toutes les pages de la copie, sous forme d’abréviations, de symboles, de signes divers. Nous employons donc spécifiquement le mot annotation dans notre étude pour traduire la « technique » Coulibaly (1999 :17) et l’action de porter des indications, ou des explications sur la production écrite d’un élève afin de le situer sur ses forces, ses erreurs et surtout lui indiquer les voies et moyens pour les surmonter. L’annotation repose sur une démarche rigoureuse. 2.2. Portée et sens des annotations Pour Charolles (1978) les annotations des enseignants sont souvent « pré-théoriques », s’attachant simplement à déprécier les erreurs de surface qu’ils rencontrent dans le texte, sans fournir aucune aide efficace à l’élève. Il affirme qu’il est possible à partir des annotations d’expliciter 43 les règles et consignes du travail attendu. Pour autant, ces règles ne s’appuient pas selon lui sur un ordre logique, dont on pourrait anticiper la reproduction. Elles reposeraient davantage sur des stratégies aléatoires (ibid. : 9). Questions posées - Quelles sont les caractéristiques et le type d’annotations rédigées par les enseignants ? Sontelles axées sur le processus d’apprentissage ou sur la performance des apprenants ? donnent-elles une explication complète et nuancée des difficultés rencontrées par les apprenants ? S’intéressentelles au « comment faire » ? - Ces annotations sont-elles indicatives, explicatives, rigoureuses, transparentes ou vagues et générales ? - Quelle est la portée interactionnelle de ces annotations ? Méthodologie Pour répondre à ces questions, nous avons collecté 400 copies de productions écrites et nous avons procédé à une analyse d’annotations rédigées par des enseignants sur ces copies. Constitution du corpus Afin de procéder à des observations sur des annotations des enseignants, il a été nécessaire de collecter au préalable des copies de productions écrites corrigées, évaluées et annotées par les enseignants. La collecte de productions écrites s’est déroulée dans 3 écoles privées au Liban Nord. Un nombre approximatif de 400 copies a constitué l’objet de notre analyse. Les productions écrites collectées ont été rédigées par des apprenants âgés de dix ans en EB7 (7ème Année de l’éducation de base) et corrigées par des enseignants de français. Un total de 60 copies a constitué l’objet de notre étude. A noter que les enseignants n’ont reçu ou « subi » aucune directive de correction, ce qui nous a aidé dans l’exploitation objective des données. L’intérêt de cette collecte est d’opérer une analyse thématique, lexicale et syntaxique des différentes annotations rédigées par les enseignants. L’analyse de ces traces laissées constitue de riches informations sur les pratiques évaluatives des enseignants de français dans ces 3 écoles privées du Liban Nord. Présentation et analyse des données Analyse thématique L’analyse thématique des annotations révèle des thèmes appartenant au domaine psychoaffectif et aux stratégies d’apprentissage de l’apprenant. Annotations relatives au psychoaffectif Les appréciations Parmi les annotations utilisées pour qualifier et « évaluer » la production de l’apprenant, nous relevons des termes à connotation positive, comme les adjectifs « bon », « sérieux » et 44 « satisfaisant» et d’autres à connotation négative « insuffisant» et « beaucoup de difficultés ». Les signes de ponctuation sont porteurs de sens et ont une connotation positive et négative et parfois ironique, humiliante et dépréciative : « Quel style! », « bof! » « Ça ne sert à rien! », « très faible ! » « C’est nul !» « Quel travail ! » « Travail illisible ! » « Très mauvaise écriture ! » « Quel effort ! » « C’est quoi ça ? ». D’autres adjectifs revêtent un sens neutre ou ambigu comme « moyen » et « juste » et peuvent être interprétés en sens divers. Certaines annotations sont relatives à l’attitude de l’apprenant : « pas sérieux », « manque de concentration », « spontané», « constant», « discret», « réservé». Interprétation Les adjectifs neutres ou ambigus ne sont pas accompagnés de précisions quant au sens à leur accorder. Michel Barlow, en ce sens, encourage les enseignants à utiliser plus régulièrement dans leurs appréciations les compléments circonstanciels, de nature à enrichir considérablement le jugement évaluatif et à intégrer dans celui-ci à la fois le diagnostic et les possibilités de remédiation. Pour les appréciations positives ou négatives, elles sont chargées d’émotion. Une appréciation positive renforce une volonté de travailler, donne plus d’assurance et valorise l’apprenant, alors qu’une remarque négative engendre une mésestime de soi, une dévalorisation qui déstabilise l’élève et lui donne une image négative de lui-même et de ses capacités et sans lui permettre de s’améliorer ou de pointer ses erreurs. Or, nous savons très bien que l’affectif et le psychologique jouent un rôle déterminant dans le processus d’apprentissage et que les stratégies affectives d’enseignement constituent un élément majeur de la réussite et de l’efficacité dans le développement des compétences. Annotations relatives à la méthodologie du travail « Manque de planification », « mauvaise méthode de travail » « ne revoit pas ses leçons », « ne tient pas compte des consignes », « le plan doit être annoncée dans l’introduction », « Il faut que les différentes parties soient équilibrées », « à parler de l’intérêt du sujet dans l’introduction », « « il faudra utiliser correctement les mots de liaison ». Ces annotations relatives à la méthodologie du travail sont un appel à l’action et une énonciation de règles à suivre. L’enseignant fournit à l’apprenant des pistes pour l’apprenant quant à ce qu’il « aurait fallu » ou « devrait » faire. Le fait de fournir la règle permettra à l’apprenant de comprendre son erreur pour pouvoir la rectifier. Interprétation Ces règles à suivre peuvent assurer deux fonctions : une fonction formative, car elles peuvent permettre à l’apprenant de comprendre comment s’améliorer et une fonction argumentative, car les règles sont présentées comme des règles objectives, qui viennent justifier les erreurs relevées sur la copie. De même, elles révèlent l’intention de l’enseignant d’annoncer à l’apprenant un comportement vers lequel il doit tendre pour réussir. 45 Analyse lexicale L’analyse lexicale des annotations nous révèle un lexique se caractérisant surtout par des généralités linguistiques et imprécision terminologique. Exemples de constat et de commentaires laconiques qui ne s’appuient sur aucun indicateur : « hors-sujet », « travail moyen », « manque d’idées », « des lacunes « « développement non précis », « conclusion incomplète » « idées confuses », « non acquis ! » « Incorrect », « faux », « très mal », « à refaire », « c’est flou », « pas assez développé », « pas très cohérent », « peu clair », « à développer », « bien », « assez bien », « mal », « insuffisant », « satisfaisant », « passable », « nul » sont courants. Interprétation Ces annotations brèves ne s’intéressent pas au « comment faire » (Halté, 1984 ; Reuter, 1996 ; Roberge, 2008), ne sont pas assez claires et ne donnent aucune explication ou détails à l’apprenant pour lui permettre de s’améliorer. De même, elles ne lui donnent pas de pistes et de stratégies précises en lien avec les différentes étapes du processus d’écriture comme choisir ses idées, les organiser, les mettre en mots ou les réviser. Ces annotations vagues, ces traces, codes ou constats qui n’indiquent pas forcément quoi faire à l’apprenant auront comme conséquences un refus de travailler de la part de l’apprenant ou de voir ses erreurs. Analyse syntaxique Phrases interrogatives L’analyse syntaxique des annotations nous révèle une fréquence assez élevée de phrases interrogatives. Ces questions interrogent directement l’apprenant. La copie constitue donc un support d’échange pédagogique entre l’évaluateur et l’évalué. « Quel est ce sens ? », « pourquoi parler de ça maintenant ? » « Que voulez-vous dire»? « De qui parles-tu?», « as-tu révisé la leçon ? ». Ces questions sont en général reliées par des flèches ou autres traces aux éléments relevés dans le texte de l’apprenant. Elles ont toutes pour particularité de répondre, de manière dialogale, au « discours » du candidat-auteur. Interprétation Les annotations interrogatives s’adressent de manière dialogale à l’apprenant et l’appellent à réagir. La production de l’apprenant apparaît donc comme un support privilégié pour l’interaction entre l’évaluateur et l’évalué. L’enseignant participe ainsi en cours de lecture en interagissant directement sur le contenu du texte, au moyen d’annotations sur la copie. Temps verbaux L’analyse syntaxique nous renvoie aux temps verbaux les plus utilisés comme le présent de vérité générale : « le plan doit être annoncée dans l’introduction », « Il faut que les différentes parties 46 soient équilibrées » ; le futur simple à valeur d’impératif : « il faudra utiliser correctement les mots de liaison » ; le conditionnel passé : « il aurait fallu utiliser correctement les signes de la ponctuation » et l’infinitif « Une phrase vide de sens. À éviter », « à parler de l’intérêt du sujet dans l’introduction ». Style personnel et impersonnel L’analyse syntaxique nous révèle un discours qui oscille entre l’objectivité et la subjectivité. Certaines annotations se caractérisent par un échange personnel et direct entre l’enseignant et l’apprenant « tu dois enrichir ton vocabulaire », « tu dois mieux faire », « tu dois soigner ton écriture » ; et d’autres formules de généralisation et d’objectivation montrent une prise de recul de la part de l’enseignant à l’aide de pronoms indéfinis « on » ou « il », « Il y a[…] », « On sent[…] », « On aimerait bien […]», ainsi qu’une désignation de l’apprenant à la troisième personne du singulier: « L’auteur a renoncé […] », « l’étudiant écrit mal ». Interprétation Nous remarquons que l’argumentation de l’enseignant de son appréciation se fait par la généralisation et l’objectivation ce qui le positionne en tant qu’expert s’adressant à un interlocuteur absent du contexte. De ce fait, l’enseignant adopte le rôle d’un correcteur externe, d’un représentant de l’institution à laquelle il appartient et à laquelle il rend compte. Alors que les annotations subjectives permettraient à l’évaluateur d’agir plus comme individualité et de raisonner plus comme enseignant qui pointe les difficultés et invite l’apprenant à comprendre ses erreurs. Phrases brèves L’analyse syntaxique des annotations a révélé le caractère bref des appréciations, réduites le plus souvent à une seule proposition syntaxique non verbale : « Très faible », « Peu de travail » « travail peu sérieux », « bon travail », « mauvais travail ». Interprétation Le style télégraphique utilisé par de nombreux enseignants, s’il permet à l’évidence de gagner du temps et de la place, renforce toutefois le caractère doublement impersonnel des appréciations qui, d’une part ne paraissent pas traduire un avis que l’enseignant prend réellement à son compte et ne donnent pas une explication complète et nuancée des difficultés rencontrées par les apprenants. Ce qui fait que, la fonction principale de ces annotations est plus d’étiqueter l’apprenant ou sa production de « faible « ou de « bon » au lieu d’insister sur ce qu’il sait ou ne sait pas et de comprendre l’origine des difficultés. Les résultats de l’analyse thématique, lexicale et syntaxique de ces annotations traduisent de la part des enseignants une volonté d’échange et de communication et une sorte d’interactions entre l’enseignant et l’apprenant. Le dépouillement de ces énoncés évaluatifs nous a éclairé sur les caractéristiques de la portée interactionnelle de ces énoncés ainsi que sur le type de discours évaluatifs limités aux énoncés verdictifs, incitatifs et appréciatifs. L’annotation est « plus considérée 47 comme un verdict général et pas assez comme un moyen de travail » Abernot (1996 : 49) ou un retour pédagogique formatif (feedback) pour l’apprenant. En principe, dit Abernot (1996), « tout ce qui n’est pas correct doit faire l’objet d’une remarque, non seulement indicative mais explicative, sans laquelle l’apport de l’évaluation reste très limité ». Reste à poser les questions suivantes : « que font les apprenants de ces annotations? Peuvent-ils réinvestir ces annotations dans d’autres productions écrites? Ont-ils des stratégies d’écriture efficaces pour le faire? Possibilités d’améliorations et perspectives futures L’analyse du corpus nous amènera à proposer des pistes pour l’usage d’annotations qui peuvent fournir à l’élève une meilleure compréhension de ses processus d’apprentissage et l’incitent à identifier ses erreurs, à les répertorier, à s’autocorriger et à s’autoévaluer » (Durand et Chouinard 2006). La proposition de ces pistes tentera de répondre aux questions suivantes : Comment ces annotations peuvent établir un échange interactif à visée formative indiquant à l’apprenant les directives pour améliorer ses performances ? Comment aider les enseignants à éviter le discours incitatifs et verdictifs et à positiver le travail de l’apprenant en toute objectivité ? Comment rendre les annotations utiles pour l’apprenant ? Pour le caractère bref des annotations, mieux vaut leur préférer des phrases complètes avec sujet et verbe et, dans cette hypothèse, donner la priorité aux verbes d’action sur les verbes d’état, les premiers s’accordant le mieux à la finalité du propos évaluatif qui vise, dans une perspective formative, à signifier comment l’apprenant s’est acquitté de sa tâche et à indiquer comment il pourrait, si nécessaire, s’y prendre pour améliorer ses performances. À ce propos, Avanzini (1992) estime que : « l’évaluation doit se placer et se comprendre au sein d’une relation spécifique, dont elle est un langage qui établit entre l’évaluateur et l’évalué, un mode de communication qui soit clair aux yeux de l’un et de l’autre. » C’est dire que dans cette relation d’échanges, une place de choix devrait être accordée aux annotations des productions écrites qui visent l’aide pédagogique immédiate à apporter à l’élève. Pour le lexique utilisé, il devrait être compréhensible, ni dogmatique, ni dramatique. Il ne s’agit pas de sanctionner l’apprenant mais plutôt le considérer comme en état d’apprentissage continu et capable de faire toujours mieux. D’où la nécessité de privilégier les appréciations positives pour mettre en valeur l’effort de l’apprenant et reconnaître sa réussite et insister sur la progression faite. Ceci nous renvoie à l’enseignant et à sa « posture » en tant qu’« entraîneur », « support et non d’un juge. Pour que les annotations ne soient pas un jugement, un discours stéréotypé, ou un traitement de l’erreur comme anormale, l’enseignant doit se référer à une grille d’évaluation qui contient des critères et des indicateurs de réussite. Ces critères porteront sur : le résultat de l’action de l’apprenant, pour le renseigner sur ses essais (action réussie, action non réussie, action faite mais non réussie) ; la façon de procéder (comment as-tu fait pour…, as-tu décidé que…, as-tu repéré ceci ? …etc.). L’usage de cette grille d’évaluation constituerait une aide à l’apprentissage et une précision des erreurs et des modalités de travail. De même, elle permettrait de pointer des réussites et des erreurs précises et intervenir de manière à ce que l’erreur puisse être corrigée par l’apprenant. 48 Cette exploitation des annotations en tant qu’outil pédagogique peut aider les apprenants à mieux se repérer dans leur apprentissage et les conduire vers une interrogation constructive sur leurs propres démarches et leurs erreurs, ce qui les prépare progressivement à l’auto-évaluation et à l’auto-formation. Aussi, la pratique des annotations pédagogiques a-t-elle une conséquence importante dans la pratique de l’enseignant : ce dernier peut être amené à identifier les points sur lesquels il doit luimême progresser pour aider plus efficacement les élèves. Références Avanzini, G. (1992). L’évaluation en question, Paris : ESF. Abernot, I. (1996). Les méthodes d’évaluation scolaire, Paris : Dunod. Bélair, L. (1995). Profil d’évaluation. Une analyse pour personnaliser votre pratique, Montréal : les éditions de la Chenelière. Charolles, M. (1978). « Introduction aux problèmes de la cohérence des textes. », Langue Française, Vol. 38 N°1. Enseignement du récit et cohérence du texte, pp. 7-41. COMMISSION D’ÉVALUATION DE L’ENSEIGNEMENT COLLÉGIAL, (2001). Rapport synthèse Évaluation de la mise en œuvre de la composante de formation générale des programmes d’études, Québec, Gouvernement du Québec. Chouinard, R. et Roy, N. (2005). « Les altérations de la motivation à apprendre au secondaire ». In De Blois, L. et Lamothe, D. (dir.), La réussite scolaire. Comprendre et mieux intervenir, pp. 75-84. Montréal : ERPI. De Peretti, A. (1980). Recueil d’instruments et de processus d’évaluation formative, Paris : INRP. Durand, M-J. et Chouinard, R. (2006) L’évaluation des apprentissages. De la planification de la démarche à la communication des résultats. Montréal: Hurtibise éditeur. Halté, J.-F. (1984). « L’annotation des copies, variété ou base du dialogue pédagogique ? », Pratiques, vol. 44. p. 61-69. Jorro, A. (2000). L’enseignant et l’évaluation: des gestes évaluatifs en question, De Boeck Université : Pratiques pédagogiques. Legendre, R. (2005). Dictionnaire actuel de l’éducation, 3e édition, Montréal : Guérin. Meyer, G. (1995). Évaluer : pourquoi ? Comment ?, Paris, Hachette Éducation, coll. « Profession enseignant ». Reuter, Y. (1996). Enseigner et apprendre à écrire, Paris : ESF. Roberge, J. (2006). Corriger les textes de vos élèves. Précisions et stratégies, Montréal, Chenelière Éducation. 49 CONTRIBUTOS DO COMPONENTE CURRICULAR AVALIAÇÃO DA APRENDIZAGEM PARA O DESENVOLVIMENTO DA QUARTA GERAÇÃO DA AVALIAÇÃO: O QUE DIZEM ESTUDANTES DO CURSO DE PEDAGOGIA (ID 23) REGO, Ana Maria, Universidade Federal de Pernambuco (BR) ARAÚJO, Rayanna, Universidade Federal de Pernambuco (BR) RAMOS, Kátia, Universidade Federal de Pernambuco (BR) VIANA, Kilma, Instituto Federal de Pernambuco (BR) RESUMO A avaliação da aprendizagem é uma área de conhecimentos objeto de inquietações por parte de teóricos, estudiosos, professores e estudantes. O termo avaliar vem sempre acompanhado de palavras como julgar, juízo de valor, mérito, contagem, prova, verificação, termos que designam positivamente ou não a avaliação, conforme observado numa trajetória da avaliação da aprendizagem, por Guba e Lincoln (1989)(1) denominada Gerações da Avaliação. No caso, a Primeira Geração da avaliação relacionada com a busca de medir quantitativamente os conhecimentos obtidos. A Segunda Geração conhecida como a avaliação por objetivos pré-estabelecidos. A Terceira Geração como a geração do juízo de valor e a Quarta Geração denominada de avaliação da negociação e do diálogo. Apesar do avanço dos estudos sobre avaliação, no que diz respeito à compreensão da importância de se considerar todas as dimensões envolvidas neste processo, a prática avaliativa no chão da escola ainda vem sendo guiada pela visão punitiva e classificatória. Afora a influência da prática avaliativa vale ressaltar o estatuto do componente Avaliação da Aprendizagem na formação de professores. Nesse quadro, entre outros aspectos, o debate vem apontando para a pertinência de considerar a importância dos cursos de formação de professores atentar para reconfiguração de práticas avaliativas centradas no professor e na medição de conhecimentos. Essa pertinência fundamenta-se na compreensão de que os cursos de formação de professores representam um espaço privilegiado para a construção de concepções, principalmente através das práticas de ensino em geral e de avaliação em particular. Nomeadamente no âmbito do pressuposto de que as ideias sobre avaliação são (re)construídas ao longo da vida escolar. No caso particular da Universidade Federal de Pernambuco (UFPE), até 2008, nos cursos de Licenciatura o debate sobre a temática da avaliação estava limitado a um dos conteúdos do componente curricular Didática, sequer sendo considerado como formativo com estatuto próprio na grade curricular. Contudo, o curso de Licenciatura em Pedagogia na UFPE é o único que tem tradição em congregar em sua grade um componente curricular obrigatório que trata de questões relativas à avaliação. Nesse contexto, o estudo tem o propósito de caracterizar contributos do componente Avaliação da Aprendizagem para o desenvolvimento da 4ª Geração da Avaliação nos anos iniciais do Ensino Fundamental, segundo o que dizem estudantes do curso de Pedagogia da UFPE. 50 Tendo por base tal pergunta o estudo seguiu os princípios de uma pesquisa de caráter qualitativo. E para dar conta do objetivo proposto teve como instrumento de recolha de dados um questionário que abordou aspectos relacionados à caracterização geral dos participantes, a concepções acerca da avaliação da aprendizagem e contributos do componente curricular Avaliação da aprendizagem. Tal questionário foi respondido por estudantes, do 6º ao 10º período, dos três turnos (manhã, tarde e noite). Optou-se pela escolha desses períodos pelo fato do componente curricular Avaliação da Aprendizagem ser uma disciplina obrigatória do 5º período. A análise dos dados foi estruturada a partir de três eixos. O primeiro relativo a concepções de avaliação, o segundo referente a contributos do componente curricular Avaliação da Aprendizagem e o terceiro congregando limites e possibilidades da Quarta Geração da Avaliação na atuação docente de estudantes do curso de Pedagogia. As concepções de avaliação explicitadas pelos participantes refletem a convivência entre as Gerações de Avaliação. Notadamente marcada pela presença das três primeiras Gerações e um breve aceno de concepção inserida na Quarta Geração. Neste caso, os participantes indiciam uma aproximação com o debate sobre as Gerações de avaliação. No que se refere ao segundo eixo os dados revelaram que o componente curricular Avaliação da Aprendizagem contribuiu para a compreensão da avaliação relacionada a práticas formativas, humanizadas, congregando aspectos mais qualitativos. Quanto ao terceiro e quarto eixo é possível afirmar que estes eixos sintetizam os achados anteriores, embora marcadamente indicando uma aproximação com a Primeira e Segunda Geração de Avaliação, mas mantendo a presença das quatro Gerações. No conjunto dos eixos observa-se que os participantes sinalizam para alterações no discurso sobre avaliação, notadamente no âmbito da Terceira Geração. Embora seja reconhecido o contributo de tal componente para uma aproximação com o debate sobre Avaliação e que se faz necessário considerar que sozinho não altera práticas sedimentadas. Um dado a realçar diz respeito às experiências avaliativas dos participantes em sua história de vida, em que relacionam experiências consideradas positivas àquelas com características de Terceira ou Quarta Gerações, e experiências negativas relacionadas com características das primeiras Gerações. Essas últimas com forte influência na condição de impossibilidade de visibilizar alternativas para alterar a denominada força do sistema e dificuldade de lidar com o aluno. Tal condição sinaliza uma ainda permanência de concepções e práticas mais tradicionais convivendo com perspectivas emergentes. Um achado a destacar é que concepções inseridas na Quarta Geração de avaliação ainda não se apresenta com consistência nos discursos dos participantes. Inclusive a categoria de negociação, elemento básico de tal Geração, é retratada na maioria dos casos distantes da condição de responsabilidade coletiva. Em suma, embora os dados estejam restritos aos depoimentos dos participantes, pode-se afirmar que os achados revelam um contributo do componente curricular Avaliação da Aprendizagem na alteração de concepções de avaliação e prática avaliativa, na perspectiva de avaliação formativa, reguladora, mediadora. Que confirmam o desafio de superar práticas tradicionais de punição e classificação. E apontam para a responsabilidade dos cursos de formação, para além da inserção do 51 componente Avaliação da Aprendizagem, atentar para as práticas formativas, pois, embora o debate tenha avançado, a experiência no processo avaliativo é formativa porque é processo e produto. (1) Guba, E. G. & Lincoln, Y. S. (1989). Fourth generation evaluation. Newbury Park, London, New Delhi: Sage. 52 PERSPECTIVAS ANALÍTICAS SOBRE OS DESEMPENHOS DA EDUCAÇÃO BÁSICA NO RIO GRANDE DO SUL: AS APROXIMAÇÕES ENTRE O IDEB E O CONTEXTO DE ATUAÇÃO DAS ESCOLAS (ID 24) GHISLENI, Ana, Centro Universitário Univates (BR) MUNHOZ, Angélica, Centro Universitário Univates (BR) RESUMO Vinculado ao projeto de pesquisa “Perspectivas analíticas sobre os desempenhos da educação básica no Rio Grande do Sul: as aproximações entre o IDEB e o contexto de atuação das escolas (2013-2015)", este trabalho tem como objetivo a análise das possíveis (inter)relações – proximidades e distanciamentos - entre os resultados das avaliações institucionais (seus indicadores) e informações de caráter socioeconômico, demográfico e educacional, assim como com a formulação e implementação de políticas públicas. A pesquisa aqui mencionada foi desenvolvida durante um estágio de pós-doutoramento vinculado ao PPGEnsino da Univates e com financiamento do Programa Nacional de Pós-doutoramento (PNPD) da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), fundação vinculada ao Ministério da Educação do Brasil. Apoia-se, igualmente, na pesquisa desenvolvida pelo Observatório da Educação do Centro Universitário Univates, iniciativa igualmente financiada pela CAPES. Este projeto propõe a análise relacional e contextualizada, em uma modelagem quali-quanti, dos resultados da avaliação em larga escala de seis escolas públicas da região específica sul do Brasil, denominada Vale do Taquari (revelados por meio do Índice de Desenvolvimento da Educação Básica – IDEB, cálculo que considera os resultados obtidos pelos alunos de 5º e 9º ano de escolas públicas em um instrumento de caráter censitário, aplicado a cada dois anos, denominado Prova Brasil e os fluxos escolares informados pelas escolas por meio do Censo Escolar) e de elementos qualitativos coletados junto ao conjunto de escolas por meio de entrevistas semi-estruturadas realizadas com as equipes gestores das escolas pesquisadas durante os meses de maio a julho de 2015. Os dados coletados a partir das entrevistas foram submetidos à análise do software N-Vivo®, que possibilitou a quantificação de elementos presentes nas manifestações, reforçando as possibilidades analíticas. As manifestações obtidas nas entrevistas foram organizadas em seis categorias de análise: (1) alunos; (2) considerações sobre o instrumento; (3) expectativas; (4) limites da escola; (5) pais; e (6) preparação. A partir da organização e da submissão das falas ao software, foi possível apreender ênfases e preocupações mais incidentes nas falas das equipes gestoras, o que pode ser considerado revelador da condução dada à avaliação em larga escala e ao seu instrumento de efetivação nos anos iniciais e finais Ensino Fundamental (Prova Brasil). A análise contextualizada e relacional revelou os fatores presentes nos processos avaliativos e apontou, via de regra, para o esforço em torno de uma avaliação orientada para o aprimoramento dos processos de gestão voltados a um bom desempenho nos testes. Tal perspectiva analítica possibilitou a valorização da diversidade de abordagens teóricometodológicas de análise e interpretação do conjunto ou de segmentos dos dados e informações produzidos, sempre privilegiando o entendimento da avaliação sob uma perspectiva educacional e educativa, capaz de tangenciar a mera performatividade ou de garantir eloquência desmedida a 53 resultados quantitativos pouco reveladores do que está efetivamente sendo produzido em termos pedagógicos pelas escolas. Sob esta ótica, a pesquisa orientou-se em termos teóricos-conceituais nas noções de organizações educativas e de instituições escolares, propostas, respectivamente, por Lima (2001) e Nóvoa (1995). Para a construção do entendimento histórico, conceitual e legal acerca da construção e da implementação das políticas de avaliação em larga escala, o percurso se deu com o auxílio de Sousa (2003); Bonamino (2002); Bonamino e Sousa (2012); Afonso (2009) e Werle (2012). À medida em que a construção analítica da pesquisa avançava, surgiram preocupações com algumas insuficiências explicativas que foram sendo detectadas. Para o reforço das compreensões, alguns elementos do referencial pós-estruturalista foram apropriados pela pesquisa, a partir das elaborações de Foucault (1986), Anadon (2012) e Hypolito (2010) no que tange aos regimes de verdade produzidos pelas estatísticas e às noções de regulação do trabalho docente promovida pela avaliação em larga escala. "Cada sociedade tem seu regime de verdade, sua ‘política geral’ de verdade: isto é, os tipos de discurso que ela acolhe e faz funcionar como verdadeiros (Foucault, 1986, p.12). A cultura da performatividade de Ball (2004) também foi agregada ao aparato analítico. Para ele, o foco nos resultados gera a chamada “cultura da performatividade”, com um “efeito insidioso na natureza do trabalho profissional” (Ball, 2004, p. 15), na medida em que “age em retroação sobre a prática para reorientá-la em direção a determinados resultados e valores” (Ibidem, p 15). Este projeto pretendeu contribuir para o objetivo geral dos trabalhos de avaliação externa, buscando o entendimento e elementos de qualificação dos órgãos e unidades da rede pública de ensino para o planejamento, a gestão e a avaliação institucional em perspectiva formativa e participativa. Vincula-se, ainda, ao objetivo específico de avaliar possíveis relações entre os resultados das avaliações institucionais e os indicadores socioeconômicos, demográficos, educacionais e de políticas públicas, visando proporcionar uma visão sistemática, analítica e propositiva dos processos e resultados, que facilite o aprimoramento da gestão institucional e da educação continuada dos profissionais da educação. A proposta é que os registros coletados nas escolas sejam avaliados com base na sua relação com indicadores quantitativos e informações qualitativas que permitam contextualizar as avaliações institucionais e indicar configurações que demarquem situações e perspectivas no cenário educacional. Referências Afonso, A. J. (2009). Avaliação Educacional Regulação e Emancipação. São Paulo, Cortez. Anadon, S. B. (2012). Prova Brasil: uma estratégia de governamentalidade. Pelotas: UFPel, 170 f. Tese (Doutorado em Educação) – Programa de Pós-graduação da Faculdade de Educação da Universidade Federal de Pelotas, Pelotas, 2012. Ball, S. (2004) Entrevista. Educação em Revista: Belo Horizonte: v. 40, p. 11-26, dez 2004. Entrevista concedida a Lucíola Lícinio C. P. Santos. Bonamino, A. C. (2002) Tempos de avaliação educacional: o SAEB, seus agentes, referências e tendências. Rio de Janeiro: Quartet. 54 Bonamino, A. e Sousa, S. Z. (2012) Três gerações da avaliação na educação básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-388, abr./jun. 2012. Foucault, M. (1986) Microfisica do Poder. Rio de Janeiro, Graal, p. 12. Hypolito, A. M. (2010). Políticas curriculares, Estado e regulação. Educação e Sociedade, Campinas, v. 31, n. 113, p. 1337-1354, out/dez. Sousa, S. M. Z. L. (2003) Possíveis impactos das políticas de avaliação no currículo escolar. Cadernos de Pesquisa. São Paulo n. 119, p. 175-190, julho. Werle, F. O. C. (org). (2012). Avaliação em larga escala: questões polêmicas. Brasília: Líber. 55 « ELOGE DE LA TRANSVERSALITÉ : AUTOUR DE LA PLUS-VALUE DE LA PARTICIPATION D’EXPERTS TRANSVERSAUX DANS LES COMITÉS D’ÉVALUATION DE L’AEQES : REGARDS CROISÉS SUR LE SENS DE LA PRATIQUE DES EXPERTS TRANSVERSAUX DANS L’ÉLABORATION D’UN PROCESSUS D’ÉVALUATION DE LA QUALITÉ DES PROGRAMMES » (ID 27) VAN OUYTSEL, Audrey, Ph.D, AEQES BERTHIAUME, Denis, Ph.D, HES-SO DUYKAERTS, Caty, AEQES RÉSUMÉ L’évaluation de programmes d’études par des experts est devenue l’un des traits communs des systèmes d’assurance qualité en Europe et à travers le monde. Généralement, les comités d’experts sont composés, outre des profils experts étudiants, d’experts disciplinaires et professionnels qui examinent les programmes avec une approche dite de peer review (évaluation par les pairs). En Belgique francophone, les comités d’experts incluent, depuis plusieurs années, deux autres profils d’experts : les experts de l’éducation, les experts de la qualité. Leur contribution au processus d’évaluation des programmes a été significative, mais des preuves empiriques semblaient nécessaires pour comprendre et appréhender la nature et la valeur de leurs contributions. Cette recherche exploratoire examine donc la contribution de ces experts transversaux. Diverses techniques de récoltes et d’analyse de données ont été mobilisées à cet effet. L’aspect novateur de cette recherche exploratoire réside dans la spécificité du champ exploré. Il repose également sur la dimension des « regards croisés » sur l’expertise transversale qu’elle propose. Les analyses proposées sur la contribution des experts transversaux se basent en effet tant sur le regard qu’ils portent sur leurs propres rôles que sur le regard que portent leurs homologues non-transversaux sur les transversaux. Les résultats ont permis de dégager cinq types de contributions (classées en tendances) des experts transversaux aux comités d’évaluation. Ces cinq tendances soulèvent des questions plus approfondies au sujet de la plus-value de la participation des experts transversaux aux comités d’évaluation de l’AEQES. 56 Contexte et motivation et objet de cette recherche exploratoire L’Agence pour l’Evaluation de la Qualité de l’Enseignement Supérieur (AEQES) a pour mission l’évaluation formative des programmes d’études (bachelier et master). Les évaluations sont groupées par clusters : tous les programmes d’études portant le même intitulé ou se rapportant au même domaine d’études sont évalués par un comité d’experts unique. L’évaluation poursuit un double objectif : fournir une information sur la qualité des programmes évalués (publication des rapports sur le site de l’AEQES) et soutenir les institutions dans le développement de systèmes d’assurance qualité autonomes et efficaces. Les évaluations initiales sont complétées par des visites d’évaluation de suivi dans le but de consolider les actions mises en place pour améliorer la qualité des programmes d’études. Pour mener à bien ses missions et guider son travail, l’AEQES a développé un référentiel d’évaluation constitué de cinq critères qui recouvrent autant les dimensions institutionnelles (gouvernance, procédures qualité et amélioration continue, ressources humaines et matérielles, communication) que pédagogiques (formulation d’objectifs de programme sous forme d’acquis d’apprentissage terminaux, approches pédagogiques et activités d’apprentissage, critères d’évaluation de l’atteinte des acquis d’apprentissages visés, les dispositifs déployés pour soutenir l’apprentissage des étudiants2). Depuis près de cinq années, afin de consolider le travail d’analyse des évaluations, l’AEQES a intégré dans la composition de ses comités d’experts des profils variés : 4. experts pairs (issus de la discipline évaluée) 5. experts de la profession (issus du champ professionnel visé par le programme) 6. experts étudiants (issus de cycles d’études similaires) 7. experts de l’éducation (spécialisés dans le développement de méthodes pédagogiques et d’apprentissage de l’enseignement supérieur) 8. experts de la qualité (spécialisés dans la gestion de la qualité dans divers domaines, incluant l’enseignement supérieur) Les deux derniers profils d’experts sont appelés, dans le jargon institutionnel de l’AEQES, des « experts transversaux » dans la mesure où ils ne sont pas rattachés à un champ disciplinaire spécifique. Convaincue de l’intérêt de la pluralité des regards et expertises dans ses comités d’évaluation, l’AEQES estime que l’apport de l’expertise « éducation » et « qualité » se voit particulièrement renforcé par rapport aux ESG3 révisés en 2015 qui mettent l’accent sur les activités d’enseignement et d’apprentissage ; mais également dans le contexte du référentiel d’évaluation qui explicite, au critère 3 (cohérence interne du programme), l’alignement nécessaire entre objectifs du programme, approches pédagogiques et méthodes d’évaluation de l’atteinte des acquis visés. L’appréciation de ces critères dans les pratiques éducatives de l’établissement visité est facilitée par l’implication de tels profils d’experts. 2 3 Pour information, voir http://www.aeqes.be/documents/20121004AEQESCompilationAssessmentGuide2012.pdf Voir http://www.enqa.eu/index.php/home/esg/ 57 Au départ d’une question portant sur la perception que les cinq profils d’experts ont du rôle des experts transversaux et également sur le regard que les experts transversaux portent sur leurs propres pratiques, nous avons mené une recherche exploratoire à partir d’une approche phénoménologique et d’une récolte de matériau de type phénoménographique (Akerlind, 2005 ; Prosser & Trigwell, 1999). Questions de recherche Notre réflexion principale porte sur la perception que les 5 profils d’experts ont du rôle des experts transversaux lors des comités d’évaluation de l’AEQES. Elle porte également sur le regard que les experts transversaux portent sur leurs propres pratiques. Quelles sont les spécificités de leurs contributions ? Quel sentiment d’utilité se dégage de leurs pratiques, eux qui ne sont pas experts de la discipline ou de la profession évaluée ? Comment leurs homologues transversaux perçoivent leur participation aux comités d’évaluation de l’AEQES ? Peut-on dégager de ce double regard des perceptions communes de l’expertise transversale ? Nous cherchons ici à comprendre les perceptions de la contribution des experts transversaux à partir d’une approche phénoménologique. Cette approche se focalise sur les vécus d’expériences des experts lors des comités d’évaluation. Elle tente de capturer l’expérience vécue par les répondants sans reposer sur des idées préconçues et ne vise aucune prétention de généralisation. Méthodologie L’approche méthodologique générale de cette recherche exploratoire est donc phénoménologique. La récolte de matériau était donc de type phénoménographique (Akerlind, 2005 ; Prosser & Trigwell, 1999). Dans le contexte d’une telle approche, nous avons tenté de regrouper des expériences vécues à partir de similarités observées autant dans les réponses fournies par les experts transversaux que par celles fournies par les experts non-transversaux au sujet de la perception du rôle des experts transversaux. Deux types de matériau ont été récoltés et analysés à différents moments du processus de recherche. Collecte de matériau à partir de questionnaires standardisés auto-administrés Une sélection aléatoire des experts transversaux et non-transversaux parmi la liste de quelques 317 experts (avec lesquels l’AEQES a travaillé) a été effectuée. Dans la construction de cet échantillon, quelques critères de diversification ont toutefois été intégrés : une diversité de genre (19 experts femmes et 25 experts hommes) et diversité dans l’expérience d’experts pour les comités AEQES (entre 2 et 27 visites réalisées jusqu’à présent) ainsi qu’une diversité dans la temporalité des visites (la dernière visite des répondants a été réalisée dans une période allant de 5 ans à 2 mois). Les questions étaient formulées de façon à encourager les participants à narrer une contribution spécifique des experts transversaux au sein des comités d’évaluation de l’AEQES. Quelques demandes d’illustrations étaient en effet intégrées à certaines questions. 58 Au total 47 experts parmi lesquels 29 experts non transversaux (11 experts pairs, 10 experts de la profession, 8 experts étudiants) et 18 experts transversaux (10 experts de la pédagogie et 8 experts de la qualité) ont été sollicités. Sur les 47 questionnaires transmis nous avons recueilli 23 réponses (11 des experts nontransversaux sur les 29 envois et 12 des experts transversaux sur 18 envois). La recherche de tendances émergentes et de similarités Les réponses aux 23 questionnaires standardisés auto-administrés ont été analysés à partir de la méthode comparative (Glaser & Strauss, 1969 ; Strauss, 1987). Afin de procéder à ces comparaisons de la manière la plus systématique possible, les réponses (présentées sous forme de verbatims) des experts transversaux et non-transversaux ont été retranscrites dans deux colonnes distinctes. Pour chacune des colonnes, les verbatims furent analysés un par un afin de définir les tendances qui s’en dégageaient. Chaque verbatim supplémentaire fut analysé au regard des tendances qui avaient déjà été définis. Une fois cette opération finalisée pour chacune des deux colonnes des émergents furent dégagés en commun à ces dernières. Cette phase fut menée par deux chercheurs de manière indépendante afin d’assurer une fiabilité des analyses. Au total, 5 tendances convergentes ont été dégagées. Typologie des 5 tendances convergentes et leurs sous-catégories : 1. Aide à porter un regard ciblé sur : 2. L’organisation, les structures 3. Le système qualité (sa pertinence) 4. Le contexte 5. L’approche enseignante 6. Conseiller le comité dans : 7. La formulation des questions 8. La clarification du jargon et du fonctionnement 9. Aider le comité dans : 10. L’atteinte du consensus 11. La prise de décision 12. La formulation de propositions 13. La compréhension du système qualité 14. Soutenir la réflexion pédagogique : 15. Aider à faire des liens avec la recherche pédagogique 16. Développer la sensibilité des experts 17. Fournir un éclairage complémentaire : 18. Regard critique sur les compétences 19. Regard critique sur l’employabilité 59 L’illustration de la contribution des experts transversaux La première phase d’analyse a fourni des éléments intéressants lesquels ont permis de dégager et de clarifier la contribution des experts transversaux au travers les 5 éléments de convergence définis. Nous avions par ailleurs besoin d’obtenir plus d’informations concrètes afin de disposer d’une compréhension plus opérationnelle des contributions des experts transversaux. Nous nous sommes donc adressés aux 11 des 18 experts transversaux qui avaient répondus à nos questionnaires et procédés à un « rappel stimulé » (Biddle & Anderson 1986 ; Clarck & Lampert, 1986 ; Clarck & Peterson, 1986 ; Shulman, 1986) afin d’obtenir des illustrations plus précises de leurs contributions. Chacun des 11 experts transversaux reçu une version électronique du dernier rapport final de synthèse de la dernière visite qu’il avait effectuée pour l’AEQES. Leur tâche était d’identifier des situations concrètes (vécues lors de leur dernière visite) qui correspondraient à un ou plusieurs éléments des 5 éléments de convergence dégagés lors de la première phase d’analyse du matériau. L’approche du « rappel stimulé » poursuivait deux finalités: Accroître la validité des résultats afin de s’assurer que les analyses ne se basaient pas uniquement sur des déclarations mais sur des situations vécues (Argyris & Schön, 1977). Identifier lesquels des 5 éléments de convergence résultant de la première phase d’analyse avaient le plus de sens pour les experts transversaux. L’importance relative des tendances communes aux deux catégories d’experts L’identification d’illustrations concrètes des diverses tendances et sous-catégories (voir tableau 1 ci-dessous) a permis de valider la typologie des 5 tendances identifiées lors de la première phase d’analyse. Nous avons tenté de classer les illustrations transmises par les 6 les experts transversaux ayant répondu à notre demande parmi les 5 tendances et leurs sous-catégories. Le tableau 1 cidessous indique quelles tendances et sous-catégories leur correspondant sont les plus souvent illustrées. Les résultats préliminaires nous renseignent les résultats suivants : La lecture du tableau nous renseigne sur le nombre d’illustrations fournies par les 6 experts transversaux pour chacun des 5 axes de convergence. La tendance 1 est la plus illustrée (8 illustrations). Viennent ensuite en même position les tendances 3 et 5 (5 illustrations). Ensuite les tendances 2(4 illustrations) et 4(1 illustration). Les tendances qui revêtiraient le plus de sens dans la pratique des experts transversaux seraient principalement la tendance 1, et ensuite les tendances 3, 5,2 et 4. Le comptage des illustrations en fonction du profil des experts transversaux révèle également que les aptitudes de leadership étaient surtout l’apanage des experts de la qualité plutôt que celui des experts de l’éducation. Cette piste pourrait être davantage explorée. 60 Tableau 1 : nombres d’illustrations par tendance et par sous-catégorie 61 Résultats, conclusions et perspectives Dans cette recherche exploratoire, deux séries de données furent récoltées et analysées afin de déterminer et de clarifier la contribution des experts transversaux aux comités d’évaluation de l’AEQES. Un premier regard sur ces résultats préliminaires révèle des similarités dans la perception de la contribution des experts transversaux par eux-mêmes et par leurs homologues nontransversaux. Une typologie de 5 tendances communes aux deux groupes d’experts se dégage de nos analyses. Ces tendances nous éclairent sur la nature de la contribution des experts transversaux. Ces contributions identifiées par les deux types d’acteurs concernés par cette recherche apparaissent également de manière positive. Ces résultat présentent un caractère novateur dans la mesure où peu d’agences qualité incluent dans leurs comités des experts transversaux principalement parce que une longue tradition défend le point de vue selon lequel seuls les experts non-transversaux (professionnels, pairs et étudiants) sont à mêmes d’évaluer des programmes d’études. Les résultats de cette recherche exploratoire montrent en outre que lorsqu’on dépasse l’approche traditionnelle de l’évaluation de la qualité basée sur « les contenus » et le « peer review », la présence d’experts transversaux enrichit de manière considérable le processus d’évaluation de la qualité des programmes. Une analyse approfondie de la contribution des experts transversaux laisse transparaître chez ces derniers la présence d’un panel de compétences relatives aux relations interpersonnelles, à l’esprit critique, la prise de distance et la réflexivité. Ces compétences semblent cruciales au fonctionnement de comités d’évaluation, et en particulier dans le cadre de l’évaluation formative de l’enseignement supérieur et universitaire telle que prodiguée/pratiquée en Fédération Wallonie-Bruxelles (en Francophonie). Nous souhaiterions souligner à présent les limites de cette recherche : Premièrement, son caractère est exploratoire : les résultats qu’elle propose sont préliminaires et quelques approfondissements seraient indispensables au renforcement et à la validation des résultats. L’échantillon devrait d’une part, être élargi à un plus grand nombre d’experts afin de tester l’éventuelle émergence de nouvelles tendances à partir du principe de saturation de la récolte de matériau. Deuxièmement, les tendances et leurs sous-catégories gagneraient à être davantage illustrées. Troisièmement, nous devrions intégrer les points de vues d’autres acteurs impliqués dans le processus d’évaluation de la qualité tels que les établissements par exemple, lesquels ont pour certains fait l’expérience de deux types de composition de comités d’experts (ceux composés exclusivement de pairs et ceux composés d’experts transversaux) . Quatrièmement, une distinction entre les deux profils d’experts de la qualité et de l’éducation (repris sous la catégorie d’experts transversaux) permettrait d’affiner nos analyses et de relever autant les éléments communs que les divergences présentes chez ces deux profils d’experts. 62 En termes de perspectives à présent, ces résultats préliminaires soulèvent des questions concrètes qui n’épuisent toutefois pas les pistes de réflexion et les champs d’investigation ouverts par cette recherche : 1. Quelle serait la proportion souhaitable d’experts transversaux et non-transversaux au sein des comités d’experts? 2. Qui devrait prendre en charge la présidence des comités? 3. Les compétences identifiées chez les experts transversaux sont-elles exclusivement l’apanage des experts transversaux? Les experts transversaux pourraient-ils également déployer ce genre de compétence et comment? 4. Quels seraient le bénéfice de l’extension de cette pratique évaluation transversale à d’autres systèmes tels que les revues institutionnelles? Références Åkerlind, G. S. (2005). Academic growth and development: How do university academics experience it? Higher Education, 50, 1-32. Argyris, C., & Schön, D. A. (1977). Theory in practice: Increasing professional effectiveness. San Francisco: Jossey-Bass. Biddle, B. J., & Anderson, D. S. (1986). Theory, methods, knowledge, and research on teaching. In M. C. Wittrock (Ed.), Handbook of Research on Teaching (3rd ed., pp. 230-252). New York: Macmillan. Clark, C. M., & Lampert, M. (1986). The study of teacher thinking: Implications for teacher education. Journal of Teacher Education, 37(5), 27-31. Clark, C. M., & Peterson, P. L. (1986). Teachers' thought processes. In M. C. Wittrock (Ed.), Handbook of Research on Teaching (3rd ed., pp. 255-296). New York: Macmillan. Embree, L., Behnke, E. A., Carr, D., Evans, J. C., Huertas-Jourda, J., Kockelmans, J. J. Zaner, R. M. (1997). Encyclopedia of phenomenology. The Hague: Kluwer Academic Press. Glaser, R. G., & Strauss, A. (1969). The discovery of grounded theory: Strategies for qualitative research. New York: Aldine Publishing. Prosser, M., & Trigwell, K. (1999). Understanding learning and teaching: The experience in higher education. London: SRHE/Open University Press. Schutz, A. (1973). Collected papers I: The problem of social reality (4th ed.). The Hague, NL: Martinus Hijhoff. Shulman, L. (1986). Paradigms and research programs in the study of teaching: A contemporary perspective. In M. C. Wittrock (Ed.), Handbook of Research on Teaching (3rd ed., pp. 3-36). New York: Macmillan. Strauss, A. (1987). Qualitative analysis for social scientists. Cambridge, UK: Cambridge University Press. 63 EVALUATION DES ATTITUDES EN COURS D’ALLEMAND: COMPARAISON DE CLASSES ORDINAIRES ET EN IMMERSION PARTIELLE (ID 30) GENOUD, Philippe A., Université de Fribourg (CH) RÉSUMÉ Dans le cursus traditionnel, les élèves font généralement l’apprentissage de la langue seconde (l’allemand dans le cas de notre recherche) par le biais de cours de langue tels qu’imposés dans leur plan d’études. Toutefois, les travaux scientifiques qui se sont intéressés à la comparaison des dispositifs relèvent les faibles bénéfices des cours de langue en grands groupes par rapport à d’autres méthodes (e.g. Hubbard, 2000 ; Prusse & Nakamura, 2010). En effet, l’immersion totale ou « bain linguistique » (Gieruc, 2001) – par exemple via des échanges linguistiques – permet sans aucun doute une bien meilleure maîtrise de la langue puisqu’elle se déroule dans un contexte qui stimule davantage l’apprenant. Toutefois, elle pose certains problèmes en termes d’organisation et de coûts. Afin de favoriser l’apprentissage de la langue seconde la Direction de l’instruction publique du canton de Fribourg s’est dotée d’un concept de l’enseignement des langues (DICS, 2009). Ce concept propose des solutions intermédiaires entre les cours de langues et l’immersion totale. On y trouve ainsi différentes mesures telles que des « séquences d’enseignement dans la langue partenaire » (proposition 8, pp. 22-23) – qui se traduisent par l’enseignement de diverses disciplines (sciences, géographie, histoire, éducation physique, etc.) en langue allemande (8 à 10 unités par année) – ainsi que des « classes bilingues » (proposition 9, pp. 24-25) qui offrent ce même type d’enseignement, mais sur toute l’année. Ce type de démarche n’est pas spécifique au canton de Fribourg puisque d’autres cantons bilingues (le Valais par exemple) proposent des classes bilingues en fin de scolarité primaire déjà, avec des résultats encourageants au niveau de l’expression et de la compréhension orales et écrites (Demierre-Wagner & Schwob, 2004). Dans les cycles d’orientation du canton de Fribourg (niveau secondaire I), ces propositions d’immersion dite « partielle » sont ouvertes aux élèves de la filière la plus élevée (classes de type prégymnasial) afin de pouvoir garantir que l’allemand ne soit pas un obstacle supplémentaire à l’acquisition des objectifs fixés pour chaque discipline. Toutefois, elles ne sont pas obligatoires puisque les élèves vont pouvoir choisir d’y prendre part ou non. Notre recherche vise deux objectifs principaux. Le premier est de mieux comprendre en quoi les attitudes des élèves (voir Triandis, 1971; Fishbein & Ajzen, 1975) vis-à-vis de l’apprentissage de l’allemand diffèrent entre les élèves des classes ordinaires et ceux qui ont choisi de participer à ces projets bilingues. Le second tente d’appréhender l’évaluation différentielle que font les élèves de leurs propres compétences, de leur pratique effective de la langue seconde tout comme des raisons qui les ont amenés à faire le choix d’un projet bilingue. Au niveau de la récolte de données, nous avons eu accès à près de 200 élèves en dernière année d’école obligatoire (moyenne d’âge de 15.0 ans) dans la filière supérieure, la moitié appartenant à des classes en projet bilingue. Les mesures ont été faites par le biais de questionnaires autorapportés. Outre les variables sociodémographiques, nous avons ainsi évalué les attitudes socioaffectives des élèves envers l’allemand en adaptant un questionnaire prévu initialement pour les mathématiques (Genoud & Guillod, 2014) et comprenant diverses dimensions dans les registres 64 cognitif (utilité, sentiment de compétence, contrôlabilité), affectif (affects positifs et négatifs, régulation des affects) et comportemental (investissement). Nous avons également obtenu l’autoévaluation de leurs compétences en allemand tout comme la fréquence d’utilisation de cette langue dans le contexte privé. Finalement, pour le groupe « projet bilingue », nous avons ajouté seize items supplémentaires afin d’identifier les raisons principales de leur participation à ce projet, notamment en termes de pression (de la part des parents ou des enseignants) et de motivation (intrinsèque et extrinsèque ; voir Deci & Ryan, 1985). Les analyses en cluster que nous avons réalisées suggèrent la présence de quatre groupes d’élèves ayant des profils d’attitudes particuliers même si, dans les classes en projet bilingue, le groupe d’élèves ayant les attitudes les plus négatives n’est pas présent. Nos analyses montrent que les différents groupes se distinguent non seulement au niveau de leur note scolaire, mais aussi de la pratique de la langue seconde hors milieu scolaire et surtout de leur investissement dans les apprentissages. L’interprétation des différentes raisons qui ont conduit les élèves à participer au projet bilingue sera faite à la lumière des biais méthodologiques de la recherche, en particulier l’utilisation de mesures auto-rapportées. Dans les limites de notre recherche, nous aborderons également la question de la stabilité des attitudes des élèves. Nous orienterons aussi notre discussion sur la présence de cercles vicieux (ou vertueux) qui se développent entre la présence d’attitudes marquées pour la discipline et les choix d’apprentissage faits par les élèves. Au niveau des perspectives qui se dégagent de notre recherche, ce dernier point fera l’objet de réflexion sur des pistes permettant de favoriser la motivation des élèves pour l’apprentissage des langues étrangères. Références Deci, E. L., & Ryan, R. M. (1985). Intrinsic motivation and self-determination in human behavior. New York: Plenum Press. Demierre-Wagner, A., & Schwob, I. (2004). Evaluation de l’enseignement bilingue en Valais. Rapport final. Neuchâtel : IRDP. DICS (2009). Concept cantonal de l’enseignement des langues. Fribourg : Direction de l’instruction publique, de la culture et du sport. Récupéré le 10.02.15, de http://fralleng.ch/concept Fishbein, M., & Ajzen, I. (1975). Belief, attitude, intention and behavior: An introduction to theory and research. Reading, MA: Addison-Wesley. Genoud, P. A., & Guillod, M. (2014). Développement et validation d’un questionnaire évaluant les attitudes socio-affectives en maths. Recherches en Education, 20, 140-156. Gieruc, G. (2001). Introduction. In S. Wokusch, P. Gervaix et al. (Eds.), Etat de situation de la maturité bilingue. Compétences linguistiques des élèves de 2e année. Rapport intermédiaire (pp. 37). Lausanne : URSP. Hubbard, E.H. (2000). Discourse performance in minimal immersion and non-immersion groups: a comparative analysis. South African Journal of Linguistics, 18(37), 51-61. Prusse, M., & Nakamura, Y. (2010). Englischkompetenzen in Immersions- und Kontrollklassen. In R. Stebler & K. Maag Merki (Eds.), Zweisprachig lernen. Prozesse und Wirkungen eines immersiven Ausbildungsganges an Gymnasien (pp. 131-151). Münster: Waxmann. Triandis, H.C. (1971). Attitude and attitude change. New York: John Wiley & Sons. 65 AVALIAÇÃO DE CURSOS TÉCNICOS COMO INSTRUMENTO DE APRENDIZAGEM: IDENTIFICAÇÃO DE BARREIRAS (ID 32) SCREMIN, Sandra Margarete Bastianello, Instituto Federal de Educação Ciência e Tecnologia de Santa Catarina (BR) NASSAR, Silvia Modesto, Universidade Federal de Santa Catarina (BR) WILGES, Beatriz, Universidade Federal de Santa Catarina (BR) CISLAGHI, Renato, Universidade Federal de Santa Catarina (BR) Introdução A avaliação constitui-se uma temática recorrente nas instituições de ensino, tantoa avaliação dos processos de ensino aprendizagem como a avaliação das instituições em seus aspectos administrativos, de ensino, pesquisa e extensão. E, conforme Paro (2011), “como toda atividade humana, a educação não apenas é suscetível de avaliação, mas tem a avaliação como elemento necessário de sua constituição”. No entanto, Machado (2014) aponta que “a avaliação nunca foi como hoje, o polo de atração de todas as virtudes e de todos os males: é desejada por todos, mas parece que ninguém a quer” ao justificar as dificuldades que se apresentam na implantação de processos de avaliação. Tais dificuldades têm sido registradas no meio acadêmico por diferentes denominações, dentre elas vale registrar: mitos e armadilhas (Barreto, 1993; Garcia, 2001), entraves (Lima, 2010), desafios (Ribeiro, 2010), dificuldades (Miraldo, 2012), resistências (Santos, Sadala & Borges, 2012) e barreiras (Nicotari & Nishikawa, 2013;Alzamil, 2014). Ainda, Lima (2010) e Cislaghi et al.(2014) registram a necessidade de identificar e compreender tais barreiras, pois segundo os autores, só assim será possível estabelecer estratégias de superação na busca da melhoria dos processos avaliativos. Diante desse contexto, apresenta-se o relato da primeira etapa de uma pesquisa de investigação, realizada por meio de um estudo de caso, com o objetivo de identificar as barreiras que se apresentam nos processos de avaliação de cursos técnicos na modalidade a distância bem como as estratégias utilizadas para superá-las. O Estudo de Caso O estudo de caso está sendo desenvolvido nas instituições que ofertam cursos técnicos na modalidade a distância por meio da Rede e-Tec Brasil. A Rede, criada em 2007, com o propósito de ampliar e democratizar o acesso a cursos técnicos de nível médio, públicos e gratuitos, em regime de colaboração entre União, estados, Distrito Federal e municípios, realiza desde 2010 a avaliação de seus cursos por meio de um sistema on-line, o Sistema de Acompanhamento e Avaliação de Cursos SAAS. No entanto, apesar de toda a estrutura e possibilidades do SAAS e das ações desenvolvidas pela Secretaria de Educação a Distância/MEC, por meio da Rede e-Tec Brasil (2015) Cislaghi et al. (2014) alertam para o problema da baixa participação nas avaliações e para a necessidade de estabelecer estratégias que contribuam para o aumento da participação. 66 Metodologia A primeira coleta de dados da pesquisa foi realizada por meio de questionário para os gerentes SAAS de 44 das 56 instituições cadastradas no referido sistema e que ofertavam cursos no momento da coleta. O questionário foi composto por uma questão de 15 itens (contendo barreiras elencadas a partir do referencial teórico e de consulta a especialistas) com opções de resposta tipo Likert (com escores expressando o grau de intensidade da dificuldade das barreiras apresentadas) e duas questões abertas a primeira para levantar outras barreiras, além das listadas na primeira questão, e a segunda, para identificar as estratégias adotadas ou possíveis de serem adotadas na busca da superação dessas barreiras. Adotou-se como critério, nessa primeira etapa da pesquisa, que um item expressaria uma barreira quando mais de 50% dos respondentes assinalasse uma das opções de respostas “dificulta em parte”, dificulta muito” ou “dificulta muitíssimo”, correspondendo à maior intensidade de dificuldade de sua participação no processo de avaliação. Análise dos Dados Com um retorno de 35 respondentes, a amostra atingiu o tamanho mínimo, considerando um nível de confiança de 90% com margem de erro 10%. E, de acordo com o critério adotado, os gerentes SAAS apontam como barreiras ao processo de avaliação: • Dificuldade em contatar o aluno (problemas de endereço eletrônico); • Apoio insuficiente por parte dos coordenadores; • Divulgação insuficiente dos objetivos e etapas da avaliação; • Questionários muito extensos; e • Falta de feedback dos resultados e ações resultantes das avaliações. E, como estratégias adotadas: • Criação de link de integração SAAS/Ambiente Virtual de Aprendizagem-AVA para facilitar a atualização dos dados; • Realização de reuniões periódicas com coordenadores para divulgação das avaliações SAAS. E como estratégias possíveis de serem adotadas: Criação de link de integração SAAS/AVA em todas as instituições; • Capacitação on-line sobre o SAAS para coordenadores; • Matéria na página principal do SAAS/AVA sobre a avaliação; • Melhorar o canal de comunicação SAAS/avaliadores; • Criar tutorial SAAS para avaliadores; • Realizar revisão dos questionários; • Divulgar as ações para correção das falhas apontadas nas avaliações em forma de relatórios específicos; • Criação do Módulo Gestão de Resultados no SAAS. Considerações Finais Nessa primeira etapa da pesquisa ficou evidente a importância da identificação das barreiras percebidas nos processos de avaliação na perspectiva de estabelecer estratégias que permitam novas possibilidades e contribuam para a melhoria da participação nas avaliações. Entende-se que dessa formao conhecimento produzido pelas avaliaçõesrealizadas pelo SAAS possa ser melhor 67 utilizado, como um instrumento de aprendizagem institucional, pelas instituições da Rede e-Tec Brasil. Ainda, diante dos resultados, a partir da percepção dos gerentes, pode-se perceber que as barreiras não são todas da mesma natureza, ou seja, dependendo da abrangência, podem ser de ordem metodológica e/ou institucional, e essas, ainda podem ser técnicas, de comunicação ou de gestão conforme sua origem. Assim, entende-se que a continuidade da pesquisa fornecerá subsídios para classificar as barreiras contribuindo para o estabelecimento de estratégias com maior potencial de implementação na busca da melhoria do índice de participação nas avaliações e consequente apropriação dos resultados. Referências Alzamil, Z. A. (2014). Quality improvement of technical education in Saudi Arabia: selfevaluation perspective. QualityAssurance in Education, Vol.22, n.2, 125-144. Barreto, J. A. E.(1993). Avaliação: mitos e armadilhas. Ensaio: Avaliação e Políticas Públicas em Educação. V.1, n.1, 45-54. Rede e-Tec Brasil. Disponível em: <http://redeetec.mec.gov.br/>. Acesso em: 14jun2015. Cislaghi,R.;Wilges, B.; Nassar, S.M.; Hiuri, D. L. & Mateus, G. P.(2014) . Avaliação de Polos sob uma Perspectiva Georreferenciada.- XI Congresso brasileiro de Ensino a Distância. Cislaghi, R.; Nassar, S. M.; Wilges, B.; Leonardi, J.; Longo, D. H. (2015). Gestão de qualidade de cursos a partir da percepção de estudantes egressos. RENOTE. Revista Novas Tecnologias na Educação, v.13. Garcia, R. C. (2001). Subsídios para organizar Avaliações da Ação Governamental.Texto para discussão N.776. Brasília: Instituto de Pesquisas Econômicas Aplicadas. Lima, E. G. dos S.(2010). Avaliação institucional participativa: entraves e possibilidades no contexto da universidade. Disponível em http://www.anped11.uerj.br/AVALIACAOINSTITUCIONAL.pdf. Acesso em: 15abr2015. Machado, E. A. (2014). Entre a Omniavaliação e Confiscação: Contributos para uma Avaliação Dialógica e Sustentável. Avaliação, Campinas; Sorocaba, SP, v.19, n.2, 333-343. Miraldo, C. M. V.(2012). Programa de avaliação da educação profissional (Provei): avaliando o ensino profissional do SENAI-SP. – São Paulo: SENAI-SP. Nicotari, M.A. & Nishikawa, M. (2012). Autoavaliação Institucional: Bases de uma Metodologia Participativa e Emancipada para o seu Desenvolvimento em IES de Educação a Distância. SIED: EnPED - Simpósio Internacional de Educação a Distância e Encontro de Pesquisadores em Educação a Distância. Paro,V. H. (2011). Progressão continuada, supervisão escolar e avaliação externa:implicações para a qualidade do ensino. Revista Brasileira de Educação. 16(48) set.-dez. 2011 Ribeiro, J. L. L S.(2011). Avaliação das Universidades Brasileiras: Possibilidades de Avaliar e as Dificuldades de ser Avaliado. Avaliação, Campinas; Sorocaba, SP, v.16, n.1, 57-71. Santos, E. G.,Sadala, M. da G. S. & Borges, S. X.A.(2012). Avaliação Institucional: por que os atores silenciam? Educação e Realidade. Porto Alegre, v.37, n.2, 551-568. 68 TRABALHO DOCENTE NA ESCOLA PÚBLICA: SENTIDOS PARA A AVALIAÇÃO DE RENDIMENTO NO COTIDIANO ESCOLAR (ID 33) VARANI, Adriana (UNICAMP) (BR) RESUMO A pesquisa tem como objetivo compreender os sentidos do trabalho coletivo docente no interior da escola frente às novas demandas de organização pedagógica das últimas décadas na educação brasileira, em especial as alterações no campo da avaliação da aprendizagem, via indicadores de desempenho escolar. Tal alteração vem acompanhada de outras iniciativas, como: a organização curricular por ciclos; a introdução da criança de seis anos no ensino fundamental em razão da escola de nove anos; novos tempos e espaços de organização escolar, como a escola de tempo integral. Tais alterações têm demandado, por parte dos profissionais, novos desafios coletivos em seu cotidiano. Para tanto, estamos analisando os depoimentos de professores de escolas públicas municipais de uma região do interior do estado de São Paulo - Brasil, sobre o que vivem na relação entre as políticas e o seu cotidiano na escola para compreendermos os sentidos produzidos pelos docentes no contexto do coletivo escolar. Das memórias registradas, os professores se referem frequentemente às políticas de avaliação externa, que tem provocado no interior do trabalho docente e organização curricular, freqüentes intervenções no campo das práticas pedagógicas. Tais intervenções são materializadas a partir de criação de projetos pela gestão central que intensificam as necessidades de reestruturação do trabalho das professoras junto às crianças. Ao mesmo tempo em que os professores têm nos mostrados como estão ressignificando estas intervenções em função dos contextos locais da escola e de suas artes do fazer (Certeau). Os referencias teóricos do projeto são diversos e podemos citar: Stephen Ball no campo dos estudos sobre a relação entre políticas educacionais e contextos escolares; Michel de Cereal sobre narrativas do cotidiano; Luiz Carlos de Freiras sobre as práticas de avaliação externa, de aprendizagem e desempenho escolar, dentre outros. Pesquisa financiada pela Fundação de Amparo à Pesquisa do Estado de São Paulo. Palavras iniciais O trabalho apresentado é uma das reflexões oriundas do projeto de pesquisa intitulado “Trabalho docente na escola pública: sentidos, desafios e formas de organização”, vinculado à Universidade Estadual de Campinas e financiado pela Fundação de Apoio à Pesquisa do Estado de São Paulo. Este projeto tem como objetivo compreender os sentidos do trabalho coletivo docente no interior da escola frente às novas demandas de organização pedagógica das últimas décadas. Estas demandas estão vinculadas às alterações nas políticas educacionais dos últimos 20 anos, ocorridas no Brasil. Algumas delas acompanham a lógica de políticas mundiais. Inicialmente tínhamos como pretensão compreender os sentidos produzidos a partir das seguintes alterações: A organização curricular por ciclos de desenvolvimento ou de aprendizagem, substituindo a organização seriada; A introdução da criança de seis anos no ensino fundamental em razão da ampliação do tempo escolar do ensino fundamental para nove anos; 69 Novos tempos e espaços de organização escolar, como a escola de tempo integral; Avaliação externa do rendimento escolar. Este objetivo nasce da percepção, pela convivência com professores em espaços formativos, de que nos últimos anos de forma mais enfática e em consonância com objetivos no campo de políticas de governo, especialmente no campo econômico, algumas legislações estão sendo elaboradas e implantadas de forma a alterar a organização escolar brasileira ou reforçando velhas concepções estruturais. Há a percepção que elas estão requerendo dos profissionais da educação novas formas de construir suas práticas. Neste sentido que perguntamos, no contexto do problema de pesquisa: Como as alterações no campo da avaliação afetam o trabalho docente? Quais os sentidos produzidos pelos professores diante das demandas? Que práticas são construídas no contexto das demandas da avaliação? Ao longo do desenvolvimento da pesquisa, em especial da produção dos dados, uma das alterações que mais se sobressaiu na vivencia contextual dos professores entrevistados foi a referente à avaliação. Neste caso o enfoque será para o tema da avaliação, na perspectiva de apresentar os sentidos produzidos no interior da escola frente as alterações no campo da avaliação da aprendizagem, em especial da avaliação em larga escala, via produção de indicadores de rendimento escolar, em dada realidade. Algumas referenciais teóricas metodológicas No campo da avaliação As referências com as quais trabalho estão vinculadas à dois campos específicos. O primeiro refere ao campo das práticas de avaliação externa e suas consequências a partir de uma política de regulação e indução de índices de qualidade pautados pela lógica do quantitativo. Para esta discussão na relação com o cotidiano escolar, recorremos ao conceito de políticas de responsabilização como nos lembra Freitas (2007), na dimensão da responsabilização profissional tipificada por Afonso (2005). Nesta dimensão os professores são responsáveis pelo fracasso escolar ou pelo bom ou mal índice de rendimento dos estudantes e das escolas. Contrapõe-se a esta perspectiva a política de responsabilização compartilhada que veria a constituição da qualidade escolar como decorrente de um processo de reflexão compartilhada das responsabilidades. Ainda neste primeiro campo os estudos tem sido realizados para compreender como elas vêm sendo constituídas a partir de experiências de tentativa de homogeneização dos processos de aprendizagem, como aponta Esteban (2003) e ainda Geraldi (1999). Temos visto um processo em que escolas estão homogeneizando suas práticas a partir de testes padronizados, treinos para responder a exames, negando a diversidade do trabalho pedagógico e a diversidade característica das crianças/adolescentes que estão no interior da escola. O segundo campo refere-se ao diálogo possível entre política educacional e cotidiano escolar, direcionado à compreensão das avaliações. Neste aspecto nos preocupamos com os processos de performatividade, designado por Ball (Mainardes & Marcondes, 2009), quando os sujeitos significam e produzem sentidos sobre as políticas no cotidiano escolar, específicamente na avaliação. Derivado desta discussão, partimos de um referencial com o qual temos visitado com frequência nos estudos do cotidiano que é a ideia que os sujeitos são produtores e não apenas consumidores e neste caso, 70 não apenas consumidores de políticas. Nas artes de fazer (Certeau, 2001) dos professores, eles as ressignificam e constroem formas diversas de fazer a despeito do que é determinado legalmente. No campo metodológico E com esta leitura referenciada, construímos o caminho da pesquisa. Para o desenvolvimento da pesquisa realizamos entrevistas semi-estruturadas com professores, que acumulam mais de 15 anos de docência nos anos iniciais, de escolas públicas municipais de uma região do interior do estado de São Paulo – Brasil. Tais entrevistas objetivaram recuperar narrativas de suas memórias no que tange a vivência no campo das políticas educacionais, bem como a narrativa de formas de conduzir o trabalho no cotidiano escolar. Vale lembrar que no campo ético, todos os professores assinaram um termo de consentimento livre e esclarecido para que houvesse autorização de divulgação, e nos comprometemos com o anonimato dos dados produzidos e publicizados. Duas assunções teórico-metodológicas estão neste projeto: estudo das narrativas do cotidiano e trabalho com a leitura dos sentidos produzidos pelos sujeitos. No caso dos sentidos nos pautamos no estudo de Góes e Cruz (2006) bem como em Bakhtin (1997). O processo de leitura dos dados se pautará pela compreensão dos sentidos que os professores atribuem às mudanças vividas no cotidiano. Para introduzir o conceito de sentido é necessário fazê-lo no contexto de sua relação com o significado da palavra. E para tanto partimos da compreensão que o Sentido da palavra é fundamental para compreensão da dinâmica dos significados. Enquanto o sentido tem esta dimensão singular, “o sentido das palavras depende conjuntamente da interpretação do mundo de cada qual e da estrutura interna da personalidade” (Vygotski, 1993a, p. 333, p. 37), o significado da palavra para Vigotski é definido como uma generalização, que reflete a realidade num processo diferente daquele que envolve o sensorial e o perceptual, que prenderiam o homem às condições situacionais imediatas. Por isso, a generalização é concebida como o fundamento e a essência da palavra (Goes e Cruz, 2006, p. 36). Neste contexto da pesquisa é extremamente relevante compreender que as professoras estão imersas em dinâmicas distintas que a constituem e logo constituem seu modo de ver. A despeito de estarem no campo de relação com a mesma política central, vivem localmente as distinções do trabalho escolar, na lógica particular das histórias vividas na instituição, bem como do seu repertório de formação individual desta relação. É nesta perspectiva que o sentido se configura como o significado interior que dão à palavra e que constitui o subtexto da expressão. Remeto-me aqui a uma das entrevistas realizadas com a professora Violeta, que em vários momentos se depara com suas inquietações sobre o ato de avaliar seus alunos, que passaram pelo momento do exame da avaliação externa em um determinado ano e que se saíram muito bem. Ela diz ficar feliz com este fato ao mesmo tempo, que logo em seguida na entrevista, afirma Olha, eu acho que é...uma prova desse tipo não avalia ninguém, não dá pra dizer que o aluno foi bem, os meus alunos, a maioria dos alunos, até os fraquinhos, foram bem em matemática, porque tem a ... uma parte que eu posso ler, tem uma parte que não pode ler... então meus alunos a maioria teve doi... vinte... em matemática, em português não, porque também é reflexo do professor né? (Risos) o professor gosta de matemática vai... vai focar mais matemática, e meus alunos adoram matemática, adoram,(...) E acho que por eu gostar, eu vejo meus alunos, eles adoram matemática, eu num vejo um falar que não gosta de matemática, e foi uma felicidade pra eles verem que o vinte foi tudo de bom, pra mim também, mas eu, eu fiquei meio preocupada porque ... não que não soubesse, eu vi aluno bom, por isso que eu digo procê, a prova não avalia o aluno, tem aluno bom que não prestou atenção, eu num vou fala, “não você 71 vai escreve aqui, é esse a resposta”, ele não prestou atenção na pergunta, então que que eu tenho que fazer, eu tenho que trabalhar mais... a interpretação com meus alunos, porque eles já sabem escrever e errar uma pergunta, é difícil... (...) então, é quer dizer, que sabe, a criança sabe, a criança, eu acho que isso até um pouquinho, causa um ... sei lá, um sentimento ruim na 4 criança, por isso que eu evito de ficar cobrando muito... (ENT. Violeta p. 9). Suas palavras denotam a atitude socialmente compartilhada, a felicidade pelos seus alunos irem bem. Ao mesmo tempo em que tem um repertório do campo educacional que a faz compreender que os processos avaliativos são influenciados pelos contextos que vivem na escola e por isso a expressão “ avaliação não avalia nada”. Há um sentido próprio construído pela Violeta – a prova não avalia ninguém, permeado, claro por suas experiências e estudos. Além disto há uma construção semântica que aponta contradições. Ao mesmo tempo que ela não acredita na avaliação, ela fica feliz com a nota e tenta trabalhar mais alguns aspectos que mereceriam ser melhorados na avaliação externa. No campo da reflexão metodológica parece que há uma zona de constância em seu discurso em função de significados construídos sobre o que é avaliação – processo de reflexão sobre a condução do trabalho. Ao mesmo tempo que há zonas não tão estáveis e menos coerentes. Enfim, vale reforçar que as compreensões no campo dos sentidos produzidos devem tomar alguns pressupostos necessários de serem relevados ao olhar para as entrevistas, à medida que precisam compreender o discurso como localizados num contexto espacial e temporal: contexto de produção dos dados propriamente dito; e no contexto de como o que dizem estar permeado por uma relação de poder entre eles e o contexto em que se situam; bem como seus referenciais particulares que configuram também o discurso. E tais pressupostos são dialogados, nesta pesquisa, a partir da construção das narrativas do cotidiano. Em Certeau (2001), encontramos a dimensão das artes do dizer dos sujeitos enquanto táticas para produzir um discurso a ser aceito socialmente. As táticas formam um campo de operações dentro do qual se desenvolve a produção de um discurso. Além disto as histórias cotidianas narradas apontam astúcias dos sujeitos (p. 153). Neste caso, ao demonstrar os sentidos produzidos pelas narrativas do que fazem, de como fazem para responder às alterações no campo educacional, o professor demonstra seus sentidos sobre aquela alteração. Aqui novamente os sentidos que é o lugar dos muitos dizeres sobre algo, também se encontra com a dimensão da cotidianeidade, pois demonstram o que fazem no cotidiano, como astúcia e táticas na relação com o poder central. Ao tomarmos o cotidiano como espaço de reflexão, e mais especificamente, o cotidiano das práticas pedagógicas, onde a complexidade é elemento fundamental, temos que aceitar que a particularidade (Heller, 1992) é objeto de reflexão. A particularidade, como elemento constituinte da ação individual, se aproxima do conceito de sentido em Vigotsky (1988). O sentido é um acontecimento semântico individual que ocorre a partir das relações sociais, num processo de singularização. Os sentidos são diversos. Ao tomar o cotidiano e os fazeres/dizeres/saberes provenientes desta dimensão, os sentidos são enunciados. Desta enunciação do/no/sobre o cotidiano, podemos refletir sobre a diversidade e complexidade que o constitui. 4 ENT e a abreviação de Entrevista. Neste caso se refere à entrevista da professora representada por um determinado nome fictício 72 Uma leitura dos dados produzidos Contexto As professoras entrevistadas atuam numa cidade localizada na região Sudoeste do Estado de São Paulo, Brasil. A Rede Municipal de Ensino tem, atualmente, 125 escolas de ensino básico sob responsabilidade da prefeitura, sendo que há 81 Centros de Educação Infantil (CEI), 25 escolas que atendem a educação infantil e fundamental, 14 escolas de ensino fundamental do 1º ao 5º ano, 1 escola de ensino fundamental de 1º ao 9º ano e 4 escolas de ensino fundamental e médio que atendem alunos do 1º ano até o 3º ano do ensino médio. Das escolas da educação básica, 16 escolas atendem a educação de jovens e adultos, chamada, neste município de ALFA-Vida – Anos Iniciais do Ensino Fundamental. O foco deste contexto é indicar qual o nível de importância dos processos de avaliação em larga escala nesta rede, em especial, por conta da leitura do documento “Currículo em Ação”, que muito nos elucida sobre o lugar ocupado por ela no sistema de ensino. Antes de culminar no Currículo Mínimo da Rede que depois se tornou o denominado Currículo em Ação, houve a construção de um diagnóstico baseado nos dados de avaliação externa e da avaliação “Já Sei”, instrumento constituído pela própria Rede. Ao longo do relatório do Currículo em Ação, há a descrição do processo que culmina, em determinado momento na modificação do Currículo Mínimo por um currículo em Ação e a descrição do diagnóstico, que tem como referência, um importante dado para nossa análise: o fato de que esta transformação advém de um desafio “da análise do IDEB – Índice de Desenvolvimento da Educação Básica 2007, publicado em 2008, e de dados do SARESP- Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo, publicado em abril de 2009, em que a Diretoria de Área propõe um alinhamento de ações com a finalidade de implementar eficazmente as mudanças que se faziam necessárias e já apontadas nos diagnósticos e na avaliação do processo de implantação Currículo Mínimo” (p.7). O Currículo em Ação, desta forma, tinha como metas: “ (i) melhorar o Índice de Desenvolvimento da Educação Básica (IDEB) de acordo com os indicadores estabelecidos pelo Ministério da Educação;(ii) oferecer condições para que todos os alunos do Ensino Fundamental de nove anos estivessem plenamente alfabetizados até 08 anos, conforme preconiza O movimento “Todos pela Educação”; (iii) implementar o Centro de Referência em Educação como um órgão da Secretaria de Educação voltado para melhorias da qualidade de Educação para todos. ” (p.8) O que nos revela este discurso? Que os processos de avaliação externa, tanto SARESP, quanto Prova Brasil, a avaliação interna “Já Sei”, e a constituição dos indicadores advindos dos resultados da Prova Brasil (IDEB) são norteadores da construção do currículo. Bálsamo (2014) nos informa e reflete sobre diferentes projetos comprados e implantados na rede ao longo dos anos para a melhoria da qualidade de ensino. 5 Ainda em 2007, a Secretária da Educação da época, solicita a assessoria da Fundação Pitágoras e implementou um projeto dessa fundação, o Sistema de Gestão Integrado (SGI). O objetivo do SGI era capacitar as lideranças (termo usado pelo SGI para denominar os funcionários que ocupavam os cargos de chefes numa secretaria municipal) da SEDU e os gestores das escolas (Diretores e Orientadores Pedagógicos), no sentido de alinhar o sistema municipal às exigências do Ministério da Educação. Com isso, esse grupo de gestores e lideranças elaborou um mapa de metas, estabelecendo para o município metas de aprendizagem, metas operacionais, visão, missão, finalidade e valores. (p.92-3) 5 Instituição Educacional Privada, com sede em Minas Gerais. 73 ...comprou a assessoria do Instituto Paulo Freire, implantando o Programa Escola Cidadã. Esta auxiliaria as escolas a fazerem a “Leitura de Mundo” do bairro a que pertencem, para complementarem seu Projeto Eco Político Pedagógico (PEPP). Também elaborou um documento de Avaliação Educacional, que funciona como uma avaliação institucional, na qual a escola pode auto avaliar-se em onze dimensões como estrutura física, gestão democrática, práticas pedagógicas, avaliação, ambiente educativo, entre outras. (Balsamo, 2014, p.98) A autora mostra o enredamento destas iniciativas com o cotidiano da escola e a busca intensa pelos resultados. É neste quadro em que os resultados, em especial, das avaliações externas, estão no centro do debate, que circula os discursos oriundos das professoras entrevistadas. 2.2. Aproximações com as narrativas docentes Das narrativas do cotidiano, estamos identificando os sentidos sobre as consequências das políticas de avaliação externa no interior do trabalho docente e organização curricular. E nesta primeira aproximação analítica, podemos dizer de alguns aspectos que estão nos fazendo compreender os sentidos. Dentre os vários discursos dos professores, o da professora Rosa aglutinou em uma narrativa de um episódio de sua ação profissional, vários aspectos. (...) Quando foi em 2010 nós chegamos na escola... e... chegamos lá e tinha uma reunião marcada em nível de rede, quando nós fomos pra reunião tinha uma outra matriz que foi apresentada pra gente lá, e nessa reunião tinha até uma proposta de como tinha que ser feito o semanário, a gente recebeu um papel falando, mostrando como que devia ser feito o semanário, em algumas unidades tinha que fazer exatamente daquele jeito como veio impresso da prefeitura, porque na verdade era basicamente isso que eles queriam, porque nós questionamos, eu tava em uma sala e eu falei “olha nós temos um trabalho lá na escola” né? Expliquei: “nós fizemos uns estudos e temos projeto de fechamento, muitas coisas não se encaixam nessa matriz que a gente tá recebendo aqui, como que a gente faz? Eu posso utilizar o que eu to trabalhando lá na escola?” Daí ela falou assim: “Pode desde que você dê conta de tudo isso que tá aqui neste você pode trabalhar o outro também”. Então assim, basicamente não, não pode né? porque era insano dizer que você ia trabalhar tudo aquilo todas aquelas propostas com as crianças, e fica com referenciais assim meio estranhos você não consegue identificar uma linha teórica naquele, naquele primeiro trabalho, isso foi em 2010 (ENT. Rosa p. 8). O primeiro aspecto refere-se à questão do estreitamento curricular que se caracteriza pela redução do trabalho escolar às competências e habilidades requeridas nos exames, representado aqui pela orientação de como deveria ser construído o semanário e a constituição da matriz de referência. A conformação de um currículo oficial a ser seguido para a responder a avaliação externa também está externado nesta dimensão, bem como a tentativa de homogeneização apontada por Esteban (2003). Em outra passagem a professora continua (...) porque a gente conversa que é um coletivo, é um trabalho coletivo, mas a gente sabe que em alguns casos né sempre “a culpa”, digamos assim, se foi mal , se vai bem é o trabalho da escola, se vai mal é o professor que tava com a turma naquele ano, então e eu chegando ali já tendo que mostrar resultado, esse tipo de resultado pra mim foi muito... é.. desafiador, não que eu estivesse assim, por mim, preocupada com isso, mas porque eu sabia das cobranças que viriam depois e como seria isso depois, como isso repercutiria na escola, até então a gente não tinha ainda essa equipe formada não sabia como a gente tinha um conhecimento que a gente tava é.. formando ali, mas eu não sabia exatamente como que ia ser a gestão como que era então não sabia o que viria depois daquele, do resultado do como fosse né? Então foi bem assim...difícil. (ENT. Rosa p. 6). 74 A professora nos remete à pressão sobre o que e como os professores devem construir suas práticas. E o sentimento de responsabilização pelo baixo ou alto índice que a escola atinge. Neste caso podemos nos remeter às políticas de responsabilização como nos lembra Freitas (2012). E não são políticas de responsabilização compartilhada por uma qualidade social da escola, mas uma responsabilização, denominada por Afonso (2005) de profissional tipificada. Também identificamos o processo de performatividade da política de regulação pelas provas da avaliação externa. Quatro professoras se remeteram a uma prática recorrente de realização de simulados para treinar para a avaliação externa e ainda afirmaram que a escola adota a realização de exames na mesma lógica da avaliação externa (SARESP e Prova Brasil) para as turmas que não são avaliadas oficialmente, com o argumento que a criança vai se adaptando ao processo. Na nossa escola nós temos uma avaliação que é uma avaliação unificada, né, que eles fazem uma avaliação de linguagem e de matemática e que todos os primeiros anos fazem a mesma avaliação. Mas é uma avaliação interna, tá? (ENT. Hortência p. 6). (...) E no segundo ano nós recebemos a avaliação externa, né. (...)eu sinto assim que as crianças têm estado mais preparadas, porque eu acho que no nosso planejamento a gente tem procurado adequar as crianças ao processo de alfabetização em si, mas trabalhar de maneira diversificada. A gente tem procurado sistematizar algumas coisas. Então isso facilita no momento da criança realizar a avaliação. (ENT. Hortência p. 6). Percebemos a naturalização do trabalho de estreitamento curricular deste os primeiros anos do ensino fundamental com a intenção e crença que tal ação melhora a aprendizagem da criança. Ao mesmo tempo identificamos também elementos que demonstram o quanto, como forma de resistência, há fazeres cotidianos de negação do que é orientado a ser feito em função do que se acredita como relevante ao processo de ensino porque assumem o que consideram mais relevante para o trabalho com as crianças. E fazem o processo de contramão, de inversão da lógica do resultado pela importância do processo de ensino aprendizagem. Dentre os vários discursos, o de Iris pode ser representativo neste momento. Na verdade você fica preocupado, tá? Mas eu não faço disso o... a minha meta... o meu objetivo maior... não faço, dentro da sala de aula não... O meu objetivo maior é o aluno, é ele adquirir o conhecimento, é ele construir o conhecimento, entender, saber o porque, isso me preocupa demais (...) faço é...os simulados, que também ele vai ter que ter, não adianta ele ter conhecimento aí ele pega uma prova que ele nunca viu na vida ... na ali, naquele portador de texto ele vai se assustar e na hora por mais que ele saiba ele vai travar ali, então eu faço, faço simulado como a escola já propõe, faz parte do nosso, do nosso trabalho sistemático, sistematizado esse ... esse simulado, mas não que seja a minha meta. (ENT Iris p. 6). E com este espírito, podemos ainda construir mais possibilidades de reflexão sobre os dados no sentido de olhar para a ressignificação das alterações políticas nos contextos locais da escola e de suas artes do fazer (Certeau, 2001). Bem como na relação com a gestão da escola e das políticas locais de secretaria de educação. Palavras finais O trabalho está em processo de finalização e temos algumas sínteses provisórias. No campo dos sentidos produzidos sobre as políticas de avaliação externa vale refletir sobre a diversidade de sentidos. Há professores que compreendem a relevância dos processos de avaliação externa e assumem sem criticidade, a necessidade de focalizar o trabalho no processo de leitura, escrita e cálculo nos anos iniciais. Tal sentido não releva o olhar para o trabalho com a criança para além destas áreas de conhecimento ou para além de sua dimensionalidade cognitiva no desenvolvimento 75 do estudante. Outros professores nos lembram olham com olhar mais informado por uma crítica ao campo das políticas de responsabilização. E outros, nos informam que tais avaliações nem sempre são objeto de preocupação por conta da crença da autonomia de seu trabalho como professores. Independente dos sentidos produzidos, e de forma menos específica, ao longo das narrativas pudemos perceber as ressignificações das alterações políticas nos contextos locais da escola, pelas suas artes de fazer (Cereal, 2001). Elas ocorrem na relação com outros professores, com a gestão da escola as unas relações com a secretaria de educação em momentos diversos: desde ações de projetos coletivos no interior da escola e logo negação do que é imposto pelos órgãos centrais; seja pela conformação dos processos de avaliação propostos pela gestão central ou gestão local, mesmo sem acreditar em tal orientação. E das narrativas também pudemos perceber como as relações acima citadas entre os pares influenciam as formas como eles olham e vivem na prática, a intensidade das alterações, o que nos conduz o olhar para a dimensão não individual destas ações. As ações estão articuladas a uma rede complexa de relações no interior da educação local em alguns níveis: tanto internamente à escola no sentido de fortalecer projetos locais; quanto na relação com a gestão central, que acaba por construir práticas de subordinação ao que é definido pela secretaria de educação. Referências Afonso, A. J. (2005) Avaliação educacional: regulação e emancipação. São Paulo: Cortez. Bakhtin, M. (1997) Marxismo e Filosofia: problemas fundamentais do método sociológico na ciência da linguagem. São Paulo: Hucitec. Balsamo, L. M. (2014) A avaliação da escola: um estudo sobre os sentidos produzidos nos sujeitos protagonistas de uma realidade escolar. Dissertação de Mestrado, Universidade Federal de São Carlos. Sorocaba, Campus Sorocaba/UFSCar. Barriga, A. D.. (1999) D. Uma polêmica em relação ao exame. In: Esteban, M. T. (Org). Avaliação: uma prática em busca de novos sentidos. Rio de Janeiro. DP&A&, p. 83-99. Certeau, M. (2001) A Invenção do Cotidiano: artes de fazer. Petrópolis: Editora Vozes. Esteban, M. T.. (2003) Ser professora: avaliar e ser avaliada. In: ______. Escola, currículo e avaliação. São Paulo: Cortez, cap. 1. (Série cultura, memória e currículo, v. 5). Ezpeleta, J.; Rockwell, E. (1989) Pesquisa Participante. Cortez e Autores Associados. Freitas, Luiz Carlos de. (2013) Eliminação adiada: o acaso das classes populares no interior da escola e a ocultação da (má) qualidade do ensino. Educação & Sociedade, Campinas, v. 28, n. 100 (Especial), p. 965-987, out. 2005. Disponível em: <http://cedes.unicamp.br>. Acesso em: 13 jan. Geraldi, C. M. G..(1999) A Cartilha Caminho suave não morreu: MEC lança sua edição revista e adaptada aos moldes neoliberais. In: Esteban, M. T. (Org.). Avaliação: uma prática em busca de novos sentidos. Rio de Janeiro. DP&A&, p. 83-99. Heller, A. (1992) O Cotidiano e a História. Rio de Janeiro: Paz e Terra. Ludke, M. & André, M. (1986) Pesquisa em educação: abordagens qualitativas, São Paulo:EPU. Mainardes, J. & Marcondes, M. I. (2009) Entrevista com Stephen J. Ball: um diálogo sobre justiça social, pesquisa e política educacional. Educ. Soc., Campinas, vol. 30, n. 106, p. 303-318, jan./abr. Vygostsky, L. (1988) Pensamento e Linguagem. 76 Porto Alegre: Artes Médicas QUELS SONT LES ENJEUX PÉDAGOGIQUES ET DIDACTIQUES DE L’UTILISATION D’ANIMATIONS INTERACTIVES POUR ÉVALUER LES ÉLÈVES? (ID 35) ARZOUMANIAN, Philippe, Direction de l'évaluation, de la prospective et de la performance (FR) RÉSUMÉ Aujourd’hui, la place prépondérante prise par l’informatique questionne l’école sur la transition d’un environnement dominé par le papier vers un environnement dominé par le support numérique. Les logiciels permettant de travailler les mathématiques par l’intermédiaire de l’informatique sont divers et nombreux (logiciels de géométrie dynamique, exerciseurs, tutoriels, tableurs…) En France, l’étude CEDRE 2014, organisée par la DEPP (Direction de l’évaluation, de la prospective et de la performance), a évalué les acquis en mathématiques de 8000 collégiens français en fin de troisième. Les résultats, parus en mai 2015, ont été comparés à ceux de la première étude CEDRE, datée de 2008. A cette époque, les enseignants interrogés s’accordaient pour déclarer une faible utilisation des TIC avec leurs élèves. Moins de 10 % des enseignants affirmaient faire travailler les élèves sur support numérique au moins une fois par mois. En 2014, ils sont un peu plus d’un tiers. Le recours à l’informatique peut se fait dans le cadre de situations d’apprentissage en classe mais aussi dans celui de l’évaluation. Pour évaluer les élèves, l’informatique peut être utilisée comme une simple dématérialisation de l’évaluation « papier ». Or, le numérique offre de multiples possibilités en termes de contenu (format des items, données de navigation des élèves, items interactifs, etc.). Au cours de l’année scolaire 2014-2015, un groupe de travail s’est réuni à la DEPP pour construire des items innovants, c’est-à-dire exploitant toutes les ressources logicielles mises à disposition des enseignants. Dans cette communication, le choix est fait de présenter plusieurs exemples d’items mettant en œuvre des animations interactives à l’aide d’un logiciel de géométrie dynamique. Les exemples proposés ont pour objectif principal de tester comment, à partir d'un questionnement a priori non mathématique, les élèves sont capables de mobiliser les outils mathématiques indispensables pour analyser une situation et résoudre un problème. Ces items sont conçus pour évaluer certaines connaissances fondamentales du programme de l’enseignement secondaire français (proportionnalité, grandeurs et mesures, etc.). Ils permettent également de vérifier si les compétences de résolution de problèmes suivantes sont acquises par les élèves : - chercher, analyser un problème, extraire, organiser et traiter l'information utile, - modéliser, traduire en langage mathématique une situation réelle, - représenter, choisir un cadre (numérique, algébrique, géométrique...) adapté pour traiter un problème ou pour représenter un objet mathématique, 77 - calculer, effectuer un calcul automatisable à la main ou à l'aide d'un instrument (calculatrice, logiciel), - raisonner, utiliser les notions de la logique élémentaire (conditions nécessaires ou suffisantes, équivalences, connecteurs) pour bâtir un raisonnement. - Communiquer, développer une argumentation mathématique correcte à l'écrit, critiquer une démarche ou un résultat. Les items présentés comportent un certain nombre d’avantages pédagogiques et didactiques très importants : - Ils répondent à l’esprit du socle commun de connaissances, de compétences et de culture qui demande de travailler sur des situations « proches de la réalité », - Ils mobilisent des compétences variées qui élargissent le champ des objectifs et des bénéfices du travail conduit au-delà du seul aspect disciplinaire, - De plus, les outils mathématiques n’étant pas fournis dans l’énoncé, les élèves ont à les mobiliser eux-mêmes, ce qui implique qu’ils apprennent à reconnaître les situations pour lesquelles les concepts et les outils mathématiques sont pertinents. On travaille bien là sur la construction des concepts, - Ils sollicitent et permettent de travailler des compétences multiples, disciplinaires et transversales du socle commun, - Ils améliorent l’image de la discipline par une gestion efficace de l’hétérogénéité, par un renforcement du sens et par la création d’un meilleur climat de travail. Nous présenterons donc, au cours de cette communication, les différentes étapes qui ont jalonné la conception de ces items en décrivant pour chacun des enjeux pédagogiques et didactiques ainsi que les liens avec les recommandations institutionnelles françaises actuelles. Nous décrirons enfin les différentes modalités mises en œuvre pour atteindre les nombreux objectifs visés. Notamment, nous mettrons en avant comment ces items vont être expérimentés en utilisant les modèles de réponse à l’item [Thierry Rocher, Education & Formation n°86-87, mai 2015, p.37-59] En guise de conclusion, nous donnerons quelques pistes de travail pour que les enseignants intègrent ces formats innovants d’items dans leur pratique pédagogique, aussi bien dans le cadre d’une évaluation sommative que dans celui d’une évaluation diagnostique. 78 AUTO-ÉVALUATION INSTITUTIONNELLE PAR L'OUTIL DIAGNOSTIQUE CAF: QUEL IMPACT SUR LES APPRENTISSAGES? (ID 36) DEFOIN, Christine, IMPEQes (Initiativede mise en partage des expériences qualité dans l'enseignement supérieur) (BE) VANDER POORTER, Françoise, HEH Mons (Haute Ecole en Hainaut) (BE) VERBEKE, Anne, HEPH Condorcet (Haute école de la province de Hainaut Codorcet) (BE) REIS, Sofia, AEEP (Associação Estabelecimentos de Ensino Particular e Cooperativo) (PT) RÉSUMÉ L’évaluation de l’apprenant est, évidemment et depuis toujours, une préoccupation centrale dans la pratique quotidienne de l’enseignant. Mais, désormais, comme conséquence du processus de Bologne, la notion d’évaluation s’est élargie et recouvre aussi bien la mesure que l’enseignant pratique sur les savoirs ou les compétences de l’enseigné que l’avis des apprenants sur l’enseignement qui leur est transmis ou les avis d’auditeurs externes sur les pratiques d’enseignement dispensés. Aujourd’hui, dans l’EEES (Espace européen d’Enseignement supérieur) tous les systèmes d’enseignement sont évalués par des agences nationales (comme l'AEQES ou Agence pour l'évaluation de la qualité dans l'enseignement supérieur en Fédération WallonieBruxelles, par exemple) qui s'inscrivent dans un “processus européen” en se rapportant aux Références et lignes directrices (ESG ou Standards and Guidelines for Quality Assurance in the European Higher Education Area ) et qui ont, peu ou prou, des critères communs visant à une « harmonisation » des pratiques enseignantes. Mais, une évaluation institutionnelle externe, aussi précise, transparente et objective soit elle, ne pourra jamais faire sens aux yeux des personnels – et des parties prenantes – s’ils n’ont pas, préalablement, eu l’opportunité de se saisir de l’institution et de se l’approprier dans sa totalité et sa complexité. Pour ce faire, il n’y a pas de meilleur moyen que l’auto-évaluation. Les Agences nationales l’ont bien compris qui, généralement, demandent aux institutions un « rapport d’autoévaluation ». Mais, la plupart du temps, sans leur fournir une méthodologie simple pour entrer dans la démarche, ce qui laisse les équipes dans le désarroi et leur fait perdre un temps considérable. Comment dès lors mettre l’évaluation de l’institution dans les mains des personnels ? Comment « impliquer » les personnels dans l’exercice ? Quel(s) impact(s) cette auto-évaluation pourra-t-elle avoir sur les apprentissages ? Une réponse concrète à ces questions semble bien être l’outil diagnostique CAF : « Le Cadre d’auto-évaluation des fonctions publiques (CAF) est un outil de gestion totale de la qualité développé par le secteur public pour le secteur public. (…) Le CAF évalue l’institution d’enseignement sous différents angles en même temps, adoptant ainsi une approche globale dans l’analyse des performances. » (in Version 2013 du CAF enseignement et formation) Il s’agira donc de montrer comment l’outil CAF peut aider le leadership et les personnels à choisir leur mode d’actions en matière de qualité, d’apprentissage, d’amélioration de la performance globale en proposant non seulement un modèle théorique mais en donnant la parole à des intervenants qui ont eu l’occasion à la fois de pratiquer l’outil diagnostique « in vivo » et de théoriser 79 sur son usage ( par exemple, Christine DEFOIN et Annette VERBEKE sont deux des auteurs de la version du CAF destinée à l'enseignement!). Qu'est-ce que l‘outil d’un point de vue plus théorique? Le CAF répond à cinq objectifs principaux : initier aux principes de la qualité, guider vers un cycle Plan-Do-Check-Act, faciliter l’auto-évaluation, servir de « pont » entre les différents modèles et faciliter l’apprentissage par échange d’expériences entre institutions (becnhlearning). Il est structuré en 9 critères et 28 sous-critères (comme le modèle EFQM ou European Foundation for Quality Management, en français Fondation européenne pour la gestion de la qualité) qui ont pour objectif de « radiographier » l'institution à un moment donné T afin de fournir un diagnostic, de lui indiquer les actions d’amélioration et de lui permettre de vérifier son évolution au moment donné T+2ans. Les cinq premiers critères observent les « facteurs » de l’institution, c'est-à-dire tous les éléments qui lui permettent de fonctionner, tandis que les quatre autres critères, les « résultats », s’attachent à voir si l’institution mesure ses performances tout autant que les besoins, satisfaction et attentes de l’ensemble de ses parties prenantes à savoir les personnels, les apprenants mais aussi la société. . De nombreux critères portent sur les apprentissages. Une auto-évaluation par le CAF permet donc de cibler les différentes forces ou faiblesses de ces apprentissages et de proposer un éventail d’actions de renforcement ou d’améliorations. Elle aide aussi l’institution à faire des choix en matière de recherche, à adapter les cursus et à mieux maitriser l’efficacité des formations dispensées. Après une présentation du cas très spécifiques du Portugal qui a généralisé l'outil CAF dans l'enseignement secondaire, on abordera le cas de la HPH Condorcet particulièrement interpelant par rapport à l’usage qui peut être fait de l’outil. Dans la HEPH Condorcet, créée par la fusion de 3 Hautes Ecoles, plusieurs services d’aide à l'étudiant, parfois radicalement différents pour ne pas dire concurrents, ne parvenaient pas à s'organiser et ne mesuraient pas l'enjeu d'actions concertées sur le taux de réussite des appenants. Pour fédérer les équipes, la direction chargée de ce service hybride a décidé de réaliser un exercice d’auto-évaluation grâce à l’outil CAF. En moins d’un an le SAE (Service d’appui à l’étudiant) existait officiellement, les objectifs étaient devenus communs, des synergies, des procédures et des méthodes de travail partagées étaient en place. Ainsi, plusieurs services disparates avaient réussi à fusionner et à mettre leurs compétences au service de la réussite, de l’intégration et du bien-être de l’étudiant. Pour cet exceptionnel travail de restructuration à partir de l’auto-évaluation, le SAE a reçu le label ECU (Effective CAF User) en 2014. L’audit, à l’issue duquel le label ECU est attribué, relève du feed-back externe, de l’accompagnement ou de la revue par les pairs. La HEH Mons a, par deux fois, réalisé une autoévaluation par l’outil CAF. Il était donc logique qu’elle veuille obtenir la reconnaissance de ses efforts par l’obtention du label ECU. A partir de l’exemple concret de la HEH Mons, on verra comment le label ECU récompense une équipe qui montre sa maitrise de la méthodologie CAF : communication, mise en œuvre de l’exercice, priorisation, plan d’action, suivi, etc. Mais pas seulement ! Le label ECU offre aussi une garantie aux étudiants d’entrer dans une structure orientée « apprenants », soucieuse de leur bien-être et qui prendra en compte leurs besoins et attentes. Il garantira de la même manière l’entrée dans une institution dynamique qui refuse les apprentissages sclérosés pour proposer une formation constamment en phase avec l’évolution et les exigences de l’environnement, prête aux changements, ancrée dans les contextes tant régional, national, qu’international. Bref, une institution qui évalue sans cesse les apprentissages qu’elle fournit, son mode de fonctionnement, ses performances, et met tout en œuvre pour les améliorer. 80 LE TRAVAIL PERSONNEL EN FIN DE CYCLE SECONDAIRE DE L ‘ÉVALUATION DE SA MISE EN PLACE EXPÉRIMENTALE À L’ÉVALUATION DU TRAVAIL DE PRODUCTION (ID 38) BICHEL, Patrick, SCRIPT-Luxembourg (LU) DEBRUX, Thomas, Modoperandi (BE) Contexte En 2011, le SCRIPT souhaite mettre en place un travail personnel (TRAPE) pour les élèves en fin de parcours secondaire (classe de préterminale). Ce type de travail existe dans certains pays, germanophones notamment (Allemagne, Suisse, Autriche), il constitue bien souvent un accessit à l’enseignement universitaire. Il existait également en Belgique francophone, sous le nom de « travail de maturité », il y fut supprimé en 1986 . Au Luxembourg, des précurseurs de ce type de travail avaient été mis en place dans les années ’90 dans deux lycées sous forme de projets locaux et sur initiative des lycées concernés. Ce projet TRAPE comporte plusieurs objectifs, à différents niveaux. - Pour les élèves : le projet vise à faire acquérir certaines compétences transversales requises pour entamer des études supérieures: gérer son temps, réaliser une tâche complexe de longue durée, développer une communication écrite ou orale,… - Pour les enseignants : la pratique du TRAPE amène une réflexion pédagogique importante sur le rôle de l’accompagnateur, sur la posture du professeur comme sur le processus d’évaluation. Des questions de didactique générale sont soulevées, complémentaires des questions de didactique spécifique. - Pour le SCRIPT : la réflexion et l’évaluation de la mise en place d’une métamorphose pédagogique, en développant un dialogue permanent entre les professeurs expérimentateurs et le coordonnateur du service ministériel, afin de prendre en compte tout commentaire constructif visant à peaufiner le projet de loi. Description du cadre général de mise en œuvre Principe, finalités et composantes Le « travail personnel encadré » (TRAPE) est un travail de recherche « préscientifique » d’une certaine envergure conceptuelle, réflexive, organisationnelle et temporelle. En principe, ce travail s'étend sur une année scolaire. Il vise à développer un certain nombre de compétences transversales relevant du domaine personnel, relationnel et social, du traitement de l’information, de l’utilisation des technologies de l’information, de la communication sous différentes formes, de démarches mentales, de la gestion d’une tâche complexe et du temps. Il s’inscrit dans une visée de préparation des élèves aux études supérieures (« Studierfähigkeit »). Le TRAPE comprend actuellement les composantes suivantes : - une production écrite (6.000 mots), - une production synthèse (« communication affichée »), 81 - une présentation orale devant un jury (soutenance publique) ; - la constitution d’un dossier témoignant du processus d’élaboration. En vue de la réalisation de ces tâches, les élèves sont encadrés par des enseignants qui disposent d’une référence commune constituée par un vademecum et un échéancier TRAPE. L’évaluation du TRAPE se fait sur base de critères et d’indicateurs et selon les dimensions suivantes : une évaluation formative par le biais de l’encadrement (accompagnement) des élèves tout au long du processus, une auto-évaluation de la production écrite par l’élève, et l’évaluation certificative (cotation sur 60 points) par l’enseignant qui accompagne l’élève et un 2e lecteur. Nous expliquerons en détail les procédés utilisés pour le développement de cet ensemble évaluatif . Actuellement le taux de réussite toutes sections confondues est très satisfaisant. Mise en œuvre Actuellement le « TRAPE » est en phase d’expérimentation. Il est mis en œuvre dans les lycées de l’EST suivants : - en 12e dans les lycées qui offrent la section « Sciences sociales » ; - en 12e AR au LTAM ; - en 12e ED au LTPES ; En principe, un quota de deux leçons par semaine est dédié à la réalisation du « travail personnel encadré », sauf au LTPS où ce projet est réalisé en 13eSH sous d’autres conditions. Il y est dénommé « Travail d’envergure » (TRAEN). Accompagnement des lycées et des enseignants Dès l’entame de cette initiative et la collaboration entre le SCRIPT et MODOPERANDI, il a été convenu que pour qu’une « réforme » puisse aboutir, elle devait s’inscrire dans un dialogue entre les concepteurs et les praticiens (professeurs en classe). Ce dialogue devait non seulement expliquer les raisons de cette volonté réformatrice, mais également affirmer l’expérience comme à co-construire dans le temps, avant toute généralisation. Le TRAPE induit dans sa mise en œuvre des modifications dans les pratiques enseignantes, ou une prise de conscience de la posture professorale modifiée. Ainsi, l’équipe de professeurs est amenée à se concerter, à collaborer, à trouver des dénominations communes pour désigner des notions à utiliser, à accompagner le travail des élèves, à sortir de sa didactique pour devenir expert du comment plus que du quoi… Nous ferons écho de nos entrevues qualitatives sur ces éléments. Nous avons par ailleurs préparé un plan d’action, reprenant les phases indispensables à toute implémentation de réforme. Il s’agit globalement d’un dispositif d’accompagnement « renforcé », comprenant des temps de formations (sur l’évaluation, sur l’élaboration d’un question de recherche…), des temps d’échanges sur les différents moments de mise en pratique. Ce travail a été mené en duo d’accompagnateurs-formateurs, autre structure indispensable pour un tel projet. 82 Descriptif: - La préparation des lycées en vue de l’implémentation du projet comprenant : O La désignation d’un coordonnateur TRAPE dans chaque lycée. Il assure le rôle d’interface entre le MENJE (SCRIPT) et le lycée en question. En concertation avec la direction locale, il veille à la mise en œuvre du projet et constitue une personne ressource pour les enseignants-accompagnateurs du lycée ; o Formati on des coordonnateurs: philosophie et organisation du projet, rôle et missions du coordinateur ; o Formation des enseignants à l’accompagnement des élèves. - Durant l’année scolaire où le projet est réalisé: O formation (continue) des enseignants comprenant au moins deux séances avec l’intervention d’un expert et organisées par le SCRIPT ; o concertation/bilan avec les coordonnateurs en présence de l’expert et du SCRIPT. L’accompagnement sur le plan “national” est coordonné par le SCRIPT, Service de l’Innovation. Conclusions et constats Notre communication propose dès lors de reprendre chacun de ses points en explicitant en détail les démarches suivies, depuis l’entame de cette expérience (avec une seule institution scolaire la première année) jusqu’à aujourd’hui (et près de dix lycées concernés), en s’appuyant sur les enquêtes menées auprès des élèves et des équipes pédagogiques. - Pour les élèves: nous avons réalisé des enquêtes de type quantitatif en fin de parcours, ceci afin de récolter leurs opinions . - Pour les enseignants: nous avons mis en place un accompagnement long (plusieurs rencontres par an), comportant des moments de formation et des moments de concertation. Nous avons également relevé leurs impressions et leurs commentaires, lors d’entrevues de type qualitatif. - Pour le SCRIPT : l’évaluation de la mise en place d’une réforme suivant une procédure définie, à savoir une prise en compte réelle des avis des praticiens, un accompagnement formatif et coconstructif. Ceci afin d’envisager la généralisation du TRAPE. 83 O PACTO NACIONAL DE ALFABETIZAÇÃO NA IDADE CERTA (PNAIC): APRENDIZAGEM E AVALIAÇÃO NO CICLO DA POLÍTICA EDUCATIVA (ID 39) AGLIARDI, Delcio Antônio, Universidade de Caxias do Sul – UCS (BR) WELTER, Cristiane Backes, Universidade de Caxias do Sul – UCS (BR) RESUMO Este texto visa apresentar análise de prática de política educativa e toma como referência o Pacto Nacional de Alfabetização na Idade Certa (PNAIC), compromisso assumido pelos governos federal, do Distrito Federal, dos estados e municípios, visando assegurar que todas as crianças estejam alfabetizadas até os oito anos de idade, ao final do 3º ano do Ensino Fundamental, especialmente nos desempenhos de leitura, de matemática e de escrita. Para discutir a avaliação da aprendizagem entre alunos matriculados nos três primeiros anos do Ensino Fundamental de escolas públicas brasileiras, vivencia-se uma avaliação em larga escala, promovida pelo governo brasileiro, intitulada Prova Nacional da Alfabetização (ANA). O Brasil, na esteira da influência das políticas educacionais, em curso no cenário internacional desde os anos 1990, construiu um sistema de avaliações externas, o qual repercute de diversas maneiras na Educação Básica e no Ensino Superior. As provas da ANA aplicadas aos alunos forneceram três resultados: desempenho em leitura, desempenho em matemática e desempenho na escrita. Os desempenhos em leitura e matemática foram analisados com base no modelo unidimensional logístico de três parâmetros da Teoria de Resposta ao Item (TRI), seguindo a mesma metodologia utilizada no Sistema de Avaliação da Educação Básica (SAEB). A análise da prática educativa da avaliação e da aprendizagem tem foco no PNAIC e adota a metodologia do ciclo de política (Ball, 2011). O material utilizado para a pesquisa são as informações dos professores, disponibilizadas pelo Ministério da Educação (MEC), em 54 vídeos de entrevistas gravadas entre professores alfabetizadores que atuaram no PNAIC no período de 2013 e 2014 e as documentações legais disponibilizadas pelo MEC, entre elas: Portarias n°.1458 e n°867 de 2012; Portaria nº 90 de 2013; Medida Provisória nº 586 de 2012; Lei 12.801, de 24 de abril de 2013; Resoluções nº 4 e nº 12 de 2013. O material referente aos resultados da Prova ANA foram pesquisados nas informações divulgadas dos totais regionais do MEC, uma vez que o acesso das informações das escolas somente é permitido ao diretor da mesma. No primeiro momento realizouse a escuta dos professores que atuam com as turmas consideradas partícipes do PNAIC, através de entrevistas gravadas em áudio e vídeo, nos anos de 2013 e 2014, no Rio Grande do Sul, procurando compreender quais são as influências que permeiam o ciclo de alfabetização. As falas dos professores remetem a imagens sobre a textura e a exigência que a regulamentação do PNAIC trouxe para o cenário educacional. Os profissionais sentiram-se valorizados porque recebiam formação semanal; tinham acompanhamento regular dentro de suas salas de aula de um orientador de estudos local; discutiam sobre suas práticas de alfabetização e sobre a avaliação de aprendizagem de seus alunos regularmente com seus pares e com o orientador local. Além disso, os professores ressaltam que as metodologias de ensino, de português no ano de 2013 e de matemática no ano de 2014, foram constantemente repensadas. Percebiam que a alfabetização se tornou um processo mais significativo quando o professor alfabetizador passou a incentivar a compreensão de textos e a produção de novos conhecimentos pelos próprios alunos. A análise do contexto de influência dos profissionais investigados aponta para um consenso de que o PNAIC 84 contribui com a realidade local porque amplia a visibilidade do trabalho do profissional e cria um espaço pedagógico de discussão regular sobre a aprendizagem dos estudantes para além de um período instituído no calendário escolar. Na análise do contexto de regulação, que envolveu as legislações produzidas no âmbito do Ministério da Educação, entre elas: portarias, medida provisória, leis e resoluções, identificou-se as diretrizes do PNAIC, nos anos de 2012 e de 2013. Nesse contexto, chama atenção a quantidade de modificações no aparato legal. Basicamente, todas as modificações legais circundaram em torno de diretrizes e regras para apoio técnico e financeiro e para a concessão de bolsas de estudo e de pesquisa aos participantes PNAIC. No segundo momento, da análise dos documentos de regulação do Programa, percebemos que existe uma orientação sobre a necessidade de mudança de postura do professor alfabetizador e o exercício de uma metodologia crítica. Indica que o trabalho deve ser exercitado com estratégias que auxiliem o aluno a assumir uma autonomia sobre seu aprendizado. Deste modo, os apontamentos dos resultados da análise do contexto de regulação estão vinculados a formação e a valorização do professor alfabetizador e da orientação para uma prática de avaliação da aprendizagem, onde os alunos experimentam as riquezas do mundo, fazem leituras de mundo, formulam opiniões e procuram respostas para as suas experiências, registradas em códigos alfabéticos e numéricos. Como a avaliação da aprendizagem não considera somente o vivenciado em um período letivo de um ano, mas um ciclo que envolve 1º ano, 2º e 3º ano escolar busca-se, segundo a legislação, que alfabetização seja alcançada pelas crianças ao final do ciclo. Já os contextos de prática e de resultado foram investigados a partir do desempenho dos estudantes na prova ANA, nas áreas de leitura, de matemática e de escrita. Os resultados indicam que os compromissos assumidos pelos governos (federal, Distrito Federal, estadual e municipal) de assegurar que todas as crianças estejam alfabetizadas até os oito anos de idade, ao final do 3º ano do Ensino Fundamental estão parcialmente comprometidos ou não estão sendo alcançados de forma plena. O desempenho em leitura, em matemática e na escrita, a partir da ANA, com a participação de quase 2,3 milhões de estudantes, de 49 mil escolas e envolvendo as redes de ensino, provoca impacto no sistema público, ao possibilitar uma nova prática de avaliação, centrada na aprendizagem da criança. Indicam também a ambivalência de uma política nacional que encontra limites nas desigualdades socioeconômicas regionais, que produzem resultados assimétricos. Referências Ball, S. (2001) Diretrizes Políticas Globais e Relações Políticas Locais em Educação. In.: Currículo sem Fronteiras, v.1, n.2, jul.dez, p.99-116. Mainardes, J. (2011). Políticas Educacionais: questões e dilemas. São Paulo: Cortez. Brasil (2012) Pacto Nacional pela Alfabetização na Idade Certa (Pnaic). Brasília: MEC, 2012. Brasil (2012) Vídeos de Relatos de Prática do Pacto Nacional pela Alfabetização na Idade Certa (PNAIC). Brasília: MEC, 2012. Acesso em 30/08/2015. Disponível em: http://pacto.mec.gov.br/relatos-da-pratica/115-saiu-no-youtube1 Brasil (2012) Lei Nº.12.801, de 24 de abril de 2013. Conversão da Medida Provisória 586, de 2012. Brasília: MEC, 2013. Brasil (2013). /CD/FNDE nº 4, de 27 de fevereiro de 2013. Brasília: MEC, 2013. 85 LES ÉVALUATIONS DE PROGRAMMES PAR LES ÉTUDIANTS SONT-ELLES CRÉDIBLES? (ID 40) BRAIBANT, Jean-Marc, Université Catholique de Louvain (BE) TEMPELS, Linda, Université Catholique de Louvain (BE) RÉSUMÉ Contexte Le processus de Bologne invite nos universités à évaluer régulièrement la qualité de leurs formations. Dans ce cadre, l’évaluation des enseignements et des programmes par les étudiants est une pratique de plus en plus répandue. Depuis cinquante ans, la littérature s’interroge sur la fidélité et la validité de la mesure recueillie à travers ces enquêtes par questionnaires. Les conclusions des méta-analyses réalisées à propos du cas particulier des évaluations des enseignements montrent l’importance de prendre en compte la perception que les étudiants ont de leurs cours (Bernard, 2011), l’effet positif qu’elles peuvent avoir à condition de prendre certaines précautions méthodologiques (Detroz & Blais, 2012) et d’assurer un accompagnement pédagogique (Detroz, 2009, Rege Colet 2009, Younes, 2009). L’évaluation des programmes par les étudiants est une pratique plus récente. Les études sur ce sujet sont nécessairement plus rares. Celles qui existent mettent surtout l’accent sur des considérations liées à la validité instrumentale ou technique des questionnaires alors que la question centrale se situe davantage, selon notre point de vue, au niveau de la crédibilité accordée à la mesure recueillie. Pour être crédible, le jugement des étudiants ne peut se contenter de présenter les qualités méthodologiques requises. Au sens anglophone du terme (“credibility”), il doit aussi être “acceptable” aux yeux des parties prenantes - doyens, responsables de programmes, enseignants que celles-ci “aient une confiance suffisante pour croire que l’avis des étudiants est le reflet de la réalité” (Hurteau & coll, 2011, p. 40). La “subjectivité” est cependant inhérente au processus d’évaluation par questionnaire. En effet, “un tel questionnaire ne mesure pas à proprement parler la qualité des formations dispensées par une université mais la perception qu’en ont les étudiants” (Weisser & coll, 2014, p.93). Les résistances d’universitaires habitués à la démarche scientifique factuelle se situent souvent à ce niveau-là. Quelle crédibilité pouvons-nous accorder à un jugement basé sur des représentations ? Et, parmi d’autres sources d’information disponibles, quelle place vat-on lui donner pour prendre les décisions nécessaires pour améliorer la qualité de nos programmes? C’est dans ce cadre que se situe la présente étude. L’objectif est de croiser les résultats des enquêtes étudiants avec les indicateurs quantitatifs caractérisant les programmes évalués et de voir s’il y a un lien entre les deux. A notre connaissance, ce type d’étude est inédit dans les pays francophones. L’évaluation des programmes par les étudiants. Depuis 5 ans, le Service d’évaluation en appui de la qualité (EVA) de l’UCL a développé un questionnaire standardisé qui permet de recueillir la perception des étudiants à propos de la qualité de l’ensemble de leur formation. Les items sont regroupés autour des 11 dimensions suivantes : 86 • Satisfaction globale de la formation suivie • Qualité de l’enseignement et de l’encadrement • Clarté des objectifs • Pertinence de l’évaluation des acquis • Adéquation de la charge de travail • Développement des compétences transversales • Intérêt pour les méthodes pédagogiques • Qualité des ressources et de l’environnement • Implication personnelle • Cohérence du programme • Liens avec la pratique et le monde professionnel Chacune de ces dimensions est évaluée à partir des réponses données à plusieurs items fermés (degré d’accord selon une échelle Lickert). Trois questions ouvertes donnent l’occasion aux étudiants d’exprimer leurs commentaires sur les points forts, les points faibles et leurs suggestions d’amélioration du cursus. Ces enquêtes ont pour but de procurer aux responsables du programme et aux enseignants les moyens d’analyser les forces et les faiblesses de leurs programmes en vue de définir les lignes d’action concrètes pour les améliorer. Elles sont réalisées à la demande des facultés, en fin de cycle. La base de données utilisée pour cette étude comprend 35 programmes de bachelier et concerne 1486 répondants. Les indicateurs chiffrés caractérisant les programmes. Depuis 2009, une des missions confiée par le rectorat au service d’études de l’UCL (SET) est de mettre au point des indicateurs quantitatifs permettant de caractériser un programme sur base de données propres à chacun d’eux, comme par exemple le nombre d’étudiants inscrits, la charge horaire moyenne d’un étudiant, le pourcentage de cours qui rassemble moins de 30 étudiants. Ces indicateurs constituent des outils de pilotage des programmes. Une analyse en composantes principales réalisée sur les 12 indicateurs retenus au départ ont permis d’en dégager 3 pour cette étude. • L’indicateur 1 reflète la diversité des choix proposés aux étudiants en matière d’offre de cours. Plus cet indicateur obtient une valeur élevée, plus il y a de cours suivis par minimum un étudiant. • L’indicateur 2 caractérise le nombre d’étudiants que l’on retrouve en moyenne dans un amphithéâtre du programme concerné. Plus cet indicateur est élevé, plus les étudiants sont nombreux dans les salles. • L’indicateur 3 résume une dimension plus pédagogique du programme : le poids relatif des heures pratiques par rapport au nombre total d’heures dispensées dans le programme. Plus ce rapport est élevé, plus les activités d’enseignement sont soutenues par des TP, TD, labos, projets, … Croisement de ces deux types de variables. Le croisement de ces deux types de variables permet d’obtenir une matrice de corrélation de 33 cases (11 dimensions X 3 indicateurs objectifs). Nous obtenons 10 corrélations significatives au seuil de 0,05 (dont 3 au seuil de 0,01). Les résultats les plus significatifs se situent au niveau de l’indicateur 3 puisqu’il est corrélé positivement à une bonne perception de la qualité du programme pour 7 dimensions sur 11. En revanche, des amphi bien 87 remplis sont liés de manière significative à une moins bonne perception de la qualité de la formation pour 2 dimensions sur 11. On n’observe pas de plus-value associée à la diversité des choix des étudiants. Conclusion La perception qu’ont les étudiants quant à la qualité de leur formation est en concordance avec plusieurs indicateurs objectifs caractérisant leur programme. Ces indicateurs objectifs sont reconnus dans la littérature comme ayant un lien avec la qualité des apprentissages des étudiants (Entwistle, 1981 ; Biggs, 1989 ; Knowles, 1990 ; Johnson & Johnson, 1999 ; Bédard & Viau, 2001 ; Coulon & Paivandi, 2008 ). A un premier niveau d’analyse, on peut donc considérer que les résultats de cette étude permettent d’accorder un certaine crédibilité à l’avis des étudiants tel qu’il s’exprime dans les enquêtes de perception. Ce travail montre plus précisément l’importance d’associer un nombre suffisant d’activités pratiques aux heures de cours magistrales. Ce n’est pas la diversité des choix qui est importante mais bien le fait d’organiser en complément du cours magistral des activités en groupes restreints dans lesquels les étudiants sont actifs. On observe, par ailleurs, que des programmes attirant beaucoup d'étudiants et se caractérisant par des amphi bien remplis sont liés de manière significative à une moins bonne perception de la qualité de la formation. Ces résultats devraient être utiles à l’avenir pour appuyer les décisions liées à la gestion et au contenu des programmes en vue d’améliorer leur qualité. Références Bédard, D. & Viau, R. (2001). Le profil d’apprentissage des étudiantes et des étudiants de l’Université de Sherbrooke. Rapport de recherche. Sherbrooke (Québec) : Université de Sherbrooke. Bernard, H. (2011). Comment évaluer, améliorer, valloriser l’enseignemnt supérieu ? Bruxelles : De Boeck. Biggs, J.B. (1989). Approaches to the enhancement of tertiary teaching. Higher Education Research and Development, 8, 7-25. Coulon, A. & Paivandi, S. (2008). Etat des savoirs sur les relations entre les étudiants, les enseignants et les IATOSS dans les établissements d’enseignement supérieur. Rapport pour l’Observatoire national de la vie étudiante. Detroz, P. (2008). L’évaluation des enseignements par les étudiants : état de la recherche et perspectives. Revue française de pédagogie, 165, 117-135. Detroz, P. (2012) & Blais, J.-G. (2012). Les étudiants sont-ils compétents pour évaluer la qualité des enseignements ? Mesure et évaluation en éducation, 35, 5, 5-30. Entwistle, N. (1981). Styles of learning and teaching ; an integrated outline of educational pscychology for students, teachers and lecturers. Chichester : John Wiley and Sons. Hurteau, M. Houle, S. & Guillemette, F. (2012). L’évaluation de programme axée sur le jugement crédible. Québec : Presses de l’Université du Québec. Johnson, D.W & Johnson, R.T (1999). Learning together and alone. New Jersey : Prentice Hall. Knowles, M.S. (1990). L’apprenant adulte : vers un nouvel art de la formation. Paris : Les éditions de l’organisation. 88 Rege Colet, N. (2009). La place de l’évaluation formative dans le développement professionnel des enseignants-chercheurs. In V. Bedin (Ed.), L’évaluation à l’université : évaluer ou conseiller ? (pp. 275-293). Rennes, France : Presses universitaires de Rennes. Weisser, M., Gangloff-Ziegler, C. & Hermann, H. (2014). Perception de la qualité d’une formation universitaire par les étudiants : étude comparative selon le mode d’orientation et l’ancienneté dans le cursus. Mesure et évaluation en éducation, 37,1, 83-108. Younès, N. (2009). L’évaluation de l’enseignement par les étudiants comme seuil de changement. In M. Romainville & C. Coggi (Eds). L’évaluation de l’enseignement par les étudiants : approches critiques et pratiques innovantes (pp. 191-210). Bruxelles : De Boeck. 89 AVALIAÇÃO DAS APRENDIZAGENS: DO REGULAMENTADO AO QUOTIDIANO DE UMA SALA DE AULA DE GEOGRAFIA (ID 43) SILVA, Maria Ângela, Universidade Aberta – LE@D (PT) OLIVEIRA, Isolina, Universidade Aberta – LE@D (PT) RESUMO Avaliar é uma atividade quotidiana. Em contexto educativo o conceito de avaliação, além de polissémico, tem evoluído temporalmente, em congruência com o desenvolvimento das teorias do ensino e da aprendizagem. A investigação realizada demonstra que, ao longo do século XX, emergiram, nas conceções e no agir avaliativo, diferentes gerações avaliativas, sem que a implementação de uma nova forma de pensar e fazer a avaliação erradicasse, por completo, traços característicos das gerações anteriores. Coexistem hoje, nos contextos educativos, práticas avaliativas características de todas as gerações de avaliação, assistindo-se mesmo, com a recente introdução da componente externa na avaliação final dos alunos, a um recuo no agir avaliativo, com tendência à sobrevalorização dos produtos de aprendizagem em detrimento dos processos. Regulamentarmente, a avaliação das aprendizagens deve desdobrar-se nas suas diversas modalidades - diagnóstica, formativa e sumativa - no ensejo de responder cabalmente às funções que lhe são atribuídas: promover e regular a aprendizagem e certificar os saberes. Porém, alguns investigadores afirmam que a prática avaliativa apresenta relação direta com o modelo de ensino-aprendizagem desenvolvido por cada docente e que só o desenvolvimento de modelos de ensino-aprendizagem centrados no aluno permitem colocar no terreno uma avaliação com as características legalmente definidas. A permanência de modelos pedagógicos tradicionais, centrados no professor, como o velho modelo expositivo, apenas permite a prática de uma avaliação redutora, centrada sobretudo na sua vertente sumativa e em produtos de aprendizagem, desligada do processo e altamente prejudicial para os alunos, para o sistema de ensino e para a própria sociedade. Não obstante, continua a ser a avaliação sumativa a porta-bandeira das instituições educativas, exibida nos documentos orientadores da sua política educativa, bem como nos que orientam a ação das disciplinas. À avaliação formativa apenas está reservado um papel aparentemente secundário que se esconde no reduto de cada ambiente de aprendizagem. Introdução A avaliação é uma atividade quotidiana. De modo consciente ou instintivo, estamos sempre a ajuizar situações, procedimentos e/ou opções, no sentido de decidirmos sobre que decisões tomar, na procura dos melhores resultados e/ou orientações possíveis. Em educação, a avaliação é uma das dimensões mais visíveis do trabalho dos docentes, não obstante constituir, para estes, um campo de algumas incertezas e ambiguidades pessoais em consequência, muitas vezes, da subjetividade de que se reveste, aliada à fraca estruturação de que, por vezes, é alvo (Pinto & Santos, 2006). 90 Tal situação prende-se, em grande parte, com a insuficiente formação que nesta vertente do trabalho dos docentes, ao longo de muito tempo, foi uma característica da sua formação inicial, sobrevalorizando uma avaliação de características sumativas, conquanto pontuada de alguma avaliação formativa de natureza behaviorista, em detrimento de uma avaliação realmente formativa, coadjuvante desse mesmo processo e promotora de aprendizagens mais significativas, bem como facilitadora do desenvolvimento da autonomia dos alunos, da autoavaliação e da metacognição. Uma avaliação mais de produtos do que de processos, mais de certificação, seriação e seleção do que de integração e de inclusão, construída tanto socialmente como institucionalmente (Roldão, 2008). Uma perspetiva sumativa que, só a partir dos anos noventa, com o Despacho Normativo 98/A de 1992, de 20 de junho, se tentou erradicar do sistema educativo português, visando o sucesso académico e a integração cognitiva de todos os jovens, com a definição de uma avaliação de natureza mais formativa, reguladora da aprendizagem e que, hodiernamente, com a inclusão da avaliação externa no ensino básico obrigatório é, de novo, desvalorizada no terreno já que, nas práticas, se acentua a tónica sumativa e a lógica da avaliação dos alunos sobretudo com recurso aos produtos, em prejuízo dos processos. Avaliação: funções e modalidades O conceito de avaliação não tem sido entendido de modo inequívoco por parte dos seus utilizadores. Enquanto para uns a avaliação se reduz a operações como medir, quantificar, seriar e/ou emitir juízos de valor, para outros, a mesma atividade implica “estimar”, “apreender”, “entender”, “emitir um juízo qualitativo e (…) aproximativo sobre uma realidade” (Lopes & Silva, 2012, p.2). Além de polissémico e, como tal, sujeito “a múltiplos significados” (Lopes & Silva, 2012, p.1), o conceito de avaliação tem sofrido uma grande evolução temporal. Ao longo do século XX, quatro grandes ideias marcaram a avaliação das aprendizagens também reconhecidas por muitos investigadores como as grandes gerações da avaliação, sendo que a implementação de uma nova geração avaliativa nem sempre erradica os traços avaliativos das gerações anteriores. Com Mateo (2000, citado em Pinto, no prelo), consideramos a avaliação uma forma específica de abordar, de conhecer e de se relacionar com uma dada realidade. Em meio escolar, subscrevemos o conceito de avaliação definido por Fernandes (2008), como um “processo deliberado e sistemático de recolha de informação, mais ou menos participado e interativo, mais ou menos negociado, mais ou menos contextualizado, acerca do que os alunos sabem e são capazes de fazer numa diversidade de situações” (p.16). Estando presente em todos os domínios da atividade humana torna-se importante clarificar, para além do seu significado, as funções que a avaliação pode assumir nos diferentes contextos em que ocorre, em razão das quais a mesma se desdobra em diferentes modalidades. No sistema educativo português, o normativo legal que regulamenta a avaliação das aprendizagens (Decreto-Lei 139/2013 de 5 de julho), atribui-lhe, no que se refere aos alunos, duas funções básicas essenciais: a regulação do processo de ensino-aprendizagem e o apoio escolar e vocacional e a certificação dos saberes. Na resposta cabal às funções que lhe são atribuídas, a avaliação assume assim, atualmente, duas fisionomias distintas: uma avaliação de índole formativa, integrada no processo de ensinoaprendizagem e de informação ao ensino, à aprendizagem e ao desenvolvimento dos conteúdos 91 curriculares e uma avaliação de natureza sumativa, de caráter globalizante, de averiguação sobre a consecução dos objetivos de aprendizagem, certificativa e seletiva. Entre ambas, no início de cada ano letivo, de uma unidade temática e/ou sempre que o professor considerar necessário, uma avaliação de natureza diagnóstica, destinada a situar cognitivamente os alunos, a (re)definir estratégias pedagógicas, a diferenciar a aprendizagem e a reajustar o currículo ou a tomar decisões que visem uma orientação vocacional e/ou escolar alternativa. No cumprimento das respetivas funções a avaliação faz-se sentir, nas suas diversas modalidades, em timings que ora se fundem e ocorrem em simultâneo, ora se diferenciam e se desenvolvem em tempos e contextos próprios, no decorrer de cada período e de cada ano letivo, já que qualquer avaliação sumativa pode ser aproveitada formativamente (Perrenoud, 1998a, 1998b, citado em Fernandes, 2006), ao mesmo tempo que a avaliação formativa pode e deve ser utilizada para fins de diagnóstico (Alves, 2004). Conforme afirma Ferreira (2007), “as finalidades e as funções da avaliação das aprendizagens determinam, assim, os momentos de avaliação, que se podem distinguir em antes, durante e depois do processo de aprendizagem” (p.23). Assim, a avaliação diagnóstica ocorre, normativamente, no início de cada ano letivo, ainda que possa acontecer sempre que o professor considerar necessário, enquanto a avaliação formativa, consagrada na legislação em vigor como a principal modalidade de avaliação, ocorre no quotidiano letivo, em cada contexto educacional, à medida que se desenvolve o respetivo processo de ensino-aprendizagem. Já a avaliação sumativa ocorre no final de cada período e de cada ano letivo A avaliação no quotidiano de uma sala de aula de Geografia Mais do que a aplicação, ipsis verbis, da avaliação estatuída, a realidade indica que a avaliação praticada por cada docente se prende diretamente com o modelo de ensino-aprendizagem que o mesmo desenvolve no quotidiano letivo (Pinto, no prelo). Assim, modelos de ensino-aprendizagem expositivos, centrados no professor, apenas se identificam com uma avaliação de características sumativas e exterior ao processo de ensino– aprendizagem, embora pontuadas de alguma avaliação formativa de características behavioristas. Apenas os modelos de ensino-aprendizagem que enfatizam a construção do saber pelo aluno, reservando ao professor o papel de organizador de situações de aprendizagem, se identificam e necessitam mesmo de uma avaliação de características formativas e até formadoras, facilitadoras da autonomia do aluno pelo desenvolvimento da autoavaliação e promoção da metacognição – uma avaliação para a aprendizagem e uma avaliação como aprendizagem (Lopes & Silva, 2012) - para além da tradicional avaliação da aprendizagem. Só com o desenvolvimento de modelos de ensinoaprendizagem com estas características é possível dar cumprimento integral à avaliação com as características legisladas. As orientações programáticas do ensino-aprendizagem dos conteúdos geográficos aconselham a adoção de um modelo pedagógico construtivista, centrado na interação professor-aluno e enfatizando os efeitos reguladores da avaliação o que pressupõe não só a sua natureza dialógica, como também o envolvimento do aluno na definição e explicitação dos respetivos critérios, devendo estes apontar para o desenvolvimento da autonomia individual. Nestes pressupostos são importantes, no agir avaliativo, o feedback a prestar aos alunos, bem como a promoção da autoavaliação dirigida às tarefas propostas, essencial para o desenvolvimento da metacognição. 92 Na sequência do trabalho de campo realizado junto de uma escola básica e secundária da Região Autónoma da Madeira, em contexto de recolha de dados relacionados com uma investigação de mestrado, foi possível constatar a predominância formal da avaliação de características sumativas, devidamente regulamentada nos documentos orientadores da política educativa da instituição (Projeto Educativo) e plasmada nos documentos oficiais do grupo disciplinar de Geografia (grupo participante na investigação realizada), bem como da avaliação de diagnóstico, embora a mesma apenas fosse considerada para efeitos de seriação dos alunos (caracterização de inputs). A avaliação de características formativas, sem referência formal nos documentos oficiais da instituição e entendida como a parte prática de desenvolvimento do currículo nos documentos do grupo disciplinar, apenas emergiu no quotidiano da sala de aula, através da resolução de tarefas de aprendizagem, do trabalho colaborativo e do feedback interativo – professor/alunos e aluno/aluno – num modelo pedagógico que relevava a apropriação pelos alunos dos conteúdos temáticos apresentados pelo professor. Neste modelo de ensino-aprendizagem, o cumprimento da avaliação sumativa instituída visava apenas a confirmação do trabalho realizado durante o processo de ensinoaprendizagem, já que, do ponto de vista do docente que o protagonizou, os seus resultados garantiram sempre os níveis de sucesso por ele expectáveis. Conclusões Em suma, sendo a avaliação da aprendizagem - avaliação sumativa - a modalidade de avaliação consagrada pela escola e exigida pela sociedade, esta apenas apresenta resultados satisfatórios para todos os atores quando desenvolvida também nas suas modalidades diagnóstica e formativa, pois só estas, proporcionando informações constantes sobre a aprendizagem, informam o ensino e permitem o reajustar das estratégias pedagógicas garantindo assim dos resultados expectáveis na avaliação sumativa. Referências Alves, M.P. (2004). Currículo e Avaliação. Uma perspetiva integrada. Porto: Porto Editora. Despacho Normativo 98/A de 20 de junho (1992). Aprova o sistema de avaliação dos alunos do ensino básico em congruência com os princípios e objetivos definidos na Lei de Bases do Sistema Educativo (Lei nº 46/86, de 14 de outubro). Lisboa: Diário da República, 1ª série B, número 140. Decreto-Lei nº 139/2012 de 5 de julho (2012). Estabelece os princípios orientadores da organização e da gestão dos currículos dos ensinos básico e secundário, da avaliação dos conhecimentos a adquirir e das capacidades a desenvolver pelos alunos e do processo de desenvolvimento do currículo do ensino básico e secundário. Lisboa: Diário da República, 1.ª série, número 129. Fernandes, D. (2006). Para uma teoria da avaliação formativa. Revista Portuguesa de Educação, 19 (2), pp.21-50. CEID: Universidade do Minho. Fernandes, D. (2008). Avaliação das Aprendizagens. Desafios às Teorias, Práticas e Políticas. Lisboa: Texto Editores. Ferreira, C.A. (2007). A Avaliação no Quotidiano da Sala de Aula. Porto: Porto Editora. 93 Lopes, J. & Silva, H. (2012). 50 Técnicas de Avaliação Formativa. Lisboa: Lidel – Edições Técnicas, Lda. Pinto, J. & Santos, L. (2006). Modelos de Avaliação das Aprendizagens. Lisboa: Universidade Aberta Pinto, J. (no prelo). A Avaliação em Educação: da linearidade dos usos à complexidade das práticas. Roldão, M. C. (2008). Gestão do Currículo e Avaliação de Competências (5ª ed). As questões dos professores. Lisboa: Editorial Presença. 94 EVALUER SANS NOTER: QUELS EFFETS SUR LE SENTIMENT D’EFFICACITÉ PERSONNELLE DES COLLÉGIENS? (ID 44) GENELOT, Sophie, Université Bourgogne Franche Comté – IREDU (FR) CARTIERRE, Nathalie, Université Bourgogne Franche Comté – SPMS (FR) RÉSUMÉ Depuis une dizaine d’années des expérimentations se développent dans les établissements du second degré français, spécialement dans les collèges, dans le domaine des pratiques d’évaluation des enseignants (Charbonnier & al. 2013). La plupart de ces expérimentations consiste notamment à supprimer l’utilisation de la note chiffrée comme modalité d’évaluation des acquisitions des élèves . Des entretiens conduits lors d’une recherche exploratoire menée en 2013-2014 auprès de quatre équipes pédagogiques engagées dans ce type d’expérimentation nous ont permis de mettre à jour les raisons à l’origine de ces pratiques. Il s’avère que bien souvent, pour ces enseignants, c’est la crainte d’une démotivation d’une part importante de leurs élèves face à des notes trop faibles qui les ont amené à abandonner la notation chiffrée dans des contextes d’enseignement jugés plutôt difficiles (public scolaire rural ou urbain particulièrement défavorisé socialement). Les enseignants de ces quatre établissements partageaient un constat commun selon lequel les pratiques habituelles d’évaluation, notamment la notation, apparaissaient particulièrement inappropriées et contreproductives pour des élèves fragiles au plan des apprentissages. A partir de ce constat, nous avons pensé qu’il y avait un intérêt scientifique à évaluer précisément l’effet de ces pratiques sur les élèves, notamment en raison du nombre de travaux (Bressoux & Pansu, 2003 ; Butera, Buchs & Darnon, 2011 : Monteil & Huguet, 2002) qui invoquent les pratiques d’évaluation actuelles (spécialement la notation) comme un obstacle au développement de facteurs conatifs (estime de soi - confiance en soi - motivation - sentiment d’efficacité…) favorables à l’apprentissage des élèves. Par ailleurs, au-delà de la seule suppression des notes, les entretiens avec les équipes pédagogiques ont montré que ce choix semblait entraîner certaines évolutions dans les pratiques enseignantes (meilleure explicitation des objectifs d’apprentissage par exemple….) dont on peut penser qu’elles puissent jouer un rôle médiateur favorable au développement de ces facteurs conatifs chez les élèves qui y sont exposés. C’est pourquoi nous avons élaboré un protocole de recherche mis en œuvre lors de l’année 20142015 destiné à évaluer l’impact de cette pratique (évaluation sans note) sur le développement chez les élèves concernés de certaines de ces dimensions favorables à l’apprentissage, comparativement à des élèves évalués sous forme de notation. Cette communication a pour objet de rendre compte d’une partie des résultats de cette recherche relatifs à la dimension motivationnelle des apprentissages. Problématique Pour pouvoir s’engager dans le travail scolaire, l’élève a besoin d’informations sur ses capacités. Ces informations peuvent être fournies par un feed-back, un retour sur sa performance, c’est le cas de la note. La prise d’information peut se faire également par le biais d’observations dans 95 l’environnement scolaire. Le choix et l’analyse des informations recueillies présentent un caractère subjectif : pour préserver son estime de soi, l'élève peut (ou non) privilégier certaines informations plutôt que d'autres à des fins d'auto-évaluation. In fine, qu’elles soient imposées à l’élève ou davantage sous son contrôle, les informations qu’il recueille sur ses capacités auront une influence sur sa motivation. Si la motivation est le plus connu des facteurs conatifs, les travaux de Bandura mettent en lumière un concept plus fondamental et central, le sentiment d’efficacité personnelle (SEP) : « L’efficacité personnelle perçue concerne la croyance de l’individu en sa capacité d’organiser et d’exécuter la ligne de conduite requise pour produire des résultats souhaités. » (Bandura, 2003, p. 12). Le SEP est un médiateur important de la motivation et donc de l’effort de l’individu, il a une influence sur la poursuite des buts que l'individu s'est fixé, sur son engagement, sa persistance dans l'effort et ses attitudes face aux difficultés. Selon Bandura, l'expérience vécue des succès et des échecs serait la source qui a le plus d’influence sur le SEP. Cette expérience vécue peut être appréhendée par le niveau scolaire de l’élève, tel qu’il est évalué par les enseignants. Il peut aussi être appréhendé sur le plan du niveau scolaire subjectif, tel qu’il est perçu par l’élève. L'objectif de notre recherche est d'explorer l'effet éventuel de l'évaluation sans note sur l’évolution, au cours d’une année scolaire, du sentiment d’efficacité personnelle scolaire d'élèves de sixième. Méthodologie L’échantillon est constitué de 579 élèves en classe de 6ème qui ont été enquêtés en début et en fin de l’année scolaire 2014-2015. Les participants se répartissent dans des classes pratiquant l’évaluation « sans note » (n = 285) et des classes pratiquant la notation (n = 294). Les onze collèges concernés ont été choisis dans des contextes socio-scolaires « comparables ». Pour évaluer le sentiment d’efficacité personnelle en contexte scolaire, nous avons utilisé l’échelle d’efficacité scolaire perçue de Bandura (1990). Les élèves ont répondu individuellement à un questionnaire en ligne. Chaque classe a fait la passation en demi-groupe à deux reprises dans l’année (T1 en sept-oct 2014 ; T2 en mai-juin 2015). L’objectif principal est d’évaluer, au moyen d’analyses de régression multivariée, l’impact éventuel de la pratique d’évaluation sans note (variable cible) sur l’évolution du sentiment d’efficacité personnelle scolaire des élèves au cours de l’année (variable dépendante). Celui-ci pouvant, par ailleurs, être soumis à l’influence d’autres facteurs, nous avons également recueilli des données complémentaires auprès des élèves et de leurs familles (âge, sexe, CSP et niveau d’études des parents) et auprès des établissements (indication du niveau scolaire global des élèves en début et en fin d’année) qui constitueront autant de variables dont nous contrôlerons les effets dans nos analyses. Les résultats de cette recherche (actuellement en cours d’analyse) permettront, au-delà de l’effet moyen de la pratique de l’évaluation sans note sur le sentiment d’efficacité personnelle scolaire des élèves, d’instruire également la question de son impact différencié en fonction du niveau scolaire initial des élèves. Les résultats permettront également, en lien avec les thématiques des axes 2 et 3 de ce colloque, de questionner l’homogénéité/l’hétérogénéité des pratiques d’évaluation des enseignants 96 regroupées sous l’appellation « évaluation sans notes » en discutant du lien entre méthodes, outils et pratiques d’évaluation. Références Bandura, A. (1990). Multidimensional scales of perceived academic efficacy. Stanford, CA: Stanford university. Bandura, A. (2003), Auto-efficacité : Le sentiment d'efficacité personnelle [« Self-efficacy »]. Paris: De Boeck. Bressoux, P., & Pansu, P. (2003). Quand les enseignants jugent leurs élèves. Paris : PUF. Butera, F., Buchs, C., & Darnon, C. (dir) (2011), L’évaluation, une menace?. Paris : PUF. Charbonnier D., Houchot A., Kerrero C., Moutoussamy I., & Thollon F. (2013), La notation et l’évaluation des élèves éclairés par des comparaisons internationales, rapport IGEN n°2013-072, MEN. Monteil, J. M. & Huguet, P. (2002). Réussir ou échouer à l’école : une question de contexte ? Grenoble : PUG. 97 EVALUATION FORMATIVE, EVALUATION SOMMATIVE ET EXAMENS DANS LA PRATIQUE DE TROIS PROFESSEURS DE PORTUGAIS DE 12EME ANNEE (ID 45) LOBO, Aldina, UIDEF – Universidade de Lisboa (PT) RÉSUMÉ Le but principal de cette étude (thèse de doctorat défendue en 2010) a été de faire une recherche sur les pratiques pédagogiques (d’enseignement et d’évaluation interne – formative et sommative) quand les étudiants passent des examens à la fin de l’année scolaire. Cette recherche a été justifiée par l’absence d’études dans ce domaine. On a, ainsi, formulé les questions de recherche suivantes: a) comment se caractérisent les pratiques pédagogiques (d’enseignement et d’évaluation) des professeurs participants? b) Quelle relation existe entre l’évaluation formative et l’évaluation sommative? c) Quelle influence exercent les examens sur les pratiques pédagogiques (d’enseignement et d’évaluation)? d) Dans quel sens les styles de ces professeurs sont-ils en rapport avec leurs pratiques pédagogiques et avec les résultats des apprentissages de leurs élèves? On a immergé dans trois écoles pendant une année scolaire. Le relevé des données a eu pour base des observations en classe (86 heures) de trois professeurs de Portugais de terminale (12ème année au Portugal), sur des entretiens (16: aux professeurs, à trois petits groupes d’élèves et à quelques responsables scolaires) et encore sur des artefacts. Par artefacts nous nous référons à plusieurs documents de travail nécessaires à la pratique scolaire, tels que le projet éducatif de l’école; le règlement interne; les plans des cours; les critères d’évaluation spécifiques de l’école; le curriculum vitae des professeurs; tous les documents construits par chaque professeur visant soit les apprentissages soit les classifications à la fin du trimestre; quelques travaux des élèves et leurs corrigés; les réponses à l’examen national de Portugais (639) des treize élèves directement impliqués dans cette recherche; notre journal de bord; etc. Les professeurs appartenaient à trois écoles différentes, deux publiques et une privée, de la région de Lisbonne. Juste après chaque observation, on faisait deux types de traitement gardés dans le journal de bord: une description écrite de ce qui s’était passé par rapport aux traits préalablement identifiés comme pertinents et un évaluagramme, c’est-à-dire, un schéma dont l’objectif était de traduire ce qu’on avait senti pendant le cours, du point de vue de la relation entre l’évaluation formative et la sommative. A partir des conceptions d’auteurs tels que Black et William (1998), Brookhart (2009), Fernandes (2008), Gipps (2004), Harlen (2006), Natriello (2009), on a croisé des théories sur l’identité du professeur, l’évaluation formative et les effets de washback des examens. Tout d’abord, on a eu besoin de définir des profils de professeur. On a découvert que sur chaque élément constituant, un professeur peut se situer soit plus proche soit plus loin du profil du professeur technicien ou de celui du réflexif. Du côté de l’évaluation, on a travaillé tantôt les caractéristiques des pratiques pédagogiques tantôt les influences que les recherches attribuent aux examens nationaux (effets de 98 washback). On s’est aperçu que, en classe, les professeurs peuvent, simultanément, travailler l’évaluation formative et la sommative. Les trois professeurs de l’étude ont révélé trois profils distincts. Amélia, proche de la retraite, était très affective. En plus, pendant ses cours, sa préoccupation fondamentale était celle de transmettre ses connaissances à la totalité de la classe, en bloc, et de travailler la lecture analytique des textes. Elle travaillait surtout l’aspect cognitif, en survalorisant les contenus littéraires et linguistiques. Pour Amélia, évaluer voulait dire contrôler les apprentissages avec le but d’attribuer une classification à la fin du trimestre. Très rarement elle a révélé une sensibilité formative individuelle des élèves, orientée vers la progression de leurs apprentissages. Beatriz, le professeur de l’école privée, présentait un profil adéquat à un professeur réflexif, cependant les résultats de l’examen national ont été faibles face aux attentes. Pendant l’année scolaire, son travail avec les élèves a vraiment été exceptionnel. Rigoureuse et exigeante, elle les faisait beaucoup travailler, demandait toujours la justification de leurs options, discutait les corrigés avec eux. Ses élèves correspondaient pleinement à ses défis. On les sentait très engagés tant au niveau des notes qu’au niveau des tâches créatives. Pour eux, les résultats étaient très importants à cause des études supérieures. Contrairement aux autres professeurs de cette recherche, Beatriz a fait travailler le curriculum dans tous les sens (entraînement de l’oral et lecture hors classe obligatoire inclus). Sans s’en apercevoir, Beatriz a su articuler la profondeur de l’évaluation formative avec la superficialité de l’évaluation sommative, en accord avec le schéma créé. Carolina, professeur dans une école aux résultats faibles, présentait un mélange de traits conceptuels et de pratique des deux profils théoriquement identifiés. Elle commençait par utiliser des méthodologies typiques d’un professeur réflexif, mais elle n’était pas capable de les exploiter complètement. Donc, elle n’arrivait pas à la fin du cycle de l’évaluation formative de Harlen (2006) ou de ceux pour qui le feedback et l’orientation du travail des élèves sont essentiels pour définir les stratégies suivantes afin d’arriver à de vrais apprentissages. En s’appuyant sur des méthodes assez diversifiées, Carolina exigeait difficilement des élèves une réflexion approfondie. La recherche a permis d’arriver à plusieurs conclusions. En voici quelques unes. Les pratiques d’évaluation formative et sommative des participantes, quand elles existaient, étaient complémentaires. Leurs pratiques pédagogiques (d’enseignement et d’évaluation) ont été en accord avec leurs styles – le professeur aux caractéristiques plus réflexives a privilégié l’évaluation formative et elle a plus développé le curriculum prévu, tandis que le professeur le plus proche des caractéristiques d’un technicien a développé l’évaluation en tant que mesure et elle a raccourci le curriculum. Les trois professeurs ont senti la pression de l’examen, cependant, elles ont réagi de façon différente, selon leurs styles. Ces résultats suggèrent qu’il y a des professeurs qui ne changent pas tellement leurs pratiques à cause des examens. On a aussi vérifié que la classe ayant les meilleurs résultats à l’examen n’a pas été celle qui a révélé la meilleure performance pendant l’année scolaire. Et ainsi, de nouveaux défis se présentent. Références Black, P., & Wiliam, D. (1998). Assessment and Classroom Learning. Assessment in Education, 5(1), 7-74. 99 Brookhart, S. M. (2009). Assessment and Examinations. In. Saha, e Dworkin, International Handbook of Research on Teachers and Teaching. Nova Iorque: Springer, pp. 723-738. Fernandes, D. (2008). Avaliaçăo das Aprendizagens: desafios as teorias, práticas e políticas. Cacém: Texto Editores. Gipps, C. (2004). Beyond Testing: Towards a Theory of Educational Assessment. Oxon: Routledge Falmer. Harlen, W. (2006). On the Relationship Between Assessment for Formative and Summative Purposes. J. Gardner (Ed.) Assessment and Learning (pp. 103-117). Londres: Sage Publ. Natriello, G. (2009). High Stakes Testing and Teaching to the Test. In Saha e Dworkin (Eds.) International Handbook of Research on Teachers and Teaching (pp. 1101-1111). Nova Iorque: Springer. 100 QUELLES PRATIQUES D’ENSEIGNEMENT ET D’APPRENTISSAGE EN ÉDUCATION PHYSIQUE EN REGARD DU CONTEXTE ÉVALUATIF ? LE POINT DE VUE DES ELEVES (ID 47) DERIAZ, Daniel, Institut universitaire de formation des enseignants, Université de Genève (CH) VOISARD, Nicolas, Haute Ecole Pédagogique des cantons de Berne, du Jura et de euchâtel (HEP-BEJUNE) (CH) ALLAIN, Mélanie, UER en Education physique et sportive (UER-EPS), Haute Ecole Pédagogique du Canton de Vaud (HEP-VD), Lausanne (CH) KAESTNER-LENTILLON, Vanessa, UER en Education physique et sportive (UER-EPS), Haute Ecole Pédagogique du Canton de Vaud (HEP-VD), Lausanne (CH) Introduction L’évaluation en éducation physique et plus particulièrement la notation alimente des débats animés au sein de la profession. Faut-il noter en éducation physique ? Cette note doit-elle compter dans la moyenne générale des élèves ? Beaucoup d’études ont déjà traité de l’évaluation en éducation physique. Elles se sont surtout intéressées à l’évaluation certificative en EPS et aux problèmes qui en découlent pour les enseignants et les élèves. L’évaluation faisant parie intégrante de l’enseignement (Allal, 2007). Cette communication présente une partie des résultats d’une étude à propos des relations possibles entre différentes modalités d’évaluation sommative et les processus d’enseignementapprentissage en éducation physique au niveau secondaire I en Suisse romande (Allain, Deriaz, Voisard & Lentillon-Kaestner, 2015). En Suisse, malgré une recherche d’harmonisation au niveau fédéral, l’éducation demeure de la compétence cantonale. Le paysage éducatif se caractérise ainsi par des pratiques d’une grande diversité, en particulier sur les modalités d’évaluation. Par exemple, dans le canton de Genève la note en éducation physique est certificative et compte pour la promotion des élèves et les enseignants disposent de directives institutionnelles précises. Dans le canton du Jura où la note ne compte pas pour la promotion des élèves, les enseignants ne disposent d’aucun document cantonal officiel. Enfin, dans le canton de Vaud, l’élève ne reçoit pas de note et l’évaluation n’est pas certificative. L’élève possède un livret d’évaluation qu’il conserve durant toute sa scolarité obligatoire et sur lequel sont reportés, ou non, des commentaires ou des appréciations. Ce livret a un rôle informatif. Dans ce canton, les enseignants disposent d’un plan d’études cantonal qui rappelle les objectifs généraux de l’éducation physique. Problématique La notation reste la modalité d’évaluation la plus répandue à l’école à ce jour. Pourtant, en éducation physique, la notation met bien souvent les enseignants en difficulté. Ils sont dans l’embarras lorsqu’il s’agit de déterminer les critères de notation et d’établir un barème (Cleuziou, 2005). Les notes de performance et de maîtrise d’exécution sanctionnent souvent les filles (Cleuziou, 2000), mais la prise en compte d’autres critères pose de réels problèmes. Ainsi, comme pour 101 d’autres disciplines, la note en éducation physique relève souvent d’arrangements évaluatifs (David, 2003). La note a également des effets négatifs pour les élèves. Ceux-ci travailleraient plus pour obtenir une bonne note que pour apprendre. La note exacerberait les différences de réussite des élèves et agirait de manière souvent défavorable sur les variables psychologiques telles que la motivation, le ressenti ou la compétence perçue pour les élèves en difficulté (Lentillon, 2006). C’est pourquoi il nous a semblé intéressant de comparer trois contextes éducatifs aux modalités d’évaluation sommative différentes à la lumière de ce qu’en disent les élèves. Méthodologie Une enquête par questionnaire a été réalisée auprès d’élèves de différents établissements des cantons de Genève, du Jura et de Vaud. Nous avons également procédé à des entretiens semidirectifs. Notre échantillon de données se compose donc de 3967 questionnaires élèves (1331 Vaud, 1757 Genève et 879 Jura) ainsi que de 26 entretiens (8 Vaud, 9 Genève, 9 Jura). Résultats Les élèves des trois cantons entretiennent avec l’éducation physique un rapport et des attentes assez proches malgré des différences qui peuvent souvent être significatives du point de vue statistique. Concernant les pratiques quotidiennes, les élèves genevois connaissent plus largement les objectifs (p < .001). La démonstration par l’enseignant reste d’usage, prioritairement dans le canton du Jura (p <.01). La démonstration par des paires, moins généralisée est également utilisée dans les trois cantons mais avec des différences significatives (p <. 001). Quant à la fiche d’observation pour le recueil d’informations, elle est largement plus utilisée à Genève(p <.001). Si les élèves des trois cantons reconnaissent la disponibilité de l’enseignant à leur demande, les élèves vaudois perçoivent davantage d’aide et d’encouragement de la part de leur enseignant (p <.001). Par contre, les élèves genevois mentionnent plus souvent de l’évaluation diagnostique et formative (p <.001). Enfin, les élèves genevois estiment faire plus de progrès (p <.001) et souhaitent des cycles d’enseignement plus longs que les autres élèves (p <.001). Conclusion Au regard de ces résultats, il semble possible d’avancer l’hypothèse qu’il existe effectivement des différences de pratiques d’enseignement entre les trois cantons de notre étude. Dans le canton de Genève, les résultats laissent entrevoir une certaine cohérence didactique des pratiques conforme aux prescriptions cantonales - exploitation des différentes fonctions de l’évaluation, annonce des objectifs aux élèves, relevé d’informations pour le suivi des apprentissages, cycles longs, dévolution – avec des effets positifs sur le sentiment de progrès. Dans ce canton, nous pouvons dire que l’évaluation sommative constitue le fil conducteur de l’enseignement, que l’on retrouve moins présent dans les deux autres cantons. Pour autant, pouvons-nous attribuer ces différences à la spécificité de chaque contexte évaluatif ou à d’autres éléments comme la présence ou non de documents institutionnels de cadrage ou aux différences de formation des enseignants dans les 102 différents cantons ? Le traitement des données « enseignants » devrait nous apporter un éclairage à ce propos. Références Allal, L. (2007). Evaluation: lien entre enseignement et apprentissage. In V. Dupriez & G. Chapelle (dir.). Enseigner. Collection Apprendre. Paris: PUF. Allain, M., Deriaz, D., Voisard, N., & Lentillon-Kaestner, V. (2015). Les effets de l’évaluation sommative sur les processus d’enseignement et d’apprentissage en éducation physique et sportive (EPS) au degré secondaire. Rapport de recherche financée par l’Office Fédéral des Sports (OFSPO) et le Service de l’Education Physique et du Sport (SEPS) du canton de Vaud. Cleuziou, J.-P. (2000). L'analyse des menus et des notes. In B. Davis (éd.), Education physique et sportive : La certification au baccalauréat (pp. 77-124). Paris: INRP. Cleuziou, J.-P. (2005). Construction des épreuves d’évaluation et arrangements évaluatifs en EPS : In S. Brau-Antony & J.-P. Cleuziou, L’évaluation en EPS. Concepts et contributions actuelles, pp. 105137. Paris : Actio. David, B. (2003). Equité et arrangements évaluatifs, certifier en éducation physique et sportive. Paris: INPR. Lentillon, V. (2006). Les inégalités intersexes en EPS: injustices perçues chez les élèves à l'égard des notes, des interventions et de l'enseignant et des interactions entre pairs. Thèse en STAPS. Universtié Claude Bernard, Lyon 1, France. 103 QUELLE EFFICACITÉ DU SOUTIEN PÉDAGOGIQUE DANS LE CADRE D'UN MAINTIEN AU PRIMAIRE? (ID 48) DAEPPEN, Karine Unité de recherche pour le pilotage des systèmes pédagogiques (URSP) (CH) PULZER-GRAF, Patricia, Unité de recherche pour le pilotage des systèmes pédagogiques (URSP) (CH) RÉSUMÉ La recherche s’intéresse au soutien proposé par l’école vaudoise aux élèves qui, en raison de leurs difficultés, n’ont pas été promus au deuxième cycle primaire. Les objectifs visent une meilleure connaissance du soutien prodigué par l’école et l’évaluation de l’efficacité de ces mesures sur les résultats scolaires. Prévue par la Loi scolaire vaudoise, la prise en charge peut se décliner selon plusieurs caractéristiques comme le type de soutien (appui, renfort, soutien spécialisé, etc.), l’intensité (durée et fréquences des séances), la forme (individuel, en groupe, etc.), et le personnel qui le dispense (maître d’appui, enseignant spécialisé, etc.). Plusieurs questions de recherche sous-tendent l’étude : les élèves qui bénéficient d’aide durant l’année de maintien réussissent-ils mieux que ceux qui n’en reçoivent pas ? A quelles caractéristiques du soutien l’évaluation des performances est-elle la plus sensible ? Les effets du soutien sont-ils liés au niveau scolaire de départ de l’élève ? La population étudiée est celle des 359 élèves maintenus à l’issue du premier cycle primaire, en 2011. Les données utilisées proviennent de la base officielle du recensement scolaire et de deux questionnaires originaux – l’un portant sur les motifs du maintien et l’autre sur le soutien octroyé durant l’année de maintien. L'évaluation de l’efficacité des mesures de soutien se base sur l’évolution des résultats scolaires réalisés en cours d’année. Par conséquent, les indicateurs retenus sont les « appréciations » (équivalent des notes, mais non chiffrées) fournies par les enseignants durant l’année scolaire et les scores obtenus aux épreuves cantonales de référence (ECR). Les premiers résultats indiquent que les raisons du maintien au premier cycle primaire concernent, pour un élève sur quatre, les difficultés rencontrées en français uniquement, ou associées à d’autres disciplines. Par ailleurs, le manque de maturité ou d’autonomie est un facteur qui concerne la moitié des élèves maintenus. Malgré l’obligation faite par la Loi scolaire de fournir du soutien à tous les élèves maintenus en primaire, un tiers des élèves n’ont bénéficié d’aucune mesure d’aide. Le français de manière générale, ou les différents domaines qui le composent (lecture, grammaire, conjugaison, orthographe, vocabulaire) sont le plus souvent travaillés en soutien. Pour la majorité des élèves ayant bénéficié d’un soutien, celui-ci s’est déroulé tout au long de l’année scolaire, avec une ou deux prises en charge hebdomadaires, pour des séances d’une durée de 45 minutes environ. Les mesures les plus fréquemment utilisées sont l’appui pédagogique, et celles qui dépendent de l’enseignement spécialisé, comme le renfort pédagogique ou le soutien pédagogique spécialisé. D’après les enseignants, invités par questionnaire à donner une appréciation de l’évolution de l’élève, la proportion d’élèves ayant réalisé des progrès, tant sur le plan des aptitudes scolaires que sur celui 104 de l’attitude face aux apprentissages, est plus importante chez les élèves qui n’ont pas reçu de soutien l’année de maintien. Les modèles d’analyses multivariées montrent que, contrairement aux hypothèses de départ, il n’existe pas de lien statistique entre le fait de recevoir, ou non, du soutien et la progression annuelle des résultats scolaires en mathématiques et en connaissance de l’environnement. En revanche, les élèves qui n’ont pas reçu de soutien ont des appréciations qui évoluent plus positivement en français durant l’année de maintien. Les liens qui existent entre le type de soutien reçu et l’évolution des appréciations sont peu marqués, et de sens différents en fonction des disciplines, de telle sorte qu’ils ne permettent pas de déterminer une meilleure efficacité d’une mesure sur les autres. Il est probable que chaque situation est unique et nécessite un traitement particulier. Aucune mesure n’est adaptée à tous. D’autre part, l’intensité du soutien est associée à des progrès moins importants en français et en connaissance de l’environnement. Les élèves qui ont bénéficié de soutien ne progressent pas plus aux ECR que leurs homologues qui n’en ont pas reçu ; leurs progressions sont même inférieures d’un tiers d‘écart-type dans l’échelle de mesure des ECR. Il n’existe pas d’effet du renfort et du soutien spécialisé sur les progressions aux ECR, en revanche, l’effet de l’appui s’avère assez négatif et celui du MCDI (maître de classe de développement itinérant) très négatif – progressions inférieures de 5.3 points à celles des élèves n’ayant pas reçu de soutien. Toutes les formes du soutien, son intensité, ainsi que le lieu où il se déroule, exercent également un impact négatif sur la progression des résultats des élèves. Le soutien est-il bénéfique à certains élèves plutôt qu’à d’autres ? Les modèles de régression linéaire indiquent que l’âge et la langue maternelle n’ont pas d’influence, par contre les garçons progressent moins que les filles. Quel que soit le niveau scolaire de départ, le soutien est inefficace, cependant il a moins d’effets négatifs pour les 20% d’élèves les plus faibles et les 20% les plus forts. Les élèves « moyens » sont les plus prétérités par le soutien. Au terme de leur année de maintien, 85% des élèves sont promus au deuxième cycle primaire l’année suivante, tandis que 12% sont orientés en enseignement spécialisé et 1% en classe de développement. Le fait d’avoir reçu du soutien n’augmente, ni ne diminue les chances d’être promu au cycle suivant. Ces résultats peu favorables au dispositif actuel interrogent sur les raisons qui peuvent empêcher le soutien de constituer une réelle réponse à l’échec scolaire. Il est possible, par exemple, que le soutien ait gêné les élèves dans leur progression naturelle, ou que sans soutien les élèves concernés auraient encore moins progressé. Les auteures sont toutefois convaincues que l’aide à apporter aux élèves doit rester une priorité de l’école et que c’est dans une réflexion sur la modalité de cette aide qu’il convient d’investiguer. A cet égard, des pistes pouvant conduire à une plus grande qualité de l’aide apportée aux élèves en difficulté sont proposées. 105 DÉVELOPPEMENT D’UNE PLATEFORME DE MISE EN LIGNE DE QUESTIONNAIRES : PARTAGE D’EXPÉRIENCE ET BILAN (ID 51) REMY, Sébastien, Institut de Formation de l’Administration fédérale (IFA), (BE) CAMERMAN, Julie, Institut de Formation de l’Administration fédérale (IFA), (BE) COLIN, Brigitte, Institut de Formation de l’Administration fédérale (IFA), (BE) Introduction L’Institut de Formation de l’Administration fédérale (IFA) est un organisme fédéral belge dont la mission principale est la formation des fonctionnaires fédéraux provenant de l’ensemble des services publics fédéraux et assimilés. Le principal objectif de ces fonctionnaires est de se former dans diverses matières en relation avec l’exercice de leur fonction. L’IFA propose différentes solutions d’apprentissage : formations classiques en classe, e-learnings, coachings, trajets, etc.. Depuis 2013, l’IFA s’est doté d’une plateforme informatique de mise en ligne de questionnaires : « Question Tool » (QT). La plateforme a été développée de manière à répondre aux différents objectifs et contextes propres à l’IFA. Chaque implémentation est le résultat d’un équilibre entre exigences docimologiques et contraintes techniques. L’un des principaux objectifs de la plateforme était de pouvoir créer et mettre en ligne des questionnaires, anonymes ou pas, dans différents contextes, essentiellement à la demande du personnel de l’IFA (chefs de projets gérant des portefeuilles de formations, formateurs internes, responsables de services, etc.). Les demandeurs peuvent également être extérieurs à l’IFA (responsables de formations d’autres services publics fédéraux, etc.). Ainsi, les questionnaires d’enquêtes ont pour but, par exemple : d’interroger les participants sur leurs attentes avant une formation, afin que les formateurs puissent les prendre en considération lors de leurs interventions ; d’évaluer la satisfaction des participants suite à une activité d’apprentissage et, ainsi, aux chefs de projets, qui les gèrent, d’adapter leur offre ; de mesurer le transfert des acquis suite à une formation, afin d’estimer la plus-value des activités d’apprentissages pour le travail des agents et donc leurs services, collègues, etc. Les questionnaires de tests peuvent être utilisés, notamment, pour évaluer : les pré-requis avant une formation, afin, par exemple, de créer des groupes homogènes en fonction des niveaux des participants ; les acquis après une formation. Les questionnaires d’entraînements permettent de s’auto-évaluer et peuvent être recommencés autant de fois que les personnes le souhaitent, pour : consolider les acquis lors d’une formation ; se préparer à un test. Comme on le voit, chacune de ces utilisations répond donc à des objectifs d’apprentissage : créer des groupes homogènes d’apprenants, entraîner les participants et consolider leurs acquis, etc. 106 L’autre principal objectif était de pouvoir mutualiser les questions qui seraient créées au fur et à mesure et classées selon une certaine nomenclature dans une banque de questions. Ainsi, une même question pourrait être utilisée à plusieurs reprises, dans des questionnaires différents. Les développements se sont ainsi concentrés sur : les types de progressions dans les questionnaires ; le mode d’enregistrement des réponses ; les utilisateurs, leurs permissions et le reporting. Types de progressions dans les questionnaires Au niveau de la progression dans les questionnaires, nous avons prévu la possibilité pour le répondant de suivre l’ordre proposé, sans pouvoir revenir en arrière (progression « linéaire ») ou de choisir l’ordre dans lequel il répond et revenir en arrière s’il le souhaite (progression « libre »). Pour les tests et entraînements, une progression « adaptative » a également été développée où le niveau de difficulté des questions s’adapte en fonction des bonnes ou mauvaises réponses des participants aux questions précédentes. Mode d’enregistrement des réponses Une des grandes difficultés de ce projet a été de choisir le mode d’enregistrement des réponses. En effet, nous avons dû faire face à plusieurs défis, notamment : avoir un mode d’enregistrement des réponses commun aux 3 types de questionnaires (enquêtes, entraînements et tests) ; dans certains cas, laisser la possibilité à un participant de revenir sur sa réponse et la modifier, ou modifier sa réponse après l’affichage d’un feedback (à des fins pédagogiques) ; intégrer la possibilité de mettre un timer au-delà duquel la réponse doit être enregistrée. L’option actuellement choisie est que le répondant doit « enregistrer » sa réponse , puis sélectionner la question suivante, et qu’un bouton « envoyer tout » s’affiche lorsque toutes les réponses et non-réponses ont été enregistrées. Utilisateurs, permissions et reporting Un questionnaire peut être lié à plusieurs groupes d’utilisateurs et un groupe d’utilisateurs peut accéder à plusieurs questionnaires. La plateforme génère automatiquement des rapports standards à propos des utilisateurs, des questions et des questionnaires. Des informations différentes sont affichées en fonction des permissions accordées à l’utilisateur. Pour ce faire, il est possible de créer divers profils d’utilisateurs. A chaque type d’utilisateur correspondent ainsi des permissions spécifiques (par exemple, pouvoir supprimer une question ou ajouter des utilisateurs). Les demandeurs peuvent ainsi consulter, dans la plateforme, les réponses aux questionnaires qu’ils ont demandé de mettre en ligne. 107 En plus des rapports standards, il est également possible de réaliser des rapports « sur mesure » à partir des données contenues dans la base de données de QT (par exemple, à l’aide du logiciel statistique SPSS). Discussion La polyvalence de l’outil représente une de ses plus grandes forces, grâce à une certaine flexibilité dans les possibilités de création. Toutefois, certaines difficultés demeurent tant dans les choix à poser que dans les possibilités (contraintes) d’implémentation de ces choix. Il faut également trouver l’équilibre entre le recueil de données et l’utilisation de l’outil à des fins pédagogiques. Par exemple, la progression adaptative, qui peut être utilisée pour les testings ou entraînements, nécessite encore certains développements relatifs à la cotation et l’exploitation des résultats. Pour le mode d’enregistrement des réponses, nous remarquons que, dans la pratique, les répondants n’enregistrent pas toujours leurs réponses, puisque cela n’entre pas dans la « logique utilisateur ». Nous revoyons donc actuellement cette façon de procéder. Enfin, les rapports sur mesure sont longs et fastidieux et la possibilité d’étoffer notre offre de rapports standards est actuellement à l’étude. Notamment, la possibilité d’extraire un fichier de données reprenant les caractéristiques et réponses des participants est actuellement à l’étude : il permettrait aux demandeurs de traiter eux-mêmes ces informations. Ces difficultés ont été présentées lors du colloque afin de solliciter l’expérience et/ou les commentaires de l’auditoire. 108 LES NOUVELLES TECHNOLOGIES (TIC) COMME INSTRUMENT D’APPRENTISSAGE DANS L’ÉCOLE (ID 53) ZAMPIERI, Sandra, SUPSI/DFA, (CH) RESUME L’étude ICILS effectué en Suisse en 2013 a eu pour but d’évaluer les compétences des élèves de treize ans dans l’utilisation des nouvelles technologies de l’information et de la communication (TIC). Pour les différentes analyses tirées du test ICILS, le cadre contextuel restera le canton du Tessin. A un premier niveau les analyses concernant l’accès et l’utilisation des TIC de la part des élèves ont été effectuées. Le but était celui de découvrir lors de quelles occasions et pour quelles activités les TIC sont exploitées majoritairement. D’après les analyses, on peut facilement noter que les élèves utilisent l’ordinateur et internet hors de l’école et pour des activités de loisirs. Ils ne voient pas vraiment la possibilité d’utiliser l’ordinateur pour des travaux scolaires. En effet le 58.8% déclarent d’utiliser l’ordinateur à l’école pendant les cours moins d’une fois par mois, alors qu’à la maison le 42.3% en fait une utilisation quotidienne. L’activité principale de cette utilisation quotidienne est la communication dans les réseaux sociaux (48.7%) alors que pour les travaux scolaires on retrouve que le 4.9%. Toutefois on peut noter qu’il y a une partie des élèves qui exploitent l’ordinateur pour les travaux scolaires : il s’agit du 25.9% qui l’utilise une fois par semaine et un 29% qui l’utilise un fois par mois. On peut alors observer que l’ordinateur, même si encore lentement, commence à devenir un instrument de travail et pas uniquement de loisir. L’utilisation des TIC à l’école est encore très restreinte : le 22.3% déclare ne pas l’utiliser du tout, le 58.8% (comme déjà dit) l’utilise moins d’une fois par mois, le 13% une fois par mois mais pas toutes les semaines, le 4.6% une fois par semaine mais pas tous les jours et le 1.4% tous les jours. L’ordinateur n’est donc presque pas exploitées lors des cours comme soutien didactique, par exemple dans l’étude des maths où des langues et ne fait pas objet d’apprentissage lui-même. Ce phénomène est dû principalement pour une raison :l’enseignant commence à utiliser de manière personnelle et privée les TIC, alors que dans un contexte scolaire l’utilisation de ces instruments demanderait une autre compétence à laquelle l’enseignant est moins habitués et qu’il ne maîtrise pas très bien (Levin, Stuve et Jacobson, 1999 cités par Larose et al., 2002). L’utilisation des TIC comme moyen didactiques reste donc un choix de l’enseignant au niveau du rapport que lui, personnellement et par rapport à son enseignement, entretient avec ces instruments. L’enseignant décide combien de fois il va avec ses élèves dans la salle informatique et c’est toujours l’enseignant qui pousse les élèves à utiliser par exemple internet pour différentes recherches d’informations, etc. Selon Akkari & Heer (2006) il est aussi important de se demander la façon dont les TIC peuvent être introduit durant les cours. On se demande aussi si l’introduction des TIC comment auxiliaire didactique implique un changement dans la structure de l’enseignement en classe. Pour ce faire les auteurs citent deux visions proposées par les des auteurs Larose, Grenon et Lafrance (1999) : d’un côté intégrer les TIC dans l’enseignement est considérée important et favoriserait un changement dans la façon d’enseigner de la parte des maîtres ; de l’autre côté on croit qu’intégrer les TIC serait tout à fait possible sans devoir apporter des changements structuraux et que la façon d’enseigner telle qu’elle est se rapporte parfaitement aux nouvelles technologies. Le débat reste encore 109 aujourd’hui très ouvert selon la courant de pensée et deviendra objet peut-être de différentes études qui essaierons d’apporter nouveaux éléments de réponses. Ce qu’on nous demande finalement est : comment peut-on introduire les instruments technologique comme l’ordinateur, les tablettes et internet tout en gardant les cours basés sur l’utilisation de papier, crayon et du tableau noir ? Un autre aspect important à souligner en lien avec les TIC est le fait que non seulement il y a l’apprentissage à travers l’ordinateur et internet, mais en même temps on apprend à utiliser l’instrument. Internet surtout et les réseaux sociaux restent un espace très large et parfois dangereux si on ne connaît pas tous les risques. Comme on a vu auparavant l’utilisation des TIC par les jeunes de treize ans se concentre vers ce monde de communication virtuelle. Il est donc nécessaire fournir aux jeunes les informations importantes regardant internet et les risques qu’ils pourraient courir (Santilli & Salzillo, 2009). En effet durant le test ICILS, dans certaines exercises, les élèves devaient démontrer leurs capacités par exemple à chercher et sélectionner les informations trouvées sur internet, à reconnaître si un mot de passe était suffisamment solide où pas et encore les éléments qui permettaient de comprendre si les informations tirées d’un site internet pouvaient être considérées fiables. Dans le questionnaire élèves, entre autre, différentes questions posées aux élèves faisaient référence au phénomène de le harcèlement sur internet (cyberintimidation), un phénomène qui préoccupe les acteurs dans milieu de l’éducation. Les élèves démontrent, par le biais du questionnaire, de connaître le phénomène et d’être conscient de sa gravité (91.6%). Il paraît aussi qu’un élève sur cinq subirait des actes de harcèlement même si on n’a pas des données qui permettent d’approfondir ces déclarations. Les questions donc qui restent autour de cette thématique restent celles explicitées tout au début : comment introduire le TIC dans l’enseignement? Quels seraient alors les changements dans l’enseignement scolaire avec les TIC? Comment en peut-on en même temps enseigner le TIC et sensibiliser les jeunes aux divers phénomènes liés au monde virtuel et à internet? Les médias et la société font une grande utilisation de ces moyens de communications et certaines compétences doivent être acquises par les natifs digitaux. Le monde de l’éducation et de l’école devra en quelque manière se positionner. 110 EVALUATION DES ACTIVITÉS DE FORMATION ET DE CONSEIL-ACCOMPAGNEMENT SUR LE DÉVELOPPEMENT PROFESSIONNEL DES ENSEIGNANTS-CHERCHEURS (ID 53) ZINGARETTI, Simon, Idip, Université de Strasbourg (FR) RÉSUMÉ L’innovation pédagogique dans l’enseignement supérieur repose indiscutablement sur le passage d’une vision et de pratiques centrées sur la transmission des savoirs, à une vision et à des pratiques pédagogiques centrées sur les apprentissages des étudiants. Pour ce faire, plusieurs universités ont développé des centres ou des services de pédagogie universitaire pour soutenir le développement professionnel des enseignants-chercheurs afin de les accompagner dans cette démarche. Rege Colet et Berthiaume (2015) proposent quatre axes d’intervention pour accompagner les enseignants-chercheurs dans ce développement professionnel : 1) les actions de formation ; 2) le conseil-accompagnement ; 3) l’évaluation des enseignements par les étudiants ; et 4) le Scholarship of teaching and learning (SoTL). Que savons-nous des effets de ces actions sur les pratiques pédagogiques réelles des enseignants et sur le développement professionnel des enseignants ? Une première enquête réalisée au printemps 2014 par l’Institut de développement et d’innovation pédagogiques (Idip) de l’Université de Strasbourg nous éclaire un peu à ce sujet (Rege Colet & coll., 2014). L’enquête s’intéressait à l’impact du premier axe de développement, à savoir les actions de formation, sur le développement des pratiques pédagogiques des enseignants. Plus précisément, l’objectif de l’enquête était de savoir ce que font les enseignants des repères théoriques et des applications pratiques développés pendant les ateliers de formation. Pour cela un questionnaire comprenant deux parties leur a été envoyé. Une première partie sur la mobilisation des repères théoriques dans leur activité, et une seconde partie sur la maîtrise des applications pratiques abordées lors des formations. Les résultats de cette première enquête révèlent que les activités de formation semblent avoir un impact sur la mobilisation des repères théoriques, mais pas sur la maîtrise des applications pratiques. En effet, il semble qu’un transfert s’opère du côté des repères théoriques les plus abordés pendant les ateliers de formation. Les enseignants déclarent mobiliser davantage les concepts fréquemment abordés dans les ateliers comme ceux liés aux objectifs d’apprentissage ou à la participation des étudiants, que ceux qui sont développés de manière beaucoup ponctuelle comme l’andragogie ou la place des obstacles cognitifs dans le développement du raisonnement scientifique. En revanche, en ce qui concerne les applications pratiques, les résultats montrent qu’aucune application pratique ne semble être plus maîtrisée qu’une autre. Les actions de formation ne semblent pas influencer directement, voire modifier les pratiques pédagogiques des enseignants. Cette première enquête nous indique que, si il y a impact des actions de formation sur l’activité des enseignants-chercheurs, celui-ci s’opère davantage sur la mobilisation des repères théoriques que sur la maîtrise des applications pratiques. Les formations, bien qu’étant nécessaires au développement professionnel des enseignants-chercheurs, ne semblent donc pas être suffisantes pour modifier leurs pratiques pédagogiques de manière durable et encourager ce changement de paradigme pédagogique centré sur les apprentissages étudiants. 111 Ces premiers résultats semblent corroborer avec d’autres travaux comme ceux de Stes et Petegem (2011) qui montrent que les activités de formation menées à l’Université d’Anvers impactent également l’activité des enseignants-chercheurs mais uniquement du point de vue de leurs conceptions. Ils ont ainsi pu mettre en évidence une modification des conceptions des enseignants, mais pas de changement de leurs pratiques pédagogiques. Là encore, les actions de formation semblent avoir un impact sur les conceptions des enseignants-chercheurs quant à l’apprentissage des étudiants et à l’enseignement, sans modifier pour autant les pratiques pédagogiques existantes. La question se pose donc de savoir comment dépasser ce simple changement de conception et de représentation chez les enseignants pour opérer un transfert plus profond du côté de leurs pratiques pédagogiques ? Plusieurs auteurs se sont intéressés à cette question. Frenay et Paquay (2011) mais également Rege Colet et Berthiaume (2015) suggèrent de ne pas se cantonner à un seul levier de développement professionnel et, au contraire, de multiplier les axes d’intervention. Selon eux, la formation ne serait qu’une des composantes du développement professionnel des enseignants-chercheurs, et tous soulignent le rôle primordial du conseil-accompagnement. C’est ce que nous allons discuter dans cette communication à travers les résultats d’une seconde enquête de l’Idip réalisée en juin 2015. Cette enquête mesure l’impact du deuxième levier de développement des enseignantschercheurs, celui du conseil-accompagnement. En effet, suite aux résultats de la première enquête, une hypothèse a été posée : la formation adossée à un conseil-accompagnement permet de dépasser ce simple transfert opérant uniquement sur les repères théoriques pour aller vers une mise en application de nouvelles pratiques. C’est ce que cette enquête propose de renseigner. Pour cela, un questionnaire a été envoyé aux enseignants-chercheurs qui ont, soit suivi une ou plusieurs formations de l’Idip, soit bénéficié d’un conseil-accompagnement avec l’un des conseillers pédagogiques, soit les deux. Le questionnaire envoyé reprend celui utilisé lors de la première enquête : à savoir une première partie sur la mobilisation des repères théoriques, une deuxième sur la maîtrise des applications pratiques et une dernière partie sur le profil des enseignants-chercheurs. Dans cette dernière partie quatre questions ont été rajoutées afin de savoir quand l’enseignant a suivi les formations menées par l’Idip, s’il a bénéficié d’un conseil-accompagnement, et si oui quand a-t-il eu lieu et sur quelle thématique. Deux hypothèses principales ont été posées. La première est que, comme pour la première enquête, chez les enseignants ayant suivi les formations, un transfert s’opère du côté des repères théoriques mais pas de celui des applications pratiques. La seconde est que les enseignantschercheurs ayant bénéficié d’un conseil-accompagnement en plus des formations maîtrisent davantage les applications pratiques ciblées par l’accompagnement. Et c’est ce que nous proposons de discuter lors de cette communication. Références Frenay, M. & Paquay, L. (dir.)(2011). Former les universitaires à la pédagogie. Recherche & formation, 67. Rege Colet, N. & Berthiaume, D. (Ed.) (2015). La pédagogie de l’enseignement supérieur : repères théoriques et applications pratiques. Tome 2. Se développer au titre d’enseignant. Berne : Peter Lang. 112 Rege Colet, N. et collaborateurs (2014). L’art et la manière. Bilan de la première année d’activités de l’Idip. Les cahiers de l’Idip, 1. Stes, A. & Van Petegem, P. (2011). La formation pédagogique des professeurs dans l’enseignement supérieur. Une étude d’impact, Recherche et formation, 67, 15-30. 113 LE DÉVELOPPEMENT DE L’OBSERVATION PROFESSIONNELLE VIA LA VIDÉOFORMATION : PERSPECTIVES DE RECHERCHE POUR ANALYSER LE TRANSFERT (ID 54) VIFQUIN, Jean-Marc, Haute Ecole Louvain en Hainaut (BE) RÉSUMÉ Cette communication s’intègre dans l’axe 3 de la thématique du colloque par le fait qu’elle reprend des travaux de recherche susceptibles de mettre en évidence des conditions selon lesquelles une méthodologie de développement de l’observation peut contribuer à la formation des acteurs impliqués dans ces processus. Ces derniers, participant à la formation initiale des futurs enseignants de l’enseignement secondaire inférieur en Haute Ecole tentent, auprès des étudiants, de développer les compétences nécessaires à l’observation éclairée et critique (Fédération Wallonie Bruxelles, 2001) de situations professionnelles. Ils mettent en œuvre différentes méthodologies d’assurer le développement de leur « vision professionnelle » (Sherin & van Es, 2009). Afin de préparer les étudiants à cette observation, des « ateliers de formation professionnelle » sont organisés et mobilisent notamment la vidéoformation. Cette dernière a pour objectif de développer l’observation d’autrui et de soi-même, ce, en fonctionnant de manière similaire aux groupes de soutien à l’insertion professionnelle tels que l’entendent Martineau et Vallerand (2011). Au sein des ateliers organisés, différentes modalités sont mises en œuvre : les étudiants peuvent observer des activités de micro-enseignement (Wagner, 1990) qui ont lieu dans un contexte « artificiel » mais dont l’intérêt réside dans le fait de constituer un espace « protégé » dans lequel « l’évaluation formative (…) institue le droit à l’erreur comme norme dans l’espace de formation. » (Bourgeois, Nizet, 1999, p. 145). Vers une problématique de recherche Les activités permettant de développer la capacité de « vision professionnelle » sont organisées selon une approche essentiellement axée sur l’observation et l’analyse de l’activité réelle des futurs enseignants. Différentes questions peuvent, à ce stade, être posées. Les premières ont pour objet ces futurs enseignants; sur quoi focalisent-ils leur regard à différents stades de leur formation ? Quels gestes professionnels (Bucheton, 2009) retiennent leur attention ? Quelles variables peuvent influencer la focalisation sur certains gestes plutôt que d’autres ? Une première phase exploratoire a permis le recueil et le traitement de données dont les résultats ont été communiqués précédemment (Vifquin, 2014 ; 2015). Au-delà des premières analyses des résultats et hypothèses émises à ce stade, le fait d’étudier l’impact de dispositifs de formation sur le développement de l’observation professionnelle a été choisi et a permis l’émergence des questions suivantes : quelles conditions méthodologiques, situationnelles exercent une influence significative sur le développement de l’observation professionnelle ? De plus, un ensemble de questions vise davantage l’objet observé ; quelle dimension est-il important de capter lors de l’observation, en tant que futur enseignant ? Peut-on se focaliser sur plusieurs dimensions à la fois ? L’ensemble de ces questions a progressivement mené vers la précision d’un objectif de recherche qui est d’étudier l’impact d’un dispositif permettant la focalisation de l’observation des futurs enseignants sur un geste professionnel particulier et d’en évaluer le transfert à court terme à l’occasion de l’observation 114 d’autres situations. L’objectif étant, in fine, d’évaluer l’impact sur les pratiques à moyen ou à plus long terme. Cadrage théorique Le cadre théorique choisi a pour objet le développement de la « vision professionnelle définie comme suit: « Professional vision in teacher research is seen in the ability to notice and interpret signiﬁcant features of classroom interactions » (Sherin et van Es, 2009, p.20). Le fait de « pointer » les caractéristiques significatives des situations est également appelé « attention sélective » et est définie comme la « capacité à identifier et interpréter les aspects-clés des interactions en classe » (Gaudin & Flandin, 2014, p.7). Toujours selon van Es et Sherin (2002), cette capacité comprend différentes caractéristiques. La première est d’identifier ce qui est important lors d’une situation d’enseignement ; les mêmes auteurs emploient l’expression « call out » (Frederiksen, 1992 cité par van Es & Sherin, 2002, p. 573) qui signifie la capacité de se focaliser sur ce qui est important sur base de l’observation d’une situation complexe. La deuxième caractéristique est décrite comme suit : « The second dimension of noticing involves teachers using kwowledge of their contexte to reason about events they analyze » (van Es & Sherin, 2008, p. 246). Ceci signifie, par exemple, de mobiliser ses connaissances disciplinaires lorsque l’on observe une situation de classe ayant pour objet l’apprentissage de sujets liés à cette même discipline. Enfin, la troisième caractéristique de l’attention sélective est de réaliser des liens entre des événements spécifiques observés et des principes plus larges d’enseignement et d’apprentissage d’où : «(…) the importance of extrapoliting from the specific to the general (…) » (van Es & Sherin, 2008, p. 247). En plus de ces caractéristiques, l’ « attention sélective » peut se focaliser sur différents « gestes professionnels » (Bucheton, 2009). Ceux-ci peuvent aussi bien se manifester à travers l’attitude au niveau non verbal, la manière de parler ou les gestes relatifs à la gestion de la discipline, que sur d’autres aspects didactiques ou pédagogiques tels que les « gestes de tissage » ou « d’étayage » (Ibid.). Questions de recherche et protocole A la lumière du cadre théorique et puisque les novices auraient tendance à se focaliser sur des éléments superficiels lors d’observation de situations d’enseignement via la vidéo (Castro, Clarke, Jacobs & Givvin, 2005 cités par Gaudin et Flandin, 2014), la question de recherche s’est donc précisée comme suit : quelles conditions méthodologiques liées aux situations de formation à la vision professionnelle exercent une influence sur le développement et le transfert de l’attention sélective liées à certains gestes professionnels particuliers ? Une première phase de recherche expérimentale provoquée (Mace & Pétry, 2011) a été mise en œuvre afin de recueillir des données au sein d’un dispositif de formation mobilisant l’analyse de vidéos en « alloconfrontation » (Duboscq & Clot, 2010). La communication aura pour objets la présentation de la méthodologie de recueil d’informations, les premiers résultats obtenus et se clôturera par les perspectives quant à la poursuite de la recherche. 115 Références Bourgeois, E. & Nizet, J. (1999). Apprentissage et formation des adultes. Paris : Presses Universitaires de France (2ème éd.). Bucheton, D. (2009). L’agir enseignant: des gestes professionnels ajustés. Toulouse: Octarès Editions. Duboscq, J. & Clot, Y., (2010). L’autoconfrontation croisée comme instrument d’action au travers du dialogue : objets, adresses et gestes renouvelés. Revue d'anthropologie des connaissances, 2 (4), 255-286. doi: 10.3917/rac.010.0255 Flandin, S. & Gaudin, C. (2014). Présentation croisée d’un état de l’art. Lyon : ENS de Lyon. En ligne http://www.ens-lyon.fr/chaire-unesco-formation/manifestations-scientifiques/videoformation/etat-de-l-art-s-flandin-et-c-gaudin. Mace, M. & Pétry, F. (2011). Guide d’élaboration d’un projet de recherche en sciences sociales. Bruxelles : De Boeck Université. (4e ed.) Martineau, S. & Vallerand, A-C. (2011). Les groupes collectifs de soutien à l'insertion professionnelle. Formation et Profession, 18(2), 39-40. En ligne http://www.crifpe.ca/download/verify/1152. Ministère de l’enseignement supérieur de la Communauté Française. (7 juin 2001). Circulaire concernant la nouvelle formation des instituteurs et des régents. Bruxelles : Ministère de l’enseignement supérieur de la Communauté Française. Sherin, M.G. & Van Es, E.A. (2009). Effects of video club participation on teachers' professional vision. Journal of Teacher Education, 60(1), 20-37. Van Es, E.A. & Sherin, M.G. (2002). Learning to notice: scaffolding new teachers interpretations of classroom interactions. Journal of Technology and Teacher Education, 10 (4), 571-596. Van Es, E.A. & Sherin, M.G. (2008). Mathematics teachers’ ‘‘learning to notice’’in the context of a video club. Teaching and Teacher Education, 24(2), 244-276. Vifquin, J-M. (2014, mai). L’usage de la vidéoformation : vers quel transfert de la réflexivité ? Une première phase exploratoire. Communication présentée au 28e congrès de l’AIPU, Mons. En ligne http://hosting.umons.ac.be/php/aipu2014/C9TEST/select_depot2.php?q=244 Vifquin, J-M. (2015, janvier). Le développement de l'observation professionnelle: quelles préoccupations des étudiants ? Phase exploratoire. Communication présentée au 27e congrès de l’ADMEE-Europe, Liège. Wagner, M-C. (1990). Pratique du micro-enseignement. Une méthode souple de formation des enseignants. Bruxelles : De Boeck-Wesmael. (2e ed). 116 OUTILLER LES ÉLÈVES À ÉVALUER LES TEXTES DES PAIRS-AUTEURS ET DÉVELOPPER DES HABILITÉS DE RELECTURE CRITIQUE (ID 55) COLOGNESI, Stéphane, UCL (BE) NIEUWENHOVEN, Catherine Van, UCL (BE) RÉSUMÉ La visée de cette communication est de rendre compte des effets d'une séquence didactique développée pour permettre aux élèves de 5è et 6è primaire de porter un jugement critique sur les textes d'autrui - et conséquemment sur leur propre texte - en rédigeant des rétroactions utiles à la réécriture et au développement de la posture d'auteur de chacun. Un dispositif d'écriture, que nous avons appelé "Itinéraire" (Colognesi, 2015) a été créé dans lequel les scripteurs sont amenés à interagir et à rédiger des commentaires permettant aux pairsauteurs d'améliorer leurs productions. A cette occasion, nous avons observé que les élèves, lorsqu’ils évaluent les textes des pairs et se mettent dans la peau de lecteurs critiques, n’ont pas les outils et les stratégies nécessaires pour rendre un feedback efficace. Généralement, lors de leurs premières tentatives de discussion et de rédaction de commentaires dans les textes des camarades, ils ne savent pas comment s'organiser, de quoi discuter et au mieux, réagissent à l'instar de leur enseignant en "corrigeant" (bien souvent en rouge) l'orthographe. Au regard de ces constats, nous avons développé une séquence destinée à outiller les élèves à évaluer les productions des pairs, dans une perspective formative (Allal & Mottier Lopez, 2005) et coopérative (Johnson, Johnson & Holubec, 1994; Barbey & Lehraus, 2003) étant entendu que des partenaires qui collaborent autour d’une tâche complexe à résoudre peuvent acquérir non seulement des connaissances déclaratives, mais aussi des stratégies de compréhension et de raisonnement (Brown et Campione, 1995). Ladite séquence s'inscrit, de manière plus large, dans le dispositif Itinéraire cité supra (Colognesi, 2015), qui amène les élèves à faire évoluer leur texte suivant plusieurs réécritures avec, comme leviers, les étayages, les interactions et les médiations métacognitives. Trois semaines sont nécessaires, à raison d'une séance par jour, au déploiement complet du processus d'écriture. Pour cette communication, notre propos s’attachera donc à rendre compte des effets de notre séquence qui intervient après la rédaction de la deuxième version du texte (rédaction d'un portrait). Concrètement, nous avons mobilisé deux classes dans lesquelles le dispositif Itinéraire a été proposé dans son ensemble. Dans la première, la séquence destinée à équiper les élèves à porter un jugement sur les textes des autres n'a pas été expérimentée (classe contrôle): nous avons laissé les élèves organiser et gérer par eux-mêmes les temps d'interactions en sous-groupe. Dans la seconde, nous avons inclus ladite séquence (classe expérimentale). Notre question de recherche étant de savoir ce que l'activité proposée peut apporter comme plus value par rapport à une gestion autonome du temps d'échange et de rédaction de rétroactions sur les textes. Pour répondre à cela, nous avons mobilisé une analyse tant quantitative que qualitative. En effet, d'une part, nous avons construit et utilisé une grille permettant d’identifier les progrès – ou non – des élèves des deux classes dans les différentes dimensions de la compétence scripturale (Dabène, 117 1991; Lord, 2009). D'autre part, nous avons analysé les interactions vécues dans les deux groupes et observé les traces laissées à destinations des pairs. Les résultats à l'analyse quantitative montrent d'abord que les deux classes ont un niveau statistiquement équivalent au départ. Ensuite, quand on compare les résultats avant et après l'activité de commentaires des textes d'autrui (avec ou sans outillage de l'enseignant) on remarque pour les deux groupes une évolution entre les deux versions, dans tous les items. Avoir discuté des textes des autres et mis en exergue les difficultés semble donc avoir eu un impact bénéfique sur la réécriture suivante. Néanmoins, dans la classe où notre séquence a été implantée, on note plus d'avancées significatives, toutes centrées sur des items relatifs à la posture d'auteur et au genre textuel à produire (situation de communication, choix des mots en lien avec la tâche, ...) et aussi une augmentation significative du nombre de mots. L'analyse qualitative, quant à elle, confirme que la classe contrôle "corrige" les textes comme leurs écrits sont souvent corrigés, en s'attachant uniquement aux questions phrastiques et orthographiques, et sans laisser de feedback positif. Par contre, dans la classe expérimentale, dans laquelle la séquence a eu lieu, les élèves ont rédigé d'une part des commentaires via des messages « papier » et, d'autre part, ont ajouté des rétroactions dans le texte des partenaires, avec une volonté systématique de proposer du positif à l’auteur. Ainsi, premièrement, on rencontre des valorisations générales qui, certes, n’aident pas trop l’auteur à savoir ce qui est "bien" de manière spécifique, mais qui permettent d’amener un sentiment de performance, une amélioration du rapport à l’écrit et de la motivation pour continuer. Deuxièmement, d’autres renforcements sont quant eux très ciblés et donnent à voir les aspects qu’il est possible de conserver pour se concentrer sur le reste. Assorti à cela, des conseils précis, que nous pouvons répertorier dans les différentes composantes de la compétence scripturale, sont proposés. Il apparaît dès lors que s’emparer des textes d’autrui (et, par conséquent, de son propre texte) dans une perspective d’analyse critique ne soit pas « donné » et qu’il faille outiller les élèves dans ce sens. Nous présenterons dans notre communication : (1) le cadre général de la recherche pour situer la facette dont il est question ici, (2) les référents théoriques convoqués, (3) les outils de recueil de données, (4) l’analyse des résultats et (5) la synthèse à laquelle nous arrivons pour outiller les élèves à améliorer leur relecture critique des textes en proposant des rétroactions efficaces aux réécritures suivantes. Références Allal, L. et Mottier Lopez, L. (2005). L’évaluation formative : revue de publications en langue française. In Centre pour la recherche et l’innovation dans l’enseignement (dir.), L’évaluation formative, pour un meilleur apprentissage dans les classes secondaires (p. 265-290). Paris : Éditions OCDE. Baudrit, A. (2005). L'apprentissage coopératif: origines et évolutions d'une méthode pédagogique. Bruxelles : De Boeck. Dabène, M. (1991). Un modèle didactique de la compétence scripturale. Repères, 41, 9-22. Colognesi, S. (2015). Faire évoluer la compétence scripturale des élèves. Thèse de doctorat en sciences psychologiques et de l'éducation, Université de Louvain, Louvain-la-Neuve. 118 Gagnon, R., Monnier, A. & Dolz, J. (2014). L’évaluation dans la formation à l’enseignement de la production écrite ; l’exemple suisse romand. Pratiques, 161-162, pp. 2-16. Johnson, D. W., Johnson, R. T., & Holubec, E. J. (1994). New circles of learning; Cooperation in the classroom and school, the. Alexandria , VA: Association for Supervision and Curriculum Development. Lord, M.A. (2009), Composantes prises en compte dans l’évaluation de la compétence scripturale des élèves par des enseignants d’histoire du secondaire au Québec, Revue canadienne des jeunes chercheures et chercheurs en éducation Rouiller Barbey, Y. & Lehraus, K. (2003). Pédagogie coopérative: De l’expérience et de la science… Educateur, 5, 24-26. 119 LES REPRÉSENTATIONS DES ÉTUDIANTS À L’ÉGARD DE L’ÉVALUATION DES ENSEIGNEMENTS: LE CAS DE LA FACULTÉ DE PÉDAGOGIE DE L’UNIVERSITÉ LIBANAISE (ID 57) EL-KHATIB, Wassim, Université Libanaise (LB) RÉSUMÉ Beaucoup d’universités dans le monde adoptent aujourd’hui, d’une manière volontaire, les recommandations et les instruments du processus de Bologne. C’est le cas de l’Université Libanaise, la plus grande université au Liban et la seule université publique dans ce pays, qui a engagé des reformes concernant la mise en place de la structure en trois cycles, le système ECTS et l’assurance qualité. Ces réformes ont amené des pratiques jusque-là inconnues et même controversées telle que l’évaluation des enseignements par les étudiants (désormais ÉEÉ). Cette communication se veut un compte rendu d’une enquête exploratoire menée à la Faculté de Pédagogie de l’Université Libanaise et portant sur un volet de l’évaluation des enseignements rarement interrogé par la recherche au Liban, à savoir les représentations des étudiants à l’égard des mesures d’assurance qualité engagées. La méthodologie adoptée dans cette enquête a consisté à recueillir et à analyser les réponses des étudiants à l’aide d’un questionnaire anonyme mis en ligne. L’enquête étant exploratoire, elle ne visait pas la représentativité. Toutefois les réponses recueillies: 250 représentent plus de 20% de l’effectif général des étudiants (1200) à la Faculté de Pédagogie. Le questionnaire renfermait 21 questions fermées et une question ouverte facultative réparties en trois sections : • participation des étudiants à l’ÉEÉ et type de feedback assuré suite à cette évaluation ; • facteurs susceptibles, selon les étudiants, d’entraver ce processus d’évaluation ; • outils et élaboration d’outils pour l’ÉEÉ. Les données recueillies ont fait l’objet de 3 types d’analyse : descriptive, comparative, et analyse de contenu. Afin de rendre ces différents types d’analyse possibles, les données recueillies par l’intermédiaire du logiciel en ligne utilisé et qui se présentaient uniquement sous forme de pourcentages et de graphes, ont été consignées dans le logiciel SPSS pour un traitement plus élaboré de ces données. Le logiciel SPSS a ainsi permis d’affiner et de valider les résultats de l’analyse descriptive et d’appliquer les tests d’analyse comparative. A noter que l’analyse de contenu a été réservée au traitement des réponses à la question facultative consistant à recueillir les remarques et les commentaires des étudiants. L’analyse descriptive révèle que les étudiants développent des représentations négatives à l’égard de l’évaluation des enseignements. Les étudiants trouvent que les facteurs administratifs (90,5%) ou ceux liés à l’enseignant (93,3%) ou à l’étudiant (94,4%) peuvent impacter négativement l’ÉEÉ, mais ils se considèrent, en revanche, capables (88,6) et en plein droit (94,3%) d’effectuer ce type d’évaluation. Cette analyse révèle aussi que les étudiants jugent favorablement (88,1%) le questionnaire utilisé pour évaluer les enseignements, mais qu’ils trouvent nécessaire (80,84%), le recours à d’autres types d’évaluation. L’analyse montre également que les étudiants estiment 120 (74,85%) qu’il faut les impliquer dans le processus d’élaboration des outils pour l’ÉEÉ et que 71,26% parmi eux se montrent prêts à y participer. L’analyse descriptive met en évidence, par ailleurs, une lacune importante dans la mise en place du système d’évaluation des enseignements à la Faculté de Pédagogie à savoir le manque voire l’absence de tout feedback aux étudiants sur les évaluations effectuées : si 79,2% des étudiants déclarent avoir eu l’occasion de participer à l’ÉEÉ, 5% seulement affirment avoir reçu un feedback sur cette évaluation. L’analyse de contenu des remarques et des commentaires des étudiants va dans le même sens de l’analyse descriptive, mais met en lumière des pistes fort intéressantes pour améliorer l’ÉEÉ telles que : la nécessité d’évaluer les enseignements objectivement par les étudiants, la formation des étudiants à l’ÉEÉ et la nécessité d’éviter les biais résultants de certaines pratiques enseignantes visant à influencer l’ÉEÉ qui vont, selon les étudiants, d’une évaluation favorable d’un étudiant à la presque divulgation des questions d’examens. L’analyse comparative visait à examiner les liens entre les variables indépendantes et celles relatives aux différentes dimensions étudiées. Vu la nature des variables : qualitative nominale ou qualitative ordinale, deux tests statistiques ont été choisis : coefficient de contingence (c) et Khideux. L’analyse a révélé plusieurs liens significatifs (p < 0.05) entre les variables testées. Les résultats de cette analyse qui ne peuvent pas être développés dans ces lignes, apportent un éclairage important sur l’influence que peuvent exercer certains facteurs tels que la satisfaction à l’égard de la prestation des enseignants, le fait de poursuivre ses études à plein temps ou pas, ou le fait d’être inscrit en licence ou Master, sur l’attitude de l’étudiant face à l’ÉEÉ. Les résultats obtenus montrent que le point de vue des étudiants, leurs représentations ainsi que leur motivation sont un facteur déterminant dans toute démarche d’assurance qualité. Réduire les étudiants à de simples exécutants pourrait mettre en question tout le processus d’ÉEÉ. Les résultats de l’enquête rejoignent, dans ce sens, les conclusions des recherches soulignant l’importance de l’implication des acteurs concernés dans le processus de l’ÉEÉ (Gangloff-Ziegler & Weisser, 2012 ; Abernot, Gangloff, Weisser, M., Bennaghmouch, & Abid-Zarrouk, 2009 ; Youness, 2007 ; Thivierge et Bernard, 1996). Les résultats de l’enquête soulèvent, aussi, la question de la nécessité de l’explicitation du positionnement de l’institution entre démarche de contrôle et démarche formative. Un manque d’explicitation de la véritable visée du projet d’assurance qualité dans une institution, pourrait amener à des « glissements non contrôlés » (Vial, 1997), comme c’est le cas de la dénomination attribuée au processus de l’ÉEÉ, par le Bureau d’assurance qualité à l’Université Libanaise : « évaluation de la performance des enseignants ». Le débat sur la distinction à opérer entre « projet visée » et « projet programmatique », entre « évaluation » et « contrôle » (Ardoino et Berger, 1989), semble être toujours d’actualité. Références Abernot, Y., Gangloff-Ziegler, C., & Weisser, M. (2012). Contribution à l’épistémologie de l’évaluation des enseignements par les étudiants. Éducation Et Socialisation. Les Cahiers Du CERFEE, (32) Ardoino, J., & Berger, G. (1989). D'une évaluation en miettes à une évaluation en actes. AndshaMatrice. 121 Desjardins, J., & Bernard, H. (2002). Les administrateurs face à l’évaluation de l’enseignement. Revue Des Sciences De l'Éducation, 28(3), 617-648. Detroz, P., & Blais, J. (2012). Les étudiants sont-ils compétents pour évaluer la qualité des enseignements? Mesure Et Évaluation En Éducation, 35(3), 5-30. Gangloff, C., Weisser, M., Bennaghmouch, S., & Abid-Zarrouk, S. (2009). Construction d’un dispositif d’évaluation des enseignements et des formations: Le point de vue des apprenants. Questions Vives. Recherches En Éducation, 6(12), 61-76. Vial, M. (1997). Essai sur le processus de référenciation. L'évaluateur en habits de lumière. Dans J.-J. Bonniol, & M. Vial, Les modèles de l'évaluation, textes fondateurs avec commentaires. Paris, Bruxelles: De Boeck & Larcier. Younes, N. (2007). À Quelles conditions l’évaluation formative de l’enseignement par les étudiants est-elle possible en France? Revue Française De Pédagogie. Recherches En Éducation, (161), 25-40. 122 DÉVELOPPER DES COMPÉTENCES PROFESSIONNELLES À TRAVERS L’ÉLABORATION D’UN PORTFOLIO TOUT AU LONG DE LA FORMATION INITIALE DES FUTUR(E)S ENSEIGNANT(E)S DU SECONDAIRE INFÉRIEUR (ID 58) BASTIN, Isabelle, Haute Ecole Libre Mosane Sainte-Croix (BE) LEUNUS, Colette, Haute Ecole Libre Mosane Sainte-Croix (BE) STRAETEN, Marie-Hélène, Haute Ecole Libre Mosane Sainte-Croix (BE) RÉSUMÉ La réflexivité et la professionnalisation sont au cœur de la réflexion menée ici. La pratique réflexive semble être une condition essentielle à la professionnalisation (PERRENOUD, 2008), entre autre parce qu’elle permet de faire dialoguer les différents savoirs en présence : didactiques, psychologique, pédagogiques, disciplinaires, issus de la recherche ou de l’expérience. Pour développer la réflexivité, il faut ainsi prévoir des dispositifs permettant à la fois la construction, le développement de compétences mais aussi l’analyse et la régulation des pratiques. La professionnalisation du métier d’enseignant peut, elle, être envisagée comme un processus évolutif et autonome d’acquisition de compétences professionnelles, qui suppose que les (futur(e)s ) enseignant(e)s puissent entretenir une réflexion continue et systématique sur le métier afin d’évaluer l’efficacité de leurs stratégies pédagogiques et de les modifier si nécessaire. Le questionnement permet d’outiller la pratique réflexive et nourrit le processus de construction identitaire. L’écriture réflexive, plus ou moins guidée ou totalement libre, est un moyen efficace de développement et d’enrichissement professionnel (DONNAY et CHARLIER, 2010). Dans ce sens, une démarche de type portfolio est intéressante Cette communication, au départ de pratiques portfolio déjà implantées dans la Haute Ecole, présente et analyse la mise en place d’un portfolio de développement professionnel élaboré tout au long des 3 années de formation initiale de futur(e)s enseignant(e)s du secondaire inférieur. Deux questions sous-tendent la réflexion menée : qu’est-ce qu’un portfolio et comment l’évaluer ? La réponse à ces deux questions porte en elles des contradictions, l’obligation d’évaluation certificative pouvant contraindre la mise en œuvre du portfolio et ainsi en réduire le sens. Qu’est-ce qu’un portfolio ? Que recouvre un portfolio ? A quoi sert-il ? Est-ce un outil d’évaluation d’activités d’apprentissage ou plutôt de développement et d’intégration de compétences ? Est-ce un outil d’évaluation des compétences ? … Autant de questions que la mise en place d’un portfolio suscite et auxquelles la réflexion menée ici doit apporter des éléments de réponse. Tardfi (2006) définit le portfolio comme « un échantillon de preuves, sélectionnées par l’étudiant pour rendre compte de ses apprentissages. » Il s’agit d’un dossier, sous forme papier ou électronique, qui permet de collectionner, puis de sélectionner des traces (écrits, photos, références, schémas, cartes conceptuelles, …) témoignant 123 d’un apprentissage ou même d’un développement. Il permet de porter un jugement évaluatif sur une réalité sans la réduire. L’analyse de la littérature nous a permis de synthétiser la démarche sous-jacente à une pratique portfolio de développement professionnel ou d’apprentissage. 124 Schéma 1 : Le portfolio – buts, démarche, avantages et difficultés - de présentation - d’évaluation PORTFOLIO - de développement d’apprentissage ou = collection ciblée de travaux et réflexions Ê REFLEXIVITE Ü + RETROACTION (autostructuration – autoévaluation) (co-construction – co-évaluation, avec pairs et formateurs) BUTS de la démarche ● ● ● PROFESSIONNALISATION RESPONSABILISATION AUTONOMIE ⇓ REGULATION de ses pratiques et de sa formation Avantages Ê • • • • • • Logique d’évaluation positive Collaboration (profs, pairs, équipe) Engagement dans la formation Mobilisation de ressources Communication (orale et écrite) Développement des capacités d’autoévaluation, métacognitives et réflexives Difficultés • • • • • • Pas de sens perçu et pas ou peu d’investissement Pauvreté des écrits et de l’analyse Peu ou pas de questionnement Logique accompagnateur vs évaluateur Prise de risque vs conformisme Evaluation 125 Ü (Meilleure) efficacité dans les pratiques de classe La démarche portfolio par des praticiens Les pratiques relatées et analysées dans cette partie sont des dispositifs mis en œuvre dans certaines options du régendat. Les premières expériences présentées et commentées aliment la réflexion en ce qu’elles ont nourri, au moins implicitement, la mise au point d’une démarche portfolio TFE, qui prendra place tout au long de la formation initiale. Deux expériences sous la loupe Le dossier professionnel en BAC1 Le décret du 12 décembre 2000 régissant la formation initiale des instituteurs et des régents, impose, dans le cadre du cours d’Identité, déontologie et dossier de l’enseignant (IDE), la réalisation d’un portfolio où l’étudiant doit notamment décrire et expliciter son parcours et faire apparaître la cohérence de celui-ci. Cette pratique peut différer fortement d’une option à l’autre, dans les consignes données, les attentes des formateurs et partant le résultat concret auquel les étudiants aboutissent en fin de 1ère année. Pour illustrer cette diversité, nous présentons ce qui a déjà été organisé dans 2 options, en langues germaniques et en sciences. A. Dans l’option « sciences » Le portfolio représente, à la fois, un ensemble de documents collectés par l’étudiant de façon individuelle et une présentation normée de productions et de documents qui répondent à des demandes définies par le formateur : L’intégration personnelle des acquis grâce à l’articulation de travaux et apprentissages les plus significatifs dans/à une réflexion personnelle. La réflexivité par la mise en place d’un processus de développement professionnel continu. La construction de l’identité professionnelle grâce à l’élaboration, à la description, à la structuration et à l’argumenter d’une réflexion pédagogique liée à l'exercice du métier. L’annexe 2 reprend un exemple de réflexion proposée aux étudiants pour l’élaboration de leur portfolio. . Différents moments de réflexion sur soi, d’échange, d’analyse d’expériences de formation et de recherche personnelle sont prévus tout au long de la 1ère année de la formation. Une évaluation certificative –évaluation écrite du portfolio– est prévue en fin d’année. B. Dans l’option « langues germaniques » Au cours des activités d’apprentissage organisées en première année de formation, Les étudiants de 1ère langues germaniques élaborent donc un portfolio basé sur des éléments issus de ressources variées afin de : faciliter (1) la réflexivité, (2) l’évaluation personnelle et (3) une présentation authentique de soi ; produire un résultat concret, pratique et organisé, d’une démarche d’autoformation, d’autoévaluation et d’auto-orientation qui se présente sous forme d’un document, « papier » ou « virtuel » mais qui est diffusable, transportable (quelqu’un d’autre – le superviseur – peut le consulter facilement) ; 126 structurer une activité de réflexion, une approche globale, qui amène l’apprenant essentiellement à prendre du recul par rapport à sa formation et aux événements marquants de sa vie (aux plans personnel et professionnel) et à exercer son sens critique. Il place ainsi l’apprenant au cœur de sa formation (Gusew & Berteau, 2010 ; Desjardins, 2002). Le contenu du portfolio peut prendre des formes diversifiées et s’adapte, en partie, à ce que l’étudiant(e) souhaite montrer et démontrer. Le processus du portfolio est sous le contrôle de son auteur qui, en choisissant et en organisant progressivement les éléments le constituant, construit un sens. Le résultat final est unique à chaque personne. Enfin, la démarche ne se fait pas uniquement en vase clos. Le but lors de la constitution du portfolio est double : (1) se comprendre soi-même et (2) communiquer cette compréhension aux autres. Pour soutenir l’étudiant dans la réalisation de ce portfolio, plusieurs démarches et outils sont prévus en cours d’année : l’utilisation d’un procédurier, l’analyse collective des premières productions des étudiants, des séances planifiées de socialisation du portfolio entre pairs, des feedbacks formatifs à la demande, … Ces outils et démarches ont été mises en place pour répondre à plusieurs difficultés que rencontrent les étudiants, difficultés découlant de qualités que la démarche portfolio vise mais requiert également d’emblée : l’autonomie et la responsabilisation. Analyse comparative des 2 démarches portfolio La description des 2 démarches permet la mise en évidence de points de convergence et des particularités liées aux pratiques des options et des profils présentés dans le tableau ci-dessous. Le portfolio en sciences Le portfolio en langues Type de développement professionnel Buts valider l’orientation professionnelle de l’étudiant donner du sens à la formation en identifiant ses acquis en termes de compétences faciliter la réflexivité, l’évaluation personnelle et une présentation authentique de soi ; prendre du recul par rapport à sa formation et exercer son sens critique analyser ses pratiques, reconnaître et investir ses savoirs d’expérience afin d’évoluer Accompagnem ent Autonomie par le formateur par le formateur par les pairs ensemble de documents collecté par l’étudiant de façon individuelle procédurier, sous le contrôle de son auteur présentation normée productions et de documents organisation et articulation sous la responsabilité de l’étudiant 127 de Produit production unique et originale Suivi des écrits réflexifs feedback formatif à la demande, en cours d’année présentation écrite présentation orale et présentation écrite identification des critères de qualité d’un écrit réflexif par les étudiants au départ des 1ères productions feedbacks formatifs à la demande, en cours d’année Place savoirs des exploitation de cadre de référence (Paquay, Houssaye, Meirieu) construction des savoirs d’expérience : exercices didactiques et stage structuration des savoirs d’expérience : débriefing de stage, projection dans la profession Tableau 1 : Analyse comparative de 2 démarches portfolio en BAC 1 L’analyse d’autres pratiques liées à la démarche portfolio, dans les autres options en BAC 1 pour le cours d’IDE et les pratiques portfolio pour l’ensemble des unités d’enseignement, pour les BAC 1, 2 et 3 devrait également être menée. La collecte des fiches UE demande l’accord des différents formateurs responsables. La demande d’accès à ces fiches sera réalisée dès la reprise des activités d’apprentissage du 2e quadrimestre de cette année académique. Le journal des apprentissages en BAC3 Cette pratique6 a été mise en place pendant 3 années en BAC 3 pour les options Français, Mathématique et Sciences pour amener les étudiants à tirer le fil conducteur de leur formation pédagogique en dernière année et de dresser le bilan des apprentissages réalisés au départ des différentes pratiques élaborées et mises en œuvre durant l’année. A notre sens, elle s’inscrit bien dans une démarche portfolio car elle amène les étudiants à faire le point sur les apprentissages réalisés et, pour ce faire, à activer des habilités réflexives. Elle illustre à la fois une démarche d’évaluation d’activités d’apprentissages et une démarche de développement ou d’intégration de compétences. En BAC 3, la formation psychopédagogique, outre une vingtaine d’heures consacrées aux ateliers de formation professionnelle, comprend le cours de Différenciation des apprentissages et notions d’orthopédagogie et le cours de Projet professionnel. A ces cours, viennent se greffer différentes expériences pratiques : un stage dans l’enseignement spécialisé ou dans les centres d’éducation et de formation en alternance (CEFA) ; un stage d’observation participante pour travailler la liaison primaire-secondaire et un stage projet personnel. Le journal des apprentissages, articulant ces différentes expériences les unes aux autres, veut être un outil qui permet aux étudiants de faire le point sur les pratiques vécues à travers ces différentes activités d’apprentissages et au fil des 6 Le journal des apprentissages est disponible à la demande, à l’adresse des auteures. 128 réflexions menées dans le cadre du cours de projet professionnel et d’en tirer parti pour définir leur projet professionnel et amorcer leur formation continue. Ce dispositif a dû malheureusement être abandonné. Le décret Paysage et la réorganisation des cours, par chacune des options indépendamment des autres, en unités d’enseignement, que ce décret a imposée, a détricoté toute la cohérence de la formation psychopédagogique de BAC3, cohérence rendue explicite par la tenue de ce journal des apprentissages. Regard critique sur les 2 expériences analysées Au départ des ces pratiques implantées depuis un certain nombre d’années et des difficultés rencontrées, des conditions nécessaires à la mise en place et à l’évaluation d’un portfolio peuvent être mises en évidence. Une partie de ces conditions a déjà été mise en avant par d’autres (PONCELET et al., 2014). Il faudra inévitablement tenir compte de ces éléments dès la conception du « portfolio TFE », envisagé aujourd’hui pour la formation des AESI Langues germaniques, présenté et discuté au point suivant. Au niveau des étudiants, il faut nécessairement que : Les étudiants comprennent que le portfolio est un support pour leur développement professionnel et qu’ils puissent s’y investir ; Les écrits réflexifs soient de qualité et que leur analyse articule la pratique aux référents ou concepts théoriques ; Les étudiants envisagent le portfolio comme un travail à la fois porteur, structurant et intégrateur ; Le portfolio devienne, sans ambiguïté ni paradoxe, à la fois un outil formatif de développement professionnel et certificatif, d’évaluation. En ce qui concerne l’équipe d’enseignants impliqués dans la démarche portfolio, les conditions sont encore plus nombreuses et ne sont pas plus faciles à remplir. En effet, à ce niveau, il faut impérativement : Rencontrer l’intérêt, l’adhésion de l’équipe de professionnels dans une démarche d’accompagnement ; Partager la même vision du portfolio (ou du moins s’accordent sur une vision commune) et se l’approprier de la même façon ; Prévoir des moments de guidance ou de suivi pour que l’outil soit opérant ; Prévoir des moments de partage et d’échange entre les étudiants ; Amener les étudiants à maîtriser des stratégies efficaces d’autoévaluation et d’autorégulation Ces conditions sont ajoutées à l’ensemble de la démarche représentée ci-dessous. 129 PORTFOLIO de développement ou d’apprentissage Ê REFLEXIVITE + RETROACTI ON PROFESSIONNALI SATION Ü RESPONSABILISAT ION AUTONOMIE Ü (Meilleure) efficacité dans les pratiques de classe ⇓ REGULATION Avantages Ê Logique positive Difficultés d’évaluation Collaboration pairs, équipe) Engagement formation (profs, dans Mobilisation ressources Communication et écrite) la Conditions de mise en œuvre Pas de sens perçu et pas ou Faire voir le portfolio comme un peu d’investissement support au développement professionnel Pauvreté des écrits et de Travailler la qualité des écrites, de l’analyse l’analyse réflexive et des liens théorie – Peu ou pas de pratique questionnement de (orale Développement des capacités d’autoévaluation, métacognitives et réflexives Obtenir l’adhésion de l’équipe Logique accompagnateur En faire un outil d’évaluation à la fois vs évaluateur formative et certificative Prise de conformisme risque Evaluation vs Arrêter une commune du portfolio vision/définition Prévoir des moments de guidance et d’échanges formatifs Schéma 2 : Le portfolio – buts, démarche, avantages et difficultés et conditions de mise en œuvre L’usage de la démarche portfolio dans les 2 expériences analysées met en évidence des expériences d’intégration horizontale des apprentissages. La consultation des étudiants de BAC 3, options Langues Germaniques et Français, montre d’ailleurs que ce portfolio, une fois terminé, est classé et archivé. De manière anecdotique mais significative d’ailleurs, les étudiants en font très souvent un document figé, relié, qui n’est plus censé évoluer. Voici, à titre d’illustration, quelques extraits des échanges entre étudiants relevés lors de leur consultation : « Un portfolio, je ne sais pas ce que c’est », « jamais ouvert », « Je l’ai rangé », « Je n'ai plus ouvert ces portfolios depuis qu'on me les a rendus après cotation. Pour tout vous dire, je ne sais même pas où ils sont. », … 130 Pour dépasser cette intégration uniquement horizontale, vue par les étudiants comme étant terminée une fois menée, l’option Langues Germaniques s’est lancée le défi de mettre en place une démarche d’intégration verticale, tout au long de la formation initiale. Un portfolio tout au long de la formation initiale Depuis 2013, tout l’enseignement supérieur en Fédération Wallonie-Bruxelles est régi par le décret Paysage, qui impose l’organisation des activités d’apprentissages en unités d’enseignement, évaluées dans la mesure du possible, par une épreuve d’intégration. Par ailleurs, ce même décret prévoit que « tout programme d'études menant à un grade académique de deuxième cycle et de premier cycle pour les études de type court comprend un mémoire, travail, dossier ou projet personnel de fin d'études valorisé pour 15 à 30 crédits ». Par rapport à l’exigence actuelle découlant du décret de décembre 2000, le poids accordé à ce genre de production est beaucoup plus important. D’autres éléments spécifiques à la Haute Ecole participent également à l’émergence d’un portfolio TFE, amorcé en début de formation et clôturé la dernière année. En effet, comme expliqué précédemment (BASTIN, LEUNUS & STRAETEN, 2012), la question du travail de fin d’études, de son intérêt et de la forme qu’il peut ou devrait prendre, revient régulièrement à l’ordre du jour dans l’option Langues germaniques et questionne depuis longtemps les formateurs. Des points de vue divergeants existent au sein de l’option : certains formateurs sont partisans d’un travail de recherche d’une ampleur certaine, d’autres préférent un travail plus léger voire plus de TFE ; d’autres encore évoquent un travail de type portfolio permettant une évaluation intégrée de la dernière année (et faisant un bilan de la formation dans son ensemble). Ce ne sont pas moins de 4 formules TFE qui ont été successivement envisagées dans l’option (Bastin, Leunus et Straeten, 2012, 2014) ces dernières années. Au final, aucune de ces formules n’ont réellement rencontré les attentes des formateurs. En effet, dans la plupart des travaux, la qualité n’est pas au rendez-vous, tant au niveau des aspects théoriques, souvent peu ou mal développés, qu’au niveau des expérimentations ou essais pratiques, trop pensés dans l’urgence, sans lien fort avec les éléments théoriques retenus et ou peu réalistes. Enfin, des premières réunions d’équipe centrées sur l’implémentation du décret paysage, deux principes émergent rapidement, pour guider la sélection et la planification des unités d’enseignement : amorcer le plus rapidement possible le développement d’une identité enseignante forte et poursuivre explicitement ce travail de développement de l’identité professionnelle au fil des 3 blocs de formation. Ainsi, l’idée d’accompagner les étudiants dans réalisation du travail de fin d’études, qui prendrait la forme d’un portfolio de développement professionnel, à la fois traces et bilan des 3 années de formation initiale est formulée et semble, cette fois, rencontrer l’adhésion –au moins de principe– de l’équipe de formateurs de l’option. Les enjeux d’un portfolio TFE La mise en place d’un portfolio va inévitablement bouleverser les pratiques et les habitudes d’évaluation et d’accompagnement des différents formateurs. La pratique envisagée sur l’ensemble de la formation est nouvelle pour tous et exige, dans l’intérêt des étudiants, une réflexion d’équipe. 131 Par ailleurs, ce portfolio est bien envisagé comme une «production qui se veut formatrice et intégrée, unique et originale, personnelle et professionnelle, réalisée en autonomie » (Bastin, Leunus et Straeten, 2012). Or, les travaux de fin d’études produits jusqu’à présent répondent peu, dans les faits, à cette définition. Les 9 conditions nécessaires à la mise en place et l’évalution d’un portfolio listée ci-avant (p.10) représentent elles aussi des enjeux qu’il convient de rencontrer dans cette démarche d’intégration verticale. Le tableau qui suit présente les démarches prévues pour y répondre. Conditions Démarches envisagées Faire voir le portfolio comme un support au développement professionnel Mise en oeuvre de la démarche portfolio tout au long des 3 années Travailler la qualité des écrits et de l’établissement des liens théories-pratiques En BAC1, analyse et amélioration collective des 1ères productions Support enrichi sur les 3 années Support exploité dans différentes activités d’apprentissage En BAC2, une UE spécifique pour traiter cet aspect (UE qui inclut les AA suivantes : anglais, néerlandais ou allemand, maîtrise de la langue française et initiation à la recherche en éducation En BAC 3, accompagnement du promoteur Obtenir l’équipe l’adhésion de Analyse concertée du fonctionnement des TFE Invitation de praticiens pour découvrir des pratiques portfolios existantes et reconnues; Participation à des formations externes Définir définition portfolio une vision – commune du Réunions de concertation Production collective d’un cadre de référence commun Opérationnalisation des compétences professionnelles Prévoir des moments de guidance et d’échanges Socialisation des productions en cours, en BAC 1 et en BAC3 UE en BAC 2 pour outillier les étudiants dans la démarche Mise à l’épreuve des compétences en situation de stage Maîtriser des d’autoévaluation d’autorégulation stratégies et Etre un outil d’évaluation à la fois formative et certificative Exploitation de grille d’autoévaluation Explicitation des critères de qualité Appropriation de démarches d’analyse réflexive Responsabilisation de l’étudiant dans la définition d’une partie des critères/indicateurs d’évaluation Calendrier des moments formatifs Appropriation des normes des écrits professionnels Tableau 2: Démarches pour répondre aux conditions de mise en oeuvre d’une démarche portfolio Le décret Paysage est actuellement dans sa deuxième année d’implémentation. Cette version portfolio du TFE n’a donc pas encore pris vie en dehors du paysage théorique du bloc 3 de la formation des AESI en langues germaniques. Le 2e quadrimestre 2014-2015 et le 1er quadrimestre 132 2015-2016 sont ainsi mis à profit pour préparer la mise en place de ce changement de perspective. La liste de démarches présentée n’est pas exhaustive ; d’autres démarches pourraient voir le jour en fonction des besoins des étudiants et de la régulation que l’équipe mènera. Que prévoit le projet ? Le cadre de référence commun élaboré par l’équipe pour l’élaboration de la démarche portfolio tout au long des 3 années de formation reprend le tableau ci-dessous, qui synthétise la démarche prévue. BLOC 1 BLOC 2 BLOC 3 Objectifs Amorcer le développement de l’identité professionnelle de l’enseignant(e) S’outiller pour pouvoir synthétiser son parcours de formation et se projeter dans la vie professionnelle Synthétiser son parcours de formation, se projeter dans la vie professionnelle et poursuivre le développement de l’identité professionnelle sélectionner des références théoriques affirmer professionnelle Démarches méthodologiques se poser des questions sur la profession chercher des réponses, même partielles, qui permettent d’avancer, de nuancer ses représentations articuler théories et pratiques s’approprier des démarches structurées d’analyse réflexive personnaliser la grille des compétences son identité démontrer sa maîtrise compétences professionnelles de démontrer des aptitudes réflexives, au service de pratiques efficaces faire preuve d’une responsabilité individuelle et collégiale Produit fini Un portfolio articulé autour des 6 axes de la formation et du triangle d’Houssaye qui comprend : une introduction ; une réponse aux différents points du procédurier ; une conclusion sous la forme d’une lettre à une personne de son choix, qui dresse un bilan précis de la première année de formation. avis réflexif, critique, argumenté d’une pratique d’enseignement de l’étudiant(e), analysé à la lumière d’un ou plusieurs référents théoriques clairement identifiés Le portfolio est organisé et alimenté de manière libre (l’étudiant est responsable de son contenu) en regard de l’articulation compétences/axes de la formation. Il comprend : situer cette réflexion regard de la grille compétences des illustrations (preuves) des axes de la formation en de l’étudiant démontre le développement d’une sélection de compétences liées à son parcours une sélection des référents théoriques pertinents pour 133 analyser ses pratiques, les réguler et les améliorer une mise en évidence de ses processus d’apprentissages et de développement des compétences professionnelles au moyen d’une pratique réflexive outillée Evaluation Evaluation (travail écrit) du portfolio Présentation orale réponses aux questions et Evaluation du portfolio (travail écrit) Evaluation du portfolio (travail écrit) Présentation orale réponses aux questions Présentation orale et réponses aux questions 134 et Comment gérer l’évaluation d’un portfolio de développement professionnel ? L’évaluation de compétences dépend à la fois des savoirs mobilisés lors de l’action et des capacités réflexives de l’étudiant. C’est ainsi que les savoirs professionnels développés par l’étudiant, sur la base des savoirs de l’expérience et des savoirs théoriques (Vanhulle, 2008), semblent nécessaires à cette phase explicite de l’évaluation des compétences. Le portfolio, outil favorisant la réflexivité et permettant la structuration progressive des connaissances (Deum & Vanhulle, 2008), apparaît donc comme un moyen pertinent d’évaluation des compétences professionnelles (Buysse, 2010). Ce type d’évaluation nécessite d’une part une récolte de traces : sélection par l’étudiant de ses meilleurs travaux, preuves de son développement professionnel (rapports de stage, témoignages, récits, …). Ces traces sont expliquées, commentées et argumentées. D’autre part, le portfolio comprend des analyses réflexives qui peuvent prendre des formes diverses : bilan personnel du parcours d’apprentissage de l’étudiant, des plans d’actions et des perspectives quant aux apprentissages à poursuivre. Le portfolio peut aussi s’articuler autour de questions que se pose l’étudiant ou de thèmes qu’il choisit. Quelle que soit la formule privilégiée, c’est l’écriture réflexive qui est l’instrument fondamental d’un portfolio de développement professionnel (Zeichner & Hutchinson, 2004). La différence entre portfolios peut aller d’un ensemble personnalisé de documents collectés par l’étudiant de façon autonome à des présentations normées de productions et de documents qui répondent à des critères clairement définis par les formateurs (Zeichner & Hutchinson, 2004). La question de l’évaluation est donc très vite posée mais y répondre trop rapidement pourrait limiter fortement l’intérêt du portfolio, en réduisant les exigences et en restreignant la liberté de contenu et d’organisation qu’il requiert. En effet, l’hypothèse ici posée est que plus la question de l’évaluation est première ou centrale, plus le cadre proposé sera guidé et stricte et s’éloignera donc d’un portfolio de développement professionnel, outil visant le développement de l’autonomie et permettant l’autoformation (Deum & Vanhulle, 2008). Précédemment, une série de conditions nécessaires à la mise en œuvre d’une démarche portfolio porteuse ont été énoncées. L’une d’entre elles renvoie directement à cette question de l’évaluation : le portfolio doit être à la fois un outil formatif de développement professionnel et certificatif d’évaluation, sans ambiguïté ni paradoxe. Pour être un outil formatif de développement professionnel, le portfolio doit être considéré dans une perspective authentique et constructiviste, qui permet une certaine flexibilité dans sa conception par l’étudiant. Une démarche plus normative et prescriptive ne permettrait pas de répondre à cette condition puisqu’elle n’encourage ni à l’ouverture, ni au changement, tant dans la réalisation du portfolio par l’étudiant que dans son évaluation par l’enseignant (Poncelet et al., 2014). Il semble en effet qu’une démarche trop guidée ou prescriptive amène les étudiants à se contenter de reproduire des raisonnements afin de juste satisfaire aux exigences trop déterminées (Wiggins, 1990, cité dans Buysse, 2010). L’évaluation doit donc elle aussi être flexible, pour pouvoir prendre en compte la liberté laissée aux étudiants. Cette flexibilité dans la réalisation d’une part et dans l’évaluation d’autre part n’est bien sûr pas incompatible avec l’exigence d’une évaluation critériée en lien avec les compétences (Forgette-Giroux & Simon, 1998). 135 Satisfaire aux exigences de la certification et d’une évaluation authentique, tout en évitant une trop grande conformité dans les productions des étudiants (Buysse, 2010) semble possible en proposant, pour la réalisation du portfolio, une structure assez libre où l’étudiant (en partenariat avec l’accompagnant) pourra cibler les compétences qu’il souhaite développer, tout en ayant développé un cadre précisant ce que le portfolio devra contenir (catégories de documents à intégrer, balises pour permettre la sélection de documents appropriés), à l’étendue du contenu, au choix et aux types de situations, à la qualité des écrits, … Pour ce faire, il est donc nécessaire que les enseignants d’une même équipe conceptualisent, mettent en œuvre et supervisent l’organisation des portfolios et leur guidance mais aussi consacrent des moments précis à la réflexivité et élaborent l’évaluation, qui devrait être conçue dans une approche participative de co-construction centrée sur le développement des compétences professionnelles des étudiants dans une logique d’autonomisation et de responsabilisation de leurs propres apprentissages (Dierendinck, Loarer et Rey, 2010). Analyse critique d’une pratique d’évaluation Pour illustrer cette tension entre d’une part un portfolio ouvert, offrant une liberté certaine aux étudiants dans sa réalisation et d’autre part, un portfolio collection de réflexions imposées et fermées, la démarche portfolio proposée en 1ère BAC langues germanique présentée précédemment peut être analysée, au départ de la grille d’évaluation utilisée jusqu’à présent. La démarche portfolio en BAC 1 langues, telle qu’elle est envisagée initialement, dans les intentions des formatrices, est bien une démarche ouverte, offrant une liberté certaine aux étudiants et attendant d’eux une appropriation personnelle et innovante de la démarche. Dans les faits cependant, surtout depuis l’utilisation du procédurier, les productions finales se révèlent souvent scolaires et conformistes. BUYSSE (2010) dénonce lui aussi le conformisme d’une part des productions, quand les étudiants sont amenés à suivre des critères d’évaluation trop fermés ou qui se veulent exhaustifs. Dans ce cas, deux explications semblent pouvoir être avancées. D’une part, la grille d’évaluation (annexe 6) transmise aux étudiants pose problème. En effet, elle liste tous les éléments demandés dans le procédurier et les présente au final comme s’ils étaient eux-mêmes les critères d’évaluation. Les étudiants exécutent les différentes productions demandées mais sans réellement s’inquiéter de leur appropriation ou personnalisation et de leur articulation, en regard d’un parcours personnel et de référents théoriques sélectionnés. Par ailleurs, la grille présentant une liste figée, quasi aucun étudiant n’ajoute d’éléments personnels. Ils se contentent de faire ce qui est strictement demandé au lieu d’interpréter avec créativité la démarche proposée. Les critères d’évaluation sont cités mais sont peut explicites et au final, vu la place prise par les indicateurs, sont peu visibles. D’autre part, le document cadrant l’ensemble de la démarche portfolio (voir annexe 3) présente les éléments de liberté, originalité, ouverture ou appropriation personnelle comme des conseils, des possibles et non comme obligatoires, parce qu’ils sont intrinsèquement liés à la démarche. Proposition de modifications des outils d’évaluation Pour dépasser ces critiques, la grille d’évaluation utilisée en BAC1 est réaménagée, en regard de critères explicites et peu nombreux. 136 Les 5 critères retenus sont issus de Belair(1999) : Pertinence : tout ce qui est demandé est fait, dans le respect du genre (voir demandes du procédurier) pour chaque production individuelle et pour le portfolio dans son ensemble. Cohérence : ce qui est fait est de qualité (d’un point de vue global, l’étudiant a choisi une articulation/organisation pour donner du sens et de la cohérence à l’ensemble et d’un point vue particulier, chaque réflexion est menée de façon cohérente) Extension – transfert : qualité de la réflexivité, de la prise de distance, de la structuration progressive des apprentissages réalisés et des liens théorie-pratique Autonomie : capacité de s’approprier la démarche et de personnaliser le travail Langue : l’écrit répond aux exigences d’un écrit professionnel (qualité de la langue et du support) Enfin, les conseils formulés dans le document cadre seront revus et formulés sous forme d’injonctions. Le non respect de ces injonctions sera alors pris en compte dans l’évaluation du critère de pertinence. Ces 2 changements sont par ailleurs des pistes à suivre pour l’évaluation du portfolio TFE à venir. Conclusions et perspectives Dans sa pratique quotidienne, l’enseignant doit régulièrement faire face à des situations complexes. Il lui est demandé de mobiliser les ressources nécessaires, afin de s’adapter le plus adéquatement à la situation, souvent sur le vif. Pour faire face à cette complexité, PERRENOUD souligne l’intérêt d’adopter une posture réflexive en tant que professionnel réfléchissant dans et sur l’action, permettant par ailleurs d’accumuler des savoirs d’expériences mais aussi d’accroître la capacité d’innovation et de construction de sens. Dans cet ordre d’idée, une question doit être encore être posée au terme de cette réflexion : dans quelle mesure travailler le développement des compétences professionnelles et d’une identité enseignante forte à travers l’élaboration d’un portfolio mène à des pratiques de classes efficaces ? Par ailleurs, la réflexion sur la démarche portfolio permet aussi de questionner les aspects suivants : l’articulation avec les pratiques réelles en classe ; la place des savoirs didactiques, disciplinaires ; la contribution de la production d’écrits réflexifs à la formation des futur(e)s enseignant(e)s ou encore la légitimité de l’approche centrée sur la démarche de réflexivité comme fondement de la formation initiale des enseignants. Le portfolio TFE, outil réflexif et d’intégration verticale, pourrait être également un outil favorisant l’insertion professionnelle, permettant de lier de manière plus naturelle, formation initiale et continue, au travers de bilans de compétences évolutifs et de plans de formations adaptés aux transformations des pratiques de classes et de l’évolution de la profession. Références Bastin, I., Leunus, C. & Straeten, M.-H. (2012, janvier). Le travail de fin d’études comme épreuve d’intégration professionnalisante. Pour quelles compétences du métier d’enseignant ? Avec quels outils d’évaluation ? Communication présentée au 24e colloque de l’Admée-Europe, Luxembourg. En ligne : http://admee2012.uni.lu/pdf2012/A22_02.pdf 137 Bastin, I., Leunus, C. & Straeten, M.-H. (2014, janvier). Les conditions de mise en œuvre, d’expérimentation du travail de fin d’études dans la formation des enseignants modifient-elles les modalités d’évaluation d’un tel travail ? Communication présentée au 26e colloque de l’AdméeEurope, Marrakech. Bélair, L. (1999). L’évaluation dans l’école. Paris : ESF. Buysse, A. (2010). Portfolio de développement professionnel et certification : frictions constructives ou destructives. In L. Mottier Lopez (Ed.), Actes du congrès de l’AREF 2010, Université de Genève. Desjardins, R. (2002). Le portfolio de développement professionnel continu, Montréal, Chenelière. Donnay J., Charlier E. (2006). Apprendre par l’analyse des pratiques : initiation au compagnonnage réflexif. Namur : Presses universitaires de Namur. Deum, M., Vanhulle, S. (2008). Portfolio et démarches socio-réflexives en enseignement et formation. Cahiers de la Section des sciences de l'éducation. Pratiques et théorie.116. Dierendonck, C., Loarer, E. & Rey, B. (2014). L’évaluation des compétences en milieu scolaire et en milieu professionnel. Bruxelles : De Boeck. Forgette-Giroux, R. & Simon, M. (1998). L’application du dossier d’apprentissage à l’université. Mesure et évaluation en éducation, 20(3), 85-103. Gusew, A., Berteau. (2010). Le portfolio in Raucent, B., Verzat, C., Villeneuve, L. (2010). Accompagner des étudiants. Bruxelles : De Boeck. Perrenoud, P. (2001). Développer la pratique réflexive, ESF éditeur, Paris. Poncelet, D., Brenfdel, M., Bourg, V., Kerger, S., Wardavoir, H., Romanus, C., Parmentier, P., Arraiz,. Sabiron, F., Eymard, C., Ladage, C. & Vial, M., Le portfolio de développement professionnel en formation initial et continue : description, comparaison et mise en perspective de quatre dispositifs de formation, in Dierendonck, C., Loarer, E. et Rey, B. (2010) L’évaluation des compétences en milieu scolaire et en milieu professionnel, Bruxelles, De Boeck. Raucent, B., Verzat, C. & Villeneuve, L. (2010). Accompagner des étudiants. Bruxelles : De Boeck. Tardif, J. (2006). L’évaluation des compétences. Montréal : Chenelière Education. Zeichner K., Hutchinson, E. (2004). Le rôle du portfolio de l’enseignant comme outil pour identifier et développer les compétences des enseignants. Recherche et Formation, vol. 47, 2004, p. 69-78. Annexes : disponibles sur demande aux auteurs 138 APPRENDRE A S’AUTO-EVALUER PAR LE BIAIS DU DOSSIER DE FORMATION (ID 61) GURTNER, Jean-Luc, Sciences de l'éducation Université de Fribourg (CH) KAPPELER, Gabriel, Sciences de l'éducation Université de Fribourg (CH) RÉSUMÉ Cadre conceptuel et problématisation Dossiers d’apprentissage, portfolios ou journaux de formation sont volontiers utilisés en éducation pour permettre à l’apprenant de documenter au fil de son apprentissage les expériences réalisées, les compétences acquises mais aussi les questions, les doutes ou les échecs qu’il a rencontrés et sur lesquels il souhaite pouvoir revenir plus tard (Weiss, 2000). Si pour certains, ces dossiers doivent rester privés (Mottier-Lopez, 2002 ; Wade, Abrami & Sclater, 1995), pour d’autres ils peuvent servir de base à une évaluation (formative, sommative ou même attestative) des acquisitions réalisées (Aubret & Gilbert, 1994 ; Behrens, 1998 ; Black et al., 1994). A certaines conditions, de tels dossiers peuvent également servir de base à un apprentissage de l’auto-évaluation, de la métacognition et de l’auto-régulation des apprentissages (Mauroux et al., 2014), en favorisant la réflexion sur la qualité de ses apprentissages, sur les aspects à améliorer et sur les moyens à se donner pour y parvenir (Berthold, Nückles & Renkl, 2007). Démarche Durant leur formation professionnelle initiale d’apprentis boulangers, pâtissiers et chocolatiers en Suisse, les apprenants doivent constituer un livre de recettes. Depuis 2011, ce livre de recettes peut désormais être réalisé au moyen d’un dossier électronique développé par notre équipe et accessible en ligne (www.learndoc.ch). Nous avons profité de cette mutation pour ajouter à chaque recette une page réflexive – que les apprentis peuvent choisir de compléter ou non – et dont l’ambition est de favoriser l’auto-évaluation et la réflexion des apprentis ; cette page s’articule autour de trois prompts inspirés de Kicken et al. (2009), invitant les apprentis à indiquer successivement les parties de la recette qu’ils estiment déjà bien maîtriser (prompt 1), les aspects sur lesquels ils devraient encore travailler (prompt 2) et les moyens qu’ils entendent se donner pour s’améliorer dans la réalisation de ladite recette (prompt 3). Toute réponse à ces prompts est enregistrée automatiquement et rendue directement accessible aux chercheurs pour analyse. Le premier objectif de la présente communication est de dégager, à travers l’analyse de leurs réponses aux prompts, comment évolue la compétence auto-évaluative des apprentis sur les 3 ans de leur formation. En second lieu, nous chercherons à voir si et dans quelle mesure le développement de cette compétence influence les résultats des apprentis à leurs examens de qualification au terme de leur formation. Notre contribution rendra compte des résultats d’une recherche menée auprès d’un échantillon de 203 apprentis âgés de 16 à 19 ans, et formés selon la méthode duale, une méthode qui prévoit une formation en entreprise (4 jours par semaine) et en école le reste du temps. Cette approche est 139 largement utilisée en Suisse, en Allemagne et en Autriche pour former plus de 2/3 des jeunes d’une génération à un éventail de plus de 200 professions. Pour analyser les réflexions consignées par les apprentis dans les pages de réflexion de leur livre de recettes, nous avons mis au point une grille d’analyse combinant diverses typologies des stratégies d’apprentissage (Berger & Karabenick, 2011 ; Mc Keachie, 1987 ; Schraw & Dennison, 1994 et Weinstein & Mayer, 1986). Nous distinguons ainsi 3 stratégies cognitives (répétition, élaboration, organisation), 4 stratégies métacognitives (monitoring, planning, debugging et évaluation) et 3 stratégies de gestion des ressources (recherche d’aide, gestion du temps, organisation de l’environnement). Les différents codages élaborés ont fait l’objet d’une analyse d’accord interjuges qui a donné des résultats satisfaisants (κ de Cohen : .85). Pour mesurer les performances des apprentis à leur examen de qualification au terme des trois ans de formation, nous avons utilisé les résultats obtenus par chacun d’eux dans trois examens consécutifs (un examen pratique, un examen de connaissances professionnelles et un examen de connaissances générales) Apports Les résultats des analyses opérées sur les dossiers de formation de 203 apprentis entre 2011 et 2014, date de leur examen final, montrent que le nombre de recettes intégrées au livre de recettes augmente au cours de la formation mais surtout que la proportion de recettes assorties d’une page de réflexion croît de manière exponentielle, lente en début de formation puis de plus en plus importante à mesure qu’on s’approche de la fin de la formation. Néanmoins, 40% des apprentis de notre échantillon n’ont ouvert aucune page de réflexion dans leur dossier, au terme de leurs 3 années d’apprentissage. Or nos analyses montrent que les apprentis ayant fait usage de ces possibilités d’auto-évaluation obtiennent à leur examen final des résultats significativement meilleurs que ceux qui se sont contentés de compléter leur livre de recettes. Conformément à nos attentes, les stratégies d’apprentissage que l’on retrouve le plus souvent dans les dossiers de formation, en réponse aux 3 prompts proposés, sont l’évaluation, le monitorage et la planification, des stratégies qui relèvent toutes trois de la métacognition. Or la fréquence d’évocation de stratégies métacognitives dans les dossiers de formation s’est révélée déterminante pour les résultats en fin de formation, au niveau des examens pratiques et du test de connaissances professionnelles, mais pas pour le test de connaissances générales. On peut donc raisonnablement considérer que c’est bien l’apprentissage de l’auto-évaluation et de la réflexion métacognitive qui a contribué aux résultats des apprentis en fin de formation et non pas leur niveau général qui les amènerait à remplir plus scrupuleusement leurs dossiers de formation. Ces résultats démontrent tout le bénéfice qu’on peut tirer d’un apprentissage de l’autoévaluation et de la réflexion métacognitive en formation professionnelle et confirment que les dossiers de formation sont un bon moyen de stimuler un tel apprentissage. Ils soulignent également que l’auto-évaluation et la réflexion métacognitive ne sont pas dans les priorités des apprenants (et des formateurs) en début de formation et que tout engagement dans une telle démarche doit être soutenu de façon appuyée pour se justifier pleinement aux yeux de l’apprenant. Obliger les apprenants à s’y engager risque fort d’être vu comme trop contraignant mais leur en offrir la possibilité simplement, comme ce fut le cas ici, pourrait ne pas être suffisant. Un juste équilibre entre incitation et contrainte reste encore à trouver. 140 Références Aubret, J. & Gilbert, P. (1984). Reconnaissance et validation des acquis. Paris : PUF. Behrens, M. (1998). Le portfolio, un moyen d’améliorer le dialogue entre formateur et apprenant. Mesure et évaluation en éducation, 20(3), 55-83. Berger, J.-L., & Karabenick, S. A. (2011). Motivation and students’ use of learning strategies: Evidence of unidirectional effects in mathematics classrooms. Learning and Instruction, 21(3), 416-428. Berthold, K., Nückles, M., & Renkl, A. (2007). Do learning protocols support learning strategies and outcomes? The role of cognitive and metacognitive prompts. Learning and Instruction, 17(5), 564-577. Black, L (ed.) et al. (1994). New directions in portfolio assessment: reflective practice, critical theory, and largescale scoring. Portsmouth: Boynton/Cook-Heinemann. Kicken, W., Brand-Gruwel, S., Van Merrienboer, J. J. G., & Slot, W. (2009). The Effects of PortfolioBased Advice on the Development of Self-Directed Learning Skills in Secondary Vocational Education. Educational Technology Research and Development, 57(4), 439–460. Mauroux, L., Könings, K. D., Dehler Zufferey, J., & Gurtner, J.-L. (2014). Effects of a Mobile and Online Learning Journal on Apprentices’ Reflection in Vocational Education and Training. Vocations and Learning, 7(2), 215-239. McKeachie, W. J. (1987). Teaching and Learning in the College Classroom. A Review of the Research Literature (1986) and November 1987 Supplement. Program on Curriculum, NCRIPTAL, 2400 School of Education Building, University of Michigan. Mottier Lopez, L. (2002), “Interroger la pratique du portfolio en situation scolaire dans une perspective ‘située’ de l’apprentissage”, Paper for the 15th symposium of ADMEE-EUROPE, Université de Lausanne, September. Schraw, G., & Dennison, R. S. (1994). Assessing Metacognitive Awareness. Contemporary Educational Psychology, 19, 460-475. Wade, A., & Abrami, P.C. (2005). An electronic portfolio for learning. Canadian Journal of Learning and Technology, 31(3),33-50. Weinstein, C. E., & Mayer, R. E. (1986). The Teaching of Learning Strategies. In Weinstein, C. E., Mayer, R. E., & Wittrock, M. C. (1986). Handbook of research on teaching (pp. 315-327). New York : Macmillan. Weiss, J. (2000). Le portfolio, instrument de légitimation et de formation. Revue Française de Pédagogie, 132, 11-22. 141 A AVALIAÇÃO NO ÂMBITO DO RECONHECIMENTO DE ADQUIRIDOS EXPERIENCIAIS: PERCEÇÕES DE EDUCADORES DE ADULTOS (ID 62) PAULOS, Catarina, Instituto de Educação da Universidade de Lisboa (PT) Introdução O estudo que a seguir se descreve faz parte de uma investigação mais alargada no âmbito de um doutoramento em Educação, na especialidade de Formação de Adultos. O presente trabalho aborda a forma como os educadores de adultos percecionam a avaliação no âmbito dos processos de reconhecimento e validação de adquiridos experienciais e se investem do papel de avaliadores. Os processos de reconhecimento e validação de adquiridos experienciais começaram a ser desenvolvidos em Portugal em 2001. Nesta prática educativa interveem formadores e outros profissionais que acompanham os adultos ao longo de todo o processo. Estes últimos educadores de adultos eram designados por Profissionais de RVC, e a partir de 2013 passaram a chamar-se TORVC, mantendo as mesmas funções no âmbito do reconhecimento de adquiridos experienciais. Nos processos de reconhecimento e validação de adquiridos experienciais, a avaliação encontrase presente em duas fases. Numa primeira fase, que é o reconhecimento, o profissional de RVC fazia a exploração dos percursos de vida de cada adulto, de forma a evidenciar as competências do referencial de competências chave. Durante esta fase, estes profissionais faziam o acompanhamento da elaboração das histórias de vida. Estas descrevem as experiências vividas pelos adultos ao longo do percurso de vida, nas suas várias dimensões, nomeadamente pessoal, formativa, profissional e social. A segunda fase consiste na validação, e assenta na comparação efetuada entre os adquiridos experienciais das histórias de vida e os elementos inscritos no referencial de competências chave. Nesta fase intervinha a equipa pedagógica que acompanhava o adulto, isto é, o profissional de RVC e os formadores. A etapa de validação confere visibilidade e valor social aos adquiridos experienciais (Cavaco, 2012). Farzad e Paivandi (2000) referem que o reconhecimento deve terminar numa decisão de validação, de forma a "oficializar o processo” (p.79). Metodologia Com o estudo procura-se responder às seguintes questões: Como é que os educadores de adultos percecionam a avaliação de adquiridos experienciais? Como é que os educadores de adultos se investem do papel de avaliadores? Como é que se efetua a avaliação no âmbito dos processos de reconhecimento e validação de adquiridos experienciais? A problemática em estudo enquadra-se no campo teórico da educação e da formação de adultos. Do ponto de vista metodológico utilizou-se a abordagem qualitativa, por se considerar ser este o tipo de investigação que possibilita uma “compreensão detalhada da questão” a investigar, a qual pode ser obtida “falando diretamente com as pessoas (…) permitindo que elas contem as histórias não contaminadas pelas nossas expectativas ou pelo que lemos na literatura” (Creswell, 2007. p. 40) sobre o tema. 142 Como técnica de recolha de dados utilizou-se a entrevista de explicitação de forma a obter informações descritivas sobre as ações no que diz respeito a uma determinada tarefa (Vermersch, 1991). Foram realizadas 32 entrevistas a profissionais de RVC, educadores de adultos que intervinham nos processos de reconhecimento e validação de adquiridos experienciais, juntamente com os formadores. As entrevistas foram registadas em suporte áudio e, posteriormente, foram analisadas recorrendo-se à análise de conteúdo (Bardin, 1995; Vala, 2003). Resultados Durante os processos de reconhecimento e validação de adquiridos experienciais, os profissionais de RVC participavam na avaliação, juntamente com os formadores. A avaliação ocorria principalmente quando os adquiridos experienciais evidenciados através das histórias de vida eram comparados com as competências definidas nos referenciais de competências chave. No entanto, o discurso destes educadores de adultos é marcado por uma clivagem. Por um lado, há um conjunto de profissionais de RVC que assume a função de avaliadores: “Cada adulto no seu processo de formação completa uma série de indicações que nós vamos indicando, e ele é avaliado pelo trabalho, pela forma como desenvolveu o seu processo, é avaliado de acordo com as competências que vai demonstrando dentro dos parâmetros que nós mais ou menos seguimos, e esta avaliação é quase contínua (…) é uma avaliação com base na sua história de vida, nas suas mais valias”. Por outro lado, há um outro grupo de profissionais de RVC que recusa o papel de avaliadores, considerando que esta é uma função dos formadores. Estes educadores de adultos consideram que a sua principal função é orientar os adultos ao longo do percurso de reconhecimento de adquiridos experienciais: “Nós não temos de avaliar, nós temos de partilhar, temos de orientar o trabalho dos adultos, temos de balizar um bocadinho o trabalho dos adultos, mas verificar as competências tem a ver com os formadores (…) O que nós temos de fazer é ajudar os adultos a descobrir as competências”. Os Profissionais de RVC avaliam os adquiridos experienciais utilizando como metodologias as histórias de vida e o balanço de competências: “Em sessão e com a leitura do portefólio, mas muito em sessão, tento explorar um bocadinho o que está por trás, eles às vezes não evidenciam logo ou não dizem. (…) faço muitas dinâmicas de grupo quando estou com os adultos e individualmente quando estou com eles puxo um bocadinho mais por eles. Faço o balanço de competências”. Este é um processo que é realizado sempre em colaboração com os adultos: “Faço uma análise para motivar a pessoa a fazer a sua própria análise, para que com essa análise ele vá contribuir com outros aspetos que ainda não tinha falado, e voltarmos a analisar depois em conjunto”. Conclusão De acordo com Farzad e Paivandi (2000), a avaliação ocupa um lugar central nos processos de reconhecimento e validação de adquiridos experienciais, uma vez que está presente praticamente em todas as fases do processo. Os educadores de adultos encaram a sua atividade profissional como estando essencialmente centrada na orientação e no apoio ao longo de todo o processo de reconhecimento e validação de adquiridos experienciais. Como tal, estes educadores de adultos veem-se, por um lado, como guias e orientadores no âmbito das atividades que estruturam estes processos e, por outro, como mediadores das interações entre os adultos e outros profissionais da educação, nomeadamente formadores O reconhecimento e validação de adquiridos experienciais é 143 uma atividade educativa que mobiliza um reportório de competências da área relacional. Como tal, podemos considerar a atividade desenvolvida pelos educadores de adultos que acompanham e apoiam os adultos ao longo dos processos de reconhecimento e validação de adquiridos experienciais como sendo uma atividade relacional (Demailly, 2008). Referências Bardin, L. (1995). Análise de conteúdo. Lisboa: Edições 70. Cavaco, C. (2012). Complexidade da avaliação de adquiridos experienciais. In M. P. Alves & J. C. Morgado (Orgs.), Avaliação em educação: políticas, processos e práticas (pp. 185 - 213). Santo Tirso: De Facto Editores. Creswell, J. W. (2007). Qualitative inquiry and research design: Choosing among five approaches (2nd edition). Thousand Oaks: Sage Publications. Demailly, L. (2008). Politiques de la relation. Approche sociologique des métiers et activités professionnelles relationnelles. Villeneuve d´Ascq: Presses Universitaires du Septentrion. Farzad, M. & Paivandi, S. (2000). Reconnaissance et validation des acquis en formation. Paris: Anthropos. Vala, J. (2003). A análise de conteúdo. In A. S. Silva & J. M. Pinto (Orgs.), Metodologia das ciências sociais (pp. 101-128). Porto: Edições Afrontamento. Vermersch, P. (1991). L’entretien d’explicitation dans la formation expérientielle organisée. In B. Courtois & G. Pineau (Coords.). La formation expérientielle des adultes. Paris: La Documentation Française. 144 ANALYSE DES PRATIQUES D’ÉVALUATION CERTIFICATIVE DES ATTITUDES EN TECHNIQUES D’ÉDUCATION À L’ENFANCE : LE CAS DE L’ÉPREUVE FINALE DE COURS (ID 64) ROY, Martin, Université du Québec à Montréal (UQÀM) (CA) NICHAUD, Nathalie, Université du Québec à Montréal (UQÀM) (CA) RÉSUMÉ Les programmes d’études dans les Cégeps s’inscrivent dans l’approche par compétences (APC) depuis son implantation dans les années 1990 et visent des apprentissages complexes dont le développement d’attitudes. Les attitudes sont des manières d’être et elles relèvent de caractéristiques individuelles, des facettes de la personnalité ou d’autres caractéristiques à dominance affective (Scallon, 2004). La définition d’attitude retenue pour cette recherche est celle d’Allport en 1935, soit : «un état mental et neurologique de préparation à répondre, organisé à la suite de l'expérience et qui exerce une influence directrice ou dynamique sur la réponse de l'individu à tous les objets et à toutes les situations qui s’y rapportent» (trad. Vallerand, 2006). En plus de la définition, il est à préciser que d’après Rosenberg et Hovland (1960), une attitude possède trois composantes : cognitive, affective et conative. Enfin, il est important d’ajouter aussi que les attitudes possèdent aussi six caractéristiques : une direction, une intensité, une centralité, une accessibilité, une ambivalence et un aspect implicite ou explicite (Olson et Maio, 2003). Selon Tardif (2006), la définition de compétence fait consensus dans le domaine. Selon cet auteur, une compétence se définit en tant que : «un savoir-agir complexe prenant appui sur la mobilisation et la combinaison efficaces d’une variété de ressources internes et externes à l’intérieur d’une famille de situation» (p.22). Les ressources internes sont, entres autres, constituées d’attitudes. Au collégial, certaines compétences sollicitent leur mobilisation. Par contre, les critères de performance des devis ministériels concernant les attitudes donnent très peu d’informations sur ce qui est attendu exactement en termes de manifestations d’un comportement (Gosselin, 2010; Grisé et Trottier, 1997). Par exemple, il est possible de lire dans le devis ministériel en Techniques d’éducation à l’enfance : « manifestation de tact, d’ouverture d’esprit et d’éthique professionnelle dans ses discussions avec les personnes consultées » (Ministère de l’éducation du Québec, 2000). À la lecture de ces critères de performance, il est possible de constater que les attitudes mentionnées ne sont pas toujours explicites et même qu’elles peuvent être imprécises (Ross, 2009; Dorais, 2009; Grisé et Trottier, 1997; Morissette, 1986). De plus, il existe une absence de cadre de référence bien structuré de l’enseignement et de l’évaluation des attitudes (Scallon, 2004). Par ailleurs, plusieurs politiques institutionnelles d’évaluation des apprentissages (PIEA) des cégeps qui encadrent les pratiques évaluatives mentionnent que les attitudes doivent être prises en compte lors de l’évaluation. Elles sont un objet de formation et sont très importantes pour l’activité professionnelle (Scallon, 2004). D’autre part, lorsqu’arrive le moment de certifier la compétence d’un étudiant à la fin d’un cours (évaluation certificative), il faut être en mesure de tenir compte des attitudes qui ont été 145 développées. Leroux (2010) a d’ailleurs recensé plusieurs chercheurs qui décrivent l’évaluation certificative comme un jugement intervenant à la fin d’une étape de la scolarité, qui consiste à effectuer un bilan et à prendre une décision sur la maîtrise ou la non-maîtrise de la compétence par l’élève (Beckers, 2002; Bélair, 2005; Paquay, Defèvre et Dufays, 2002; Perrenoud, 2001; Rey et al., 2003, cités par Leroux, p.86). À ce titre, l’épreuve finale de cours prend une place importante dans le processus d’évaluation certificative. Pourtant, la littérature existante sur l’évaluation certificative est restreinte contrairement à celle portant sur l’évaluation formative (Bélair et Dionne, 2009). Le peu d’écrits concerne surtout le niveau des études secondaires. Pourtant, cette forme d’évaluation comporte un enjeu critique, car elle influence le parcours scolaire ou professionnel de l’étudiant. La question au cœur du projet de recherche se pose comme suit : au collégial, lors de l’évaluation finale pour un cours donné, quelles pratiques évaluatives certificatives sont déployées par l’enseignant afin de prendre en compte les attitudes prescrites par les devis ministériels? L’objectif du projet de recherche est de documenter les pratiques d’évaluation certificative des attitudes mises en oeuvre par les enseignants, dont l’épreuve finale de cours. L’étude qualitative menée sous forme d’entrevues individuelles semi-dirigées auprès des enseignants en Techniques d’éducation à l’enfance vise la participation de tous les enseignants qui sont au nombre de 18. Ces entrevues ont pour but de mieux comprendre les dispositifs d’évaluation certificative des attitudes mis en place dans le cadre de leurs cours. Par ailleurs, à l’aide de l’analyse de documents (devis ministériel, descriptifs de cours, plans de cours et épreuves finales de cours de l’année scolaire 2014-2015), nous sommes en mesure de connaître la place accordée par les enseignants du collégial à l’évaluation des d’attitudes dans leurs cours. Cette recherche permet d’augmenter les connaissances dans le domaine puisque peu d’études ont eu lieu à ce jour sur l’évaluation certificative des attitudes et les pratiques mises en place par les enseignants afin de les évaluer. De plus, ce projet propose, à notre connaissance, la première méthodologie entièrement qualitative afin d’en connaître davantage sur les pratiques évaluatives pour les attitudes et de donner la parole aux enseignants. Cette étude permettra de vérifier la réalité terrain en évaluation d’un apprentissage bien spécifique, soit celui des attitudes. Ce projet de recherche pourrait mener à innover dans le domaine des dispositifs d’évaluation prenant en compte les attitudes. 146 CONCEPTION D’UN DISPOSITIF D’ÉVALUATION DES STAGIAIRES EN SCIENCES DE L’ÉDUCATION: MÉTHODOLOGIE D’ÉLABORATION ET MISE EN ŒUVRE (ID 66) ZAKARIA, Norma, Université Saint-Esprit de Kaslik, (LB) RÉSUMÉ Il est vrai que le rôle de l’université dans le développement de la personnalité de l’étudiant universitaire, sur les plans scientifique et culturel, se dessine en premier à travers les objectifs que l’université s’assigne pour assurer un enseignement de qualité. Toutefois il apparaît encore à travers les pratiques qui délimitent les tâches essentielles pour affermir l’identité professionnelle de l’étudiant universitaire. Le stage d’observation et de pratiques de classe, effectué en fin de parcours en sciences de l’éducation, est un moment décisif pour l’évaluation des compétences des futurs maîtres. À ce niveau, la mise en œuvre d’un dispositif d’évaluation est importante, et la conception de ce dispositif doit se baser sur des principes, régis souvent par des facteurs spécifiques. Dans nos pratiques de formateur en sciences de l’éducation, nous avons trouvé que la formalisation théorique n’est jamais suffisante pour construire un dispositif quels que soient sa nature et son contexte, car la pratique envisagée dans les programmes de formation initiale semble indispensable. Elle est dynamisée dans le stage par plusieurs facteurs, à savoir favoriser l’observation et l’analyse à travers les situations créées ou bien observées et analysées, construire un savoir autour d’une problématique, conceptualiser et structurer les idées choisies, mettre en relation la théorie et la pratique, généraliser et synthétiser. Conjointement, nous avons testé différentes pratiques évaluatives sans pour autant détecter leur impact positif sur les stagiaires. Partant toujours du principe de la corrélation théorie/pratique, le dispositif d’évaluation que nous présentons dans cette communication fait suite à une étude qui a été faite dans une perspective évaluative en se basant sur l’intégration des acquis, qui ont été groupés relativement à chacune des compétences à évaluer dans le programme de formation des stagiaires. Ce groupement nous a permis de faire une sélection au niveau des acquis d’apprentissage pour construire des grilles d’observation et d’évaluation comportant ce qui est fondamental pour observer et évaluer. Les représentations des stagiaires nous ont aidée, dans une large mesure, à recadrer ce dispositif et d’en construire les outils. Des questions de réflexion ont été posées aux stagiaires avant, pendant et après le stage, pour les pousser à faire une réflexion sur leurs pratiques et sur les points-clés observés et pratiqués dans le stage. Nous avons considéré à ce niveau que l’auto-évaluation est indispensable pour toute personne évaluée, car deux éléments semblent constamment la dynamiser : une conscientisation en vue d’une connaissance de soi de la part de l’apprenant (jeune ou adulte) et une régulation de l’autoformation en vue d’une systématisation des actes d’enseignement. Dans ce contexte, l’évaluation devient un processus qui vise à déterminer où se situe le stagiaire par rapport au développement de ces compétences, que ce soit dans le domaine des attitudes (savoirêtre), dans le domaine des connaissances (savoir) ou dans celui des habiletés (savoir-faire). Nous avons alors mis l’accent dans la conception de ces outils sur l’apport de l’évaluation au développement des compétences professionnelles des stagiaires. En effet, quel que soit l’aspect qu’elle revêt, l’évaluation est considérée comme un vecteur de régulation assez efficace. Elle 147 permet au stagiaire de se situer dans son parcours de formation initiale, par rapport aux résultats qu’il détecte personnellement et par rapport à ses performances reconnues. Néanmoins, qu’elle comporte une visée formative, inhérente à l'apprentissage afin d'en améliorer l'efficacité et de pallier à ses déficiences, ou qu’elle comporte une visée formatrice, caractérisée par une forme particulière d’évaluation formative à forte composante métacognitive, l’évaluation demeure un facteur de régulation en formation. Et elle devient plus efficace quand elle est pratiquée à deux niveaux distincts : d’un côté, le niveau où la régulation vient de la part de celui qui supervise comme dans l’évaluation formative et d’un autre côté, le niveau où elle vient de la part de celui qui apprend, à savoir le sujet lui-même. Dans une autre perspective, les compétences de base [les connaissances pédagogiques, les pratiques didactiques, la gestion de classe, l’éthique professionnelle, les compétences linguistiques et les aspects culturels], analysées dans l’étude faite au préalable relativement aux domaines suivants, ont constitué la toile de fond de tous les outils conçus dans ledit dispositif. Ces compétences sont : - Maîtriser des notions fondamentales en sciences de l’éducation et les théories d’apprentissage les plus connues dans le domaine. - Planifier son projet d’enseignement en réinvestissant les acquis théoriques et les ressources pluridisciplinaires en didactique spécialisée. - Organiser efficacement les tâches à réaliser en classe. - Agir de façon éthique et responsable dans l’exercice de ses fonctions. - Communiquer à bon escient dans les pratiques d’enseignement. - S’approprier les problèmes de l’environnement relevant des aspects culturels du patrimoine et des aspects interculturels. La démarche que nous avons suivie pour concevoir ces outils répond aux objectifs déterminés dans le protocole de stage et qui sont en conformité avec les objectifs généraux du programme. Ces objectifs qui mettent l’accent sur l’importance de l’appropriation de la théorie et qui sont mis en œuvre dans les cours de formation, exigent une méthodologie particulière qui prenne en considération, dans le déroulement du travail quotidien, l’alternance théorie/pratique à partir d’activités adéquates. En effet une complémentarité entre la théorie et la pratique est préconisée dans les cours de sciences de l’éducation, pour maintenir le lien entre les acquis théoriques et leur application dans le contexte scolaire. Les étapes d’élaboration du dispositif présentent une progression correspondante aux tâches effectuées par les stagiaires. Les outils conçus dans ce dispositif ont un double enjeu relevant de l’évaluation et de l’autoévaluation et varient selon les étapes du déroulement du stage : - une fiche comportant les questions posées aux stagiaires avant, pendant et après le stage ; - une grille d’observation à partir de laquelle les stagiaires font une réflexion sur les pratiques observées et les répercussions de celles-ci sur leurs propres pratiques ; - un canevas des fiches pratiques de préparation des séances, développées par les stagiaires ; - une grille d’évaluation qui comporte les critères d’évaluation, utilisée par le maître de stage ; - une fiche comportant des indicateurs pour expliciter les critères d’évaluation de la grille d’évaluation. 148 RECHERCHE-ACTION: LES ACTEURS DE L’ÉVALUATION ANALYSENT (ID 67) DUYKAERTS, Caty, AEQES (agence pour l'évaluation de la qualité de l'enseignement supérieur) (BE) VAN CAMPENHOUDT, Luc, Université de St Louis (Bruxelles) et Université de Louvain (BE) DEGRAFF, Véronique, Université de St Louis (Bruxelles) (BE) RÉSUMÉ En Belgique francophone (Fédération Wallonie-Bruxelles, FWB en abrégé), l’Agence pour l’Evaluation de la Qualité de l’Enseignement Supérieur (AEQES) a pour mission l’évaluation formative des programmes d’études de bachelier et de master. L’évaluation (processus interne d’autoévaluation et processus externe d’évaluation par les pairs) constitue un élément d’une démarche qualité globale visant l’amélioration des programmes. L’AEQES a voulu explorer l’articulation entre les deux processus (interne/externe); mais également en s’appuyant sur un acteur pivot (le « coordinateur qualité ») – l’équilibre optimal à trouver au sein des établissements entre les démarches qualité centralisées et celles développées au niveau des programmes, point d’entrée de l’évaluation AEQES. Pour ce faire, l’agence a commandité auprès des sociologues Luc Van Campenhoudt et Véronique Degraef une recherche-action basée sur la méthode d’analyse en groupe. Au cours de 2014, trois ateliers collectifs ont réuni 27 participants issus de divers établissements d’enseignement supérieur de la FWB. Cet article décrit la méthode utilisée et rend compte des résultats obtenus. Ainsi, quatre objets de questionnement ont été dégagés : représentation, sens et finalité de la démarche d’évaluation ; objet et méthodologie du processus d’évaluation ; vision, rôles et responsabilité des acteurs dans l’institution ; freins et leviers comme facteurs externes (contexte politique, l’aeqes et ses experts) et comme facteurs internes (communication et articulation au sein des établissements). L’article conclut sur l’identification des nœuds cruciaux et offre une réflexion sous forme de scénario fort visant à proposer des leviers pour agir. Affranchi de deux chimères (sur l’efficacité des décisions et des dispositifs ainsi que sur l’adhésion des personnes encadrées), ce scénario fort repose sur trois propositions qui sont autant de réponses à trois questions : sur quoi doit porter l’évaluation ? quelle en est la finalité ? qui en est l’acteur principal ? Contexte, motivation et objet de la recherche-action L’évaluation développée par l’AEQES poursuit un double objectif : fournir une information sur la qualité des programmes d’études évalués (les rapports d’évaluation sont publiés sur www.aeqes.be) et soutenir les établissements dans le développement de systèmes d’assurance qualité autonomes et efficaces. Les évaluations initiales sont complétées par des visites d’évaluation de suivi afin de consolider les actions menées pour améliorer la qualité des programmes. L’évaluation de suivi en est encore à ses débuts ; dès lors, ce dispositif n’a pas été traité dans cette recherche-action. Pour guider son travail, l’AEQES a développé un référentiel d’évaluation (voir http://www.aeqes.be/documents/20121004AEQESCompilationAssessmentGuide2012.pdf) constitué de cinq critères qui recouvrent autant les dimensions institutionnelles (gouvernance, procédures qualité et amélioration continue, ressources humaines et matérielles, communication) que 149 pédagogiques (formulation d’objectifs de programme sous forme d’acquis d’apprentissage terminaux, approches pédagogiques et activités d’apprentissage, critères d’évaluation de l’atteinte des acquis d’apprentissage visés , dispositifs pour soutenir l’apprentissage des étudiants). Ainsi, même si la méthodologie prévoit une évaluation programmatique, les champs développés dans le référentiel proposent clairement à l’établissement une approche holistique de sa gestion de la qualité. Dans ce contexte et après plus de cinq ans de fonctionnement, l’Agence a mené un travail réflexif – avec et pour les coordinateurs qualité des établissements – autour de questionnements relatifs à l’évaluation et à la gestion de la qualité en FWB. Les questions de départ ont été formulées : Quels leviers favorisent l’articulation optimale entre les processus qualité internes et externes, de même qu’entre les démarches déployées au niveau de l’établissement et celles mises en œuvre dans l’entité responsable d’un programme donné ? Quels obstacles freinent la capitalisation de l’expérience en matière de gestion de la qualité et son appropriation par les acteurs ? Et dans ce cadre, quel est le rôle du coordinateur qualité institutionnel ? La méthode d’analyse en groupe (MAG) et ses résultats La méthode MAG est fondée sur l’analyse collective de récits d’expériences en lien avec les questions traitées. Cette analyse passe par la mise en évidence et l’examen des convergences et des divergences dans les analyses des participants et débouche sur la formulation d’hypothèses permettant de mieux comprendre les situations et expériences étudiées, de nouvelles problématiques consistant à mieux poser les problèmes, et de perspectives pratiques proposant des orientations pour l’action. Hypothèses, problématiques et perspectives sont produites et discutées par le groupe d’acteurs-chercheurs. (Voir La méthode d’analyse en groupe: explication, applications et implications d’un nouveau dispositif de recherche via http://sociologies.revues.org/2968). Accompagnés des deux chercheurs, 22 coordinateurs qualité (répartition : 2/enseignement supérieur artistique, 10/haute école, 6/enseignement de promotion sociale et 4/université) et cinq membres de la Cellule exécutive de l’AEQES ont participé aux trois groupes d’analyse entre février et octobre 2014. Ils ont produit ensemble 27 propositions de récits qui ont fait l’objet de six analyses approfondies et débouché sur une dizaine d’hypothèses explicatives, 14 nouvelles problématiques et plus de 40 perspectives pratiques. Le travail de problématisation a fait émerger quatre objets de questionnement repris dans le tableau ci-dessous. Les perspectives pratiques n’y figurent pas, comme tenu de leur nombre. Représentation, sens et finalité de la démarche d’évaluation - se mobiliser pour quoi ? - peur des sanctions ? - résistance au changement ? - intérêt général et intérêt particulier - participation et mobilisation des enseignants - appropriation de la qualité Objet et méthodologie du processus d’évaluation - nature, perception et rapport pratique à l’outil 150 - un passage problématique à l’action - objet de l’évaluation - méthodologie de l’évaluation - suivi et impact Démarche qualité dans l’établissement : vision, rôle et responsabilité des acteurs - pouvoir et rôle de la direction - position et rôle du service et du coordinateur qualité - lieu de la responsabilité de la qualité - légitimité et rôle des différents acteurs - l’Agence comme médiateur dans l’espace public - profil et rôle des experts - rôle des directions des établissements Causes et effets externes et internes de l’évaluation - facteurs externes : le contexte politique, l’AEQES et les experts - facteurs internes : communication et articulation - fonctionnement du système scolaire - communication et articulation - impact politique Ce tableau résume l’analyse minutieuse rédigée par Véronique Degraef dans le rapport MAG. Déconstruire, reconstruire et proposer un scénario fort En contraste avec un “scénario faible” souvent appliqué dans les établissements (en faire le moins possible, ruser avec l’évaluation et l’instrumentaliser en la détournant de ses finalités …), nous croyons possible un “scénario fort” basé sur des raisons “positives” : l’évaluation est une des seules occasions de faire collectivement le point sur l’enseignement prodigué, sans obligation de décision immédiate et hors des structures hiérarchiques habituelles; des ressources externes sont mobilisées (experts, agence) qui peuvent être intelligemment et utilement utilisées; mais aussi “négatives” : qu’elles le veuillent ou non, les institutions n’échapperont plus à l’évaluation et elles doivent y consacrer un temps précieux qui ne devrait pas être gâché. Ce scénario fort suppose de se débarrasser de deux chimères, basées sur des constats sociologiques : primo, la chimère de l’efficacité directe et immédiate des décisions et des dispositifs (comme celui de l’évaluation), dont les effets ne correspondent quasi jamais aux intentions de départ, mais sont, en revanche, souvent imprévus et pas forcément inintéressants ; secundo, la chimère de l’adhésion qui consiste en la croyance, dans le chef de ceux qui exercent des responsabilités d’encadrement, que leur travail ne peut être couronné de succès que si ceux qu’ils encadrent adhèrent aux finalités et valeurs associées à ce qu’ils considèrent comme leur mission. D’où la nécessité de s’affranchir d’une vision mécanique, linéaire, progressiste et consensualiste de l’évaluation. 151 Le scénario fort qui est proposé repose sur trois propositions : primo, l’objet – et l’enjeu – de l’évaluation doit être la connaissance et sa transmission; secundo, la fin de l’évaluation doit être le processus d’évaluation lui-même; tertio, l’acteur principal de l’évaluation doit être collectif. Sur ce dernier point, on insistera tout particulièrement sur le rôle crucial des micro-réseaux de mobilisation internes aux établissements. Références Degraef V., Mertens A., Rodriguez J., Franssen A., Van Campenhoudt L. (2012) Evaluation qualitative, participative et prospective de la formation initiale des enseignants en Fédération Wallonie-Bruxelles, Centre d’études sociologiques, Etude commanditée par le Gouvernement de la Fédération Wallonie-Bruxelles. Van Campenhoudt L., Chaumont J.-M., Franssen A., (2005) La méthode d’analyse en groupe, Paris : Dunod. Van Campenhoudt L., Franssen A., Cantelli F. (2009) “La méthode d’analyse en groupe: explication, applications et implications d’un nouveau dispositif de recherche”, SociologieS [en ligne], 2009. En ligne: http://sociologies.revues.org/2968 Van Campenhoudt L., Degraef V., Duykaerts C. (2015) “Recherche-action: les acteurs de l’évaluation analysent sa mise en œuvre” Rapport de synthèse des analyses en groupe, AEQES, mai 2015. En ligne: http://www.aeqes.be/rapports_list.cfm?documents_type=11 152 LA CONTRIBUTION DES ÉTUDIANTS DANS L’ÉVALUATION QUALITÉ : DÉVELOPPEMENT D’UN OUTIL POUR LES PROGRAMMES DE L’UNIVERSITÉ DE GENÈVE (ID 68) HUNEAULT, Catherine, Université de Genève (CH) ROTONDI, Irene, Université de Genève (CH) DELL’AMBROGIO, Piera, Université de Genève (CH) STASSEN, Jean-François, Université de Genève (CH) GELEY, Mallory Schaub, Université de Genève (CH) RÉSUMÉ Contexte A l’Université de Genève (UNIGE), tous les programmes de formation sont évalués sur une base régulière depuis 2009. Cette démarche s’inscrit dans le cadre de la politique qualité de l’institution et est pilotée par le Bureau qualité. En 2013-2014, le Bureau qualité a mené une enquête par questionnaires auprès des principaux groupes d’acteurs impliqués dans les évaluations de programme les plus récentes. L’objectif de cette méta-évaluation était de connaître l’opinion de ces personnes afin d’améliorer la démarche d’évaluation (Huneault & Schaub, 2014). Les résultats de l’enquête ont révélé que l’évaluation est une expérience jugée globalement satisfaisante et utile par les acteurs interrogés. Ils ont aussi permis de dégager des priorités pour l’évolution du dispositif d’évaluation de programmes à l’UNIGE. Il est notamment apparu souhaitable d’améliorer l’accès aux données relatives aux programmes. Quelques acteurs jugent que certaines informations (par exemple sur le devenir des anciens étudiants) sont parfois lacunaires. Pour obtenir de manière systématique des données sur les formations évaluées, il a semblé pertinent de mener des enquêtes auprès des personnes directement concernées : les étudiants et les anciens étudiants. En effet, la participation des étudiants en matière d’assurance qualité est fortement encouragée (ENQA, 2015). Les étudiants en voie de compléter une formation, ainsi que les alumni, sont bien placés pour porter un jugement avisé. En tant qu’acteurs du programme, leur contribution est essentielle afin de construire un jugement crédible (Hurteau, 2013). Leur apport à travers la participation aux questionnaires en ligne représente un moyen efficace de recueillir systématiquement des données quantitatives et qualitatives (Robson 2011). Démarche de construction de l’outil La construction du questionnaire s’est faite en quatre temps. Partant des dimensions qualité de notre institution (par exemple positionnement et pertinence, contenu, mobilité, etc.), nous avons premièrement traduit chaque critère d’évaluation institutionnelle en énoncé potentiel. Cela a permis 153 de mettre en évidence les énoncés pertinents et d’identifier les sujets qui n’étaient pas appropriés pour une enquête par questionnaire auprès d’étudiants. Ensuite, nous avons procédé à une analyse comparative des questionnaires utilisés dans différentes institutions d’enseignement supérieures suisses, européennes, nord-américaines et australiennes. Cette étape de benchmarking (Meyer, 2011) nous a permis de comparer nos énoncés avec d’autres existants et de nous inspirer des pratiques d’ailleurs pour consolider notre questionnaire. Puis, nous avons révisé la composition du questionnaire et la rédaction des énoncés en nous référant aux recommandations de Robson (2011). Cette révision a été réalisée par 4 conseillers pédagogiques du pôle de soutien à l’enseignement et l’apprentissage (SEA) et l’expertise de l’Observatoire de la vie étudiante (OVE). Enfin, nous avons soumis une première version du questionnaire à une enseignante et un directeur de département et leur avons demandé de réagir par des propositions de modification, comme recommandé par Bernard (2011). Ces personnes nous ont fourni leurs réactions et propositions par courrier électronique et lors d’entretiens. Nous en avons tenu compte pour finaliser l’outil. La version actuelle est constituée de 31 questions, dont certaines sont personnalisables. Retour d’expérience Le questionnaire a été utilisé en 2014-2015 à titre de projet pilote auprès de quelques programmes offerts par l’UNIGE. L’administration du questionnaire et le traitement statistique des données d’enquête ont été réalisés par l’OVE. Le pôle SEA a offert un accompagnement aux équipes pédagogiques pour interpréter et exploiter les résultats obtenus. Dans l’un des cas, un entretien de groupe (focus group) a été réalisé pour compléter les données et obtenir les réactions des répondants à propos du questionnaire. La communication sera l’occasion de présenter les constats issus de ces premières enquêtes. Des ajustements souhaitables au niveau de la formulation ont pu être identifiés. Ce projet pilote a aussi permis d’identifier des pistes pour optimiser l’adaptation du questionnaire, accroître le taux de réponse et adapter la communication des résultats aux personnes concernées. Avantages et limites Le questionnaire permet de collecter des données directement employables dans les évaluations institutionnelles prévues par l’UNIGE. Avoir un questionnaire commun donnera la possibilité de comparer les volées successives d’étudiants afin d’estimer l’évolution d’un même programme. Cet outil est caractérisé par une adaptabilité qui offre entre autres, deux bénéfices : il est personnalisable à tous les types de programmes et il permet une économie de temps pour les responsables de programmes qui souhaitent l’utiliser. En effet, ils peuvent accéder à un instrument déjà conçu et prêt à être exploité. Une des limites de l’outil est que les étudiants reçoivent des nombreuses enquêtes concernant différents aspects de leur vie estudiantine, ce qui pourrait freiner leur participation. Le taux de réponse au questionnaire pourrait alors être trop bas pour tirer des conclusions généralisables. Il faut donc un important engagement du corps enseignant afin d’inciter les étudiants à participer. Du côté des responsables de programmes, le questionnaire pourrait être perçu comme un outil 154 relativement rigide. Ce sera la mission des conseillers pédagogiques de les accompagner dans la démarche de personnalisation. Perspectives futures Nous souhaitons optimiser la rigueur des enquêtes d’évaluation des programmes à travers l’introduction d’un outil valide et facilement utilisable. Pour cette raison, nous avons entrepris une démarche de validation constituée, selon les indications de Bernard (2011), des étapes suivantes: un prétest (des experts, des enseignants et des étudiants sont consultés sur la pertinence et clarté des énoncés) ; une expérimentation en conditions réelles (le questionnaire est utilisé pour l’évaluation d’un premier groupe de programmes) ; une validation statistique. Nous envisageons aussi une validation par les autorités de l’UNIGE. La communication sera l’occasion de présenter les premières informations collectées pendant cette procédure. Suite à la procédure de validation, un premier objectif sera l’utilisation du questionnaire pour la démarche d’évaluation institutionnelle des programmes. Successivement, cet outil pourra être utilisé par tous les programmes qui le souhaitent afin de pouvoir effectuer des comparaisons entre différentes éditions du programme ou pour déterminer l’impact des modifications apportées. À long terme, l’objectif est d’utiliser ces enquêtes de façon régulière et en parallèle à d’autres méthodes de récolte d’information. Cela renforcera le développement et la valorisation des programmes d’études de l’UNIGE afin d’améliorer la qualité des formations et conséquemment l’expérience d’apprentissage des étudiants. Références Bernard, H. (2011). Comment évaluer, améliorer, valoriser l’enseignement supérieur ? Bruxelles: de Boeck. ENQA. (2015). Références et lignes directrices pour l’assurance qualité dans l’espace européen de l’enseignement supérieur (ESG). Consulté à l’adresse www.enqa.eu/wp-content/uploads/2015/05/ESG_endorsed-with-changed-foreword.pdf Huneault, C. & Schaub, M. (2014). L’évaluation des programmes à l’Université de Genève : qu’en disent les acteurs ? Actes du 26ème colloque de l’ADMEE-Europe, Cultures et politiques de l'évaluation en éducation et en formation, Marrakech, 15-17 janvier 2014. Hurteau, M. (2013). Aspirer à un jugement crédible dans le cadre de l’évaluation de programme. In M. Romainville, R. Goasdoué & M. Vantourout (dir.), Evaluation et enseignement supérieur (pp.145-161). Bruxelles: De Boeck. Meyer, F.A. (2011). Pratiques de benchmarking : créer collectivement du sens à partir du succès d'autres organisations. Paris : Lexitis. Robson, C. (2011). Real World Research (3e éd.). Chichester: Wiley. 155 L'ÉVOLUTION D'UN OUTIL D'ÉVALUATION DE LA QUALITÉ DE LA FORMATION DES ENSEIGNANTS DU SECONDAIRE: GENÈSE, FINALITÉS, ENJEUX, LIMITES ET PERSPECTIVES (ID 69) STUMPF, Alexia, HEP-BEJUNE (CH) GARESSUS, Paul-André, HEP-BEJUNE (CH) RÉSUMÉ Dans cette contribution, nous présentons, à travers une recherche exploratoire, l’évolution d’un outil destiné à l’évaluation systématique « de fin d’études » de la qualité de la formation secondaire, par les étudiants, dans le cadre d’une Haute école pédagogique (HEP) suisse. Cette démarche qualité est orientée vers l’amélioration des prestations internes et externes de l’établissement mais elle s’inscrit plus largement dans un cadre international dynamisé par Bologne et dans un cadre national défini par la Loi fédérale sur l’encouragement des hautes écoles et la coordination dans le domaine suisse des hautes écoles (LEHE). Le système d’assurance de la qualité est le socle à partir duquel l’accréditation des Hautes écoles en Suisse sera réalisée. À cette fin, la HEP-BEJUNE (BErne-JUraNEuchâtel) dispose d’outils d’évaluation et d’instruments répartis dans trois catégories selon le type d’activités analysées : activités institutionnelles, administratives et pédagogiques. L’outil que nous faisons évoluer appartient à cette dernière catégorie mais s’insère, bien qu’insuffisamment, toutefois dans une perspective plus globale qu’une stricte évaluation des enseignements, à savoir celle de la formation. Dans ce sens, cet outil se situe à la frontière souvent poreuse entre l’évaluation des enseignements et l’évaluation de la formation, risquant ainsi de semer le doute sur la finalité visée par la démarche. Même si l’importance de préciser a priori si l’évaluation menée est de nature formative (développement de la qualité de l’enseignement) ou sommative (mesure de la conformité d’un enseignement par rapport à un ensemble de critères) semble actuellement remise en question (Romainville&Coggi, 2009), notamment car ces deux fonctions représentent davantage les pôles d’un continuum plutôt que des catégories mutuellement exclusives (Berthiaume et al., 2011), la finalité de cet outil et surtout le suivi qui sera donné à ses résultats doivent être clarifiés. Dans la mesure où il n’existe pas de consensus unanime sur la définition de la qualité, nous nous inscrivons dans une conception appréciative de l’évaluation promue par Hadji (2012) pour qui l’évaluation « résulte d’une confrontation entre les attentes exprimées sous forme de « critères » et des aspects significatifs du réel traduits en « indicateurs » pour mesurer l’adéquation entre ce qu’on est légitimement en droit d’attendre et la réalité évaluée » (Endrizzi, 2014, p.12). Dans la lignée de cette conception appréciative, nous souhaitons penser l’évaluation de la qualité comme un moyen au service d’une dimension réflexive et régulatrice de la formation et non comme une fin en soi. Dans l’optique d’améliorer la qualité de la formation, du point de vue des pratiques individuelles et collectives, il nous importe, en amont de la collecte de données, de questionner les éléments suivants : Quelles sont les finalités de l’outil original conçu par l’institution ? Quelles distorsions existent entre celles-ci et celles qui émergent de l’analyse de l’utilisation de l’outil ? A la lumière de ces écarts se justifient les raisons de refonder l’outil. Comment a-t-il été conçu ? Quelles finalités et plus-value 156 sa reconstruction souhaite-t-elle viser ? Quelles conceptions de l’« enseignement » et de la « qualité » traduit le dispositif construit ? Pour y répondre, il importe de définir avec soin les critères attendus et les indicateurs observables qui sous-tendent la construction de l’outil d’évaluation. Ces critères et leurs indicateurs sont regroupés en domaines d’activités, que nous appelons domaines qualité, découlant à la fois du cadre règlementaire fixé à l’institution et de la mission de la formation de celle-ci. Afin de permettre une évaluation multidimensionnelle de la qualité de la formation, la première étape consiste donc à définir le nombre et la nature des domaines qualité au sein desquels les critères et indicateurs sont construits. Pour éviter une démarche trop empirique, nous reprenons les domaines à partir de ceux déclinés dans les directives de la LEHE, à savoir : les objectifs de formation, la conception, la mise en œuvre et l’assurance qualité. À l'intérieur des domaines, les directives listent une série de critères assez généraux. Afin d’intégrer la dimension professionnalisante de la formation en HEP, ces critères sont affinés et complétés au travers de filtres destinés à mettre en lumière les marqueurs de la professionnalisation. Ces marqueurs, identifiés dans une précédente recherche menée au sein de l’institution (Wentzel, 2012), sont l’« intégration de la recherche », la « professionnalité et l’identité professionnelle », le « praticien réflexif », les « savoirs et compétences », l’« alternance théoriepratique ». Dans un premier temps, nous mettons au jour les finalités, enjeux et limites de l’outil original déclarés par l’institution au moyen d’une analyse multidimensionnelle inspirée des travaux de Nisbet (1990) et Berthiaume et al. (2011), puis justifions le besoin de repenser l’outil. Nous explicitons ensuite comment, dans les domaines qualité déterminés, les critères et indicateurs constitutifs du nouvel outil et leurs composantes ont été élaborés et quelle plus-value nous visons à travers son utilisation. Enfin, après avoir formulé des hypothèses quant aux finalités, limites et perspectives de l’outil, nous les confrontons à la mise en pratique de celui-ci. L’impact d’un tel outil d’évaluation sur la qualité des apprentissages des étudiants dépend de nombreux facteurs externes à sa seule conception technique. Il « dépend en grande partie de la perception des enseignants, et autres acteurs au sein de l’institution, du processus d’évaluation luimême et des actions menées en conséquence » (Berthiaume et al., 2011). Il est donc important de conserver une approche contextualisée dans ce type de démarche et se garder de généralisation hasardeuse. Références Berthiaume, D., Lanarès, J., Jacqmot, C., Winer, L. & Rochat, J.-M. (2011) L’évaluation des enseignements par les étudiants (EEE). Une stratégie de soutien au développement pédagogique des enseignants ? Recherche et formation (67), 53-72. Endrizzi, L. (2014). La qualité de l’enseignement : un engagement des établissements, avec les étudiants ? Dossier de veille de l’IFE, (93), 1-44. Lyon : ENS de Lyon. Hadji, C. (2012). Faut-il avoir peur de l’évaluation ? Bruxelles : De Boeck. Lehe (30 septembre 2011). Loi fédérale sur l’encouragement des hautes écoles et la coordination dans le domaine suisse des hautes écoles LEHE. Berne : Assemblée fédérale de la Confédération suisse. 157 Nisbet, J. (1990). Rapporteur’s Report. In Concil of Europe & Scottish Council for Research en Education (Ed.), The Evaluation of Educational Programmes : Methods, Uses and Benefits (p.1-19). Amsterdam : Swets & Zeitlinger. Romainville, M., Coggi, C. « Conclusions », in Romainville, M. (2009) L’évaluation de l’enseignement par les étudiants. Louvain-la-Neuve, De Boeck Supérieur, « Perspectives en éducation et formation », 255-266. Wentzel, B. (2012). La professionnalisation de la formation des enseignants : le cas de la Suisse [No 136849] Projet du Fonds national suisse de la recherche scientifique (FNS) 2012-2014. FNS, Berne. 158 COMPRENDRE LE DÉVELOPPEMENT D’UM DISCOURS D’EXPÉRIENCE SUR LE TRAVAIL EM SITUATION D’ACCOMPAGNEMENT À LA VAE (ID 70) RÉMERY, Vanessa, Centre de Recherche sur la Formation - Conservatoire National des Arts et Métiers / Laboratoire RIFT - Université de Genève - équipe Interaction & Formation (CH) RÉSUMÉ En France, la Validation des Acquis de l'Expérience (VAE) est un dispositif de certification permettant à toute personne se reconnaissant une expérience professionnelle et/ou sociale de la faire valider socialement, dans un cadre législatif défini, en demandant l’obtention d’une certification. Face à la difficulté pour les candidats à une VAE de constituer seuls le dossier de validation qui va supporter leur demande, la loi donne la possibilité aux candidats d'être accompagnés dans leur démarche. Dans ce cadre réglementaire, la recherche se donne pour objet de comprendre les situations d’accompagnement à la VAE. Notre démarche entre par l’analyse de l’activité des candidats et des conseillers dans ces situations d’accompagnement. La perspective est de contribuer à la fois à une meilleure compréhension des phénomènes en jeu, et à la conception ou l'amélioration de dispositifs de formation en direction des conseillers VAE. La situation d'accompagnement à la VAE met en jeu une activité, accomplie conjointement, sur objet commun - l'expérience de travail du candidat et le discours qu'il construit de cette expérience , dont la finalité vise la production d'un dossier et la préparation d'un entretien avec un jury en vue de sa validation. Cette co-activité nous semble de nature à permettre le développement par le candidat et avec l'aide du conseiller d'un discours d’expérience sur le travail, à la fois oral et écrit, qu'il va adresser au jury en vue de sa validation. Ce sont les modalités de développement, dans les échanges entre le conseiller et le candidat, de ce discours d'expérience sur le travail du candidat qui nous intéressent. Comment ce discours, adressé in fine au jury, est-il produit dans l'espace de l'accompagnement ? Quelle forme prend-il ? Quelles sont les modalités par lesquelles ce développement s'opère au cours des interactions qui prennent place lors des entretiens d'accompagnement ? Parce que le dialogue entre conseiller et candidat constitue le moyen à partir duquel ce discours est élaboré, nous pensons qu'une des façons d’approcher les phénomènes liés à cette activité consiste à se centrer sur la dynamique des échanges entre le candidat et son conseiller tels qu'ils se donnent à voir dans les situations d'accompagnement en face-à-face. Ceci signifie plus précisément que nous analysons l’activité conjointe des protagonistes, candidats et conseillers, engagés dans une forme spécifique d’activité dont la dimension dialogale nous paraît éminemment structurante. A partir d'une observation ethnographique conduite dans un organisme de formation du Travail Social, un corpus audio d'entretiens d'accompagnement VAE (pour le diplôme d'état d'éducateur spécialisé) a été constitué permettant de documenter l’activité dialogale entre conseillers et candidats. Trois conseillères ont été suivies au cours des entretiens qu'elles ont menés avec des candidats (au total 8). Nous avons cherché à comprendre en quoi le dialogue entre eux contribue au développement par le candidat d'un discours d’expérience sur son travail. La question de l’expérience est donc posée dans cette recherche à partir de l'activité contribuant à développer un 159 discours d’expérience, dans des interactions d'accompagnement, en vue de le faire valider et reconnaître. Nous avons ainsi porté notre attention sur la façon dont sont produites, partagées et reconfigurées, par les candidats, des manières de dire et de penser leur activité de travail par et au moyen de l'échange qu'ils réalisent avec leur accompagnateur. Ceci nous semble illustrer l’activité qu'engagent les candidats en situation d'accompagnement à la VAE, et pour lequel la recherche se propose de questionner la dimension développementale des discours d’expérience. Il s’agit pour nous d’analyser en quoi la situation d'accompagnement peut être source d'un développement potentiel du discours d’expérience pour le candidat, appréhendé au travers le développement des manières de dire et de penser son activité de travail, c’est-à-dire au travers des façons renouvelées de considérer et d’exprimer son travail. Plus spécifiquement, il s’agit de comprendre en quoi l'engagement du candidat et du conseiller dans l'activité dialogale qu'elle fait émerger peut être instrumentée comme forme de médiation et d'étayage aux dynamiques développementales. Les analyses produites dans une perspective à la fois discursive et interactionnelle mettent en évidence que différents formats dialogiques (éducateur/ éducateur; accompagnateur/ accompagné; évaluateur/ évalué, etc.) prennent place au cours du dialogue entre le conseiller et le candidat qui se constituent comme une source d’étayage au développement de la pensée du candidat sur son travail. Ces formats dialogiques sont rendus visibles par des voix mises en scène à travers le discours du candidat ou du conseiller qui convoquent pour chacune d'elles des expériences passées ou anticipées associées à des espaces d'activité distincts de la situation d'accompagnement présente (l'espace du travail, l'espace de l'écriture du dossier, l'espace du jury). Parce qu'ils permettent au candidat de s'engager dans des dialogues fictifs reconfigurant les places endossées par chacun, ces formats dialogiques permettent d’appréhender les mouvements interprétatifs en pensée et en discours du candidat sur son activité et rendent possible une transformation du point de vue porté sur l'activité professionnelle. Références Rémery, V. (2015). Etayer la formalisation de l'expérience: une analyse de l'activité d'accompagnement en Validation des Acquis de l'Expérience. In K. Balslev, L. Filliettaz, L. CiavaldiniCartaut & I. Vinatier, (eds.). La part du langage: pratiques professionnelles en formation. Paris: L'Harmattan. Rémery, V. (2015). Développer un discours d'expérience sur le travail : contribution à une analyse des discours et des interactions en situation d'accompagnement à la Validation des Acquis de l'Expérience. Thèse de doctorat en Sciences de l'Éducation, Conservatoire National des Arts et Métiers, Paris. Rémery, V. (2013). Élaboration conjointe de l'expérience en accompagnement. L'exemple de la Validation des Acquis de l'Expérience. In J.-M. BARBIER & J. THIEVENAZ (coord.), Le travail de l'expérience (pp. 209-236). Paris: L'Harmattan. Rémery, V. (2013). Approche interactionnelle des processus de développement professionnel en accompagnement à la Validation des Acquis de l'Expérience. Les Sciences de l'Education Pour l'Ere Nouvelle, 46, 4, 47-68. 160 IMPACT DES MODALITÉS DES QUESTIONS SUR LES PERFORMANCES DES ÉVALUÉS: ÉTUDE EMPIRIQUE EN MATHÉMATIQUES EN FIN DE COLLEGE (ID 71) MAURY, Sylvette, Université Paris Descartes (FR) VANTOUROUT, Marc, Université Paris Descartes (FR) RÉSUMÉ Nous présenterons une recherche menée dans le cadre d’un projet ANR en cours, consacré à l’évaluation en algèbre au collège. Cette recherche s’organise autour d’une expérimentation réalisée en juin 2015 auprès de 286 élèves inscrits dans 12 classes de 3e (fin de collège en France), situées majoritairement en ZEP (zone d’éducation prioritaire). Nos objets d’investigations sont ici, par ordre d’importance décroissant, et, respectivement du point de vue des résultats et théorique, l’impact des modalités de questionnement sur les performances des évalués et la dimension psychodidactique de la validité didactique. Pour l’expérimentation, nous avons repris 4 exercices de l’évaluation PEPITE (élaboré par Grugeon et son équipe) et avons, pour chacun d’eux, fabriqué quatre modalités : question ouverte, « vrai/faux », QCM et QCM avec choix de justifications. Ces différentes modalités correspondent à celles utilisées dans PEPITE. Dans les classes, chaque élève a reçu un questionnaire avec les 4 exercices, tous présentés selon la même modalité (par exemple, il existe un questionnaire exclusivement « QCM », un autre V/F, …). Les modalités de questionnaires ont été distribuées en quantité identique (à une unité près) et de manière aléatoire au sein chaque classe. Le choix des exercices, des propositions de réponses et des justifications repose sur des analyses didactiques. Les réponses des élèves sont actuellement en cours d’analyse. Actuellement, nous avons procédé à une première analyse qualitative des réponses et à seconde analyse statistiques. Nous consacrerons l’essentiel du temps de communication à la présentation des résultats. Il apparaît, entre autres, que la modalité « question ouverte » est la modalité la mieux réussie. Ce résultat, à première vue surprenant, pourrait s’expliquer par le rôle d’attracteurs que jouent en fait certains distracteurs, en particuliers lorsqu’ils renvoient à des conceptions erronées … Les modalités retenues pour interroger, questionner les élèves afin d’obtenir des informations sur leurs connaissances, compétences, acquis, … font l’objet d’une littérature assez volumineuse. Il s’agit d’un sujet d’importance, généralement abordé dans des ouvrages de méthodologie (Grégoire & Laveault, 2002), dont certains consacrés exclusivement aux QCM (Leclerc, 1986), ainsi que dans des articles (Tourneur & Bouillon, 1977). Le plus souvent il s’agit dans ces textes de décrire et préconiser les bonnes manières de procéder et/ou de proposer des typologies de questions (Tourneur et Bouillon, pour les questions en mathématiques, par exemple). Bref, le cadre de réflexion est essentiellement méthodologique. Dans le cadre du réseau EVADIDA, il nous paraît important de porter un regard didactique sur les modalités des questions et sur leur impact sur les réponses et performances des élèves, comme l’avait l’une d’entre nous pour des épreuves consacrées à la notion d’indépendance en probabilité (X, 1985). D’autres travaux ont montré la pertinence de porter un tel regard sur les questions ou item (Bodin, 2003) et sur l’analyse des résultats et les échelles produites (Roditi & Salles, 2015). 161 L’intérêt porté aux modalités des questions peut se justifier par la nature des questions posées, que ce soit pour des évaluations externes (en particulier dans le cadre des évaluations-bilan axées sur des population, comme CEDRE et PISA) ou pour des évaluations en classe car les premières citées peuvent servir de modèle à suivre pour ces dernières. En nous intéressant aux modalités des questions et à leur impact sur les performances des élèves, nous poursuivons nos réflexions sur la dimension psycho-didactique de la validité didactique, notion que nous avons récemment « théorisée » (Y et Z, 2014). En effet, l’analyse des résultats de l’expérimentation passe par la prise en compte du processus de réponse de l’élève, afin de savoir si les exercices proposés évaluent véritablement ce qu’ils prétendent évaluer. Plus précisément, comment expliquer des différences de performances à des exercices qui, a priori, évaluent la exactement la même chose, avec pour seule différence la modalité selon laquelle la question est posée ? Pour répondre, nous présenterons une recherche menée dans le cadre d’un projet ANR en cours, consacré à l’évaluation en algèbre au collège. Cette recherche s’organise autour d’une expérimentation réalisée en juin 2015 auprès de 286 élèves inscrits dans 12 classes de 3e (fin de collège en France), situées majoritairement en ZEP (zone d’éducation prioritaire). Cette recherche expérimentale repose sur 4 exercices, repris de l’évaluation PEPITE (élaboré par Grugeon et son équipe) : addition de fractions, produit de puissances, calculer une racine carrée et développer et réduire une expression algébrique. Chaque exercice a été décliné selon quatre modalités : question ouverte, « vrai/faux », QCM et QCM avec choix de justifications (à chaque fois l’une d’elle reprend la modalité unique figurant dans PEPITE) . Dans les classes, chaque élève a reçu un questionnaire avec les 4 exercices, tous présentés selon la même modalité (par exemple, il existe un questionnaire exclusivement « QCM », un autre V/F, …). Les modalités de questionnaires ont été distribuées en quantité identique (à une unité près) et de manière aléatoire au sein chaque classe. Le choix des exercices, la construction des propositions de réponses et des justifications repose sur des analyses didactiques que nous présenterons brièvement lors de la communication. Les réponses des élèves sont actuellement en cours d’analyse. Actuellement, nous avons procédé à une première analyse qualitative des réponses et à seconde analyse statistiques (logiciel STATA). Nous consacrerons l’essentiel du temps de communication à la présentation des résultats. Il apparaît, entre autres, que la modalité « question ouverte » est la modalité la mieux réussie. Ce résultat, à première vue surprenant, pourrait s’expliquer par le rôle d’attracteurs que jouent en fait certains distracteurs, en particuliers lorsqu’ils renvoient à des conceptions erronées. Les réponses multiples sont également très nombreuses (plus de 25%, à l’exception de la modalité « question ouverte »). Celles-ci pourraient découler d’un phénomène évaluatif lié à une rupture de contrat. 162 EVALUER LES INTERACTIONS MAÎTRE-ÉLÈVES EN CLASSE À LA LUMIÈRE DES CONNAISSANCES PSYCHOPÉDAGOGIQUES DES ENSEIGNANTS DU PRIMAIRE (ID 72) LAFLOTE, LARA, Université Genève (CH) RÉSUMÉ Les compétences diagnostiques des enseignants sont capitales pour assurer un choix pédagogique favorisant la réussite des élèves (Helmke & Schrader, 1987 ; Hattie, 2009 ; Brunner, Anders, Hachfeld, & Krauss, 2011). Or, la recherche indique que des améliorations pourraient être entreprises en la matière (Südkamp, Kaiser, & Möller, 2012). Selon Brunner, Anders, Hachfeld, & Krauss (2011), l’utilisation et la justesse des diagnostiques sont déterminées par les connaissances psychopédagogiques générales des enseignants. Une recherche longitudinale allemande plus récente montre que ces connaissances psychopédagogiques ont, dans une certaine mesure, une influence sur la manière dont les enseignants de mathématiques débutants analysent, en laboratoire, des clips vidéo présentant des processus d’enseignement-apprentissage survenus en classe (König, Blömeke, Klein, Suhl, Busse, & Kaiser, 2014). En effet, d’après les résultats de cette recherche, les compétences de ces enseignants à percevoir et interpréter les situations en classe diffèrent. Les connaissances pédagogiques générales, évaluées par questionnaire en fin de formation, ne prédisent ni les compétences à percevoir ni à interpréter les processus d’enseignement-apprentissage. Toutefois, la compétence à interpréter corrèle avec le niveau des connaissances pédagogiques générales que les enseignants déclarent une fois en exercice. Ceci permet aux chercheurs de conclurent à la réorganisation des cognitions des enseignants durant la transition vers l’enseignement. Afin d’étudier ces influences en situation réelle de classe, cette contribution questionne la distribution des interactions enseignant-élèves à la lumière des connaissances psychopédagogiques des enseignants. Prenant comme point de départ le paradigme processus-produit tel que présenté par Crahay (2006) et Seidel & Shavelson (2007), nous avons, dans un premier temps, construit un outil de codage des interactions : le Système de Codage des Interactions Individualisées survenant en Classe (SCIIC). Cette grille comptabilise les formes que prennent les communications verbales entre les enseignants et leurs élèves en s’inspirant de plusieurs instruments de codage des interactions en classe (Bayer, 1972; Bellack, Hyman, Smith, & Kliebard, 1966; de Landsheere, 1969; Wright & Nuthall, 1970; Zahorik, 1968). Le SCIIC permet de relever toute interaction indifféremment de son producteur. Généralement, ces comportements sont verbaux et observables, sont influencés par les caractéristiques des enseignants et des éléments contextuels et, influencent les performances des élèves. Le SCIIC rassemble 17 composantes : les structurations, les sollicitations, les interventions – induites, spontanées, d’amélioration ou de dépassement ainsi que les pertes d’opportunités –, les feedbacks – positifs, négatifs, d’amélioration ou de développement et confus – la gestion des informations – donner cours ou donner des aides et indices –, les contrôles des méthodes de travail, de l’attention et, enfin, tous autre comportement hors cours. 163 Dans un deuxième temps, les diagnostics et connaissances psychopédagogiques générales sont considérés par l’intermédiaire d’un entretien semi-directif auprès de notre échantillon d’enseignants. Inspiré de Voss, Kunter, & Baumert (2011), c’est tout d’abord un scénario qui est proposé aux enseignants pour évaluer les connaissances des enseignants en matière de gestion des comportements perturbateurs. Après avoir répondu aux questions associées sur la gestion de la discipline, ce sont d’autres questions qui leur sont posées autour de la méthode d’enseignement, l’évaluation de la classe, les processus d’apprentissages ainsi que les caractéristiques individuelles des élèves (cf König et al., 2014). Grâce à la collaboration de huit enseignants du primaire du canton de Genève ayant accepté d’être filmés en classe, 16 leçons de découverte d’un nouveau contenu (deux par enseignant) soit en langue première (lecture-écriture en français) soit en mathématiques ont été encodées à l’aide du SCIIC. Parallèlement, les huit enseignants ont participé à un entretien d’évaluation de leurs connaissances psychopédagogiques générales qui a été transcrit et encodé selon les principes de König et al. (2014) et de Voss et al. (2011), à savoir via un comptage de l’argumentaire et une pondération des liaisons entre ses composantes. Les résultats ont été obtenus via le croisement d’analyses factorielles exploratoires, l’une sur les interactions en classe, et l’autre, sur les connaissances psychopédagogiques générales. Pour la première, l’AFE agrège les entrées du SCIIC en quatre facteurs : enseigner et interagir en vue de développer les compétences (40% de variance expliquée), soutien de l’attention et optimisation de l’apprentissage (25%), hors cours (15%) et, structurations et stimulations cognitives (8%). Concernant la deuxième, les propos des enseignants sont assemblés en trois facteurs composant les compétences psychopédagogiques générales : l’utilisation de stratégies d’enseignement (38% de variance expliquée), la garantie d’un climat d’apprentissage discipliné (23%) et la garantie de la participation (26%). L’analyse, par corrélations, de l’association entre ces éléments aboutit au constat que leurs liens sont timides voire inexistants. Il en va de même des associations avec les propos des enseignants en matière de gestion de l’hétérogénéité, les processus d’apprentissage et les caractéristiques individuelles des élèves. Nos conclusions ne corroborent pas celles de König et al. (2014) précédemment citées. Ces résultats sont issus d’une recherche exploratoire sur un échantillon de huit enseignants du primaire ayant entre 2 et 32 ans d’expériences (moyenne de 12 ans). Cette recherche mériterait donc d’être poursuivie avec un nombre de participants beaucoup plus grand d’enseignants du primaire mais aussi du secondaire afin de nous permettre de croiser les données et d’élargir nos perspectives de recherche. Les outils utilisés sont ensuite à questionner. Malgré un maximum d’entraînement, de définition et d’affinement, le Système de Codage des Interactions Individualisées survenant en Classe ne permet ni recensement complet ni objectivité absolue des comportements en classe. Certains comportements enseignants tels que le contrôle des méthodes de travail ainsi que l’apport d’aide et d’indices ont pu parfois être identifiés comme des comportements forts proches. A noter aussi que cette grille ne permet pas de recenser précisément les comportements non-verbaux en classe et tout particulièrement ceux des élèves qui sont filmés de dos. Aussi, des entretiens de rappels stimulés avec les enseignants peuvent nous permettre de clarifier certaines de leurs attitudes en classes. Concernant les connaissances psychopédagogiques générales les qualités psychométriques des outils utilisés questionnent car elles sont à la limite de l’acceptable. Au-delà du comptage des arguments, comme proposé dans les recherches précitées, il pourrait être intéressant 164 de pondérer ces arguments énoncés par les enseignants durant l’entretien tout en faisant références aux études métanalytiques dans ce domaine. 165 ÉLABORATION ET ÉVALUATION DES RAPPORTS À VISÉE DIAGNOSTIQUE DES RÉSULTATS DU TEST PIRLS 2011 (ID 74) DUONG THI, Dan Thanh, Université de Montréal (CA) LOYE, Nathalie, Université de Montréal (CA) RÉSUMÉ L’importance des évaluations à grande échelle dans l’enseignement et l’apprentissage a considérablement augmenté ces dernières années. Avec la demande croissante de ce type d’évaluation, il y a une forte pression pour rendre ces évaluations plus informatives avec le diagnostic sur les points forts et les faiblesses cognitives des élèves (Chiu et al., 2009; Leighton et Gierl, 2007). Toutefois, la plupart des épreuves à grande échelle rapportent seulement les scores globaux pour témoigner des performances des élèves. Ainsi, les résultats obtenus ne nous renseignent pas sur les informations spécifiques liées aux forces et faiblesses des élèves leur permettant d’évaluer et d’améliorer leurs habiletés cognitives et ne guident pas les enseignants dans la conception des interventions pédagogiques appropriées (Cui et al., 2012). C'est le cas du test PIRLS 2011, alors qu'il a été conçu avec deux objectifs et quatre processus de compréhension en lecture et a donc un potentiel de fournir des informations diagnostiques plus détaillées sur les forces et les faiblesses des élèves autres que les scores totaux du test. Par ailleurs, les recherches empiriques en évaluation diagnostique cognitive nous suggèrent qu’il est possible de décomposer la compétence en lecture en un ensemble de connaissances et d’habiletés possibles à diagnostiquer grâce à des modélisations psychométriques (Jang, 2005; Leighton et Gierl, 2007). Ainsi, des épreuves standardisées à grande échelle peuvent désormais permettre des rétroactions diagnostiques utiles sur les points forts et les faiblesses des apprenants, ce qui peut exercer des influences positives sur l’enseignement et l’apprentissage (Gierl et al., 2008; Hartz, 2002; Jang, 2005; Templin et Henson, 2006). Avec les contributions cruciales des évaluations à grande échelle dans l’enseignement et l’apprentissage au primaire, une grande attention a été accordée à concevoir des évaluations qui peuvent répondre aux besoins du public ainsi que du monde professionnel. Toutefois, l’attention est moins accordée à l’organisation et la communication des résultats (Goodman et Hambleton, 2004). Les soucis concernant la communication et l’interprétation des résultats ont augmenté dans les dernières années, car on peut constater des confusions de la part des responsables, des éducateurs et du public dans la compréhension et dans l’interprétation des certains résultats des évaluations à grand échelle faute des connaissances statistiques suffisantes (Hambleton et al., 2002; Jaeger, 1998; Vezzu et al., 2012). De plus, même si ces rapports sont très importants pour les enseignants, les parents et les élèves, ceux-ci jouent encore un rôle très passif dans le processus de l’élaboration et de l’évaluation de ces rapports (Vezzu et al., 2012). D'ailleurs, dans les rapports élaborés à visée diagnostique, les informations présentées, y compris la description des habiletés et des concepts de l’apprentissage, sont fondamentalement différentes de celles qui figurent normalement dans les rapports issus des tests à grande échelle tels que les scores totaux ou des rangs percentiles. Les concepteurs doivent donc déterminer et présenter de 166 nouveaux types d’informations provenant de ces tests diagnostiques. En bref, le défi des rapports diagnostiques réside dans l’intégration des informations substantives et techniques correspondant aux besoins du public visé et des informations sophistiquées provenant des modélisations de l’approche diagnostique cognitive (Roberts et Gierl, 2010). Ainsi, afin de répondre à cette grande demande de recevoir des informations diagnostiques et de combler le manque de rapports diagnostiques destinés aux enseignants lors de la communication des résultats des tests à grande échelle, notre recherche vise, dans un premier temps, à modéliser les données du test PIRLS 2011 auprès de 4762 élèves en 4ème année au Canada pour des visées diagnostiques afin d’établir la capacité diagnostique de ces épreuves et de fournir des profils détaillés sur les niveaux de compétences des candidats. Dans un deuxième temps, notre recherche consiste à élaborer et évaluer des rapports diagnostiques à partir des résultats obtenus grâce aux modélisations avec un cadre de référence guidant l’interprétation des résultats. Dans le cadre de cette présentation, nous prêterons plus d'attention au deuxième objectif de la recherche, soit l'élaboration et l'évaluation des rapports diagnostiques du test PIRLS 2011. Plus précisément, nous présenterons, premièrement, les cadres de références d'élaboration et d'évaluation des rapports organisés en quatre étapes principales. Deuxièmement, nous expliciterons l'étape du développement des rapports avec les quatre critères principaux d'un rapport efficace, à savoir: l'accessibilité, la lisibilité, l'utilité et la validité. Troisièmement, nous ferons un état des lieux des recherches en évaluation des rapports avec un accent sur la méthode utilisée, les instruments d'évaluation et leurs dimensions ainsi que les résultats obtenus. Finalement, nous proposerons quelques exemples des rapports diagnostiques que nous avons élaborés à partir des résultats des modélisations du test PIRLS 2011 et l'instrument conçu pour évaluer ces rapports diagnostiques. En somme, notre recherche permettra d'établir le pont entre les résultats issus du test PIRLS 2011 et l'évaluation diagnostique cognitive en lecture grâce à des rapports diagnostiques compréhensibles et interprétables destinés aux enseignants et contribuera donc à améliorer l'enseignement et l'apprentissage de la lecture au primaire. 167 L'ÉVALUATION CLINIQUE OBJECTIVE STRUCTURÉE EN ORTHOPHONIE (ID 75) BABIN, Marie-Julie, Université Laval (CA) CROTEAU, Marianne, Université Laval (CA) MONETTA, Laura, Université Laval (CA) RÉSUMÉ L’équipe du programme de maitrise en orthophonie de l’Université Laval est investie depuis plusieurs années dans le développement d’un curriculum novateur visant à la fois le développement de connaissances et celui des compétences. Les cours du programme se regroupent principalement sous trois axes soit l’axe parole-audition, l’axe enfant et l’axe adultes (Figure 1). Un quatrième axe regroupe les contenus relatifs aux compétences transversales à ces trois axes. Le tout est complété par les stages qui permettent le transfert à la pratique clinique des connaissances et compétences développées dans l’ensemble du programme. Figure 1. Maquette des cours du programme de maîtrise en orthophonie ( tiré du référentiel de développement des compétence du programme de maîtrise en orthophonie de l’Université Laval, 4e édition 2015) En 2012, un premier référentiel de compétences a été créé visant le développement de cinq compétences. Ce référentiel précise les diverses compétences à développer par les étudiants en orthophonie, session par session, tout au long de leur formation de maîtrise. Celui-ci s’appuie sur le profil attendu à l’entrée dans la profession tel que défini par le comité de validation canadien formé d’une représentante du Conseil d’agrément des programmes universitaires canadiens, d’une représentante de l’Association canadienne des orthophonistes et audiologistes et de quatre représentants des ordres professionnels provinciaux (Alberta, Nouveau-Brunswick, Ontario, Québec). Ce référentiel est un outil de travail évolutif qui continuera d’être modulé en fonction du développement du programme et des exigences professionnelles. Le programme de maîtrise en orthophonie vise aujourd’hui le développement d’un ensemble de sept compétences interdépendantes et interreliées (Figure 2). La collaboration, la communication, l’érudition, la promotion de la santé et la gestion interagissent avec la compétence centrale que constitue l’expertise clinique. Le professionnalisme constitue le fondement de ces compétences. Le terme « compétence » réfère à un savoir-agir complexe prenant appui sur la mobilisation et la combinaison efficaces d’une variété de ressources internes et externes à l’intérieur d’une famille de situations cliniques typiques du travail en orthophonie (Scallon, 2006 ; Tardif, 2006). Ces compétences s’acquièrent progressivement en cours de formation et leur développement se poursuivra tout au long de la vie professionnelle. 168 DIFFICULTÉS D’APPRENTISSAGES DES CONCEPTS DE BASE DE LA THERMODYNAMIQUE CHIMIQUE EN RAPPORT AVEC LES PRATIQUES D’ÉVALUATION (ID 77) TAMANI, Soumia, Université Hassan II de Casablanca (MA) RADID, Mohamed, Université Hassan II de Casablanca (MA) RÉSUMÉ Plusieurs publications ont discuté la question des difficultés de maîtrise des concepts de la thermochimie par les étudiants à l’Université dans le but de visualiser ces problèmes et proposer des pistes pour les dépasser (Sozbilir et al (2006, 2007, 2010; Cakmakci et al, 2006). D’autres travaux de recherche ont montré le rôle de l’évaluation dans l’apprentissage comme étant un processus qui aide à l’apprentissage et qui oriente l’apprentissage (Romainville 2000 Jouquan 2002, Charlin et al 2003, Richard 2004). Cependant, les pratiques de l’évaluation des apprentissages ne sont pas prises en considération comme étant une cause de ce problème. En partant du constat de l'existence de telles difficultés, nous avons émis l’hypothèse que les pratiques d’évaluation sont parmi les causes de difficultés rencontrées par les étudiants lors de l’enseignement-apprentissage des concepts de la thermochimie. Pour ce faire, nous avons effectué un entretien avec la majorité des enseignants de thermochimie de la première année universitaire filière Sciences de la Matière Chimie de la faculté des sciences Ben M’sik Université Hassan II Casablanca (11enseignants). Un autre questionnaire a été destiné à leurs étudiants (20%). Le traitement et l’analyse des résultats enregistrés a été effectué à l’aide du logiciel statistique SPSS 20. L’analyse des réponses des enseignants et des étudiants a montré que les pratiques de l’évaluation des apprentissages du cours de la thermodynamique chimique seraient parmi les facteurs essentiels qui influencent la bonne maitrise des concepts liés à ce cours par les étudiants à l’Université. Ainsi nous avons pu dégagé les constatations suivantes : - Les objectifs du cours de la thermodynamique chimiques ne sont pas bien définis et surtout pas bien formalisés dans le descriptif de filière, ce qui met en cause les objectifs que les enseignants évaluent ainsi la validité de l’évaluation. - Les outils utilisés pour l’évaluation des apprentissages du cours de la thermodynamique chimique ne sont pas diversifiés, on observe la prédominance des exercices. - Les enseignants ne partagent pas toujours la même vision lors de la réalisation des contrôles. - La couverture du cours n’est pas convenable en absence d’un cadre de référence qui définit la pondération de chaque partie de cours enseignée. - L’évaluation des sujets de contrôles et des examens est faible; et même si évaluation y est ; elle n’est pas efficace vu l’absence d’une base pour se comparer. - La notation des épreuves est souvent subjective (d’après les étudiants). - Une dissemblance entre les réponses des étudiants et des enseignants ce qui est tout à fait normal en absence d’un référentiel des contrôles et des examens. 169 - Le nombre moyen de contrôles réalisés par semestre est un seul contrôle, ce qui n’est pas conforme avec ce qui est prescrit dans le descriptif de filière alors que pour la bonne moitié des étudiants, un seul contrôle par semestre ne leur suffit pas du tout. - on valorise l’existence d’une grille critériée pour la correction des contrôles et des examens, l’archivage des épreuves de la thermochimie avec un corrigé rédigé par les enseignants, aussi on tient à l’autoformation de certains enseignants en pédagogie universitaire et techniques d’évaluation. Mais on reproche le déséquilibre entre les effectifs d’étudiants et ceux d’enseignants soit dans les séances du cours et des TD ou dans les examens et les contrôles, la non formation de ces enseignants en pédagogie et en docimologie et l’insuffisance d’infrastructures pédagogiques de qualité ce qui défavorise l’application de l’évaluation formative, orientée essentiellement sur les compétences individuelles des apprenants. - Les enseignants notent les erreurs des étudiants en TD mieux pendant le cours ce qui est tout à fait normal vu l’effectif élevé présent au cours, mais cela reste insuffisant après les contrôles et les examens également, les enseignants ne donnent pas d’importance aux erreurs soulevées des copies des épreuves des étudiants, connaissant leur intervention soit par des actions correctives ou préventives restent insuffisantes en TD, faible dans le cours, trop faible après chaque contrôle et presque absente après chaque examen ainsi, la deuxième session dite de rattrapage se limitant à une simple reprise de l’examen, de plus ces interventions restent inefficaces en présence d’une modeste analyse de ces erreurs, en conséquence les étudiants ne reçoivent pas une information en retour, un avis, des conseils, ce qui fait perdre la valeur des contrôles continus et met en question la nécessité de mettre en place un système d’évaluation formative. - Les enseignants ne donnent pas d’importance à l’analyse, la synthèse, l’interprétation des notes des étudiants et l’évaluation des sujets des épreuves, cette tâche se fait souvent par les responsables de module et celui de la filière ainsi, il nous a apparu que l’évaluation se fait principalement à des fins administratives plutôt qu’à des fins pédagogiques. - Les pratiques d’évaluation du cours de la thermodynamique chimique ne semblent pas en mesure de faire acquérir aux étudiants certaines compétences qui sont pourtant au cœur même des finalités de l’enseignement universitaire, comme l’autonomie, l’esprit d’initiative, la responsabilité et l’esprit critique. - Les étudiants ne participent pas dans le processus d’évaluation. Références Cakmakci, G., Leach, J. & Donnelly, J. (2006). Students’ ideas about reaction rate and its relationship with concentration or pressure. International Journal of Science Education, 28(15), 1795-1815. Romainville M. (2000). L’échec dans l’Université de masse. Paris : l’Harmattan. Jouquan, J. (2002). Evaluation des apprentissages des étudiants en formation médicale initiale. Pédagogie Médicale, 3, pp. 38-52. Charlin, B., Bordage G., et Van der Vleuten C., (2003). L’évaluation du raisonnement clinique. Pédagogie Médicale, 2003, 4, pp. 42-45. Richard, J-F. (2004). L’intégration de l’évaluation dans le processus enseignement-apprentissage. 170 Sozbilir, M. & Bennett, J.M. (2006). Turkish prospective chemistry teachers’ misunderstandings of enthalpy and spontaneity. Chemical Educator, 11(5), pp. 355-363. Sozbilir, M. & Bennett, J.M. (2007). A study of Turkish chemistry undergraduates’ understanding of entropy. Journal of Chemical Education, 84(7), pp. 1204-1208. Sozbilir, M., Pinarbasi T. et Canpolat N. (2010). Prospective chemistry teachers’ conceptions of chemical thermodynamics and kinetics, Eur. J. Math. Sci. Technol. Educ., 6(2), pp.111–120. 171 EVALUATION SCOLAIRE AU SECONDAIRE : QUELS PROBLÈMES POUR QUELLES SOLUTIONS? (ID 80) RADID, Mohamed, Université Hassan II de Casablanca (MA) TAMANI, Soumia, Université Hassan II de Casablanca (MA) RICHI, Siham, Université Hassan II de Casablanca (MA) RÉSUMÉ Contexte général Il est indubitablement admis aujourd’hui que l’évaluation scolaire est au centre des débats non seulement des pédagogues mais aussi des politiciens et parents des élèves. A ce sujet les études secondaires au Maroc se caractérisent par un système d’évaluation assez cadré par le ministère de tutelle. En effet, l’enseignant est sensé d’exécuter les consignes du ministère et d’adapter leurs dispositifs afin d’optimiser l’apprentissage de ses élèves. Cet enseignant devrait lui-même évaluer ses élèves durant 3 ans. Cette évaluation, connue communément sous le nom des contrôles continus, représente 100 % de la note lors des deux premières années et 25 % lors de l’année d’obtention du Baccalauréat. En plus de cette évaluation formative (Contrôles continus), il y a deux évaluations sommatives (Examens de fin d’année) qui représentent 75 % de la note du baccalauréat. Par ailleurs, la communication des résultats d’une évaluation est souvent problématique : elle peut générer des incompréhensions de la part des élèves et des parents d’élèves qui ne communiquent pas forcément de façon explicite leurs sentiments d’injustice perçue (Butera, Darnon et al., 2006 ; Lentillon, 2008). Notons également l’absence de l’utilisation de l’informatique (document « Excel », plate-forme d’enseignement à distance, CDROM) qui peuvent être intéressante et utile dans la mesure où l’élève peut s’auto-évaluer par le « jeu » de questions-réponses et ainsi de garder à domicile une référence relative à la matière enseignée. Ainsi, l’objectif de cette contribution est de vérifier si l’évaluation de l’apprentissage des élèves au cours du secondaire se fait de façon la plus judicieuse possible : les enseignants disposent-ils des outils nécessaires aidant à réaliser une évaluation qui soit la plus objective possible et ce à différents niveaux des apprentissages : les savoirs (connaissances acquises), les savoir-faire (convergent et divergent), les savoir-être et les savoir-devenir. Les contrôles continus préparent-ils au mieux l’étudiant à affronter l’examen ? Les élèves croient réellement aux notes obtenues lors des contrôles continus et affrontent ils les examens de fin d’année avec confiance en soi ? Les nouvelles Technologies de l’Information et de la Communication (outils TICs) peuvent-elles jouer un rôle dans l’évaluation ? Finalement, comment mener à bien la métacognition chez l’enseignant tout au long de son parcours professionnel ? 172 Problématique L’importance des études secondaires pour la carrière des élèves est indéniable. Les notes obtenues lors du baccalauréat sont déterminantes pour les études supérieures au Maroc. Les pratiques des enseignants sont encadrées par des recommandations officielles et l’espace de leur décision reste restreint et soumis à la complexité de la situation d’enseignement. Même si les circulaires ministérielles visent la standardisation des pratiques en matière de l’évaluation, un grand écart entre les notes des contrôles continus et les notes des évaluations sommatives est observé. De plus, les élèves et parents d’élèves s’orientent de plus en plus vers les écoles privées afin de booster les notes de contrôles continus. Telle est la problématique que traite notre sujet de recherche. Méthodologie et chronologie de Recherche Afin d’apporter des éléments de réponse à l’ensemble de questions préalablement formulées, nous avons tout d’abord collecté des données relatives aux contrôles continus et examen national au niveau de 600 établissements pour la période allant de 2012 à 2014. Ces établissements sont aussi bien étatiques que privés. Les matières qui ont été sujette à cette comparaison sont : les mathématiques, sciences naturelles, sciences physiques et la philosophie. En effet, il s’agit surtout de savoir, d’une part, s’il y a réellement un écart entre les notes de l’évaluation sommative et l’évaluation formative, et d’autre part, de comparer ces éventuels écarts entre les écoles privés et les écoles publiques. Par la suite, nous avons entrepris une enquête terrain auprès des professeurs, des inspecteurs, des élèves et des parents d’élèves. Notre objectif était de savoir, entre autres, si l’évaluation est perçue de la même façon chez ces différents acteurs. Résultats Enfin, notre évaluation s’est arrimée au modèle de Stufflebeam, qui prône la mesure de l’écart entre l’état désiré et l’état observé. Ainsi, les objets évalués incluent les recueils de politiques éducatives et les programmes d’études en mathématiques, sciences naturelles, sciences physiques et philosophie. Nos données de recensement révèlent des écarts significatifs entre les notes des évaluations formatives (Contrôles continus) et celles des évaluations sommatives aussi bien pour les établissements publiques que pour les établissements privés. De plus ces écarts sont beaucoup plus prononcés chez les établissements privés et peuvent aller jusqu’à 80 %. Ainsi, nous pouvons constater que l’enjeu de la note prime par rapport à l’évaluation réelle de l’élève. La comparaison des modèles des contrôles continus et ceux des examens nationaux ou régionaux, explique en partie cet écart. En effet, nous avons constaté que les niveaux de difficultés ne sont pas souvent respectés pour les contrôles continus contrairement aux examens finaux. Ajoutons à cela la nature des évaluations elle-même qui demande deux façons de préparation complètement différentes et les étudiants ne sont pas souvent armés. Enfin, nous concluons en identifiant certaines lacunes du dispositif de même que certaines forces. 173 QUELLE ÉVALUATION DE LA POLITIQUE DE LUTTE CONTRE LE DÉCROCHAGE EN FRANCE ET AU QUÉBEC ? LE CAS DES « ALLIANCES ÉDUCATIVES » (ID 84) MINASSIAN, Laure, Laboratoire CIRCEFT-ESCOL, Paris 8 (FR) DUMOULIN, Catherine, Université Québec, Canada (CA) RÉSUMÉ La notion d’alliance éducative constitue un axe fort des politiques publiques récentes en matière de lutte face aux inégalités socio-scolaires. Préconisée dans un rapport d’Inspection de l’Éducation Nationale (« Promouvoir (…) les démarches d’alliances éducatives pour faire travailler ensemble les différents professionnels de l’éducation nationale, des collectivités locales et des associations dans le cadre du projet éducatif territorial », Armand, Bisson-Vaivre et Lhermet, 2013, p. 75), cette notion a fait l'objet de l’axe 2 du plan de lutte national « Tous mobilisés pour vaincre le décrochage » , présenté le 26 novembre dernier en conseil des ministres. Pensées comme une mise en relation d’acteurs issus de domaines différents, les alliances éducatives peuvent mobiliser le secteur associatif pour agir auprès des élèves considérés en grandes difficultés. C’est du moins la forme privilégiée des alliances mises en place par la Région Basse-Normandie et qui feront l’objet de la communication proposée. Quels sont les effets de ces politiques dans les établissements observés ? Plus précisément, en quoi les horizons d’attente réciproques d’acteurs (engagés associatifs, personnels d’éducation, chefs d’établissement) viennent heurter le dispositif prévu ? Quelles en sont les conséquences du point de vue des apprentissages des élèves et des intervenants associatifs ? Le propos s’appuiera sur trois observations en lycées professionnels de Basse-Normandie ciblés pour leur taux important de décrocheurs (entre 15 et 25% selon les établissements). Une comparaison avec des dispositifs similaires au Québec est en cours. Une attention particulière a été portée sur le sens engagé par les acteurs là où il se constitue, c’est-à-dire dans l’action (Hughes, 1957). C’est pourquoi, le cadre théorique choisi emprunte aux apports relatifs à la notion de contexte, notamment ceux développés par l'école de Chicago. D’autres travaux ont aussi montré combien cette notion est floue et de taille variable, arbitrairement délimitée selon l’objet recherché (Jouhaud, 1994; Lahire, 1996). Varier les échelles d’observations permet de saisir plusieurs dimensions et saisir différents espaces de possibles et de contraintes (Becker, 2002), et donc d’adaptation, d’ajustements multiples, d’apprentissages favorisés par les situations (Blumer, 1948, 1956). Les données recueillies permettent de croiser des démarches quantitatives (statistiques de la Base Centrale de Pilotage et du rectorat), qualitatives (vingt entretiens longs d’élèves, chefs d’établissements, personnels d’éducation, intervenants associatifs) et ethnographiques (vingt heures observations). Sur le plan méthodologique, quatre axes d’analyse sont retenus : 1/ l’axe territorial par le biais de la construction de cartographies de l’aire de recrutement des lycées sur la base de « L’atlas des risques sociaux d’échec scolaire » (Boudesseul et al., 2014). Cet Atlas caractérise à l'échelle du 174 canton des spécificités locales (entre autres la part des non-diplômés, le taux de chômage, le type d'habitat, etc.). Ces éléments fins, associés par exemple au type de classe de troisième suivie au collège (générale ou professionnelle par exemple), au taux d'obtention du Diplôme National du Brevet pour les entrants dans ces lycées professionnels permet de rendre visible d'imperceptibles différences et de mettre au jour une hiérarchie entre ces établissements, mais aussi entre des établissements québécois. 2/ En outre, la comparaison de ces lycées sur la base d'indicateurs de la DEPP donne à voir des écarts notamment à travers la capacité à conserver les élèves d’une année sur l’autre. 3/ Par ailleurs, la présentation de soi que véhicule l'établissement par le biais de contenus, valeurs et images véhiculés - dont on se demandera s’ils ne construisent pas de véritables littératies numériques - permet de montrer des écarts entre les élèves accueillis et les élèves attendus. 4/ Enfin sur l’axe des relations entre acteurs de l’établissement – volontaires associatifs, personnels d’éducation, chefs d’établissement - des tendances apparaissent privilégiant auprès des élèves certains pré-requis d’apprentissages au détriment d’autres possibles. Un des résultats de l’enquête est que les modes d’intervention des acteurs associatifs cultivent des postures inégalement réceptives aux apprentissages des élèves dans l’école, et peuvent parfois les éloigner d’une culture informelle citoyenne scolaire, alors même qu’il s’agit d’une des visées de leur action. Cependant ce résultat est à nuancer par un second résultat : acteurs et contextes sont poreux et s’ajustent l’un à l’autre. Dans cette seconde perspective, les alliances éducatives peuvent entrer en tension avec des projets d’établissement plus différenciateurs qu’homogénéisateurs. Cet élément est d’importance puisque, contrairement aux lycées généraux, les lycées professionnels sont relativement indépendants de la carte scolaire. La manière de capter une « clientèle » à travers les sites web est cohérente avec la volonté de recruter les meilleurs élèves sur un segment du marché scolaire. Cette concurrence explique la nécessité d’afficher un certain prestige pour atteindre une place symboliquement plus privilégiée ou moins stigmatisée. Autrement dit, les alliances éducatives peuvent aller à l’encontre de cette tendance à la différenciation. Dans d’autres cas, les intervenants associatifs sont confrontés à des demandes très hétérogènes. Cette pluralité de fronts se traduit par une diversité des tâches : soutien, accueil, animation, surveillance, accompagnement. Leur message, sinon leur mission, tendent alors à se brouiller. Ils apprennent à palier les « besoins » délégués, parfois dans l’instant, ou l’urgence selon leurs interlocuteurs. Sans aller jusqu’à énoncer qu’ils subissent la délégation du « sale boulot » au sens qui lui a été parfois donné à propos des conseillers d’éducation (Payet, 1997, citant Hughes, 1971), ils peuvent faire figure d’instance de repli quand les personnels de l’établissement estiment ne plus savoir quoi faire et se trouver à leur tour démunis. La pérennité de ces alliances est alors confrontée à un dilemme : pour durer les intervenants doivent se professionnaliser dans les apprentissages en concordance avec cette professionnalisation, alors que leurs interlocuteurs concrets tendent à les refouler dans une gestion au jour le jour. Références Armand, A. ; Bisson-Vaivre, C. ; Lhermet, P. (2013), «Agir contre le décrochage scolaire : alliance éducative et approche pédagogique repensée », Rapport de l’inspection Générale de juin 2013. 175 Bardi A.-M. (2013), « Les alliances éducatives pour lutter contre le décrochage scolaire, Jean-Luc Gilles, Pierre Potvin, Chantal Tièche Christinat », Revue internationale d’éducation de Sèvres, 62, 25 27. Blumer, H.G. (1956), ‘Sociological analysis and the “variable”’, American Sociological Review, 21(6) 683- 690. Blumer, H. (1948), Public Opinion and Public Opinion Polling, American Sociological Review, 13(5) 542-549. Boudesseul, G. ; Caro, P. ; Grelet, Y. ; Vivent, C. (2014), Atlas académique des risques sociaux d'échec scolaire : l'exemple du décrochage, Centre associé Céreq pour la Basse-Normandie - ESO Caen, Coédition Céreq/DEPP (MEN), juin 2014. Hughes, E. (1957), « Going Concerns : the study of American Institutions » communication à l’American Sociological Association, in Le regard Sociologique, Essais choisis, Recueil de textes traduits et présentés par Chapoulie, J-M (1997). Jouhaud, C. (1994), Présentation, Annales Histoire, Sciences Sociales, 2. Lahire, B. (1996), La variation des contextes dans les sciences sociales. Remarques épistémologiques, Annales. Histoire, Sciences Sociales, 2, 381-407. Payet J.-P., 1997, Le « sale boulot » division morale du travail dans un collège en banlieue, Les Annales de la Recherche Urbaine, 75, L’école dans la ville, 9 31. 176 LE CONTRAT D’ÉVALUATION EN DIDACTIQUE DES LANGUES : UNE ANALYSE MULTIMODALE DE L’ÉVALUATION ORALE EN CONTEXTE UNIVERSITAIRE (ID 85) XU, Yiru, Université Lumière Lyon 2, laboratoire ICAR (FR) LEE, Hsin-i, Université Lumière Lyon 2, laboratoire ICAR (FR) RÉSUMÉ L’évaluation comme toutes les activités sociales se déroule selon certaines règles d’organisation globale d’une société. Kraft et Dausendschön-Gay (1994 : 144) emploient « le terme de contrat pour décrire les mécanismes de l’organisation globale des interactions sociales ». Il s’agit non seulement du droit et du devoir, mais aussi de l'ensemble de conventions sociales. C’est l’ensemble des savoirs, des représentations et des attentes sur l’adéquation des comportements interactionnels dans un groupe culturel (Cambra, 2003). Comme dans une classe de langue, il existe un ensemble de règles qui régissent les comportements pédagogiques, que les chercheurs appellent contrat d'apprentissage ou contrat pédagogique. Chaque participant de la classe est censé adopter une conduite correspondant aux attentes de l'institution. Le rôle de l'enseignant consiste à transmettre les savoirs, savoir-faire tandis que celui de l'élève est d'apprendre et de montrer les acquisitions qui correspondent aux exigences de l'enseignant. De même, un autre type de contrat se situe davantage dans l’accomplissement local et négocié des actions, c’est le contrat didactique (De Pietro, Matthey, Py, 1989) selon lequel l’enseignant met en place des dispositifs pour faciliter la transmission et l’élève compte sur l’aide de l’expert pour réaliser l’apprentissage. En communication exolingue, ce contrat se présente sous une forme dans laquelle le natif prend la responsabilité d’étayer l’alloglotte dans la réalisation de l’objectif d’apprentissage et ce dernier peut poser des questions, solliciter de l’aide et demander des clarifications sans se soucier la face. Quant à l’évaluation de l’oral en langue étrangère, elle est à la fois une situation de communication exolingue entre l’évaluateur - en général locuteur natif - et le candidat – qui apprend cette langue - et une situation conditionnée par les règles institutionnelles. Il existe également une sorte de « contrat » qui règle l’organisation globale et locale de l’activité. Elle se révèle une situation dominée par l’évaluateur qui possède un pouvoir similaire à celui d’un enseignant de classe : il prépare les activités d’évaluation, évalue la réalisation de ses activités et à la fin donne ses appréciations. Quant au candidat, il doit se glisser dans les attentes institutionnelles et montrer ses compétences à travers une performance tout en respectant les consignes d’évaluation. Or, dans la pratique, la réalisation du contrat n’est pourtant pas systématique. Dans notre recherche, nous adoptons une approche ethnographique afin d’observer des situations d’évaluation en détail. Nous avons recueilli un corpus d’enregistrement vidéo authentique de l’évaluation de l’oral auprès d’un établissement d’enseignement supérieur en France. Le public consiste en un groupe d’étudiants internationaux qui viennent en France poursuivre les études françaises afin de continuer leurs études. Nous avons suivi ce groupe du niveau A2 (selon le Cadre européen commun de référence pour les langues) pendant un semestre et enregistré toutes les situations d’évaluation de l’oral : monologues suivis entre le candidat et l’évaluateur, jeu de rôle entre les candidats sans 177 présence du public, jeu de rôle entre les candidats avec présence du public et jeu de rôle entre le candidat et l’évaluateur. Avec une transcription multimodale et des analyses interactionnelles, nous décortiquons l’évaluation en plusieurs étapes. Tout d’abord, entrer en situation et établir le premier contact entre le(s) candidat(s) et l’évaluateur. C’est une étape préalable. Ensuite, l’évaluation commence par l’établissement des règles, prédéterminées par l’évaluateur ou l’institution. L’évaluateur annonce les consignes concernant les thèmes, sujets, modalités, passation et règlement de la tâche d’évaluation. Du côté du candidat, une bonne compréhension des consignes est la condition préalable d’une bonne performance, des discussions « hors sujet » influenceront forcément le résultat final. Pendant la passation, différents types de tâches supposent des stratégies variées à la fois pour l’évaluateur et le candidat. Le jeu de rôle entre les candidats sans présence du public se révèle une situation plus ou moins « artificielle », les candidats jouent leur rôle avec un scénario « préparé », ce qui pose un problème pour évaluer la spontanéité de l’interaction des candidats. Alors que dans la situation du jeu de rôle entre les candidats avec présence du public, on trouve plus de traces de l’interaction spontanée et du « jeu » dans la conversation. Néanmoins, comment distinguer la performance de chaque candidat qui joue dans le même groupe, voilà le problème posé dans cette situation. La dernière situation de jeu de rôle entre le candidat et l’évaluateur représente une tâche plus « authentique » non seulement par ses caractéristiques spontanées, mais aussi autour des situations que les candidats ont déjà rencontrées dans leur vie quotidienne. En revanche, dans cette situation l’évaluateur doit gérer à la fois le rôle de l’interlocuteur, de l’évaluateur et parfois de l’enseignant. A la fin du jeu, l’évaluateur doit donner une note ou une appréciation qui apporte une valeur sociale au candidat, et finaliser cette activité de l’évaluation. Ainsi, ce mécanisme peut se résumer un trois étapes : établir et respecter les consignes, montrer et évaluer les compétences ainsi qu’attribuer et recevoir une appréciation. C’est ce que nous appelons le « contrat d’évaluation », qui règle l’organisation globale et locale sur les interactions entre les participants, la coordination de leurs actions afin de réaliser un but commun ainsi que l’objet et les modalités de l’interaction en évaluation. Références Cambra Giné, M. (2003). Une approche ethnographique de la classe de langue. Paris : Didier. De Pietro, J. F., Matthey, M., et Py, B. (1989). Acquisition et contrat didactique : les séquences potentiellement acquisitionnelles de la conversation exolingue. In D. Weil, H. Fugier (dir.), Actes du 3ème colloque international de linguistique, Strasbourg : Université L. Pasteur, 99-124. Kraft, U. et Dausendschön-Gay, U. (1994). Analyse conversationnelle et recherche sur l’acquisition. Bulletin VALS-ASLA, n°59, 127-158. Coste, D. et Moore, D. (éd) (1992). Autour de l’évaluation de l’oral, Bulletin CILA. vol.55. 178 MESURE DE L’ANXIÉTÉ SCOLAIRE ET PERFORMANCES : VALIDATION D’UNE ÉCHELLE ET EXPÉRIMENTATIONS EN CONTEXTE DE CLASSE (ID 86) POUILLE, Jeremy, Univ. Grenoble Alpes, L.S.E, (FR) BRESSOUX, Pascal, Univ. Grenoble Alpes, L.S.E, (FR) RÉSUMÉ Ancrage contextuel et théorique L’école, espace de transmission de connaissances, de savoir-faire, plus largement cadre incontournable de socialisation de la jeunesse est, par là même, un objet privilégié des angoisses des élèves et de leurs parents, eu égard aux enjeux considérables de la réussite académique. Dans le contexte actuel de rareté de l’emploi et d’individualisme compétitif, s’y est, en effet, développé une forme de « culture anxieuse du résultat » (Baudelot & Establet, 2009) vécue et véhiculée par tous les acteurs du système (Pouille & Hascoët, 2015). Pour autant, ce constat est, en France, très peu étayé empiriquement, la faute en particulier à l’absence d’instruments de mesure fiables. Tout juste disposons nous des données PISA (2012), pour les mathématiques, qui indiquent que les élèves français comptent parmi les plus anxieux de tous les pays de l’OCDE, les filles légèrement plus que les garçons d’ailleurs. Cette carence d’instruments et de données relatives au phénomène est d’autant plus préoccupante qu’il est avéré, à l’échelle internationale, que l’anxiété exerce un effet important sur les performances des élèves (Ashcraft & Moore, 2009 ; Hembree, 1988, 1990 ; Pekrun & Stephens, 2015). Si l’on considère, par ailleurs, l’ampleur des difficultés scolaires auxquelles ils sont confrontés (PISA, 2009, 2012 ; PIRLS, 2011), la question de la mesure du phénomène apparait impérieuse. Dans la littérature, deux types d’anxiété académique émergent clairement. Le premier relatif à certains contextes, évaluatifs en particulier, le second plus spécifiquement orienté vers les contenus disciplinaires comme les mathématiques (Cassady, 2010). L’instrument de mesure de l’anxiété scolaire que nous proposons s’inscrit dans la première catégorie. La conceptualisation sous-jacente de l’anxiété qui a guidé son élaboration s’inspire des travaux de Spielberger et Edwards (1973), en particulier de la distinction entre traits et états anxieux. L’anxiété à l’école est ici entendue comme un trait anxieux spécifique à l’image des travaux relatifs à l’anxiété d’évaluation (Spielberger & Vagg, 1995). Objectifs et questions de recherche Nous interrogeons l’existence même d’une forme d’anxiété relative au contexte scolaire. Nous souhaitons proposer et valider un instrument de mesure spécifique, puis démontrer sa dimension heuristique à l’aide de recherches récentes que nous avons conduites. Méthodologie 629 élèves de CM2 ont été interrogés en début d’année scolaire et 561 d’entre eux en fin d’année. Le recueil des données a été réalisé en milieu écologique de classe par le biais de l’échelle 179 de mesure de l’anxiété scolaire que nous avons mis au point. Au départ, l’échelle comptait 17 items synthétisant les manifestations anxieuses les plus crédibles à l’école, de nature à la fois cognitive et somatique. Les élèves devaient exprimer à quelle fréquence d’occurrence ils y étaient confrontés. Très inspirée empiriquement de la STAIC (State-Trait Anxiety Inventory for Children, Spielberger & Edwards, 1973), notre échelle l’est également d’un point de vue théorique et donc psychométrique. Nous assumons ainsi, dans la lignée des travaux de Spielberger et ses collaborateurs (1973), l’unidimensionnalité théorique du construit que nous avons souhaité rendre saillante d’un point de vue psychométrique. Pour ce faire nous avons exploré la structure factorielle originelle de notre échelle de manière à ne conserver que les items qui concouraient uniquement et clairement à l’unidimensionnalité de l’instrument. Des analyses confirmatoires ont, par ailleurs, été réalisées de manière à vérifier la pertinence des choix opérés. Bien entendu, la consistance interne de l’échelle a été également vérifiée, de même que l’indépendance de la mesure vis-à-vis de l’anxiété trait générale. De manière à interroger l’heuristicité de ce nouvel instrument, nous avons, enfin, questionné l’effet de cette anxiété scolaire sur le niveau de performance des élèves, en compréhension et en fluence de lecture plus précisément. Résultats Tout semble indiquer qu’il existe bien une forme d’anxiété académique relative au contexte scolaire. Les analyses factorielles exploratoires de l’instrument nous ont conduits à conserver sept items. Qu’il s’agisse de la première (T1) ou de la seconde mesure (T2), chacun des items corrèle positivement, entre .40 et .80, avec le facteur unique (selon le critère de Kaiser). Les valeurs des mesures de précision de l’échantillonnage et celles des tests de sphéricité de Bartlett sont idéales (T1 : KMO = 0.824 ; χ² (21) = 832.640, p< 0.001 et T2 : KMO = 0.851 ; χ² (21) = 959.463, p< 0.001). La consistance interne de l’instrument est bonne également (T1 : α= 0.72 et T2 : α= 0.79). Concernant les analyses factorielles confirmatoires, les indicateurs d’ajustement présentent également des valeurs dans la norme attendue (T1 : χ² (14) =19.196, p= 0.16 ; RMSEA= 0.024 ; CFI= 0.995 ; TLI=0.992 et T2 : χ² (14) =29.482, p= 0.0090 ; RMSEA=0.044 ; CFI= 0.991 ; TLI= 0.986). Par ailleurs, notre échelle d’anxiété scolaire corrèle entre .59 et .77 avec la version trait de la STAIC ce qui va à la fois dans le sens de son indépendance mais constitue également une preuve du fait qu’elle mesure bien de l’anxiété. Enfin, l’anxiété scolaire, mesurée grâce à notre instrument, entretient une relation curvilinéaire avec les performances en compréhension et en fluence de lecture. Ce résultat apporte un nouvel éclairage sur l’état des relations entre l’anxiété et la performance académique dans la mesure où la majorité des recherches conçoivent cette relation comme strictement linéaire et négative. Contribution aux connaissances et aux pratiques Au-delà de la mise à disposition d’une échelle de mesure d’anxiété à destination de la communauté francophone, la mise au jour de l’existence d’une anxiété contextuelle relative au milieu scolaire constitue également une avancée notable pour la communauté. Celle-ci ouvre la voie à une appréciation du phénomène rigoureuse qui devrait faciliter une plus juste perception de l’effet de l’anxiété sur la performance dont la valeur perçue par les chercheurs et les enseignants pourrait être débarrassée d’une part de variance inhérente à l’influence de cette émotion. 180 Ces travaux contribueront, nous l’espérons, à l’identification de contextes organisationnels ou de dispositifs éducatifs susceptibles d’optimiser l’influence de l’anxiété sur les apprentissages pour la réussite du plus grand nombre. Références Ashcraft, M. H., & Moore, A. M. (2009). Mathematics anxiety and the affective drop in performance. Journal of Psychoeducational Assessment, 27(3), 197-205. Baudelot, C., & Establet, R. (2009). L’élitisme républicain. L’école française à l’épreuve des comparaisons internationales. Paris : Seuil. Cassady, J. C. (2010). Anxiety in schools: The causes, consequences, and solutions for academic anxieties. New York, NY: Peter Lang. Hembree, R. (1988). Correlates, causes, effects, and treatment of test anxiety. Review of educational research, 58(1), 47-77. Hembree, R. (1990). The Nature, Effects, and Relief of Mathematics Anxiety. Journal for Research in Mathematics Education, 21(1), 33-46. Pekrun, R., & Stephens, E. J. (2015). Test Anxiety and Academic Achievement. In J.D. Wright (Ed.), International Encyclopedia of the Social & Behavioral Sciences (pp. 244-249). Amsterdam: Elsevier. Pouille, J., & Hascoët, M. (2015). Influence du soutien conditionnel parental perçu sur l’anxiététrait : rôle du perfectionnisme. Recherches en éducation, 7, 162-172. Spielberger, C. D., & Edwards, C. D. (1973). STAIC preliminary manual for the State-Trait Anxiety Inventory for Children. Palo Alto, CA: Consulting Psychologists Press. Spielberger, C. D., & Vagg, P. R. (1995). Test anxiety: A transactional process model. In C.D Spielberger & P.R. Vagg (Eds.), Test anxiety: Theory, assessment, and treatment. Series in clinical and community psychology (pp. 3-14). Philadelphia: Taylor & Francis. 181 ARTICULAR A AVALIAÇÃO SUMATIVA COM A FORMATIVA PARA A APRENDIZAGEM DE TODOS OS ALUNOS: POTENCIALIDADES E TENSÕES (ID 87) SANTOS, Leonor, Instituto de Educação da Universidade de Lisboa (PT) PINTO, Jorge, Escola Superior de Educação, Instituto Politécnico de Setúbal (PT) RESUMO De forma a ser possível ao professor na sala de aula desenvolver práticas de avaliação formativa, potenciadoras de aprendizagem (Black & Wiliam, 2003), é necessário enquadrá-las na prática profissional institucionalmente estabelecida. Mas a articulação entre práticas de avaliação sumativa e formativa (APASF) é complexa (Bennett, 2011) e carece de ser aprofundada (Taras, 2005). Neste sentido, foi desenvolvida, ao longo de dois anos letivos, uma intervenção pedagógica que tinha por principal objetivo construir, a partir de um momento formal de avaliação sumativa, um novo momento, agora de avaliação formativa, assente na autorregulação dos alunos (Allal, 2007), que pudesse contribuir para as aprendizagens de todos os alunos. Esta intervenção pedagógica foi proposta e desenvolvida numa escola da zona sul de Lisboa, por duas professoras de Matemática do 3.º ciclo, Rosa e Teresa (nomes fictícios). Este trabalho foi acompanhado por dois investigadores (os autores desta comunicação). Assim, num contexto de trabalho colaborativo, desenvolveu-se um estudo que procurou responder às seguintes questões de partida: - Como é interpretado e aceite o processo de APASF ao nível da sala de aula, do departamento de Matemática e dos órgãos de gestão da escola? - Quais os efeitos do processo de APASF, nomeadamente ao nível do envolvimento dos alunos e do seu desempenho? Seguindo uma metodologia de investigação-ação, participaram no presente estudo, a diretora da escola, que é também Presidente do Conselho Pedagógico, o grupo de professores de Matemática, e os alunos das turmas de Rosa e Teresa. No 1.º ano, estiveram envolvidas 7 turmas (7.º e 8.º anos); no 2.º ano aos alunos do 8.º ano que transitaram para o 9.º ano, juntou-se-lhes uma turma de 7.º ano. Os dados foram recolhidos através de entrevistas a alunos (áudio registadas) e à diretora da escola, de observação da reunião de grupo, de aulas e de sessões de trabalho com os alunos (acompanhada de diário de bordo), e por recolha documental (produções dos alunos, material elaborado pelas professoras no âmbito da intervenção pedagógica). A análise de dados seguiu uma abordagem quantitativa e de análise de conteúdo. A intervenção pedagógica seguiu as seguintes etapas e procedimentos: 1ª etapa: Pedido de autorização escrito aos órgãos da escola, antecedido por uma apresentação e discussão do respetivo documento no grupo de Matemática. Dado tratar-se de uma intervenção avaliativa distinta do que estava estabelecido na escola, as professoras tomaram a iniciativa de a dar a conhecer ao seu grupo disciplinar e de solicitar autorização aos órgãos de gestão da escola. 2ª etapa: Implementação da intervenção pedagógica ao longo dos dois anos. Após a realização de um teste, na aula seguinte, cada aluno recebe-o anotado e classificado e um conjunto de questões semelhantes àquelas que errou ou resolveu de forma incompleta, que se traduz por um trabalho individual diferenciado (TID). É acordada a data de entrega do TID. Os alunos podem consultar a 182 correção do teste disponibilizado na plataforma Moodle da escola, recorrer a qualquer outro material de suporte, ao apoio da sua professora de Matemática e de outro professor disponível na sala de estudo, ou outro recurso humano. A classificação final do teste pode ser aumentada até 5% de acordo com a qualidade do TID. Assim, cada ciclo da intervenção pedagógica partiu de um momento de AS, seguindo-se-lhe um de AF, terminando num novo momento de AS. 3ª etapa: Implementação de uma estratégia de suporte no 2.º ano, desenvolvida em paralelo com a intervenção pedagógica. Face à constatação que nem todos os alunos continuavam a não tirar proveito deste processo (ou não entregavam o TID ou não melhoravam de forma significativa o seu desempenho), foram desenvolvidas sessões de trabalho entre as professoras e alunos, simulando situações que estes tinham de enfrentar na intervenção pedagógica. Em particular, discutiram-se possíveis estratégias a desenvolver (consulta da correção do teste, análise comparativa entre resoluções, …). Procurou-se assim apoiar os alunos no desenvolvimento de processos de autorregulação. Os resultados obtidos apontam para que o estabelecimento de uma APASF num contexto organizacional cria tensões entre os diferentes níveis da organização e mesmo dentro de cada um desses mesmos níveis, confirmando resultados de outros estudos (Thompson & Wiliam, 2008). Razões de ordem distinta explicam-nas: de uma preocupação face à imagem externa da escola à intenção da garantia de igualdade de tratamento entre diferentes alunos do mesmo ano de escolaridade e disciplina (confundindo-se equidade com igualdade de tratamento); da valorização de uma lógica sumativa ao reconhecimento da existência de uma oportunidade para aprender. Ao longo dos dois anos, verificou-se que mais de metade dos alunos se envolveram no processo e a maior parte destes apresentou melhorias no seu desempenho. No entanto, não se verificou uma evolução positiva significativa ao longo dos ciclos de cada ano escolar. A estratégia de suporte introduzida no 2º ano não se revelou eficaz, mantendo-se o mesmo padrão anterior. Não ter havido continuidade nesta estratégia de suporte, esta ter por base o mesmo racional da intervenção pedagógica mais geral (apelar para a autorregulação dos alunos), e ser desenvolvida num contexto onde obter uma nota não se relaciona diretamente com a aprendizagem poderão ser razões explicativas deste facto. Este estudo confirma as tensões e dificuldades que se colocam quando se pretende conciliar uma cultura de avaliação fortemente normativa com uma cultura de diferenciação pedagógica. Referências Allal, L. (2007). Régulations des apprentissages: orientations conceptuelles pour la recherche et la pratique en éducation. In L. Allal & L. Lopez (Dir.), Régulation des apprentissages en situation scolaire et en formation (pp. 7-23). Bruxelles: De Boeck & Larcier s.a. Bennett, R. (2011). Formative assessment: a critical review. Assessment in Education: Principles, Policy & Practice, 18(1), 5-25. Black, P., & Wiliam, D. (2003). In praise of educational research’ formative assessment. British Educational Research Journal, 29(5), 624-637. Taras, M. (2005). Assessment - summative and formative - some theoretical reflections. British Journal of Educational Studies, 53(4), 466-478. 183 Thompson, M. & Wiliam, D. (2008). Tight but loose: A conceptual framework for scaling up school reforms. In E. Wylie (Ed.), Tight but loose: scaling up teacher professional development in diverse contexts (pp.1-44). Educational Testing Service (http://www.ets.org/research/contact.html 184 REFLEXÕES SOBRE A REPROVAÇÃO NA LICENCIATURA: RELATO DE UMA EXPERIÊNCIA (ID 88) ALMEIDA, Ana Rita Silva, Instituto Federal da Bahia (BR) SAMPAIO, Romilson Lopes, Instituto Federal da Bahia (BR) Introdução Na literatura especializada, muitas pesquisas (Campello e Lins, 2008; Rios et al., 2001) têm se ocupado em analisar a evasão no ensino superior tanto em cursos quanto em disciplinas cuja alta taxa de reprovação é notória. Alguns autores como Silva Filho et al. (2007) analisaram a evasão nas Instituições de Ensino Superior no Brasil e verificaram, com base em dados oficiais, que a evasão no Brasil não difere muito das médias internacionais e é um problema que afeta o resultado dos sistemas educacionais, pois a não continuidade dos estudantes nos cursos representam, na sua interpretação, desperdícios sociais, acadêmicos e econômicos. Analisando o cenário do ensino superior no Brasil, Silva Filho et al. (2007) apontam que entre os cursos de maior índice de evasão destaca-se Matemática e Física. Por tratar-se de um estudo macroscópico e quantitativo, esta pesquisa não discute as razões que conduziram a evasão. Já Souza et al. (2012) buscaram conhecer o fenômeno evasão no ensino superior através do site da CAPES e de teses e dissertações que discutiam esta temática no período de 2000 a 2011. Este estudo revelou, entre outros aspectos, que 64% das pesquisas procuraram entender os fatores que levaram o aluno a evadir. Embora, haja uma produção significativa relativa à evasão e retenção no ensino superior, segundo Silva Filho et al. (2007), a literatura carece de pesquisas específicas na quais as IES investiguem este fenômeno no seu próprio universo e busquem, a partir dos dados levantados, soluções para tal situação. “São raríssimas as IES brasileiras que possuem um programa institucional profissionalizado de combate à evasão, com planejamento de ações, acompanhamento de resultados e coletas de experiências bem sucedidas” (SILVA FILHO et al., 2007, p. 642). A carência de trabalhos é evidente quando se realiza um levantamento bibliográfico e identifica-se que são escassos os trabalhos que tratam, por exemplo, da reprovação em disciplinas nas áreas das Ciências e Matemática nos cursos de licenciatura. Situação similar é encontrada no curso de Licenciatura em Eletromecânica, foco dessa pesquisa, onde existe um alto índice de reprovação nas disciplinas Física e Matemática e ainda não foram realizados estudos que possam compreender este fenômeno. Analisar a retenção e evasão no ensino superior exige uma reflexão sobre as concepções de ensino e aprendizagem que, em conjunto com as práticas pedagógicas, constituem aspectos que exercem grande influência no sucesso ou fracasso escolar como também na continuidade do estudante no curso. Nesta perspectiva, pensar sobre o sucesso escolar exige não resposnabilizar apenas « as condições do aluno », mas também o professor e sua luta para desafiar o aluno na busca pelo saber. O sucesso em sala de aula envolve o aluno e o professor. O professor de sucesso em sala de aula é aquele que faz com que os alunos gostem do que estão aprendendo. Segundo Bock (2002), para Bruner, o aluno motivado tem disposição para aprender, pois: “a motivação é o processo que mobiliza o organismo para a ação, a partir de uma relação estabelecida entre o ambiente, a necessidade e o objeto de satisfação. Isso quer dizer, que sempre há um organismo que apresenta uma necessidade, um desejo, uma intenção, um interesse, uma vontade para agir” (p. 120). Portanto, muitas vezes, saber organizar a matéria de maneira a criar uma prática atraente pode influenciar sobre o interesse em aprender. De acordo com Almeida et al. (2010), para que a 185 aprendizagem ocorra, é necessário que o ensino possibilite ao aluno ir além da mera memorização e justaposição de conteúdos e isso requer, entre outras coisas: o planejamento da matéria; a integração com os conhecimentos prévios dos alunos; e a escolha adequada do conteúdo de maneira que as informações sejam significativas e façam sentido para os alunos. Essa perspectiva de aprendizagem se ancora nas ideias dos cognitivistas Ausubel e Bruner que discutem em suas teorias a aprendizagem significativa e o ensino por descoberta. A experiência como professores no curso de Licenciatura em Eletromecânica instigou a procurar entender o alto índice de reprovação que vem ocorrendo nas disciplinas de Física. Sem desconsiderar a multidimensionalidade do processo ensino/aprendizagem e as variáveis que podem influenciar a interpretação desse fenômeno, este trabalho buscou analisar a reprovação in loco a fim de poder entender os processos que dificultam e/ou facilitam a aprendizagem. Metodologia A presente pesquisa, apresentou um caráter qualitativo e o seu desenho foi elaborado na medida em que a investigação avançou, sendo os questionamentos e reformulações elementos constitutivos do processo. O uso da metodologia qualitativa foi escolhido por possibilitar a observação e a análise de aspectos subjetivos envolvidos numa determinada situação na qual o pesquisador está inserido. Outro ponto é que através desta pesquisa tornou-se possível “intervir na prática de modo inovador já no decorrer do próprio processo de pesquisa e não apenas como possível consequência de uma recomendação na etapa final do projeto” (Engel, 2000, p.182). Tambem foram utilizadas nessa pesquisa : uma etapa descritiva e ; a análise documental, como método e como técnica de pesquisa. Os sujeitos da pesquisa foram os estudantes de uma instituição pública. A construção do grupo dependeu da disponibilidade e motivação para participar da pesquisa no momento em que foram abordados pelos pesquisadores. Os grupos foram abordados continuamente pelos pesquisadores e bolsista nos horários dos intervalos entre as aulas e fora dos intervalos, solicitando sua participação na pesquisa e explicando os objetivos do estudo. Concomitantemente à realização da pesquisa, ocorreram reuniões nas quais foram tomadas decisões em função do processo/andamento/resultado alcançado e demanda dos sujeitos e das práticas investigativas. Como técnicas de coleta de dados foram utilizados : um questionário aplicado aos estudantes e; a pesquisa documental junto à secretaria para fazer um levantamento do índice de aprovação dos estudantes na referida disciplina. Durante o processo de investigação, os estudantes foram convidados e comunicados sobre o teor da pesquisa, sendo que os participantes assinaram o termo de consentimento livre e esclarecido. Foram utilizados nomes fictícios para garantir o sigilo e a privacidade dos mesmos. Inicialmente, a intenção era abranger o maior número de estudantes que fizeram a disciplina, no entanto, enfrentamos muitas dificuldades, pois de vinte e sete alunos que receberam o questionário apenas dez entregaram. Portanto, os sujeitos da pesquisa são dez estudantes de física que são alunos do Curso de Licenciatura em Eletromecânica. O curso funciona no turno noturno de uma instituição pública, que funciona em uma cidade da região metropolitana que faz parte do polo industrial da capital, e a entrada dos estudantes decorre pelo Exame Nacional do Ensino Médio (ENEM). A maioria dos estudantes são trabalhadores, sendo uma boa parte deles provenientes de cursos técnicos. Com relação à pesquisa documental, foi consultada a base de dados que compreende o ano/semestre 2011.2 a 2014.1 excetuando-se o semestre de 2012.2 no qual não ocorreu a disciplina Física. 186 Resultados e discussão Com a política nacional de expansão do ensino técnico, tem crescido o número de escolas de educação profissional públicas e privadas voltadas para essa modalidade de educação. Com relação ao estado da Bahia, nos últimos anos o incremento no número de matriculas é perceptível na oferta de escola técnicas das redes federal e estadual, o sistema S e as instituições privadas. Esse crescimento tem demandado a formação de professores qualificados para atuarem nessa área profissional, tendo em vista que tradicionalmente os professores que atuam nos cursos técnicos não têm a formação pedagógica e, muitas vezes, tem uma excelente experiência profissional mas não tem formação compatível com a exigência do curso. No contexto de formação de professores para atuarem no ensino técnico na área da eletromecânica, o nosso curso de Licenciatura em Eletromecânica é o primeiro do Brasil e, portanto, enfrenta diversos desafios e, dentre esses, o seu “caráter experimental” exatamente porque a não existência de outros pares impossibilita um diálogo e troca de experiências entre as instituções. Para atender a crescente demanda de profissionais habilitados para atuarem no ensino técnico, entre os objetivos do curso destaca-se formar professores para atuar no campo das disciplinas técnicas na área de Eletromecânica seja em espaços de educação formal ou não formal (BRASIL/MEC/IFBA/PPC, 2014). A maioria dos estudantes do curso é trabalhador e, grande parte, não dispõe de tempo para participar de atividades como, por exemplo, a monitoria de disciplinas que têm um grande peso no currículo e que são, por sua vez, consideradas pelos alunos como “mais difíceis”. Entre as disciplinas que mantêm um alto índice de retenção no curso destaca-se a Física. A retenção em Física impossibilita o prosseguimento nas disciplinas técnicas específicas que têm a referida disciplina como prérequisito. O questionário nos permitiu captar como os alunos pensam o processo de ensino e aprendizagem na disciplina de Física, suas dificuldades e também que materiais podem ajudálos a compreender melhor os conteúdos. Com relação ao ensino de física, para os estudantes há algumas práticas em sala de aula que podem ajudar na aprendizagem, como pode ser visto no gráfico 1: 187 Com relação ao ensino de tsica, quais práucas em sala de aula que podem ajudar na aprendizagem? Exemplos prá›cos e dinamizar as aulas 4 4 Revisões básicas de assuntos de matemá›ca 2 Não responderam Gráfico 1 De acordo com o gráfico 1, é possível perceber, no discurso dos estudantes sobre a aprendizagem de Física a necessidade de atividades práticas e aulas mais dinâmicas, seguida da necessária introdução de uma revisão de matemática. Essa última disciplina também conta com um alto índice de retenção e, embora esteja no semestre como Introdução a Matemática, no currículo antigo ela ocorria no primeiro semestre ao mesmo tempo que Física. Somado à dificuldade de aprendizagem que os alunos apresentavam havia também a concomitância de duas disciplinas de forte peso no curso. Embora haja um alto índice de reprovação na disciplina, quando questionados sobre a sua importância para o curso, os estudantes são unânimes pois dos dez sujeitos apenas um não respondeu enquanto nove consideraram relevante a Física para sua formação. Apesar dessa importância, quando questionados sobre como eles avaliariam a sua dificuldade na compreensão dos conteúdos de física, quatro alunos qualificaram como “razoável”, cinco disseram ter “muita dificuldade” e apenas um apontou como sendo “bastante”, como pode ser visto no gráfico 2. 188 Como avaliam a sua diﬁculdade na compreensão dos conteúdos de tsica? 1 4 Muita diﬁculdade Razoável 5 Bastante Gráfico 2 Devido a essa dificuldade de aprendizagem que os estudantes apresentam em Física, normalmente há uma tendência a protelar, enquanto for permitido pelas normas acadêmicas, a matrícula nas disciplinas “consideradas difíceis” (Física e Matemática) e encaminhar-se para as de formação pedagógica Por serem, na sua grande maioria, alunos trabalhadores, procurou-se saber também, quanto tempo eles dedicam ao estudo da disciplina durante a semana: dois responderam uma hora, quatro disseram três horas e outros quatro não responderam à pergunta. Considerações Finais Do ponto de visto da formação, sabemos que a experiência prática em qualquer área é fundamental. No caso do professor, além da formação e da experiência profissional na área da matéria de ensino, é relevante que o “saber dizer” e “o saber fazer” consigam um certo equilíbrio para que o ensinar e o aprender caminhem próximos. Sabemos também que a formação pedagógica, tão importante a quem ensina, é uma construção que demanda investimento e reflexão sobre o compromisso de ensinar e lidar com pessoas que 189 aprendem de modo diferente, em condições e características próprias. Do mesmo modo, quem aprende precisa ter compromisso com o objeto de conhecimento, refletir sobre o seu próprio processo de aprendizagem e buscar superar suas dificuldades, conhecendo seu ritmo na medida em que traça uma rotina de estudos. O fato é que o sucesso na aprendizagem é um fenômeno multifacetado que envolve aspectos subjetivos e objetivos que dizem respeito, por exemplo, ao professor, ao aluno, ao currículo, e a escola como um todo. No que diz respeito à aprendizagem dos alunos, à sua responsabilidade sobre o processo, criamos monitoria para as disciplinas de Física e Matemática e ainda não temos registro sobre os efeitos dessa ação. Já no tocante ao ensino, há ainda muito por fazer no sentido da formação dos professores que atuam no curso. Cada vez mais ouvimos nos congressos de educação o clamor para a importância de uma formação pedagógica voltada para os professores altamente qualificados das nossas universidades, mas que não têm formação para o ensino. Esse fato desponta entre os elementos de análises dos problemas de ensino e aprendizagem em determinadas áreas de formação do ensino superior. No entanto, no nosso caso específico, não temos dados que nos permitam analisar o grau de influência dessa variável, mas acreditamos que a forma de ensinar, as escolhas do professor no dia a dia da sala de aula, suas práticas de ensino, de avaliação, de apresentação e contextualização dos conhecimentos podem despertar o interesse do aluno e fazem parte do” saber-fazer” do professor. Por fim, acreditamos que uma ação conjunta – que envolva o aluno, professor e escola -, na qual cada um assume sua parcela de responsabilidade é um caminho para se buscar o sucesso na aprendizagem. Referências Almeida, A. R. et al. (2010). O ensino e aprendizagem de Química na percepção dos estudantes do ensino médio. Maceió, Anais do V CONNEPI. Bock, A . M. (2002). Psicologia: uma introdução ao estudo da psicologia. São Paulo: Saraiva. Brasil/Mec/Ifba. (2014). Projeto Pedagógico do Curso de Licenciatura em Eletromecânica. Aprovado pelo Conselho Superior do IFBA. Salvador, 180p. Campello, A. de V. C.; Lins, L. N. (2008). Metodologia de análise e tratamento da evasão e retenção em cursos de graduação de Instituições Federais de Ensino Superior. XXVIII Encontro Nacional de Engenharia de Produção. Anais do XXVIII Encontro Nacional de Engenharia de Produção. Rio de Janeiro. Engel, G. I. (2000). Pesquisa-Ação. Educar. Curitiba, n. 16, p. 181-191. Ed. UFPR. Rios, J.R. T. et al. (2001). Evasão e retenção no ciclo básico dos cursos de engenharia da escola de Minas da UFOP. Anais do XXIX COBENGE. PUCRS-Porto Alegre: 2001. Silva filho, R. L.L. et al., (2007) A evasão no ensino superior brasileiro. São Paulo: Cadernos de Pesquisa, v. 13. nº132 p. 641-659. Souza, C. T. de et al. (2012). Um estudo sobre a evasão no ensino superior do Brasil nos últimos dez anos. Anais da II Conferência Latino Americana sobre Abandono na Educação Superior – II CLABES.. Porto Alegre/RS, PUCRS. 190 EFFET DES PRATIQUES EVALUATIVES DES ENSEIGNEMENTS SUR LE SENTIMENT D’EFFICACITE PERSONNELLE DES ENSEIGNANTS (ID 90) CONSTANTIN, Sonia, Faculté des sciences de l'éducation, Université Saint-Joseph (LB) GHARIB, Yvette, Faculté des sciences de l'éducation, Université Saint-Joseph (LB) RÉSUMÉ A l’issue de l’étude menée antérieurement sur l’impact de l’évaluation des enseignements par les étudiants, sur les étudiants eux-mêmes et sur les responsables académiques, au sein de la Faculté des Sciences de l’éducation à l’Université Saint-Joseph de Beyrouth , plusieurs recommandations ont été émises. Continuer dans cette démarche de réflexivité, de remise en question engageant tous les acteurs, responsables académiques, enseignants et étudiants, s’impose en vue d’améliorer le dispositif actuel d’évaluation des enseignants dans une double perspective formatrice et formative. C’est dans ce sens que les responsables académiques de la Faculté des sciences de l’éducation ont pris l’initiative d’une part, de transmettre le feed-back des résultats de l’évaluation aux enseignants ayant eu des résultats perfectibles et, d’autre part, de fournir, pour la première fois, durant l’assemblée générale des étudiants en septembre 2014, le feed-back sur les résultats de l’évaluation des enseignements par les étudiants. L’évaluation des enseignants n’est –elle pas appelée à jouer un rôle dans leur développement professionnel? En effet, les enseignants doivent bénéficier d'un retour d'appréciation sur la qualité de leurs activités d'enseignement afin de faire évoluer leurs pratiques didactiques (Gangloff C. & al., 2009) et de développer une agentivité, « capacité d’un acteur intentionnel de sélectionner, d’élaborer et de réguler sa propre activité pour atteindre certains résultats » (Carré, P., 2005) S’appuyant sur les résultats obtenus dans notre recherche antérieure citée ci-dessus, ainsi que sur d’autres résultats de recherches menées à l’Université du Québec, nous confirmons que l’un des effets de l’évaluation des enseignements par les étudiants est « d’aider un enseignant à améliorer la qualité de ses interventions personnelles» (Thivierge, A. & Bernard, H., 1996) De même, cette initiative pourrait être un premier pas vers la participation dynamique des étudiants dans le processus de qualité mis en œuvre par l’Université, pour éviter « les problèmes de prise en compte des critiques, des plaintes et des recommandations concernant l’enseignement » (Reichert, S. & Tauch, C., 2005) Mais, dans une société comme la nôtre où la culture de l’évaluation n’a pas pris encore son chemin, n’y a- t- il pas un risque de nuire à ce sentiment d’efficacité personnelle qui est à la base de la motivation ? (Bandura, A., 2003) Sur ce, deux questions fondamentales se posent: comment transmettre aux étudiants le feedback des évaluations des enseignants ayant obtenu des résultats perfectibles ? Comment éviter de nuire au sentiment d’efficacité personnelle de ces enseignants? Notre étude s’intéresse donc à trouver des éléments de réponse à ces questions dans une perspective d’amélioration du dispositif d’évaluation, vu que le sentiment d’efficacité personnelle a 191 un effet significatif sur la nature et la qualité des pratiques enseignantes, et par conséquent, sur l’apprentissage des étudiants. Sachant que la décision de diffuser ces résultats est une nouveauté puisque les étudiants n’ont jamais été informés du feed-back évaluatif auparavant, il serait intéressant de faire une étude analytique pour trouver la procédure efficace de la transmission de ce feed-back aux étudiants sans porter atteinte au sentiment d’auto efficacité de l’enseignant. L’évaluation de l’enseignement est définie comme étant un processus de valorisation de l’activité, en particulier les valeurs dans l’activité (Bonniol, J.-L., 1992, Lecointe, M., 1997, Barbier J.C. 2003). Selon A. Jorro (2007) « évaluer, c’est interroger la valeur d’une activité, la valeur d’un apprentissage, la valeur professionnelle d’une action pédagogique, la valeur d’un dispositif de formation ». A. Bandura considère, de son coté, que la transmission d’un feed-back approprié facilite le développement du sentiment d’efficacité personnelle : « Un sentiment élevé d’efficacité personnelle (SEP) au sein d’un environnement réactif récompensant les réussites valorisées favorise les aspirations, l’engagement productif dans des activités et un sentiment de réussite personnelle » (Bandura, 2004) En croisant ces deux points de vue, nous pouvons postuler que le feed-back de l’évaluation des enseignements et le sentiment d’efficacité personnelle des enseignants vont dans le même sens. Par conséquent, toute procédure de transmission de feed-back doit tenir compte de la dimension de valorisation des actes professionnels. Durant les vingt dernières années, plusieurs recherches menées sur le sentiment d’efficacité personnelle confirment le rôle de ce sentiment dans les pratiques d’enseignement. (Safourcade. S. et Alava, S., 2009). D’autres études ont permis d’identifier les effets de ce sentiment sur l’engagement professionnel (Coladarci, T., 1992), sur l’acquisition d’une attitude plus positive à l’égard de l’implantation de nouvelles pratiques enseignantes et moins des difficultés lors de cette implantation (Guskey, T.R., 1988), sur l’amélioration des présentations de leçon, de gestion de classe et des questions posées aux élèves (Saklofske D.H. & al, 1988). S’inscrivant dans la lignée de toutes ces recherches, notre étude vise à déterminer les repères d’une procédure de transmission du feed-back évaluatif aux étudiants, valorisant les actes professionnels et renforçant le sentiment d’efficacité personnelle des enseignants. Pour ce faire, nous adoptons une posture analytique et interprétative s’appuyant sur une démarche qualitative impliquant trois outils de collecte de données : • Des entretiens menés auprès des enseignants ayant obtenu des résultats perfectibles aux évaluations des enseignements par les étudiants • Une analyse du contenu du discours relatif au feed-back évaluatif prononcé par les responsables de la Faculté lors de l’Assemblée générale • Des focus groupes menés auprès des étudiants présents à l’Assemblée pour recueillir leurs réactions quant à la transmission du feed-back évaluatif des enseignants précités et leurs recommandations quant à cette nouvelle initiative des responsables de la Faculté. Nous avons recours à la triangulation des différentes sources de données dans le but « d’éviter les dangers concernant la validité souvent évoquées dans le domaine de la recherche qualitative 192 (récolte limitée d’informations, tendance à interpréter les données dans le sens prospecté par la recherche, implication émotionnelle du chercheur/euse, etc.) » (Denzin, NK. 1978). Le guide d’entretien adopté auprès des enseignants est articulé autour de trois axes : • les indicateurs d’efficacité, tels la résolution des difficultés dans la gestion de classe, la réalisation des buts, la confiance face aux événements inattendus, etc. • leur réaction lors des entretiens avec les responsables de la Faculté • leur perspective future quant à leurs pratiques d’enseignement (l’agentivité) • leurs représentations quant à la procédure de transmission du feed-back évaluatif aux étudiants Le focus groupe mené auprès des étudiants privilégie deux axes : • leur réaction quant à la transmission du feed-back évaluatif lors de l’Assemblée générale • leurs recommandations quant à la procédure de transmission du feed-back évaluatif L’analyse du discours relatif au feed-back évaluatif permet d’explorer le champ lexical adopté en vue de vérifier les fonctions de l’évaluation des enseignements par les étudiants : formation et régulation ou jugement. Les résultats préliminaires obtenus par les entretiens menés auprès des enseignants ayant obtenu des résultats perfectibles aux EEE révèlent trois profils d’enseignants : - des enseignants ayant un sentiment d’efficacité faible, reflétant un certain découragement et une attitude de résignation (Je me sens émotionnellement vidée…) Peut-être je ne suis pas faite pour donner ce cours…) - des enseignants ayant un sentiment d’efficacité faible, mais adoptant un comportement de fuite et une certaine indifférence (A quoi servent toutes ces évaluations… ?) - des enseignants ayant un sentiment d’efficacité plutôt élevé, mais manifestant une attitude rebelle et ressentant une certaine contrainte institutionnelle. Ils accusent le système d’évaluation et remettent en question les outils adoptés…. (Il faut tout réorganiser, repenser l’outil…). Pour ces enseignants, une certaine discordance est donc observée entre leurs compétences perçues et les résultats réels des EEE. Par ailleurs, les résultats ont montré également que certains enseignants appréhendent les séances de cours qui ont eu lieu après les évaluations et se sentent inefficaces pour affronter les changements. D’autres ont souligné une ambiance tendue dans les séances de cours qui ont suivi l’évaluation mi- cours. Quant aux réactions des enseignants lors des entretiens avec les responsables de la Faculté, les résultats ont mis l’accent sur la nécessité de passer à la régulation, à savoir l’aide et le soutien par les pairs. D’autre part, ils ont soulevé la nécessité d’introduire des indicateurs qui les éclairent sur le « comment être plus efficace » dans l’enseignement. Les résultats obtenus suite aux entretiens par focus groupe menés auprès des étudiants ont révélé deux points saillants : 1- Certains étudiants (enseignants dans le scolaire), éprouvant une certaine empathie avec les enseignants, ont mis l’accent sur la discrétion remarquée dans le discours du responsable pédagogique quant à la transmission du feed-back évaluatif lors de l’Assemblée générale 193 2- D’autres ne se sont pas intéressés aux modalités des transmissions du feed-back évaluatif des enseignants, mais plutôt ont insisté sur la nécessité de la régulation, finalité ultime de l’évaluation. Ils ont réclamé d’effectuer des changements aux niveaux de certaines unités d’enseignement (contenu, climat, méthodes d’enseignement et modalité d’enseignement…) Pour conclure, il est certain que l’EEE n’a pas pour finalité de nuire au sentiment d’efficacité perçue par les enseignants, mais plutôt, d’être une source de régulation basée sur un accompagnement structuré et institutionnalisé. Références Bandura, A. (2003). Auto-efficacité: le sentiment d'efficacité personnelle. De Boeck Supérieur. Bandura, A. (2004). De l'apprentissage social au sentiment d'efficacité personnel, autour de l'œuvre d'Albert Bandura. Hors-série 200, Savoirs n°4 Sous la direction de Jacky Beillerot. Carré, P. (2005). L'apprenance, vers un nouveau rapport au savoir. Paris : Dunod. Denzin, N.-K. (1978). La triangulation au service de la recherche en éducation. Exemples de recherches dans l’école obligatoire. Actes du congrès de l’Actualité de la recherche en éducation et en formation (AREF), Université de Genève, septembre 2010. Dussault, Villeneuve et Deaudelin, (2001). L’échelle d’auto efficacité des enseignants : Validation canadienne-français du Teacher efficacy scale. Revue des sciences de l’éducation, XXVII, 1, p. 181 à 194 Gangloff, C., Weisser, M., Bennaghmouch, S. ET Abid-Zarrouk, (2009). Construction d’un dispositif d’évaluation des enseignements et des formations : le point de vue des apprenants. Questions Vives [Online depuis le 1er janvier 2011], Vol.6 n°12 | 2009. Récupéré le 2 juin 2016 de http://questionsvives.revues.org/407 ; DOI : 10.4000/questionsvives.407 Jorro, A. (2006). L'agir professionnel de l'enseignant. Séminaire de recherche du Centre de Recherche sur la formation - CNAM, Février 2006, Paris : France. Jorro, A. (2007). Evaluation et développement professionnel. Paris : L’Harmattan Reichert, S. et Tauch, C. (2005). Etat de la mise en œuvre des réformes de Bologne par les Universités européennes, quatrième rapport trends de l’EUA. Récupéré le 12/11/2012 de http://www.eua.be/eua/jsp/en/upload/TrendsIV_FINAL_FR.1128074006210.pdf. 194 L'ÉVALUATION ANNUELLE D’UNE NOUVELLE FILIÈRE DE FORMATION DANS UNE LOGIQUE D’AIDE AU PILOTAGE, LE CAS DE LA FILIÈRE D’OSTÉOPATHIE DE LA HES-SO (ID 91) FOSSETTI, Sandro, Haute Ecole de Santé de Fribourg, HES-SO (CH) FRANCHON, Pierre, Haute Ecole de Santé de Fribourg, HES-SO (CH) BARRAS, Hervé, Haute Ecole Pédagogique du Valais (CH) RÉSUMÉ La Haute Ecole Spécialisée de Suisse Occidentale (HES-SO) a ouvert à l’automne 2014 une filière régulée d'enseignement de l'ostéopathie dans son domaine santé, comprennant 30 étudiants. C'est la première fois que cette discipline est enseignée dans une institution d'enseignement de niveau tertiaire en Suisse et en Europe. Une multitude de défis ont dû être relevés pour proposer cette formation. Cependant, un consensus est apparu pour une formation des étudiants à la HES-SO par un cursus académique, bachelor - master suivi de deux années pratiques en cabinet avant l’obtention du titre d’ostéopathe. Le pilotage de la filière revêt donc des enjeux tant pour l'institution que pour la profession. Afin de réussir ce pari ambitieux, à savoir former des ostéopathes en haute école, le décanat de la filière a fait le choix de se faire accompagner pour le pilotage de son dispositif d'enseignement par le service d’appui au développement académique et professionnel (SADAP) de la HES-SO. Il a opté pour une amélioration en continue du programme de formation afin de s’assurer des prochaines échéances de l’évaluation des filières. L’amélioration en continue est un processus qualité qui vise à adapter le dispositif au contexte et aux besoins des acteurs en fonction des possibilités. Pour ce faire, les dispositifs de l’EEE permettent une récolte aisée de données sur l’objet enseignement (Detroz, 2008; Kulik & McKeachie, 1975; Spooren, Brockx, & Mortelmans, 2013). Toutefois, dans cette pratique l’avis des enseignants est souvent ignoré et les conclusions basées que sur une partie des acteurs risquent d’être partiales. Cette ignorance et cette partialité peut engendrer des incompréhensions et des décisions malheureuses. La satisfaction et l’expérience d’apprentissage des étudiants sont modulées par plusieurs facteurs. Il y a ceux subjectifs et dynamiques comme la motivation et l’intérêt personnel (Vianin, 2007; Viau, 1994). D’autres ont portent sur l’organisation de la filière comme les objectifs de formation et la complémentarité des cours (Prégent, 1990; Prégent, Bernard, & Kozanitis, 2009). Finalement, il y a ceux qui se basent sur l’organisation de l’enseignement comme le climat de classe, la charge de travail et les répétitions (Pelpel, 2005). En conséquence, il nous semble opportun de collecter de l’information auprès des étudiants et des enseignants. En comparant ces deux sources d’informations, nous pourrons ainsi déterminer où la compréhension des uns et des autres diffère. Ces différences sont certainement une aide dans la détermination des forces et des priorités d’amélioration du cursus de formation. 195 Méthode Nous avons questionné tous les étudiants (30) et les enseignants (20) de la filière. Afin de confronter la satisfaction des étudiants et sa représentation chez les enseignants, nous avons construit deux questionnaires en ligne similaires pour les deux populations. Le premier questionne la satisfaction et l’expérience d’apprentissage des étudiants et l’autre interroge les enseignants sur leur représentation des réponses de leurs étudiants aux mêmes questions. Ils portent sur dix dimensions : la motivation, l'intérêt sur le contenu de la première année, les connaissances préalables, la suite logique des enseignements au deuxième semestre, la complémentarité entre les modules, l’aisance à faire des liens entre les modules, la répétition entre les modules, compréhension des objectifs de formation, la charge de travail et le climat de travail. Les dimensions sont évaluées sur une échelle de Lickert à quatre modalités de total accord à total désaccord, sauf pour la motivation qui l’est sur une échelle de Lickert à dix modalités de faible à forte. Les deux questionnaires ont été envoyés à l’ensemble de la communauté par le décanat de la filière et une relance a été faite. Le mode de récolte garantit l’anonymat des personnes et le traitement est externalisé. Résultats Nous avons reçu des retours de 27 étudiants (90% de l'effectif) et 12 enseignants (60% de l'effectif). Les résultats indiquent généralement une forte satisfaction des deux acteurs au sujet de cette première année de formation. Les commentaires libres insistent sur la disponibilité et le travail effectué par le décanat. Cependant, ils démontrent aussi quelques différences entre les représentations des étudiants et des enseignants. Ces différences sont particulièrement saillantes pour les dimensions de la motivation (U=66.5, p=.003), la suite logique (U=86.0, p=.020), la complémentarité (U=99.5, p=.056), les liens (U=62.5, p=.002) et les objectifs du bachelor (U=105.5, p=.075) ou le degré d’accord est plus faible chez les enseignants que chez les étudiants. Discussion et conclusions L'enquête met en avant des problèmes étudiants dont le décanat de la filière avait conscience comme une charge de travail trop importante ainsi que la redondance dans certains modules d’enseignement. Il a donc été décidé d'adapter le cursus de formation de la première année afin de diminuer la charge de travail des étudiants mais aussi d’ajuster le cursus de la deuxième année. Le décanat veut aussi développer des modules d'intégration de la matière afin d'aider les étudiants dans leur prise de conscience du développement de leurs compétences. Il veut aussi proposer des solutions pour les enseignants. Il va poursuivre l'animation d'une communauté de pratique des enseignants de la filière. De plus, il doit poursuivre son développement institutionnel en réfléchissant à la structure de son corps enseignants. En effet, ce dernier est composé actuellement en majorité de vacataires. A l'avenir, il devrait disposer d'un nombre plus important de professeurs pouvant s'impliquer plus fortement dans la formation. Références Detroz, P. (2008). L'Évaluation des enseignements par les étudiants: état de la recherche et perspectives. Revue française de pédagogie(165), 117-135. doi:10.2307/41202431 196 Kulik, J. A., & McKeachie, W. J. (1975). The Evaluation of Teachers in Higher Education. Review of Research in Education, 3, 210-240. doi:10.2307/1167259 Pelpel, P. (2005). Se former pour enseigner. Paris: Dunod. Prégent, R. (1990). La préparation d'un cours. Montréal: Edition de l'Ecole Polytechnique de Montréal. Prégent, R., Bernard, H., & Kozanitis, A. (2009). Enseigner à l'université dans une approcheprogramme. Montréal: Presses internationales Polytechnique. Spooren, P., Brockx, B., & Mortelmans, D. (2013). On the Validity of Student Evaluation of Teaching: The State of the Art. Review of Educational Research, 83(4), 598-642. doi:10.3102/0034654313496870 Vianin, P. (2007). La motivation scolaire: Comment susciter le désir d’apprendre? Bruxelles: De Boeck Viau, R. (1994). La motivation en contexte scolaire (1er ed.). Saint-Laurent (Quévec): Les éditions du renouveau pédagogique. 197 LES ÉVALUATIONS CANTONALES À GENÈVE: VERS UNE STANDARDISATION DES ÉPREUVES (ID 92) DUTRÉVIS, Marion, SRED (CH) SOUSSI, Anne, SRED (CH) RÉSUMÉ En Suisse comme dans la majorité des pays, les évaluations externes sont de plus en plus nombreuses. Le canton de Genève ne fait pas exception à la règle. Plusieurs évaluations co-existent: les tests nationaux, les évaluations cantonales, les épreuves PISA. Et d'autres devraient voir le jour au niveau de la Suisse romande. Ces évaluations visent différents objectifs, et portent sur des compétences générales ou liées au Plan d'études romand (PER). Dans le canton de Genève, les élèves du primaire et du secondaire inférieur doivent passer, à plusieurs reprises dans leur scolarité, des évaluations cantonales. Ces évaluations cantonales peuvent être qualifiées de mixtes: si elles sont conçues par des personnes externes, elles se déroulent en classe et sont corrigées par les enseignants. Ces évaluations ont avant tout une visée certificative pour les élèves en fin de cycle. Au primaire comme au secondaire, le nombre d'épreuves s'est accru avec le temps. Au primaire, les élèves de 4e, 6e et 8e sont concernés par les évaluations qui portent sur le français, les mathématiques, et l'allemand (uniquement en 6e et en 8e). Au secondaire, les évaluations ont lieu à tous les degrés et portent sur la grande majorité des disciplines enseignées. Comme le montre les travaux antérieurs (Soussi & Nidegger, 2009), les évaluations cantonales comportent certains points faibles. Il existe un manque d'harmonisation entre les disciplines. De plus, d'une année à l'autre, on observe des variations relativement importantes dans les résultats, qui s'expliquent par une certaine disparité dans le niveau de difficulté des épreuves. C'est pourquoi dans un souci de comparabilité des épreuves d'une année à l'autre, le SRED en collaboration avec les autorités scolaires sont entrés dans un processus de standardisation de ces évaluations, l'objectif étant notamment de créer une banque d'items qui permettra de générer, d'une année à l'autre, des évaluations présentant le même niveau de difficulté. Dans cette présentation, il s'agira de rapporter les résultats issus d'un premier travail effectué en vue de la standardisation des évaluations en mathématiques. Les premières analyses ont porté sur les épreuves mathématiques proposées aux élèves de 4e et de 8e primaire, ainsi que de fin de secondaire I (11e). En s'appuyant sur la théorie de la réponse aux items et celle de la généralisabilité des analyses ont été effectuées afin de mesurer la fiabilité et la validité de ces épreuves. Comparativement aux théories classiques, la théorie de la réponse aux items permet d'estimer les propriétés des items indépendamment de l'échantillon qui a participé aux évaluations. Les analyses permettent de déterminer la difficulté de l'item, son pouvoir de discrimination (c'est-à-dire sa capacité à différencier les élèves en fonction de leur compétence dans le domaine), de même que la qualité globale de l'épreuve (Wu, 2013; Wu & Adams, 2007). Par ailleurs, dans le cadre de la théorie de la réponse aux items, on situe les résultats des élèves par rapport à des tâches, plutôt que par rapport aux performances des autres élèves (Bain, 2010; Dierendonck, 2014). Concernant l'épreuve de 11e, les résultats montrent que l'épreuve dans son ensemble est fiable. De plus, les sous-domaines mathématiques ("Nombres et opérations", "Grandeurs et mesures", 198 "Fonctions et algèbres") donnent également des résultats satisfaisants en termes de fiabilité. Par ailleurs, au secondaire I, les élèves sont répartis dans les classes selon trois regroupements en fonction de leurs résultats au primaire. Nous avons donc étudié les courbes caractéristiques des items en fonction des trois regroupements. La qualité des items, en termes de difficulté et de discrimination, sera donc présentée en tenant compte des regroupements. Les résultats sont plus mitigés pour les épreuves de 4e et 8e primaires. Si les épreuves dans leur totalité donnent des niveaux de fiabilité satisfaisants, il n'en va pas de même pour chacun des sousdomaines. Il conviendra donc d'analyser la qualité des items en question et de vérifier leur adéquation par rapport aux compétences visées par les sous-domaines qui ne donnent pas satisfaction en termes de fiabilité. Le nombre d'items, fortement variable d'un sous-domaine à l'autre, sera également questionné. De plus, la qualité des items sera examinée au regard de certaines caractéristiques des élèves, dont on connaît l'influence possible sur la réussite aux évaluations scolaires. Dans le cadre de cette recherche, nous examinerons les items en fonction du genre et de l'origine sociale des élèves. Ces travaux constituent une première étape dans la standardisation des items des évaluations cantonales. A terme, l'objectif sera d'élaborer une banque d'items regroupés en fonction de leur pertinence par rapport à la mesure de telle ou telle compétence. Dans la discussion des premiers résultats obtenus, il sera question de la difficulté de construire des items de qualité en fonction des compétences qui sont évaluées. Cette difficulté apparaît déjà à la lecture des résultats sur certaines sous-dimensions du domaine des mathématiques. Une réflexion devra donc être menée concernant la définition claire des compétences en jeu et du meilleur moyen de les évaluer à travers une épreuve standardisée. Ceci semble d'autant plus nécessaire que les autres disciplines (et en particulier, la langue d'enseignement) qui font l'objet d'évaluations cantonales devraient également générer certaines difficultés dans l'élaboration d'items à la fois valides et faibles. Enfin, il est également possible que la difficulté dans la construction des épreuves varie en fonction du degré scolaire. 199 ÉVALUATION PRÉCOCE DE LA FILIÈRE D’ÉTUDES ET LIENS AVEC LA RÉUSSITE (ID 98) DELL’AMBROGIO, Piera, OVE - Université de Genève (CH) STASSEN, Jean-François, OVE - Université de Genève (CH) RINALDI, Jean-Marc, OVE - Université de Genève (CH) CARFORA, Nicolas, OVE - Université de Genève (CH) RÉSUMÉ À l’Université de Genève, les programmes de formation sont évalués périodiquement dans le cadre de la politique de prévention et d’amélioration de la qualité. Cette démarche systématique concerne toutes les activités de l’institution. Depuis 2015, l’équipe de l’Observatoire de la vie étudiante (OVE) collabore aux enquêtes d’évaluation des programmes conduites par le Bureau qualité, en apportant un soutien dans l’élaboration des questionnaires, leur administration et la production des résultats bruts. Par ailleurs, l’OVE mène, depuis 2006, une enquête longitudinale auprès des étudiants, à travers laquelle il enregistre régulièrement la mesure des phénomènes liés aux conditions de vie et d’étude ainsi que leur évolution dans le temps. Nos questionnaires intègrent aussi bien des questions relatives à la situation personnelle de l’étudiant (conditions de vie, antécédents scolaires, difficultés rencontrées, connaissances et compétences acquises...) que des questions relatives au regard qu’il pose sur l’université (évaluation des enseignements, modalités d'évaluation des cours, encadrement académique et administratif, pratiques et innovations pédagogiques...) et sur sa projection dans le futur (projet professionnel et d’études, insertion professionnelle...). De plus, l’OVE peut lier les données recueillies via ses enquêtes aux données administratives, c’est-à-dire aussi aux résultats académiques propres à chaque étudiantE. C’est tout naturellement que nous nous sommes alors demandé dans quelle mesure les données recueillies par l’OVE pouvaient compléter ou qualifier les résultats obtenus par le Bureau qualité et ce, partant de trois considérations parmi tant d’autres issues de la littérature dans le domaine. En 1990 déjà, Crozier soulignait la difficulté de l’évaluation à mesurer l’impact de l’effort fourni par un enseignant sur le résultat obtenu par un étudiant, résultat presque toujours dû à l’effort collectif de tous les acteurs en jeu, et donc aussi à celui de tous les autres enseignants. (Younes, 2009, 197) En 2005, Laurent Lima et Charles Hadji s’interrogeaient sur les « éventuelles corrélations entre ces jugements (...) et d’autres dimensions importantes de “l’être étudiant ”. Ils ajoutaient qu’ « Il ne nous paraît pas possible d’apprécier la qualité d’un enseignement sans prendre en compte ses effets exprimés en termes de progression et/ou de réussite ». (p.24) En 2014, Cathy Perret et Joëlle Demougeot-Lebel relèvaient que les résultats de l’analyse des choix des équipes pédagogiques concernant les questionnaires d’évaluation (EEE) «soulignent également l’absence de recueil de données en lien avec certaines dimensions de la relation pédagogique (notamment les difficultés étudiantes et les interactions enseignant-étudiant)... On peut donc retenir que l’évaluation de l’enseignement universitaire ne peut pas ne pas s’intéresser à un triple objet : le teaching ; le learning ; et les effets du processus teaching-learning. » (p.41) 200 Notre travail consiste en un premier temps dans la recherche des liens entre les évaluations que l’étudiant fait de ses propres aptitudes aux études et celles qu’il exprime par rapport aux enseignants et à sa filière d’études en général. On constate que les deux groupes de facteurs sont très fortement associés. En d’autres termes, plus l’étudiant aura une bonne perception de ses capacités et compétences, meilleure sera l’évaluation qu’il fera de l’institution universitaire et de la manière dont la formation qu’il suit est organisée. Nous analysons ensuite le lien qui pourrait exister entre ces deux types d’évaluations, formulées au cours du 2ème semestre de la 1ère année de bachelor, et la trajectoire académique de l’étudiant, à savoir l’obtention ou non d’un bachelor universitaire après 4 ans d’études. Cette relation entre l’auto-évaluation et l’évaluation de la formation est également analysée en intégrant d’autres variables, que nous qualifions d’intermédiaires, telles que l’état de santé de l’étudiant, le degré de confiance en soi, l’évaluation de son niveau de vie... Ces analyses sont effectuées dans le but de refléter la diversité des influences à l’œuvre dans ces processus. Nous chercherons donc à comprendre quels autres facteurs pourraient être associés à la bonne ou la mauvaise évaluation des enseignants et des enseignements (attribution à une causalité interne, externe, tendance à évaluer de manière négative...) et la capacité prédictive de ce type d’évaluation pour ce qui concerne la réussite ou l’échec futur. Références Perret Cathy & Demougeot-Lebel Joëlle (2014), «Le caractère formatif d’un dispositif d’évaluation des enseignements par les étudiants (EEE): une analyse de l’utilité des questionnements pour une démarche réflexive », Mesure et évaluation en éducation, vol.37, N°2, 41-67. Lima Laurent & Hadji Charles (2005), « Quand les étudiants se prononcent sur la qualité de leurs études d'une évaluation bilan à une évaluation dynamogène », in Hadji C., Bargel T. & Masjuan J. (éds), Étudier dans une université qui change ; le regard des étudiants de trois régions européennes, Grenoble, PUG, 22-56. Younes Nathalie (2009), « L’évaluation de l’enseignement par les étudiants comme seuil de changement », in Romainville M, Coggi C., L’évaluation des enseignements par les étudiants. Approches critiques et pratiques innovantes, Bruxelles, De Boeck, 192-209. 201 RELAÇÃO ENTRE O SUPORTE/FEEDBACK DO PROFESSOR E O DESEMPENHO E MOTIVAÇÃO DOS ALUNOS PARA A APRENDIZAGEM (ID 99) MONTEIRO, Vera, ISPA - Instituto Universitário (PT) RIBEIRO, Ana Filipa, ISPA - Instituto Universitário (PT) MATA, Lourdes, ISPA - Instituto Universitário (PT) PEIXOTO, Francisco, ISPA - Instituto Universitário (PT) RESUMO O suporte e feedback que o professor dá aos seus alunos vai ter um papel muito importante no processo de ensino-aprendizagem. Um feedback positivo, informativo vai suportar a tarefa que a criança está a desenvolver, vai estimular a sua autonomia, promover a motivação intrínseca e permite que o aluno percecione a tarefa de forma mais agradável. O Feedback do professor deve ser flexível e informativo, rico e especifico relativamente à evolução das competências do aluno (Reeve, 2006). Não deve ser fornecido no sentido de pressionar os alunos pois isso promove a desmotivação, comportamentos inapropriados, falta de atenção e desempenhos menos elevados por parte dos alunos. Por outro lado, professores que promovem a autonomia-suporte consideram um desempenho baixo por parte dos alunos, como uma situação a resolver e, quando a tarefa não é percecionada como interessante, estes professores explicam a importância, o valor da tarefa e a utilidade a um nível pessoal de forma a que os alunos percebam a razão de valer a pena investir na mesma (Reeve, Jang, Hardre, & Omura, 2002). Assim, neste trabalho iremos analisar a relação que existe entre a perceção que as crianças têm do suporte/ feedback dado pelo seu professor e a sua motivação e desempenho escolar. Participaram no estudo 164 crianças a frequentar o 4º ano de escolaridade. Para avaliar a motivação para a aprendizagem utilizou-se a escala de Autorregulação Académica – “Porque é que eu faço as coisas?” de Ryan e Connel (1989) e tem como principal objetivo identificar as razões pelas quais as crianças fazem as suas tarefas escolares. O instrumento evidenciou uma estrutura multidimensional, com 25 itens, constituído por quatro dimensões: uma dimensão de regulação intrínseca, ligada à motivação intrínseca e 3 dimensões da motivação extrínseca: regulação identificada, regulação introjetada e regulação externa. A presente escala é do tipo Likert e varia entre Discordo Totalmente (1) e Concordo Totalmente (4). A análise dos resultados deste questionário pode ser realizada pela média dos scores obtidos em cada dimensão (que varia entre 1 e 4), ou calculando o Índice de Autonomia Relativa – RAI- a partir da seguinte fórmula: 2 x Total Intrínseca + Total da Identificada – Total Introjetada – 2 x Externa. O RAI descreve a autonomia relativa de cada aluno e é composto pela soma ponderada das médias das variáveis que compõem a escala de regulação para a aprendizagem. De forma a avaliar as perceções dos alunos face ao Suporte Social do Professor (SSP) utilizou-se esta dimensão da escala de clima de sala de aula de Monteiro, Peixoto e Mata (2014) que apresenta um total de 6 itens. A dimensão SSP avalia a forma como o aluno sente o apoio e a ajuda do professor na realização das tarefas escolares. Trata-se de uma escala tipo Likert com 6 pontos que variam entre Sempre (6) e Nunca (1). 202 Para avaliar a perceção que os alunos possuem do feedback fornecido pelo professor utilizou-se uma escala baseada no quadro teórico sobre a avaliação de Brookhart (2008). A partir da análise das propriedades psicométricas realizadas ao instrumento optou-se por trabalhar apenas com duas dimensões específicas do feedback: Foco e Comparação. A dimensão Foco permite perceber se o feedback que é percecionado pelos alunos é centrado no processo (FP), focado no aluno (FA), ou focado no resultado (FR). Quanto à dimensão Comparação esta avalia se os alunos acham que o professor quando avalia fá-lo comparando os seus resultados com os de outros alunos (CS), ou se o professor fá-lo comparando o trabalho com outros realizados anteriormente, analisando a sua evolução (CA). A presente escala é do tipo Likert, e varia entre Nunca (1) e Sempre (6). Foi ainda aplicado um questionário aos professores de forma a conhecer o desempenho escolar dos alunos. A escala variava entre Fraco (1), Insuficiente (2), Suficiente (3), Bom (4) e Excelente (5). Os resultados obtidos permitem-nos afirmar que as perceções dos participantes face ao suporte do professor possuem uma correlação positiva, significativa e moderada com uma regulação mais intrínseca para a aprendizagem (e vice-versa). Constatou-se que o grupo de alunos com valores mais elevados no RAI é o que apresenta perceções mais elevadas no suporte social do professor (SSP) sendo a diferença entre os dois grupos significativa (t (151) = - 1,957; p = 0,05). De forma a estudar, mais especificamente, a relação entre as perceções de feedback do professor por parte dos alunos e os seus níveis de regulação para a aprendizagem verificou-se que a dimensão Foco no Resultado e Comparação com os Colegas apresentam uma correlação significativa, moderada e negativa com o RAI, o que mostra que alunos com estilos de regulação mais externos percecionam o feedback do professor como mais focado nos seus resultados e fornecido através de uma comparação com os colegas. Por outro lado, a dimensão Foco no Processo evidencia uma relação significativa, positiva e moderada com o RAI, o que nos indica que os alunos com modos de regulação mais intrínsecos percecionam o feedback do professor como mais centrado no seu processo de aprendizagem (não apenas nos seus resultados). Quando se introduz a variável desempenho constata-se que existem diferenças significativas no Suporte Social do Professor (t (156) = -2,090; p = 0,038), verificando-se que alunos com desempenho mais elevado possuem perceções mais positivas do suporte social do professor. Também no que se refere ao feedback surgem como significativas as diferenças encontradas relativamente ao feedback fornecido pelo professor quando é Focado no Resultado, em função dos grupos de desempenho (t (156) = 5,543; p = 0,00), em que o grupo de desempenho mais baixo apresenta valores médios mais altos. Foram igualmente encontradas diferenças significativas entre os grupos de desempenho na dimensão feedback Comparativo a favor do grupo com desempenho mais baixo, quer no feedback de comparação entre colegas (t (158) = 2,491; p = 0,014) como no feedback de comparação com o próprio aluno (t (158) = 2,594; p = 0,010). O suporte e feedback que o professor fornece parecem ser elementos importantes no processo de aprendizagem podendo fomentar ou minar o prazer e interesse dos alunos e o seu desempenho académico. 203 ÉVOLUTION DE L’ASSESSMENT LITERACY DE FUTURS ENSEIGNANTS EN ENSEIGNEMENT SECONDAIRE EN CONTEXTE DE STAGE (ID 100) NIZET, Isabelle, Université de Sherbrooke (CA) CÔTÉ, Josée-Anne, Université de Sherbrooke (CA) RÉSUMÉ Les recherches menées depuis près de 15 ans sur les effets structurants des stages pour le développement professionnel du futur enseignant montrent que l’hétérogénéité des savoirs est généralement une source d’apprentissage. Les tensions entre savoirs homologués, savoirs savants et savoirs expérientiels seraient favorables à la construction de savoirs professionnels (Vanhulle, Mérhan et Ronveaux, 2007). Dans une perspective de professionnalisation, la formation initiale des futurs enseignants s’appuie, au Québec comme ailleurs, sur des dispositifs favorisant l’alternance. Les stagiaires en enseignement secondaire effectuent en troisième année de baccalauréat (1er cycle) un stage en responsabilité limitée (50 % de la tâche d’enseignement) durant 30 jours. Avant ce stage, tous les étudiants ont suivi le cours Évaluation des apprentissages, équivalant à 90 heures de formation. Les savoirs enseignés dans ce cours sont définis à partir de la compétence décrite dans un référentiel professionnel de formation (Gouvernement du Québec, 2001) et sont issus de sources scientifiques, pragmatiques, politiques, légales et culturelles contextualisées à la réalité québécoise, tout en faisant une large part à des savoirs théoriques légitimés circulant dans la communauté des spécialistes en évaluation scolaire et des pédagogues. Cette formation contribue au développement de l’assessment literacy des futurs stagiaires, comprise comme l’ensemble des dimensions conceptuelles et pratiques qui les préparent à concevoir et à mettre en œuvre des stratégies d’évaluation dans une perspective critique valorisant les fondements et la construction de savoirs légitimés en évaluation (Mertler, 2009). Dans une récente étude menée au Québec, Laurier (2014) révèle que les pratiques évaluatives des enseignants (qui accueillent potentiellement les stagiaires en enseignement) ne s’appuient pas nécessairement sur des savoirs scientifiques et ne tiennent pas nécessairement compte de l’évolution des prescrits ministériels, dont la Politique d’évaluation des apprentissages, publiée en 2003. Cette situation semble préoccupante puisque selon Vial (2009), la pratique évaluative s’appuie sur des théorisations résultant d’une accumulation de « conceptualisations » à propos de l’évaluation qui finissent par constituer pour le praticien un système évolutif de références. Le processus de référenciation désigne l’ensemble des étayages conscients et inconscients sur lesquels s'appuient la construction de pratique, le produit de la pratique, sa pensée et sa conceptualisation (Ibid. p. 29). Le repérage des éléments de ce système de référence est le pivot d'une formation à l'évaluation (Vial, 2009) et, en contexte de stage, le partage de ces étayages constitue l’ancrage potentiel d’une construction de savoirs professionnels par le stagiaire. Comment le contexte actuel des stages favorise-t-il alors la construction de ces savoirs professionnels en évaluation par les stagiaires? Nous avons adopté une partie du cadre proposé par Vanhulle, Balslev et Buysse (2012) pour caractériser les savoirs auxquels l’étudiant a accès dans sa formation et décrire le processus de reconfiguration par lequel il pourrait construire et formaliser dans des énoncés particuliers des 204 savoirs professionnels. Nous avons ainsi retenu quatre indicateurs discursifs : les types de savoirs en fonction de leurs sources, l’objet des interactions (avec l’enseignant associé), les régulations qui en résultent et les démarches cognitivo-réflexives présentes dans le discours. Ce cadre nous a permis d’identifier les questions spécifiques suivantes : Quelle est la place des savoirs académiques dans la référenciation des pratiques évaluatives problématiques de stagiaires en enseignement secondaire? Quel est l’apport de l’enseignant associé au processus de reconfiguration des savoirs en réponse aux problématiques vécues par le stagiaire? Nous avons créé un dispositif méthodologique favorisant le recueil d’information sur l’assessment literacy de futurs enseignants au début de leur formation académique de 3ème année, au terme de celle-ci et à la fin de leur stage. Ces questionnaires sont inspirés du Assessment Literacy Invertory de Mertler et Campbell (2005). Afin de répondre à la première question spécifique de recherche, nous avons repéré les savoirs de référence (académique, pratique, expérientielle, institutionnelle) évoqués aux différentes étapes de l’évocation de chaque problème. Des matrices descriptives ont alors été élaborées pour chaque cas (stagiaire) afin d’obtenir un portrait visuel de l’apport des différentes sources de savoirs dans la position et la résolution de chaque problème. Afin de répondre à la deuxième question spécifique de recherche, nous avons analysé le discours rapporté par le stagiaire concernant des échanges avec l’enseignant associé qui l’accueille dans sa classe à propos de problématiques vécues en stage en lien avec l’évaluation. Nous avons repéré les savoirs en évaluation dont la source était explicitement liée à la pratique de l’enseignant associé et qui ont été objets d’interactions entre le stagiaire et lui. Les matrices descriptives des cas ont été analysées pour repérer les savoirs à propos desquels une ou plusieurs dimensions de la résolution des problèmes avaient bénéficié d’interactions et pour lesquels une régulation avait eu lieu. Nous avons analysé le contenu des segments traduisant une démarche réflexivo-cognitive pour les savoirs ayant été objets de problématisation, d’interaction et de régulation. Cette analyse permet d’établir un bilan provisoire relatif aux conditions de viabilité des savoirs de référence construits par ces stagiaires dans un cadre de formation en alternance. La situation décrite par Laurier (2014) semble générer un écart important entre l’assessment literacy des stagiaires et celle des enseignants associés, ce qui questionne la crédibilité, l’intelligibilité et la légitimité des savoirs construits au terme du stage, en particulier concernant la thématique de l’élaboration d’instrument soutenant l’évaluation de tâches complexes et la compréhension du rôle de l’évaluation formative. Les résultats de cette étude indiquent que l’assessment literacy des enseignants associés affecte leur capacité de régulation dans la résolution de problématiques vécues par les stagiaires lorsqu’ils évaluent les apprentissages des élèves. Ce constat relance selon nous la nécessité de penser un modèle d’alternance plus intégrateur (Tynjâlâ, 2009) qui favoriserait un rapprochement plus efficace des communautés de formation dans une perspective de collaboration. Références Laurier, M.D. (2014). La politique québécoise d’évaluation des apprentissages et les pratiques évaluatives. Éducation et francophonie, numéro spécial 42(3), p. 31-49. Mertler, C.A & Campbell, C.S. (2005). Measuring teacher’s knowledge and application of classroom assessment concepts : development of the Assessment Literacy Inventory. Paper 205 presented at the annual meeting of the American Educational research Association, Montreal, Quebec, Canada, April. Tynjala, P. (2009). Connectivity and transformation in work-related learning. Theoretical foundations », in M.-L. Stenstrôm & P. Tynjala (dirs.), Towards Integration of Work and Learning. Strategies for Connectivity and Transformation, NewYork, Springer, p. 11-37. Vanhulle, S., Balslev, K. et Buysse, A. (2012). Comprendre les processus discursifs de la construction des savoirs professionnels et leurs effets régulateurs en terme de développement. In J. Clénet, P. Maubant et D. Poisson (dir.), Formation et professionnalisations : à l’épreuve de la complexité (p. 117-150). Paris : L’Harmattan. Vanhulle, S., Merhan, F., Ronveaux, C. (2007). Du principe d'alternance aux alternances en formation des adultes et des enseignants : un état de la question. In F. Merhan, C. Ronveaux, S. Vanhulle, Alternances en formation (p. 7-45). Bruxelles : De Boeck. Vial, M. (2009). Se former pour évaluer. Se donner une problématique et élaborer des concepts (2e ed.). Bruxelles: De Boeck Supérieur. 206 EVALUATION DES COMPÉTENCES, APPRENTISSAGES DES ÉLÈVES ET POLITIQUES D'ÉDUCATION PRIORITAIRE (ID 102) SOUSSI, Anne, SRED (CH) DUTRÉVIS, Marion, SRED- Université de Genève (CH) NTAMAKILIRO, Ladislas, URSP (CH) GILLIÉRON, Patricia, URSP (CH) NIDEGGER, Christian, SRED (CH) FOUQUET-CHAUPRADE, Barbara, Université de Genève (CH) CHESNAIS, Aurélie, Université de Montpellier (FR) NAKHILI, Nadia, Université de Grenoble Alpes (FR) BENHAYOUN, Anne-Marie, Institut Français d’Education (FR) RÉSUMÉ Depuis quelques décennies, l'évaluation externe a pris un grand essor en Amérique du nord et en Europe avec les besoins d'accountability. Ses fonctions sont diverses: elles peuvent être diagnostiques comme les évaluations nationales françaises avant 2003, sommatives ou certificatives comme certaines épreuves de référence ou évaluations cantonales en Suisse romande, en Communauté française de Belgique ou au Luxembourg, etc. ou encore servir au monitorage ou au pilotage du système (évaluations françaises CEDRE, enquête internationale PISA, etc.). Parfois, elles poursuivent plusieurs objectifs. De toutes les façons, elles s'adressent à tous les élèves ou à un échantillon d'entre eux indépendamment du contexte de scolarisation. Or, la réussite à ces évaluations dépend de nombreux facteurs: les caractéristiques individuelles des élèves, celles des enseignants ainsi que leurs pratiques pédagogiques y compris en matière d'évaluation, et le contexte de scolarisation (classe et établissement). Nous aborderons ici plus particulièrement le contexte de l'éducation prioritaire en comparant les compétences d'élèves scolarisés dans des établissements appartenant à l'éducation prioritaire ou non dans plusieurs cantons et pays. Dans ce contexte, la question de l'évaluation des effets de ces politiques est un problème complexe. Le plus souvent, on recourt à des instruments habituels dont on dispose : épreuves externes servant à la régulation du système ou à la vérification de l’atteinte des objectifs en essayant de mettre en évidence des différences liées aux caractéristiques des élèves ou des enseignants. Cependant, ces épreuves ne sont pas spécifiquement élaborées pour mettre en évidence l’efficacité des politiques d’éducation prioritaire. De manière générale, ces évaluations externes permettent de comparer les compétences des élèves en montrant des écarts selon le contexte de scolarisation. Le plus souvent elles ne permettent pas de mettre en évidence des effets de ces politiques. Pour évaluer l’effet de ces politiques d’éducation prioritaires, d’autres dimensions méritent d’être investiguées, telles que les pratiques d’enseignement ou les mesures spécifiques appliquées aux bénéficiaires des politiques d’éducation prioritaire. Les différentes présentations de ce symposium tentent d'éclairer différentes entrées possibles pour évaluer les politiques d’éducation prioritaires et leur contribution à la mise en évidence d’effets de ces politiques. Ainsi, interroger les attentes, observer les pratiques pédagogiques en classe ou interroger les enseignants à ce propos ou encore investiguer les dispositifs de soutien aux apprentissages sont des 207 pistes à explorer pour comprendre comment se construisent les compétences des élèves dans des contextes différents. Une première communication traitera de l'efficacité relative des projets d'établissements bénéficiant de discrimination positive (Equité) dans le canton de Vaud, ce qui permettra de faire le lien entre projets et compétences des élèves. Une seconde communication s'intéressera aux compétences des élèves genevois dans deux contextes (le Réseau d'enseignement prioritaire et les autres établissements) à l'école primaire et les pratiques pédagogiques déclarées des enseignants. Dans la troisième communication, les attentes des enseignants dont on connait l'impact sur la réussite et les parcours scolaires des élèves seront interrogées du point de vue des enseignants, des directions d'établissements et des élèves dans le canton de Genève. Une quatrième communication portera sur l'influence du contexte et les effets sur les compétences des élèves en mathématiques dans deux établissements (un REP et un ordinaire) au moyen d'une approche ergonomique et didactique. Enfin, une dernière communication traitera plus spécifiquement de la logique de la prise en compte des difficultés scolaires et de ses effets sur les acteurs et les élèves, dans des dispositifs et dans la classe au quotidien au collège en France. En s'appuyant sur des dispositifs implantés dans différents contextes nationaux ou cantonaux, au primaire comme au secondaire, les différentes contributions à ce symposium permettront un éclairage multiple sur l'évaluation et l'apprentissage en éducation prioritaire. 208 LE STRESS CAUSÉ PAR LES EEE ET L’IMPACT SUR LA PERFORMANCE ACADÉMIQUE (ID 103) FORNERINO, Marianela, Grenoble Ecole de Management (FR) CUNY, Caroline, Grenoble Ecole de Management (FR) GODENER, Armelle, Grenoble Ecole de Management (FR) RÉSUMÉ Les Evaluations des Enseignements par les Etudiants (EEE) sont souvent obligatoires (contrainte externe) avec un but d’amélioration des enseignements. Cependant, ces EEE peuvent générer du stress parmi les enseignants et impacter leur bien-être et leur performance. L’objectif de cette étude est donc de proposer et de tester un modèle des relations entre stress et performance, dans le cadre des EEE. Les recherches sur le stress des enseignants sont nombreuses et variées (cf Kyriacou, 2001), explorant les facteurs, les processus et les stratégies associés au métier d’enseignant. Le stress peut être défini comme une ensemble de mécanismes biologiques, psychiques et émotionnels, générés par la perception d’un déséquilibre entre les contraintes et les ressources dont un individu dispose pour faire face à une situation donnée (Albert et al., 2010). Ainsi, la façon de percevoir les contraintes et ressources à disposition constitue un facteur de variabilité important parmi les employés et peut expliquer pourquoi, dans un même environnement, des individus sont plus ou moins stressés (Jepson et Forrest, 2006). Ici, l’utilité perçue d’un outil d’EEE, vu soit comme une contrainte, soit comme une ressource, pourrait donc constituer un facteur important augmentant ou diminuant respectivement le stress ressenti par les enseignants. Le stress associé à des émotions négatives au travail impacte négativement la performance des employés (Singh et al., 1994). Par conséquent, le stress devrait affecter les notes des EEE (évaluation externe de la performance) et la perception par les enseignants eux-mêmes de leur propre performance (auto-évaluation de la performance). Méthodologie Pour tester les hypothèses proposées, nous avons conduit une enquête quantitative auprès du corps professoral de notre institution. Pour mesurer la perception des bénéfices, utilités et effets négatifs des EEE, une liste de 23 items a été retenue à partir d’entretiens qualitatifs menés auprès des enseignants. Pour mesurer le stress généré par les EEE, une adaptation de l’échelle proposée par Albert et al. (2010) a été utilisée. L’échelle d’auto-performance au travail adaptée de Babin et Boles (1998) et de Babakusa et al. (2009) a été utilisée pour estimer l’auto-évaluation de la performance de l’enseignant. Enfin, pour collecter les résultats des EEE obtenus par les enseignants, nous avons demandé à chaque répondant de les renseigner, en indiquant le nombre de cours dont l’évaluation globale se situait dans des intervalles de 0,5 allant de 1 à 5. A partir de ces déclarations, une moyenne a été calculée. La collecte des données a été faite en ligne, durant une période d’un mois à la fin de l’année scolaire. 113 réponses complètes ont été collectées, dont 46% d’hommes, 61% d’enseignants permanents (vs 39% d’intervenants extérieurs), et une moyenne d’âge de 47,5 ans. 209 Une série d’analyses en composantes principales a été réalisée confirmant le caractère unidimensionnel de l’échelle de performance perçue et du stress. Les perceptions des bénéfices et risques des EEE comportent 3 dimensions : EEE-outil d’amélioration pédagogique (exemple d’item : l’EEE sert à faire progresser/améliorer la qualité de fond de l’enseignement), effets pervers des EEE (exemple d’item : le fait de savoir qu’il y aura l’EEE à la fin du module me conduit à évaluer d’une façon moins sévère les travaux du contrôle continu) et le poids trop important des EEE sur l’évaluation de l’enseignant (exemple d’item : l’EEE est le seul critère pris en compte pour évaluer la qualité du travail pédagogique de l’enseignant). Les échelles ont été soumises à un contrôle de leur fiabilité par l’alpha (a) de Cronbach et par le rhô (ρ) de Joreskög. Le test des hypothèses a été réalisé à l’aide d’un modèle d’équations structurelles en utilisant le logiciel AMOS sous SPSS, avec recours à la fonction du maximum de vraisemblance (MV). Celle-ci est mieux adaptée aux échantillons de petite taille (Hu et Bentler 1998). Résultats Les résultats montrent que la perception des EEE comme un outil d’amélioration académique conduit à diminuer le stress, que la perception des effets pervers des EEE est une source de stress et que l’effet sur le stress de la perception des EEE comme étant le seul critère d’évaluation de l’enseignant n’est pas significatif. En revanche, ce dernier facteur a un impact direct et positif sur la performance des EEE, ce qui veut dire qu’il n’est pas considéré comme un risque, que les enseignants estiment qu’ils disposent des ressources adéquates pour affronter la contrainte, améliorant ainsi les résultats des EEE. La perception des effets pervers a aussi un effet direct sur l’auto-évaluation de la performance, c’est-à-dire que plus l’enseignant perçoit ces effets comme importants, plus il va faire une auto-évaluation élevée. Comme attendu, le stress impacte négativement la performance obtenue dans les EEE, et cette dernière impacte positivement l’autoévaluation de la performance par l’enseignant. Cependant, cet impact est de 15,8%, ce qui est limité, mais est déjà beaucoup plus important que le pouvoir explicatif des résultats des EEE à eux tous seuls (6%) ; nous en concluons que le modèle a une capacité bien supérieure à expliquer l’autoévaluation de la performance que l’EEE. Conclusions La perception de l’utilité des EEE comme outil d’amélioration académique contribue positivement à la performance de l’enseignant. D'une part, elle conduit à réduire le stress ressenti par les EEE, mais elle impacte aussi indirectement et favorablement ses résultats ainsi que son auto-évaluation de la performance. En revanche, les effets pervers sont bien une réelle source de stress. Mais les enseignants gèrent cette perception d’une façon positive, impactant ainsi directement leur autoévaluation. Ce mécanisme reste à être expliqué, ainsi que la part prise en compte par les enseignants dans leur auto-évaluation de la performance, puisque le modèle n’explique que 15,8%. Malgré le stress occasionné par les EEE, les enseignants arrivent à effectuer une auto-évaluation prenant en compte d’autres éléments que l’avis des étudiants. Des pistes managériales ressortent de ces résultats : 1) l’importance de prendre en compte, lors des évaluations des enseignants, les démarches qu’ils mettent en œuvre pour faire évoluer leurs enseignements (et non pas seulement les résultats des EEE), puisque cela va permettre d’augmenter la perception d’utilité des EEE dans l’amélioration académique, avec ses effets bénéfiques sur la performance ; 2) la mise en place de 210 stratégies d’accompagnement des enseignants pour s’affranchir des effets pervers perçus, ainsi diminuer le stress et en conséquence, augmenter la performance. Références Ahearne, M., Mathieu, J., & Rapp, A. (2005). To empower or not to empower your sales force? An empirical examination of the influence of leadership empowerment behavior on customer satisfaction and performance. Journal of Applied Psychology, 90(5), 945. Albert, E., Bellinghausen, L., Collange, J., & Soula, M. C. (2010). Mesurer le stress professionnel. Archives des Maladies Professionnelles et de l'Environnement, 71(2), 130-138. Babakus, E., Yavas, U., & Ashill, N. J. (2009). The role of customer orientation as a moderator of the job demand–burnout–performance relationship: A surface-level trait perspective. Journal of Retailing, 85(4), 480-492. Babin, B. J., & Boles, J. S. (1998). Employee behavior in a service environment: A model and test of potential differences between men and women. The Journal of Marketing, 77-91. Hu, L. T., & Bentler, P. M. (1998). Fit indices in covariance structure modeling: Sensitivity to underparameterized model misspecification. Psychological methods, 3(4), 424. Jepson E. and Forrest S. (2006), Individual contributory factors in teacher stress: The role of achievement striving and occupational commitment, British Journal of Educational Psychology, 76, 183–197. Kyriacou, C. (2001). Teacher stress: Directions for future research. Educational Review, 53(1), 2735. Singh, J., Goolsby, J. R., & Rhoads, G. K. (1994). Behavioral and psychological consequences of boundary spanning burnout for customer service representatives. Journal of Marketing Research, 558-569. 211 DU PROCESSUS DE RECONNAISSANCE À L'ÉVALUATION DE LA PRATIQUE PROFESSIONNELLE. LE CAS DE SÉMINAIRES D'ANALYSE DE L'ACTIVITÉ POUR UNE PRATIQUE PROFESSIONNELLE EN DÉVELOPPEMENT (ID 104) FRISTALON, Isabelle, IFFP (CH) RÉSUMÉ Dans cette communication, nous interrogeons la pratique d’accompagnement que nous menons dans le cadre de la formation pédagogique d’enseignants d’écoles professionnelles suisses. Notre accompagnement est orienté par une posture d’analyse de l’activité issue de l’ergonomie francophone (Leplat, 2002 ; Clot, 1999 ; Jobert, 2001 ; Leblanc et Sève, 2012). L’analyse de l’activité de l’enseignant en formation dans le cadre de cet accompagnement constitue une démarche transversale à l’ensemble de la formation. Dans quelle mesure est-elle compatible avec la pratique évaluative et certificative d’un dispositif de formation ? Nous constatons chez les personnes en formation de nombreuses tensions entre un regard prescriptif porté et attendu, et une posture d’analyse souhaitée par les formateurs. Les postures d’accompagnateur, ami critique, certificateur mobilisées au fil de la formation se confrontent. Comment s’opère le détachement d’une posture évaluative dans la pratique de l’analyse de l’activité ? Notre réflexion sur la formation nous amène à considérer avec Jobert le formateur d’adultes comme « un agent de développement » (2013). Interroger notre pratique professionnelle de formation de formateurs permet de ne pas tomber dans un impensé pédagogique où les méthodes et les dispositifs ne sont plus envisagés comme construction sociale, et la pratique prend le risque de s’enfermer dans une logique d’objectifs (2015). Former à la pratique des enseignants s’inscrit dans la perspective d’un développement professionnel. Or il s’agit de former à une pratique professionnelle sans finaliser un développement de la personne (Bronckart, 2008). L’analyse de l’activité repose sur quatre considérations fondamentales : il existe un écart irréductible entre le travail prescrit et le travail réel (Leplat, 2002) ; le travail est une épreuve de soi au double sens d’éprouvé et de mise à l’épreuve (Schwartz, 2000) ; le travail est une activité située, dirigée et productrice d’identité. Le sujet est pris dans une dynamique de reconnaissance (Clot, 1999 ; Dejours, 1995 ; Jobert, 2002, 2013). Ainsi notre pratique de l’accompagnement de la pratique professionnelle et de la mise en projet de formation repose sur une mobilisation de l’expérience et la création d’espaces de subjectivation. Dans le cadre des séminaires, qui regroupent dans notre dispositif les personnes en formation suivies par un accompagnant, des séquences vidéos de différents types sont analysées : séquences professionnelles des participants travaillées avec l’accord des intéressés et commentées collectivement ; séquences filmées issues de plateformes de formation externes (néopass@ction, Ria et Leblanc, 2012). Le travail porte sur la description de l’activité et ses observables, l’identification de similitudes ou de différences entre les situations montrées et les situations vécues. L’enjeu est de permettre une identification, une reconnaissance de l’autre pour une reconnaissance de soi. Ce travail relève d’un processus de médiation formative (Bronckart, 2008). Il accorde une place fondamentale à la mise en langage par le formateur et la personne en formation. Le séminaire constitue un espace d’expérientialisation où la mobilisation de l’expérience peut se réaliser de manière discursive (Fristalon, 2012). Dans cet espace de 212 confrontations multiples, s’élabore une sémiotisation de sa pratique par un double mouvement d’identification de récurrences (processus de typification, reconnaissance du genre professionnel) et de reconnaissance de singularité (stylisation). Nous constatons dans ce travail d’analyse de l’activité enseignante, un double mouvement de distanciation et de renormalisation (Schwartz, 2000). La distanciation est portée par une exigence méthodologique « d’abstention du jugement » qui permet d’identifier les caractéristiques des situations. La renormalisation quant à elle s’appuie sur le processus de reconnaissance et d’attribution de sens et de valeur à l’activité observée (Roger, Jorro et Maubant, 2014), le travail de mise en patrimoine (Schwartz, 2000). La formation de formateurs procède d’un travail de conscientisation et de développement. Elle permet de faire œuvre de soi (Lenoir, 2015) dans une démarche de reconnaissance de soi et de sa compétence (Dejours, 1995 ; Jobert, 2002, 2013). Elle s’inscrit à l’instar de l’évaluation dans un dialogue autour du souhaitable et dans un indépassable inachèvement du processus interprétatif (Jorro, 2007). Cette analyse de l’activité constitue une forme d’herméneutique de la pratique qui permet la création d’un espace de JE autant qu’un espace de JEU d’expériences personnelles et constitutives de l’apprentissage du métier (Roger, Jorro et Maubant, 2014). Quel en est le ressort ? Il s’agit de créer un espace où puisse se réaliser la conflictualité entre savoirs quotidiens et savoirs savants ou scientifiques, afin d’en faire un objet de pensée (Jobert, 2013). Ainsi le but n’est plus de vérifier la conformité au système de norme, mais de s’interroger sur le rapport à la norme et à se positionner. Le rôle du formateur accompagnant n’est plus celui de l’ami critique qui dit des vérités, ni celui du vérificateur qui valide l’acquisition, mais bien celui du médiateur /passeur (Bronckart, 2008, Serres, 1992). Le travail de l’expérience nécessite la déstabilisation et s’inscrit dans un double mouvement de décentrement et de recentrement (Maillot, 2013). Il réhabilite l’étonnement parfois initié dans le vécu de la situation et le prolonge (Thievenaz, 2013). Le travail du formateur est bien alors d’accompagner la personne dans cet étonnement. Comment articuler dans le processus de formation ce travail sur l’étonnement et la sémiotisation de la pratique, la renormalisation de l’activité, avec le dispositif évaluatif certificatif ? Peut-on encore maintenir ces deux positions, en quelles temporalités ? Former ne consiste plus seulement à distinguer des temps, clarifier des postures ou des rôles, mais permettre ce travail de la conflictualité et de la reconnaissance. La démarche développementale peut-elle s’accommoder du travail de la norme ? L’activité industrieuse située et singulière, faite de subjectivité, de récurrence et d’éprouvé, de savoirs et d’empêchements, de délibérations, de valeur et de technicité peut-elle être évaluée ? L’évaluation ne porte-t-elle pas alors uniquement sur la compréhension d’une technicité et la capacité à interpréter sa réalisation et à la dépasser ? L’analyse de l’activité impose de maintenir en tension les postures du formateur : le détachement d’une posture évaluative par « l’abstention du jugement » comme exigence éthique et technique (Jobert, 2001), le travail de renormalisation pour construire. 213 Références Bronckaart, J.-P. (2008). Un retour nécessaire sur la question du développement. Dans J. Fijalkow et M. Brossard (Coord.) Vygotski et les recherches en éducation et en didactiques des disciplines (pp.237-250). Bordeaux : Presses Universitaires de Bordeaux. Bucheton, D. (2009). L’agir enseignant : des gestes professionnels ajustés. Toulouse : Octarès. Clot, Y. (1999). La fonction psychologique du travail. Paris : PUF. Dejours, C. (1995). Le facteur humain. Paris : PUF, Que Sais-je ? Fristalon, I. (2012). Mobilisation de l’expérience dans des formations se référant à l’analyse du travail. Thèse de doctorat en sciences de l’éducation. Université de Genève. Jobert, G. (2014). Exister au travail. Les hommes du nucléaire. Toulouse : Erès. Jobert, G. (2013). Le formateur d’adultes : un agent de développement. Nouvelle revue de psychosociologique, 15, 31-44. Jobert, G.. (2002). La professionnalisation entre compétence et reconnaissance sociale. In M. Altet, L. Paquay et P. Perrenoud (s/d). Formateurs d’enseignants. Quelle professionnalisation? (pp. 247-260). Bruxelles : De Boeck. Jobert, G. (2001). L’intelligence au travail. In P. Carré et P. Caspar (dir.). Traité des sciences et des techniques de la formation (pp. 347-363). Paris : Dunod. Jobert, G. (2007). L’évaluation génératrice de développement professionnel ?, Evaluation et développement professionnel (pp.. 11-31). Paris : L’Harmattan. Leblanc, S. et Sève, C. (2012). Vidéo-formation et construction de l’expérience professionnelle. Recherche et formation, 70, 47-60. Lenoir, H. (2015). Penser et agir pour l’éducation des adultes. Education permanente, n°203, pp. 17-24. Leplat, J. (2002). Psychologie de la formation. Jalons et perspectives. Choix de Textes 1955-2002. Toulouse : Octarès. Maillot, S. (2013). La transition professionnelle, « expérience de soi » face au changement. Education permanente, 197, 41-50. Ria, L. et Leblanc, S. (2012). Professionnalisation assistée par vidéo : les effets d’une navigation sur néopass@ction. Recherches et éducations. 99-114. Roger, L., Jorro, A., Maubant, P. (2014). De l’expérience formatrice à l’expérience apprenante: genèse et perspectives pour une mise en récit d’un processus de professionnalisation. Phronesis, 3, 28-37. Schwartz, Y. (2013). Conceptions de la formation professionnelle et double anticipation. Education permanente, 197, 11-27. Serres, M. (1992). Le tiers instruit. Paris : Gallimard. Schwartz, Y. (2000). Le paradigme ergologique ou un métier de Philosophe. Toulouse : Octarès. Thievenaz, J. (2013). Le rôle de l’étonnement dans la construction de l’expérience. Education permanente, 197, 113-123. 214 Veyrunes, P. et Yvon, F. (2014). « Générique » et « typique ». Recherche et formation, 75, 111126. 215 ANALYSE COMPARATIVE D’UNE FORMATION EN PRÉSENTIEL ET D’UNE FORMATION MIXTE (JEU SÉRIEUX ET UNE JOURNÉE EN PRÉSENTIEL) À HYDRO-QUÉBEC (ID 105) LEBLANC, Gladistonne Louverture, Université de Montréal (CA) RÉSUMÉ Hydro-Québec dispense de multiples formations destinées à perfectionner sa main-d’œuvre et à lui enseigner des connaissances essentielles à l’exercice de son métier, afin de maintenir un haut standard de qualité. Préoccupée par la sécurité de ses employés et des entrepreneurs qui travaillent en collaboration avec l’organisation, Hydro-Québec a mis au point des formations relatives aux mesures de sécurité à adopter au sein de ses installations. Actuellement, les employés d’HydroQuébec et les entrepreneurs ont l’obligation de suivre les formations en classe « Initiation au code de sécurité des travaux » (CDST) et « Initiation aux risques d’induction, de mise à la terre et foudre » d’une durée de trois jours, dans le but de se familiariser avec les principes de sécurité. Chaque année, près de 2500 apprenants suivent ces cours, avec une pointe d’achalandage au printemps. Ce contexte occasionne une forte pression sur la capacité à dispenser ces formations (Ellicom, 2014). La formation mobilise beaucoup de ressources financières et organisationnelles d’Hydro-Québec et des entrepreneurs. Le facteur temporel constitue une contrainte non négligeable dans la planification de la formation, compte tenu de l'urgence d’organiser la formation étant donné la nécessité de réaliser des travaux. Dans un tel contexte, il y a lieu de remettre en question l’atteinte des compétences visées de la formation en termes de niveau de rétention de la matière à moyen terme, car, fort souvent, les employés sont envoyés d’urgence en formation. Les conditions propices à l'apprentissage ne sont pas toujours réunies. La durée totale de la formation en classe et l’obligation de couverture territoriale de la province du Québec imposent une pression énorme sur le formateur et exigent une grande mobilité de ce dernier. Au terme d’une analyse réalisée au printemps 2014, Hydro-Québec considère qu’une formation en ligne serait plus adaptée, étant donné que ce mode d’apprentissage est accessible en permanence et n’engendre aucune contrainte logistique. Toutefois, compte tenu du profil des apprenants, qui exercent des métiers techniques variés, la formation devra être interactive et immersive dans le but de susciter et de maintenir l’intérêt des apprenants ainsi que de simuler les tâches réelles qu’ils doivent accomplir au travail. De plus, elle devra tenir compte de la large tranche d’âge des apprenants. Au regard de ces diverses caractéristiques, Hydro-Québec estime qu’un parcours de formation de type mixte, incluant une application interactive ludique suivie d’une formation en classe, serait la solution la plus appropriée au contexte. La formation en classe viendra consolider tous les apprentissages faits via la formation en ligne. La formule dénommée «formation mixte» consiste à mettre en place un dispositif de formation à travers un «jeu sérieux».Les jeux sérieux sont des jeux vidéo spécifiques adaptés à l’enseignement (Prensky, 2000; Johnson, 2005; Alvarez, 2007). Les dimensions ludiques, informationnelles et communicationnelles sont ainsi censées s’articuler aux dimensions pédagogiques, didactiques, et instrumentales pour en faire des instruments facilitant l’apprentissage (Ortega et Caron, 2011). 216 Ainsi, leurs potentialités en font un nouveau marché en pleine expansion (Yasmine, 2012). Le jeu sérieux a pour but de favoriser l’apprentissage des participants grâce à une stratégie d’apprentissage plus appropriée en ce sens qu’il contextualise l’environnement d’intégration et d’acquisition des compétences. Le jeu est supposé plus motivant par sa dimension ludique et développe l’engagement chez les participants dans la mesure où l’apprenant-joueur vise l’aboutissement de la partie du jeu avec un sentiment de réussite. L’interactivité du jeu favorise l’implication de l’apprenant-joueur dans le processus d’apprentissage. Notre recherche, de nature empirique, consiste à comparer analyser les deux modalités de formation. Une telle analyse nous permettra de faire ressortir les éléments pouvant orienter le choix des gestionnaires d’Hydro-Québec, quant à la décision de garder le statuquo (poursuivre la formation en présentiel) ou de la substituer par la formation mixte. C’est dans ce contexte que nous nous sommes engagés dans une démarche de recherche, reposant sur un protocole quasi expérimental visant à comparer les deux groupes de participants (un groupe témoin et un groupe expérimental). Une méthode mixte à dominance quantitative a été utilisée. L’échantillon, constitué de cent (100) participants par groupe de formation issus d’une même population, a été choisi par convenance. La recherche est menée autour de deux axes : un premier axe orienté vers le contenu de la formation reposant sur une analyse qualitative et un deuxième axe orienté vers les apprenants visant l’étude de la motivation et de l’apprentissage selon une approche quantitative. Elle est constituée de trois phases : la phase 1 consiste à établir la comparaison entre les deux modalités de formation, selon les aspects généraux et pédagogiques ; la phase 2 est axée sur l’évaluation des apprentissages des participants, au regard des aspects évaluatifs des deux modalités de formation. Enfin, la phase 3 a pour objet de collecter les données sur la motivation des apprenants après la formation en lien avec les aspects motivationnels de la formation. Diverses données sociodémographiques sont également collectées à cette phase. Notre communication vise à présenter les résultats d’analyses préliminaires, basées sur un cadre de référence issu d’une recension de la littérature et visant à comparer les deux modalités de formation. Ce cadre d’analyse inclut notamment des éléments en lien avec l’apprentissage, la pédagogie, la motivation et l’évaluation. Références Alvarez, J. (2007). Du jeu vidéo au serious game approches culturelle, pragmatique et formelle. Ellicom. (2014). Formation au CSDT -Hydro-Québec - Projet 13-2220 : Cahier des charges 31. Johnson, W. L., Vilhjálmsson, H. H., & Marsella, S. (2005). Serious games for language learning: How much game, how much AI? Paper presented at the AIED. Ortega, R. B., & Caron, P.-A. (2011). Dispositifs de formation et Serious Game. Prensky, M. (2001). Digital game-based learning. New York: McGraw-Hill. Yasmine, K. (2012). Les Serious Games 217 : Une revolution. Belgique: edipro. DE LA CO-ÉVALUATION DES PRATIQUES À LEUR AMÉLIORATION (ID 106) ARDID, Mylène, LIRDEF, EA 3749, Montpellier (FR) ÉTIENNE, Richard, LIRDEF, EA 3749, Montpellier (FR) RÉSUMÉ: Nous rendrons compte d’une recherche centrée sur l’évaluation des enseignants dans un lycée français à New York. Dans un premier temps, les responsables de département avaient à évaluer le travail de leurs collègues pour proposer des éléments d’une rémunération au mérite. Ce système a provoqué un lourd malaise, voire de la « souffrance au travail » (Dejours, 2007), chez les personnes soumises à ce système, qu’elles fussent « évaluées » ou « évaluateurs ». Pour y remédier, dans le cadre d’une recherche en Master « Métiers de l’Enseignement, de l’Éducation et de la Formation, pratiques et ingénierie de la formation », la responsable du département du premier degré a imaginé un nouveau dispositif de co-évaluation des enseignants destiné à faciliter leur apprentissage du métier selon les principes issus de la clinique de l’activité (Clot, 2008). Inspiré de modèles anglo-saxons (walkthroughs - Cervone & Martinez-Miller, 2007 – et instructional rounds – Teitel, 2013), un système de visites, nommées « visites éclairs », a été expérimenté au niveau des classes du premier degré de ce lycée français. Ces visites s’effectuent sur un rythme hebdomadaire en trinôme d’enseignantes sur une période de huit semaines. L’analyse des discussions suivant chaque visite a permis de mettre en évidence des leviers de formation professionnelle. Au fur et à mesure des discussions, les enseignantes échangent sur leurs pratiques, élaborent des séances conjointement, développent des compétences d’analyse réflexive de leur action grâce à l’émergence de nouvelles règles d’action fondées sur des « concepts pragmatiques » (Pastré, 2007, p. 12). Les visites éclairs bénéficient tant à l’enseignante visitée qu’aux enseignantes visiteuses grâce au développement de compétences et du sentiment d’efficacité personnelle (Bandura, 1997). Les suites porteront sur les effets à long terme du dispositif et son éventuelle institutionnalisation dans ce type d’établissement français. TEXTE Dans l’établissement dont il est question, les enseignants sont soumis à une évaluation annuelle effectuée par leur supérieur hiérarchique, responsable de département. Les trois premières années, ces évaluations étaient liées à un système de notation aboutissant à un bonus financier, « pratiques intégristes engendrant la peur » (Maubant, 2014). La communauté enseignante était blessée, se sentait infantilisée et avait perdu toute confiance en ce système qu’elle considérait comme inique et contre-productif provoquant un lourd malaise, voire de la « souffrance au travail » (Dejours, 2007). Depuis, ces évaluations sont devenues des visites à visée formative ; elles sont toujours liées à un système de notation mais sans conséquence pécuniaire. La grille d’évaluation est un référent clair de ce qui est attendu des enseignants. Cependant la persistance de la notation et le flou entourant l’évaluation formative justifiaient la mise en place d’une recherche dans laquelle l’évaluation serait l’occasion d’un meilleur apprentissage du métier enseignant. 218 Les fondements de la recherché La clinique de l’activité Dans le cadre d’une recherche en Master « Métiers de l’Enseignement, l’Éducation et de la Formation, pratiques et ingénierie de la formation », nous avons imaginé, en tant que responsable du département du premier degré, un nouveau dispositif de co-évaluation des enseignants destiné à faciliter leur apprentissage du métier selon les principes issus de la clinique de l’activité (Clot, 2008). Selon Yves Clot : « l’activité n’est plus limitée à ce qui est fait. Ce qui n’est pas fait, ce que l’on voudrait faire, ce qu’il faudrait faire, ce que l’on aurait pu faire ce qui est à refaire et même ce que l’on fait sans vouloir le faire est accueilli dans l’analyse de l’activité en éclairant les conflits. » (Clot et al., 2000). Pour Yves Clot, un premier objectif est de développer « du pouvoir d’agir des professionnels sur leur activité ». Pour cela, des auto et hétéro confrontations sont génératrices de « disputes professionnelles » permettant de s’opposer « fraternellement » à ses collègues. Dans un second temps, cette approche réflexive du travail, chère à Donald Schön (1983), génère une réflexion sur l’action qui permet de comprendre le travail pour éventuellement le transformer. La confrontation d’un référent souhaitable et d’un référé observable et discutable engendre une « collaboration évaluative » (Jorro, 2006). L’évaluation formatrice De plus, si l’évaluation formative sert à l’évaluateur, l’évaluation formatrice est une évaluation qui permet au sujet de l’évaluation de s’auto-évaluer. Nous utilisons dans cette recherche le terme d’évaluation formatrice lorsque nous parlons de l’évaluation qui sert à l’enseignant pour ajuster l’enseignement qu’il professe. Elle ne sert pas à coter, mais elle est un outil réflexif, de pilotage, de modification de sa pratique « en vol ». Georgette Nunziati, dans un article des Cahiers Pédagogiques donne une définition de l’évaluation formatrice (1990). Cette dénomination fait suite à des travaux dirigés par J.-J. Bonniol au Lycée Marseilleveyre de Marseille dans les années 1974-1977. Cette recherche conclut que l’appropriation des critères d’évaluation par les élèves ainsi que l’auto-évaluation de leurs travaux permet une amélioration très nette de leurs résultats scolaires. Georgette Nunziati définit l’autoévaluation comme un dialogue de soi à soi du sujet. Les élèves sont acteurs de la régulation de leurs apprentissages et gèrent eux-mêmes leurs réussites et leurs erreurs. Pour que l’évaluation formatrice soit une démarche de régulation conduite par celui qui apprend, deux objectifs sont prioritaires (Nunziati, 1990) : l'appropriation par l'apprenant des outils d'évaluation des formateurs/enseignants, la maitrise par l'apprenant des opérations d'anticipation et de planification. Transposée à l’évaluation des enseignants, l’évaluation formatrice permettrait à ces derniers d’identifier : - leur degré de maîtrise des compétences, - l'écart entre le but visé et ce qui est projeté, ce qui est fait réellement et ce qui est obtenu, - les besoins de formation, - les régulations nécessaires à apporter à leur pratique. 219 C’est un jugement sur son propre travail qui permet, à un moment « t », de faire un constat et de réfléchir sur les régulations à apporter. C’est de ce type d’évaluations dont il est question ici. En effet, le principe des visites éclairs permet aux enseignants visités de mettre en relation, grâce à la discussion qui suit la visite, son point de vue et celui des observateurs. C'est ce dialogue autour du vécu, du perçu et du visé (atteint ou non) qui permet à l'enseignant d'auto-évaluer son travail et d’adopter une attitude réflexive par rapport à son travail. Le dispositif des visites éclairs Nous avons donc testé un dispositif que nous avons appelé « visites éclairs » pour faciliter l’apprentissage du métier enseignant. Pour élaborer notre modèle, nous avons étudié deux différents modèles anglo-saxons utilisés dans les établissements scolaires américains, publics et/ou privés, les « walkthroughs, walk-in » et les « instructional rounds ». Les modèles anglo-saxons Les « walkthroughs » La première démarche de visite de classe, appelée « walkthrough, walk-in » (walkthroughs Cervone & Martinez-Miller, 2007), a émergé aux Etats-Unis et s’y développe depuis le début des années 1990. Ce procédé apparaît dans les entreprises privées au début des années 80 où une des techniques de management innovantes était de se rendre dans les différents bureaux et d’engager des conversations informelles avec les employés (« Management by Walking Around ») et « d’être en contact » (« being in touch »). Les « walkthroughs » dans les établissements scolaires découlent directement du « MBWA » et se sont également implantés dans les années 80, dans les écoles de la ville de New York. Ces visites sont faites par le chef d'établissement. Elles ont les caractéristiques suivantes : ce sont des visites courtes, elles sont régulières et récurrentes (4 à 6 visites formatives annuelles aboutissant à la visite sommative), elles peuvent être suivies de discussions professionnelles,enfin, elles peuvent permettre la collecte d’informations en vue d’apporter des changements au sein de l’établissement et de repérer les pratiques pédagogiques les plus bénéfiques pour les élèves. Une alternative est également proposée par Donald Kachur dans son ouvrage, Engaging teachers in Classroom Walkthroughs. En effet, il introduit une nouvelle donnée dans les Walkthroughs et propose que ces visites soient effectuées par un groupe d’observateurs constitués d’administrateurs et de pairs. Les « instructional rounds » Le second modèle étudié est le système des « Instructional rounds » que nous traduisons par « rondes pédagogiques ». Lee Teitel, directeur de l'équipe éducative de l'Ecole supérieure en éducation d'Harvard, est le concepteur du procédé des « Instructional Rounds » (« instructional rounds » Teitel, 2013). Dans leur forme initiale, les rondes se font entre établissements d’un même district. Les groupes de visiteurs, les « réseaux », sont constitués de différents membres de la communauté éducative 220 (principaux, enseignants, chefs de département, coordinateurs, représentants syndicaux). Le procédé se base sur un cycle de 3 moments : Avant la visite : l’établissement qui va être visité repère un « problème de pratique », un blocage sur lequel les membres du réseau focaliseront leurs observations lors de la visite. Le jour de la visite, les membres du réseau vont visiter les classes une vingtaine de minutes en se polarisant sur le problème retenu et non sur la pratique de l’enseignant lui-même. L’approche est descriptive, fait la distinction entre la personne et la pratique et ne porte pas de jugement. Ensuite un retour des observations entre membres du réseau est organisé en 3 temps : description, analyse (rechercher les aires d’amélioration possibles) et prédiction. Enfin le dernier temps se concentre sur « le stade supérieur». Que faire, quelles ressources, quels soutiens pour faire évaluer les pratiques pédagogiques sur le point observé ? L’après-visite est une phase cruciale pour Lee Teitel, l’établissement observé doit prendre en compte les remarques du réseau et s’appliquer à mettre en œuvre les ressources nécessaires pour instaurer l’amélioration en engageant toute la communauté éducative de l’établissement (pas uniquement ceux qui ont observé). L’objectif est d’aider les écoles et les districts à développer un enseignement et un apprentissage efficaces et de qualité « contagieux », pas uniquement localisés dans quelques classes, chez quelques enseignants. C’est aussi de permettre une amélioration systémique. Ce qui bénéficie à une classe doit pouvoir bénéficier à l’établissement entier. C’est une approche collaborative pour favoriser le développement professionnel qui est incorporé dans la pratique. Elle s'appuie sur l'engagement et l'enquête plutôt que la conformité. L’auteur rappelle que, pour qu’un enseignement soit de qualité, il doit connecter les trois pôles du triangle pédagogique (relation entre l’enseignant, les élèves et le programme) et ne jamais perdre de vue que, pour en faire évoluer un, il faut faire évoluer également les deux autres. Notre dispositif des visites éclairs Il se décline en neuf caractéristiques essentielles pour la mise en place de ces visites. Dans ce dispositif, trois enseignants sont engagés. Le trinôme permet, lors des discussions, une richesse accrue des échanges et un désamorçage facilité en en cas de réaction défensive. Les participants sont des enseignants confirmés, collègues, sans lien hiérarchique. Ces visites sont hebdomadaires sur une période de 8 semaines. Chacun des enseignants est visité hebdomadairement. Les visites sont courtes (10 minutes). Ce laps de temps semble suffisant pour une analyse fine de l’activité sur le problème posé (voir ci-dessous). Elles sont ciblées sur un axe d’observation déterminé par l’enseignant visité. Ce fonctionnement permet non seulement à l’enseignant d’être dans une situation confortable d’observation mais aussi de centrer la discussion de manière efficace. Elles s’effectuent via l’observation de 3 élèves. Ceux-ci sont désignés par l’enseignant visité qui peut avoir des questionnements particuliers suivant des profils d’élèves. Ces visites sont suivies d’une discussion professionnelle entre les trois enseignants (Clot, 2007) visant l’analyse de l’activité. 221 Enfin, la discussion détermine également l’axe d’observation de la visite suivante. Ainsi, une projection dans le temps est possible pour les enseignants. Méthodologie de la recherche et traitement des données Le recueil des données Cette recherche adopte un mode qualitatif. Il s’agit d’étudier les discussions qui s’opèrent entre enseignantes s’observant mutuellement et de partir de ces échanges pour en dégager les effets bénéfiques (effets que nous déclinerons à la fin de ce chapitre). Les entretiens post-visite sont menés dans la classe immédiatement après l’observation de manière semi-directive dans la mesure où les collègues choisissent eux-mêmes, en amont, l’axe d’observation de la visite ainsi que les élèves à observer. Ce sont également des entretiens compréhensifs au sens de Jean Claude Kaufmann dans son ouvrage, L'entretien compréhensif - l'enquête et ses méthodes (2011). Ce dernier avance que « la meilleure question n’est pas donnée par la grille : elle est à trouver à partir de ce qui vient d’être dit par l’informateur. » (Kaufmann, 2011, p. 48), et c’est bien ce que les discussions cherchent à faire émerger. Nous sommes dans l’élaboration, dans et par la discussion, de ce qui s’est passé et comment cela s’est passé dans la classe. « Les méthodes qualitatives ont pour fonction de comprendre plus que de décrire systématiquement ou de mesurer » (Kaufmann, 2011). De plus, c’est au cours des entretiens que s’élabore et s’affine le sujet d’étude. Nous sommes partis avec un protocole et nous savions ce que nous voulions trouver a minima, mais c’est au cours des entretiens que de nouveaux thèmes sont apparus et que nous les avons pris en compte. Dans le protocole de départ des visites éclairs, l’enseignant visité détermine les élèves sur lesquels portera l’observation ainsi que son objet. La première demande faite par Marie était d’observer « la gestion de la classe ». Après discussion, les 3 participantes se sont accordées sur le fait que l’observation de la classe, quand elles parlent de « gestion de classe », se réfère aux cinq pôles du multi-agenda de Dominique Bucheton (2009) : le pilotage de la leçon (gérer les contraintes d’espace et de temps de la situation), l’atmosphère (l’ethos. Créer, maintenir des espaces dialogiques), le tissage (donner du sens, de la pertinence à la situation et au savoir visé), l’étayage (faire comprendre, faire dire, faire faire), les savoirs visés (cible des quatre points précédents). L’analyse des résultats Concrètement, il s’agit d’analyser les résultats de ce dispositif (Bardin, 1977 ; Kaufmann, 2011) à la lumière de l’analyse des verbatims des discussions suivant chaque visite. Ceci a permis de mettre en évidence l’efficience de la co-évaluation par visites éclairs comme levier de formation professionnelle. L’analyse du corpus à la lumière de l’analyse de contenu a permis de relever 8 thèmes au fil des discussions : 222 réassurance opérée par les locuteurs-observateurs en début et cours d’entretien, réactions de défense qui diminuent au fil du temps, concepts pragmatiques qui fondent les règles d’action, discussions professionnelles qui permettent de passer du style au genre (Clot, 1999) controverses professionnelles qui ont pour but le travail « bien fait » (Clot & Gollac, 2014, p. 26), effets de formation qui s’observent lors de la phase de retour sur l’activité de l’une d’entre elles mais aussi dans leur activité ultérieure, demandes de conseils qui mettent en lumière le développement d’une « communauté de pratiques » (Lave & Wenger, 1991), voire d’une « communauté discursive » (Bernié, 2002), sentiment d’auto efficacité croissant au fil des discussions (Bandura 1997) Les conclusions suite à l’analyse des données L'analyse des données a permis d'établir certaines conclusions nous permettant d’avancer que les visites éclairs sont un levier de développement professionnel. La réassurance et les réactions de défense s’amenuisent au profit de discussions professionnelles et de controverses. Les discussions professionnelles s’orientent vers la co-élaboration de séances. Les enseignants adoptent une posture réflexive favorable à l’émergence de concepts pragmatiques et ils s’accueillent entre « égaux » professionnels car leur sentiment d’efficacité personnelle croît. Enfin, les élèves ne sont plus considérés comme des « obstacles » mais bien comme des tremplins pour se questionner, élaborer des stratégies et apporter des réponses à leurs besoins. De façon plus détaillée, nous faisons les constats suivants : les visites éclairs sont un levier de formation professionnelle car elles redonnent à l’évaluation un rôle moteur (Étienne, 2014a et 2014b), au fur et à mesure des visites et des discussions, la réassurance s'amenuise pour laisser la place aux discussions professionnelles. Les demandes de conseils semblent également changer de nature. Elles passent de demandes très abruptes et diffuses (« qu'est-ce que je peux améliorer ? ») à des élaborations de stratégies collectives pour répondre à une situation complexe, les discussions professionnelles s'orientent rapidement sur la co-élaboration de séances en revisitant la séance qui vient d'être vue. De nombreuses fois, les enseignants mettent en avant le fait que travailler en équipe leur permet de développer des compétences (« voilà c’est ça mais moi enfin ça vient de venir en discutant tu vois avec toi »). La confrontation des points de vue, des approches qui sont parfois différentes selon les enseignantes, permet de « bousculer » les convictions et les positions et d’ouvrir un autre champ des possibles professionnels, les visites, par le biais des discussions professionnelles, permettent aux participantes de faire des pauses réflexives sur leur enseignement et de pouvoir réajuster leurs actions. Nous reprendrons ici Anne Jorro (2010), car il nous semble que les visites éclairs permettent à un professionnel expérimenté « de revenir sur une pratique afin de l’améliorer et d’élargir son répertoire d’action », des concepts pragmatiques s'élaborent chez une des enseignantes. Puis les autres collègues peuvent se les approprier grâce aux discussions. Plus encore, certains concepts pragmatiques sont construits dans le trinôme et non pas uniquement par l'enseignant visité. 223 Les visites passent rapidement de la visite conseil à la visite « invitation ». Dès que les relations sont bien établies entre les enseignants et que la confiance est ancrée, les visites permettent des discussions professionnelles profitables aux trois parties. Rapidement, les enseignants visiteurs remercient leur collègue, signe d’une collaboration bénéfique aux deux parties. Leur sentiment d’efficacité personnelle s’accroit et elles gagnent en assurance. Le suivi des visites contribue à une mise en place et à un enracinement des règles d'action discutées dans le trinôme. Les essais, les nouvelles pratiques sont soutenus et fixés grâce au suivi et au soutien des collègues visiteurs. Les visites éclairs changent le regard des enseignants sur les élèves. En effet, nous passons du sentiment que certains élèves sont des « élèves-obstacles » à celui d’« élèves-moteurs ». Leurs particularités mènent les enseignants à de nouvelles postures, de nouvelles pratiques pour répondre à leurs besoins spécifiques tout en dégageant des invariants. Les enseignantes peuvent ainsi mettre en place des règles d’action répondant à un type d’élèves et non plus à un élève particulier. Les perspectives A la lumière du travail de recherche mené, nous avons relevé différents paramètres qui nous semblent essentiels de discuter, soit parce qu’ils nous ont fait défaut, soit parce qu’ils se sont révélés cruciaux pendant les visites. Certaines démarches sont essentielles pour que le système des visites éclairs fonctionne : Nécessite d'un procédé sur du long terme Pour que le système des visites éclairs permette de stimuler le développement professionnel, la récurrence des visites (sur un rythme hebdomadaire) ainsi que l'inscription dans le temps (huit visites semblent couvrir une période assez large pour que les échanges prennent de l'envergure et répondent aux besoins des participants) sont les deux premières conditions sine qua non. La récurrence et l'inscription sur le long terme sont essentielles pour deux raisons. Tout d'abord, la confiance ne peut s'installer que si ces deux conditions sont réunies. De plus, elles permettent l'échange de pratiques, la mise en place de nouvelles pratiques ainsi que le suivi de celles-ci. Par exemple, l'idée d'utiliser des artefacts américains s'est affinée et structurée au cours des visites. Si cela a bien fonctionné chez Marie et Caroline, les échanges avec Fabienne n’ont porté que sur les pratiques et les aménagements possibles. Le fait de n'avoir effectué que trois visites n'a pas permis de faire un suivi de la mise en place de ces aménagements. Des visites éclairs sur le long terme permettent également aux enseignants de prendre de l'assurance, d'accroître le sentiment d'efficacité et de favoriser la prise de risque. Être trois en permanence Si les visites à deux sont pertinentes, elles sont plus riches lorsque les enseignantes sont trois. De plus, l'intervention d'une tierce personne permet, lors des discussions et des controverses, d'établir un équilibre et une acceptation des critiques qui sont alors ressenties comme moins frontales que dans un dialogue. Enfin, lors des réactions défensives, être trois permet de trouver une résolution et de rétablir la discussion rapidement. 224 Nécessité de partir d’enseignants leaders et volontaires Pour que les visites se déroulent dans les meilleures conditions possibles, il est important de baser le trinôme sur la confiance. La base du volontariat est essentielle. Si les enseignants sont sommés de travailler en équipe, rien de positif ne pourra en sortir. En outre, débuter les visites chez les enseignants leaders, coordinateurs de cycle ou de département, peut permettre de souder les enseignants. Enfin, l’entente professionnelle est également, à notre sens, un des pivots du système. Une première période de visites entre enseignants ayant un style professionnel similaire va consolider le sentiment d’efficacité personnelle. Ce sera un tremplin pour ensuite envisager des visites entre enseignants moins proches, puisqu’ils seront rodés au système. Clarté du protocole de départ Avant de débuter les visites, et c’est sans doute ce qui nous a le plus manqué, il est souhaitable d’écrire les attentes et les besoins de chaque enseignant. Cela permettrait d’établir un cahier des charges de ce que chacun attend des visites. De même, on peut écrire ce qui est ressorti de chaque visite, ce qui va être poursuivi et ce qui sera différé. Ainsi, on pourra conserver une trace des discussions et garder en mémoire ce que l’on souhaite réaliser dans le futur. Il est important de noter que les visites éclairs sont déconnectées de l’évaluation interne du lycée et de son référentiel. Si ce système devait être intégré comme vecteur de développement professionnel, comment le connecter avec l’évaluation « officielle » ? Ne perdrait-il pas alors de sa substance en restreignant le champ de l’évaluation au référentiel sans égard pour les préoccupations personnelles de chaque enseignant ? En conclusion, nous pouvons confirmer que les visites éclairs bénéficient tant à l’enseignante visitée qu’aux visiteuses grâce au développement de compétences évaluatives en actes et du sentiment d’efficacité personnelle (Bandura, 1997). Les suites de cette recherche pourraient porter sur les effets à long terme du dispositif et son éventuelle institutionnalisation, même si l’on peut redouter les dérives d’une réduction de l’évaluation à des dimensions strictement professionnelles qui appauvriraient la richesse de l’intrication entre humain et social. Références Bandura, A. (1997). Self-efficacy: The exercise of control. New York : W. H. Freeman. Bardin, L. (1977). L'analyse de contenu. Paris : PUF. Bernié, J.-P. (2002). L’approche des pratiques langagières scolaires à travers la notion de « communauté discursive » : un apport à la didactique comparée ? Revue Française de pédagogie, n°141, p. 77-88. Bucheton, D. (2009, dir.). L’agir enseignant : des gestes professionnels ajustés. Toulouse : Octarès. Cervone, L., Martinez-Miller, P. (2007). Classroom Walkthroughs as a Catalyst for School, Improvement, Classroom walkthroughs enable teachers to get to the heart of what students are doing and understanding in a different and holistic way. Leadership Compass, Vol. 4, n° 4. Clot, Y. (1999). La fonction psychologique du travail. Paris : PUF. Clot, Y. (2008). Travail et pouvoir d’agir. Paris : PUF. 225 Clot, Y., Gollac, M. (2014). Le travail peut-il devenir supportable ? Paris : A. Colin. Dejours, C. (2007). Vulnérabilité psychopathologique et nouvelles formes d’organisation du travail (approche étiologique). L’information psychiatrique, Vol. 83, n°4. Étienne, R., Clavier, L. (2012, dir.). L’évaluation dans la formation des enseignants. Paris : L’Harmattan. Étienne, R. (2014a). À quelles conditions l’évaluation peut-elle devenir l’élément moteur de la formation initiale et continue ? In Dominique Millet et Jacques Berton (dir.). Écrire sa pratique professionnelle – secteurs sanitaire, social et éducatif – De l’activité au rendre compte. Paris : éd. Seli Arslan, p. 89-100. Étienne, R. (2014b). L’évaluation dans la formation des enseignants entre évaluationnite et élément moteur. In Ph. Maubant, D., Groux, L., Roger. Cultures de l’évaluation et dérives évaluatives. Paris : L’Harmattan, p. 165-179. Kaufmann, J.-C. (2011). L'entretien compréhensif - l'enquête et ses méthodes. Paris : A. Colin. Lave, J., Wenger, E. (1991). Situated learning. Legitimate peripheral participation. Cambridge : Cambridge University Press. Maubant, P., Groux, D., Roger, L (2014, dir.). Cultures de l’évaluation et dérives évaluatives. Paris : L’Harmattan. Pastré, P. (2002). L’analyse du travail en didactique professionnelle. Revue Française de Pédagogie, n° 138, janvier-février-mars 2002, p. 9-17. Teitel, L. (2013). School-Based Instructional Rounds: Improving Teaching and Learning Across Classrooms. Cambridge MA : Harvard Education Press. 226 SABERES EXPERIENCIAIS DE ADULTOS POUCO ESCOLARIZADOS (ID 107) CAVACA, Mariana, Instituto de Educação - Universidade de Lisboa (PT) RESUMO O presente trabalho pretende discutir questões levantadas por uma investigação em andamento e que tem como objetivo compreender como se formam os adultos pouco escolarizados. Que aprendizagens ocorrem nos contextos familiares, sociais e profissionais? Como foram adquiridos os saberes evidenciados nos contextos familiares, sociais e profissionais? Que estratégias foram desenvolvidas pelos sujeitos em situações que exigissem conhecimentos geralmente promovidos pela escola? Estas são algumas das questões que instigam a realização dessa pesquisa. A partir dos pontos apresentados faz-se necessário indagações sobre os processos de aprendizagens que ocorrem em situações diversas e que implicam o desenvolvimento de estratégias relacionadas à própria sobrevivência. Para além dos conhecimentos escolares, a vida nos exige, constantemente, que desenvolvamos saberes para nos relacionarmos com outras pessoas, com o trabalho, conosco, e com o ambiente que nos cerca. O relato acima é mais uma prova de que cada sujeito, ao seu modo, constrói continuamente mecanismos para resolver seus problemas quotidianos. Sabemos que os saberes provenientes das escolas nos ajudam em várias circunstâncias nas soluções de algumas situações-problema, mas e para os adultos pouco escolarizados? Quais poderiam ser os outros lugares de construção desse conhecimento além da escola? Como conseguem não só sobreviver como também gerir um comércio (pequeno ou grande)? Como conseguem participar ativamente de discussões políticas, administrativas, históricas? Afinal, como se formam estes adultos? Algumas das estratégias desenvolvidas por adultos pouco escolarizados, para "driblar" situações cerceadas pela escrita ou outros conhecimentos escolares, foram já apresentadas, e mostram a importância de estudos que busquem compreender os processos de formação de adultos pouco escolarizados e as trajetórias vividas por eles na aquisição de saberes que lhes garantam a inserção no contexto familiar, profissional e social (Cavaco, 2001; Cunha, 2010). Nessa perspectiva, a ideia que se tem geralmente é a de que a formação de leitores é algo exclusivo do espaço escolar, como única possibilidade para essa formação. O que não quer dizer que podemos negar o papel dessa importante instituição na aquisição da habilidade de decodificação e compreensão do texto e que em geral esse aprendizado tem mais êxito mediante a sistematicidade da escola. Mas se levarmos em conta outras condições que propiciam a prática da leitura, nosso olhar se volta para espaços não escolares e outros fatores entram em cena trazendo com eles, por exemplo, o desejo e a necessidade. Dessa forma, o pressuposto orientador deste trabalho assenta na ideia de que toda pessoa, independente da escolarização, é portadora de saberes adquiridos ao longo do seu percurso de vida, nos diversos contextos (familiar, social, profissional). Isso porque "nascer é ingressar em um mundo no qual estar-se-à submetido à obrigação de aprender. Ninguém pode escapar dessa obrigação, pois o sujeito só pode "tornar-se" apropriando-se do mundo (Charlot, 2000, p.59). Essa perspectiva contraria o discurso de que nenhuma ou a baixa escolarização estão relacionadas à ausência de formação, participação social e profissional, e presença da ignorância. O que não significa que o 227 processo de escolarização seja algo que deva ser depreciado, mas, tão somente, evidenciar a importância da compreensão sobre os processos formativos provenientes da educação não formal e informal, presentes na vida de todo ser humano. As discussões aqui apresentadas tomam como referência trabalhos que contemplam a discussão sobre formação experiencial, desenvolvidos por Josso (2002), Cavaco (2001, 2009), Pineau (1988), Dominicé (1988). As vivências do quotidiano, no âmbito familiar, social ou profissional, podem possibilitar processos formativos, assim como já discutido anteriormente. Os instrumentos de concretização dessa pesquisa contemplarão como fonte de recolha de dados os portfólios produzidos no âmbito dos processos de reconhecimento, validação e certificação de competências do nível básico, fornecidos pela Câmara Municipal de Lisboa, fruto de um trabalho desenvolvido por uma equipe de profissionais e os candidatos à certificação. Os portfólios são documentos constituídos por vários componentes, como por exemplo: atividades desenvolvidas ao longo da vida (documentos que possam comprovar determinadas vivências e que permita fornecer informações sobre o cargo, a empresa assim como o período temporal de realização de uma determinada atividade profissional); instrumentos de mediação (buscam recolher elementos sobre o percurso de vida e os adquiridos experienciais dos adultos, partindo umas vezes do percurso de vida do adulto, outras vezes das competências do referencial chave); documentos dos exercícios de desenvolvidos ao longo do processo (atividades em que o adulto deve demonstrar que possui os saberes das várias áreas em análise). No segundo momento, entrevistas com alguns dos autores dos portfólios analisados, selecionados a partir de critérios detalhados durante a leitura e análise dos documentos. Referências Cavaco, Carmen. (2001). Processo de formação de adultos não escolarizados — A educação informal e a formação experiencial. Lisboa: FPCE/Universidade de Lisboa. (Dissertação de Mestrado). Cavaco, Carmen. (2009). Experiência e formação experiencial: a especificidade dos adquiridos experienciais. IN: Educação Unisinos vol. 13, número 3, Porto Alegre. Charlot, B. (2000). Da relação com o saber - Elementos para uma teoria. Porto Alegre: Editora Artmed. Cunha, Daisy Moreira. (2010). Problemas de trabalho e Questões de linguagem. Educação e Realidade, n.35, p.49-64, jan./abr. Dominicé, Pierre. (1988), O processo de formação e alguns dos seus componentes relacionais. In: Nóvoa, António; Finger, Matthias (Orgs.). O método (auto)biográfico e a formação. Lisboa: Ministério da Saúde. Depart. de Recursos Humanos da Saúde/Centro de Formação e Aperfeiçoamento Profissional, p. 51-61. Josso, Marie-Christine (2002). Experiências de vida e formação. Lisboa: Educa. Pineau, Gaston. (1988). A autoformação no decurso da vida: entre hetero e a ecoformação. In: Nóvoa, António; Finger, Matthias (Org.). O método (auto)biográfico e a formação. Lisboa: Ministério da Saúde, p. 65-77. 228 DESAFIOS DA EDUCAÇÃO INCLUSIVA NAS PRÁTICAS AVALIATIVAS NO ENSINO SECUNDÁRIO: IMPLICAÇÕES PARA A FORMAÇÃO DE PROFESSORES (ID108) NICOLAU, Paula, Instituto de Educação (PT) MORATO, Pedro, Instituto de Educação e Faculdade de Motricidade Humana (PT) SANTOS, Sofia, Instituto de Educação e Faculdade de Motricidade (PT) RESUMO O presente estudo compreende o projeto de tese desenvolvido no âmbito do curso de Doutoramento em Educação, especialidade de Formação de Professores, tema Educação Especial. Esta investigação incide sobre a análise da avaliação formativa dos alunos com necessidades educativas especiais (NEE) em ambientes inclusivos, no ensino secundário, e de que forma esta modalidade de avaliação é utilizada para promover as aprendizagens destes alunos. TEXTO No contexto educativo atual cada vez mais diversificado, onde o sucesso escolar se pode alcançar de diferentes formas, esta investigação coloca o foco na avaliação para as aprendizagens dos alunos com necessidades educativas especiais integrados em turmas regulares, em contexto de sala de aula no ensino secundário. Pretendemos contribuir para a reflexão e um maior conhecimento de como a avaliação, valorizando a sua dimensão formativa, no ensino secundário é utilizada pelos diferentes agentes educativos de forma a promover as aprendizagens nos alunos focando, aqueles que apresentam NEE. A avaliação é um conceito polissémico, dependendo das perspetivas e contextos em que é utilizado. Em contexto escolar implica sempre uma relação entre professor e aluno que dependendo de como é entendida pode ser uma relação de poder ou uma relação de apoio à aprendizagem, sendo que para o sucesso dos alunos, um ou outro posicionamento faz realmente a diferença (Lopes e Silva, 2012). Mas que paradigma domina na atualidade? Que conceção os agentes educativos têm hoje de avaliação? A questão de partida do presente estudo é "De que forma as conceções e as práticas de avaliação realizadas no ensino secundário contribuem para permitir equidade na promoção de aprendizagens dos alunos com necessidades educativas especiais?" procurando-se perceber as especificidades que encontramos no processo e produto da avaliação formativa dos alunos com NEE no ensino secundário, o que distingue a avaliação de alunos com e sem NEE. Há que identificar obstáculos/barreiras, preconceitos, dificuldades, mas também descobrir boas práticas. A avaliação é assim uma das componentes do processo de ensino e aprendizagem mais valorizada pelos diferentes agentes educativos daí a relevância de melhor se conhecerem as conceções e práticas dos próprios. A observação de práticas prende-se com a escassez de estudos que a contemplem e com a necessidade de verificar a coerência entre o que os professores dizem que fazem e o que realmente praticam (Fernandes, 2009). Salienta o mesmo autor que os 229 professores, de uma forma geral, reconhecem a importância da avaliação formativa na aprendizagem dos alunos mas pouco a colocam em prática havendo aqui uma grande distinção entre as conceções e as práticas dos docentes. Focamos a avaliação formativa, ou avaliação para as aprendizagens (Earl, 2003) importando perceber como é utilizada, constrangimentos sentidos e o seu contributo na melhoria das aprendizagens dos alunos, que feedback lhes é dado e se lhes é permitida a regulação e autorregulação do processo de aprendizagem. Justifica-se o nível do ensino secundário por ser aquele onde a competitividade, a pressão pela «nota» e pela avaliação externa é maior e onde a presença em sala de aula de alunos com NEE é mais recente e está, nos últimos anos, a aumentar muito segundo dados da DGEEC (2015), sendo um desafio emergente. Numa fase de consecutivas e grandes mudanças na Educação, como a democratização do ensino e as novas visões de aprendizagem, tem de haver reflexão e reformulação dos valores e das práticas de ensinar e de aprender na escola (Fernandes, 2006). Uma destas alterações é inclusão de alunos com NEE que cria assim novos desafios ao tema da avaliação já por si complexo. Com a alteração da legislação, a promoção da educação inclusiva (Decreto-Lei nº3/2008, de 7 de janeiro) e o alargamento da escolaridade obrigatória (Lei n.º 85/2009, de 27 de agosto), são hoje diretrizes claras nas Escolas, sendo reconhecido aos alunos com NEE o direito à plena inclusão escolar. São objetivos fundamentais: i) Analisar as conceções e as práticas de avaliação formativa dos diferentes agentes educativos no ensino secundário; ii) Descrever como são aplicadas as medidas educativas previstas no Decreto-Lei nº3/2008, de 7 de janeiro e preconizadas no PEI do aluno; iii) Conhecer de que forma os diferentes agentes educativos usam a avaliação para promover as aprendizagens nos alunos com NEE no ensino secundário; iv) Identificar as principais potencialidades e constrangimentos na avaliação para as aprendizagens de alunos com NEE no ensino secundário; e v)Conhecer quais as necessidades de formação percecionadas por docentes do ensino secundário para a intervenção e avaliação de alunos com NEE. A nível metodológico será um estudo de natureza qualitativa baseada no estudo caso. Prevemos constituir uma amostra representativa e significativa do distrito de Lisboa, cujo critério inclui serem professores (regular e de educação especial), técnicos, famílias e alunos de agrupamentos e/ou escolas com ensino secundário, com alunos com NEE. Na recolha de informação, os procedimentos serão a pesquisa documental, o inquérito por questionário a validar, a técnica de grupo focal (focus group) e a observação naturalista para analisar as conceções e as práticas de avaliação dos diferentes agentes educativos. Pretende-se produzir conhecimento útil e apresentar recomendações e orientações sobre o processo de avaliação em contextos inclusivos, contribuindo para melhorar as práticas educativas e a aprendizagem de alunos com NEE no ensino secundário, no sentido de proporcionar uma educação de qualidade e que cumpra os requisitos de equidade e de justiça social. 230 COMPLEXIDADE, COTIDIANOS ESCOLARES E PROCESSOS AVALIATIVOS: OU SOBRE PROBLEMATIZAÇÕES DAS PRÁTICAS PEDAGÓGICAS (ID 112) FERRAÇO, Carlos Eduardo, Universidade Federal do Espírito Santo (BR) GOMES, Marco Antonio, Universidade Vila Velha (BR) RESUMO Trata-se de resultado de pesquisa com ênfase na problematização dos processos avaliativos desenvolvidos nos cotidianos de escolas públicas municipais de Vitória, Espírito Santo, Brasil. Para tanto, assume como principal referência o paradigma da complexidade, buscando fundamentar a ideia de avaliação como fio de uma complexa rede de práticas e saberes cotidianos, não podendo ser pensada de modo isolado, isto é, fora de suas relações com os outros elementos do campo educacional. Nesse sentido, apesar de encontramos bibliografias específicas na área da educação para a diversidade das complexidades que se entrecruzam nesse campo complexus, a partir da produção de discursos sobre temas como avaliação, planejamento, ensino-aprendizagem, currículo, formação, gestão, entre outros que dizem respeito à prática pedagógica, quando nos envolvemos nas redes cotidianas tecidas pelos sujeitos praticantes das escolas, essas possibilidades de organização do campo educacional em unidades de complexidade acabam por fortalecer, contraditoriamente, uma lógica que tem na homogeneidade sua argumentação mais consistente. De fato, mesmo entendendo que esses discursos têm buscado se fortalecer por meio da ideia de complexidade, isso não só tem produzido certo fechamento doe mesmos discursos como, por efeito, tem sido insuficiente para dar conta da educação como um campo complexus. O que estamos querendo dizer é que o uso da noção de complexidade reduzida aos diferentes temas da educação, em muitos casos, tem favorecido, tanto nas práticas quanto nos saberes pedagógicos cotidianos, tentativas de compartimentalização, especialismos e homogeneidades. De modo geral, isso pode ser percebido nas imagens-narrativas de muitos professores sobre a urgência de referências mais precisas sobe como e o que avaliar e, por consequência, na busca de outros instrumentos mais consistentes que possam dar conta do que está sendo ensinado. Essas urgências e buscas, mesmo quando supostamente respaldadas por ideias ou teorias que defendem que o conhecimento se processa em redes e, portanto, tem uma dimensão de complexidade que precisa ser considerada, acabam por reduzir a avaliação a uma prática localizada, pontual e individual de verificação das informações que foram transmitidas nas salas da aula. Entretanto, se as ideias de complexus e de redes de conhecimentos fundam-se, entre outros princípios, nas potências das dimensões das relações estabelecidas entre os sujeitos, isto é, nos processos coletivos e, ainda, nas incompletudes e interações entre os diferentes campos do conhecimento, qualquer tentativa de hierarquização, classificação e medição decorrentes da avaliação, jogam por terra as ideias de complexus e de redes tomadas como princípios do trabalho pedagógico. De fato, essas ideias implicam problematizações e deslocamentos dos saberes e das práticas de avaliação em direção às redes tecidas, atitude que supõe, entre outras coisas, conviver com permanentes linhas de fuga que se mostram nas instabilidades, homogeneidades, tentativas de controle e padronização, indeterminismos, negociações, resistências, invenções, hibridizações e imprevistos vividos nos cotidianos escolares. Assim, assumir o conhecimento como redes de saberes, fazeres e poderes e a educação como 231 campo complexus, pressupõe destituir a avaliação de seu sentido tradicional de verificação, classificação e controle do outro tomado em sua individualidade. O desafio que se coloca então é o de ao desqualificar o sentido tradicional de avaliação, produzir outros sentidos que apostem na possibilidade de entendimento e de ação nessas redes, aproximando-nos da ideia de avaliação como prática de investigação. Desse modo, em nossas pesquisas, temos nos empenhado em mostrar a urgência da necessidade de produção de outras imagens-narrativas para o campo educacional que possam, minimamente, articular os diferentes discursos complexos especializados e, sobretudo, que possam nos ajudar a entender a educação como complexus, não como justificativa para os limites e as impossibilidades desses saberes e dessas práticas cotidianas, mas como potência de problematização e fundamentação epistemológica das mesmas. Nesse sentido, sempre que possível colocamos como questão: Em que momento você ensina, avalia, planeja e aprende? De modo geral, temos obtido como resposta: o tempo todo. 232 A TESSITURA DA COMPLEXIDADE NA VISÃO TRANSDISCIPLINAR: A FORMAÇÃO DE PROFESSORES DA EDUCAÇÃO INFANTIL (ID 113) OLIVEIRA, Fabiane Lopes de, Pontifícia Universidade Católica do Paraná (BR) RESUMO A transição paradigmática que ocorreu no final do século XX, na qual a Educação passa a ser desafiada a propor metodologias que tenham como ênfase o conhecimento dos alunos e não somente a reprodução dos conteúdos configura-se na crise ou ruptura ocorrida frente a três fatores: os avanços tecnológicos ocorridos de forma rápida, a destruição e falta de zelo pelos aspectos naturais que nos rodeiam e a competitividade desenfreada, que rompe com qualquer ética e preocupação para com o próximo Com a ruptura do Paradigma Conservador, houve a necessidade de entender não somente a complexidade da crise atual, como também de resolver o conjunto de problemas para os quais as suposições da ciência não encontravam saídas, emergindo a necessidade da criação de um novo paradigma. A urgência de uma sociedade do conhecimento se faz presente quando muda o enfoque da reprodução para a produção do conhecimento, levando os alunos a uma nova sociedade: a do aprender a aprender, a conhecer, a fazer, a conviver e a ser. Nessa perspectiva de rompimento de fragmentação, fica-se frente a uma nova questão, de igual importância e que está a cada dia tomando o lugar de discussões, dentro e fora da sala de aula: o paradigma ou pensamento holístico, na visão de Yus (2002). Essa nomenclatura, o Holístico (também chamado de sistêmico e por que não dizer, complexidade), vem buscando reestabelecer algumas conexões dessas relações já mencionadas e precisas entre o pensamento linear e a intuição; a mente e o corpo; o domínio do conhecimento; o eu e a comunidade e o eu com ele mesmo (YUS, 2002). Nesse momento, tem-se a urgência da ampliação de conhecimentos, informações e conteúdos que necessitam ser ressignificados, para que essa nova visão, que substitui a visão cartesiana, possa vir à tona e lançar mão de conceitos prontos, instigando a construção coletiva do saber, que serve para modificar a prática educativa. A discussão crítica, bem como outros fatores – projeto, produção, argumentação, pesquisa, participação, análise, elaboração, criação e trabalho conjunto – precisa estar sempre presente. Configura-se, então, a Sociedade do Conhecimento, que tem como premissa a busca de uma visão global que se baseie em alguns pontos de grande confluência de ideias: cidadania e ética; relatividade; totalidade; rede de ligações e propagação da informação; sistemas complexos e interligados (Behrens, 2006). Ao mesmo tempo, surge uma forte relação de construção da coletividade, que vai dar cabo de uma nova visão que emana da urgência de pensamentos e atitudes: o paradigma da Complexidade (Behrens, 2006). Essa propõe compreender uma estrutura conceitual que integra as dimensões cognitiva, biológica e social. Há o surgimento da reflexão e da análise, levando a perceber que há uma grande diferença entre conhecimento científico e conhecimento escolar (Zabala, 2002). Para o autor, o conhecimento não pode ficar preso dentro de academias ou lugares que não seja possível disseminá-lo. É necessário perceber a finalidade e a relação presentes nos cursos de formação de professores. 233 Outro aspecto de grande relevância a ser tratado é o da motivação do aluno. É sabido que muito do que é trabalhado em sala de aula é descartado pelo aluno. Também é sabido que o professor precisa ser o grande articulador desse conhecimento e que depende dele também o despertar do interesse do aluno pela aula e pelo conteúdo que está sendo desenvolvido. Sob esse aspecto, percebe-se que o professor necessita atualizar-se. As ferramentas que o professor tem em suas mãos estão cada vez mais diversificadas. Cabe a ele saber fazer uso a seu favor. A formação de professores passa pela urgência desse novo paradigma: o da complexidade. Entendendo melhor essa questão, segundo Morin (2001, p. 38) o conhecimento pertinente precisa enfrentar a complexidade. Complexus significa o que foi tecido junto, ou seja, uma tessitura. “Por isso a complexidade é a união entre a unidade e a multiplicidade”. A modernidade está no cerne desta questão, trazendo à tona um assunto que necessita de ampliação e aprofundamento teórico: a formação de professores, seu papel na sociedade frente ao pensamento complexo, a transdisciplinaridade e a complexidade em si. A transdisciplinaridade (Moraes, 2012) está de certa forma presente no cotidiano educativo, pois esse conceito não é uma ciência, uma religião ou uma filosofia, é um processo que vai além do conhecimento pronto e acabado. Parte-se do pressuposto que o assunto está sendo discutido de tal forma que permita aos indivíduos sua apropriação. A transdisciplinaridade é uma proposta que visa incitar a curiosidade, a promoção de relações entre os conhecimentos adquiridos que levam a uma soberba construção de uma aprendizagem sólida e de grande amplitude. No aspecto metodológico, essa proposição de aprendizagem proporciona a inclusão dos aprendizes no seu processo de aprendizagem, visto que são partícipes e agentes de transformação. Espera-se, com este estudo, que a formação de professores seja levada a cada momento mais à cabo de instrumentalização dos profissionais que atuam em educação, qualquer que seja o seu nível de desenvolvimento profissional. Essa questão é de grande importância, pois o que se observa nos profissionais da educação, é, por vezes, a falta de comprometimento para com seu desenvolvimento profissional, onde sua formação passa a ser um degrau para obter mais ganhos, com subida de carreira ou coisa que o valha. É preciso que esses profissionais tenham a consciência de que a sua formação é urgente, pois as informações estão a cada dia sendo ampliadas e modificadas. Mas é preciso que essas informações sejam internalizadas de forma significativa e que estas sejam transformadas em conhecimentos internalizados; propiciem uma nova forma de enxergar o mundo; de acordo com que se olha o mundo, o professor pode e deve auxiliar o ajuste desta lente e deixar seu aluno ler o mundo com suas perspectivas. Essa é a nossa tarefa transformadora. Somos agentes de transformação social. Esse é o papel da sociedade complexa, onde a transdisciplinaridade permite um olhar amplo e abrangente do mundo em que vivemos e conseguimos demonstrar aos nossos educandos, que a tessitura de sua formação é feita e desenhada por ele mesmo. 234 CONTRIBUTION DE L'EXPÉRIENCE SCOLAIRE AU DÉVELOPPEMENT DE LA CRÉATIVITÉ : APPORTS ET LIMITES DE DONNÉES AUTO-REPORTÉES (ID 115) DIRANI, Agathe, IREDU, Université de Bourgogne (FR) RÉSUMÉ Tous les apprentissages ne sont pas explicitement évalués par l'institution scolaire. C'est le cas, notamment, de la créativité, que l'on peut définir comme la capacité à résoudre des problèmes de manière créative. Parallèlement à ce constat, les recherches en psychologie ont développé une grande diversité d’instruments destinés à la mesure de la créativité individuelle. S’inscrivant dans une approche cognitiviste, la Runco Ideational Behavior Scale (RIBS), permet de recueillir des données auto-reportées relatives à la créativité individuelle en tant que potentiel (Runco et al., 2001). Les travaux portant sur les pratiques éducatives, notamment en psychologie, ont permis de mettre en lumière des types d'activités et d’expériences, scolaires et extra-scolaires, propices au développement de cette compétence. Pour ce qui concerne le contexte scolaire, il s’agit notamment de la variété des cours (Turner, 2013), du travail de groupe nécessitant de la coopération (Fischer, 2005), de la pratique du « craft » (Lindfors, 2007a), de la manipulation d’objets et de matériaux (Feldman, D. H., & Benjamin, A. C., 2006), de la référence explicite à la « vie de tous les jours » (Manning et al., 2009 in Turner, 2013), des activités pédagogiques faisant appel à l’imagination (Turner, 2013), de la contribution à l’évaluation de ses propres travaux (Turner, 2013), des activités pédagogiques s’appuyant sur l’émotion (Puozzo, 2013) ou encore des activités pédagogiques s’appuyant sur le jeu (Garaigordobil, 2006). En s'appuyant sur ce corpus théorique, la communication entend questionner le lien entre mesure et développement de la créativité, afin d’analyser la contribution de l’institution scolaire au développement de cette compétence durant le parcours de formation initiale en France. Quels types de parcours de formation les individus les plus créatifs ont-ils suivi ? Quelle place ces parcours réservent-ils aux activités supposées favoriser le développement de la créativité ? Les résultats exposés, issus d’une enquête quantitative par questionnaire menée auprès de jeunes ayant terminé leur formation initiale depuis au moins une année, s’attacheront à répondre à ces deux interrogations tout en discutant la validité des instruments de mesure mobilisés. TEXTE La compétence de créativité ne figure pas en tant que telle dans les objectifs pédagogiques du socle commun de compétence, principal outil d’orientation du contenu des programmes et donc d'évaluation des apprentissage des élèves au niveau primaire et secondaire en France. La créativité, en tant qu’objectif d’apprentissage, fait son entrée de matière très différenciée dans le supérieur, selon le domaine d’étude et les modalités d’accompagnement à l’insertion professionnelle mises en place. Dans ce contexte, et parallèlement à une rhétorique institutionnelle valorisant la créativité (OCDE, Commission européenne) en lien avec des résultats d'enquêtes proposant une mesure de la résolution créative de problème (OCDE, 2014), il semble intéressant d’interroger ce retrait de l’institution scolaire à l’égard de la compétence de créativité, afin de mieux en saisir les effets et les enjeux. De manière indépendante aux systèmes éducatifs, les recherches en psychologie ont développé une 235 grande diversité d’instruments destinés à la mesure de la créativité individuelle, compétence non évaluée dans le système éducatif français de manière explicite. S’inscrivant dans une approche cognitiviste, la Runco Ideational Behavior Scale (RIBS), permet de recueillir des données autoreportées relatives à la créativité individuelle en tant que potentiel (Runco et al., 2001). La mobilisation d'un tel outil permet de mesurer la créativité de manière extérieure à l'institution scolaire. Par ailleurs, les travaux portant sur les pratiques éducatives et contextes favorisant les apprentissages, notamment en psychologie, ont permis de mettre en lumière des types d'activités et d’expériences, scolaires et extra-scolaires, propices au développement de cette compétence. Pour ce qui concerne le contexte scolaire, il s’agit notamment de la variété des cours (Turner, 2013), du travail de groupe nécessitant de la coopération (Fischer, 2005), de la pratique du « craft » (Lindfors, 2007a), de la manipulation d’objets et de matériaux (Feldman, D. H., & Benjamin, A. C., 2006), de la référence explicite à la « vie de tous les jours » (Manning et al., 2009 in Turner, 2013), des activités pédagogiques faisant appel à l’imagination (Turner, 2013), de la contribution à l’évaluation de ses propres travaux (Turner, 2013), des activités pédagogiques s’appuyant sur l’émotion (Puozzo, 2013) ou encore des activités pédagogiques s’appuyant sur le jeu (Garaigordobil, 2006). En mobilisant une grille d'activités pédagogiques construite à partir de ce corpus théorique, la communication entend questionner le lien entre mesure et développement de la créativité, afin d’analyser la contribution de l’institution scolaire au développement de cette compétence durant le parcours de formation initiale en France. Quels types de parcours de formation les individus les plus créatifs ont-ils suivi ? Quelle place ces parcours réservent-ils aux activités supposées favoriser le développement de la créativité ? Les résultats exposés, issus d’une enquête quantitative par questionnaire menée auprès de jeunes ayant terminé leur formation initiale depuis au moins une année, s’attacheront à répondre à ces deux interrogations tout en discutant la validité des instruments de mesure mobilisés. L’échelle de mesure utilisée, la RIBS, s’articule autour de deux principaux facteurs : l’originalité et la fluidité. Elle appréhende la créativité comme un potentiel, qui se traduit en termes de production d’idées. Cet outil de mesure, après vérification de sa validité, sera confronté à l’expérience réelle de production d’une réalisation créative des individus, ainsi qu’à leur niveau d’expertise dans un domaine particulier. Les inégalités de créativité seront analysées à la lumière des données sociodémographiques des répondants ainsi qu’en relation avec les caractéristiques de leur parcours de formation, niveau de qualification et relation par rapport à l’emploi au moment de l’enquête. Les individus ayant eu le plus l’occasion de développer leur créativité dans un contexte scolaire sont-ils également les plus créatifs au moment de l’enquête ? La mise en relation du niveau d’exposition aux facteurs de développement de la créativité et du niveau de créativité des répondants permettra de répondre à cette interrogation. Le lien entre niveau de créativité et développement de la créativité présente-t-il une intensité variable selon les individus interrogés ? En analysant de plus près les contextes de développement de la créativité, scolaire ou extra-scolaire, nous nous attacherons à analyser dans quelle mesure une prise en charge de cette compétence par l’institution scolaire, en termes d’évaluation mais aussi de développement, pourrait induire des effets sur les parcours de jeunes. Après avoir rappelé le contexte dans lequel s’inscrit cette recherche, nous présenterons notre objet d’étude puis la méthodologie suivies dans le cadre de notre recherche. Les résultats 236 s’articulent autour de trois points : la contribution de l’espace scolaire à la réalisation de production créatives, les différences de créativité auto-reportée selon les types de diplômes, ainsi que le lien entre niveau de créativité auto-reportée et exposition aux facteurs de développement de la créativité dans le contexte scolaire. Contexte de la recherche La créativité constitue une méta-compétence qui s’introduit peu à peu dans les curricula en France. En effet, le développement de l’« esprit créatif » est associé à l’introduction des Enseignements Pratiques Interdisciplinaire mis en place dans le cadre de la reforme du collège. Par ailleurs, elle figure parmi les attitudes citées dans l’annexe du texte relatif au socle commun de connaissances et compétences de 2006. Enfin, certaines de ces composantes peuvent être rattachées au pilier 7, « autonomie et initiative », du socle commun de connaissances et de compétences ou au domaine 5 du socle en vigueur à la rentrée 2016. Enfin, plusieurs dispositifs pédagogiques ad hoc mis en place dans le supérieur vise son développement. Toutefois, elle ne fait pas l’objet d’évaluations explicites dans le contexte scolaire. D’une part, les systèmes éducatifs dépourvus d’outils adaptés à la nature de cette méta-compétence (Sternberg, 2012). D’autre part, sa mesure suscite des débats concernant sa praticité et son acceptabilité (Lucas, Claxton, Spencer, 2013; OCDE). Question de recherche et hypotheses La créativité : définition et facteurs de développement La créativité peut être définie de manière synthétique comme la capacité à résoudre un problème dé manière créative (Runco, 1995; Lubart, 1999). De manière plus détaillée, celle-ci correspond à la capacité à mobiliser un ensemble de connaissances et de compétences (stratégie de contournement des normes, raisonnement analogique…), associées à des éléments conatifs (motivation, ouverture à l’expérience,…), pour résoudre un problème de manière originale (de la définition d’un problème à la sélection d’une solution créative). Les travaux de psychologie qui se sont intéressé au développement de la créativité ont mis en avant plusieurs facteurs de développement : la diversité d’expériences (Vigotsky, 1967), les expériences multiculturelles (Leung, et al., 2008), le jeu (Dansky, J. L., 1980a, Curnow, K. E., & Turner, E. T., 1992; Garaigordobil, 2006), les interactions sociales et coopération (Fischer, 2005) Ces activités peuvent intervenir dans plusieurs espaces éducatifs (famille, école, autres espaces extrascolaires). Dès lors, il semble intéressant d’analyser la contribution de l’institution scolaire au développement de la créativité, pour souligner dans un second temps les enjeux qui y sont liés. Contribution scolaire au développement de la créativité : hypothèses Plusieurs caractéristiques du système éducatif français peuvent expliquer son positionnement à l’égard de la créativité. Tout d’abord, la prégnance toujours vivacs de normes issues du modèle durkheimien (Meuret, 2013) tient l’Ecole à distance de l’objectif de développement de la créativité. Toutefois, l’institution scolaire semble exercer une valorisation implicite de la créativité notamment 237 lorsqu’il s’agit de réaliser certains travaux tels que la rédaction d’une dissertation, la présentation d’un travail personnel encadré, etc… Ainsi, il semble intéressant d’interroger la proximité de l’inconscient scolaire façonné dans le contexte français (Bourdieu, 2000) et les capacités individuelles associées à la créativité. Dans cette perspective, nous proposons de mesurer la fréquence à laquelle les jeunes sortis du système éducatifs français ont été exposés à des activités supposées contribuer au développement de la créativité durant leur parcours scolaire. Le développement de la créativité entretiendrait une filiation avec l’apprentissage par l’expérience telle que la décrit Dewey, (1902), mais également avec les pédagogies actives théorisées par Froebel, Freinet ou Montessori (Beaudot, 1974). Des travaux anglo-saxons portant sur les représentations des enseignants (Turner, 2013) soulignent par ailleurs l’importance du travail d’équipe, de l’intérêt pour les activités proposées, de la résolution de problèmes réels, de l’exercice de l’esprit critique, de la découverte de nouveaux univers, ou encore de l’utilisation de son imagination et de la pluridisciplinarité pour développer la créativité des élèves. Dans quelle mesure l’expérience scolaire en France contribue-t-elle au développement de la créativité ? Méthodologie de la collecte de données Le dispositif d’enquête Afin d’analyser la contribution de l’expérience scolaire au développement de la créativité, une dispositif d’enquête par questionnaire auprès de jeunes sortis du système éducatif a été mis en place, grâce à une diffusion institutionnelle et une diffusion de proche en proche. A travers une approche rétrospective des parcours, l’enquête devait permettre, notamment de mesurer la créativité de manière auto reportée, mais également, ainsi que d’analyser la contribution des expériences scolaires au développement de cette méta-compétence. La mesure auto-reportée de la créativité est appréhendée de deux manières. L’utilisation de la Runco Ideational Behavior Scale (RIBS; Runco, 2001) permet de mesure le potentiel créatif tandis que plusieurs questions ouvertes portent sur les réalisations créatives dans le parcours. Présentation succincte des données Nous disposons d’un échantillon de 1147 individus. La plus forte proportion de répondants (43,7%) a obtenu un diplôme équivalent à un master universitaire tandis que seulement 5% des répondant présente un niveau de diplôme inférieur ou égal au baccalauréat. 238 Niveau de diplôme le plus élevé Effectif % 80 5 Diplôme de niveau Bac+2 (DUT, BTS, etc) 98 6,3 Equivalent licence universitaire 225 14,5 Equivalent master universitaire 677 43,7 Diplôme de grande école niveau master 344 22,2 Diplôme de troisième cycle universitaire 103 6,6 Autre 23 1,5 Total 1447 100 Diplôme de baccalauréat niveau inférieur ou égal au Tableau 1 : Répondants par niveau de diplôme Echelle de mesure : Runco Ideational Behavior Scale (RIBS) La RIBS, en tant qu’outil de mesure de la créativité autoreportée présente des spécificités qu’il semble important de rappeler. D’après les résultats empiriques concernant la mesure de la créativité avec la RIBS, cette échelle s’articule autour de deux dimensions principales. La RIBS propose une mesure de la créativité en tant que potentiel à partir de propositions telles que « Dans une situation donnée, j'envisage toujours plusieurs solutions », « Il est important d'envisager des choses hors du commun », « Je suis souvent stimulé(e) par mes propres idées », etc… Une série de 17 items (sur 23) ont été sélectionné à partir d’un pré-test. Pour chacun des items de l’échelle, les modalités de réponses sont celle d’une échelle de Lickert en 4 points, notés de 1 à 4 selon le niveau d’adéquation aux représentations des individus. D’après les données collectées, le score mesurée par l’échelle varie de 17 à 68, pour une moyenne de 42,5. La validité et la cohérence interne de l’échelle ont été vérifiées par des résultats empiriques (Runco et al, 2001). Sa distribution diffère selon les items et sa cohérence interne est élevée puisque l’Alpha de Cronbach associé est de 0,92. Echelle de mesure : Runco Ideational Behavior Scale (RIBS) Les valeurs des indicateurs de Skewness et de Kurtosis, respectivement proches de 0 et 3, permettent de considérer le score calculé à partir de la RIBS comme une variable suivant une loi normale. 25% des répondants obtiennent un score inférieur à 37 et 75% des répondants obtiennent un score inférieur à 48. 239 sommecrea Percentiles Smallest 1% 25 17 5% 29 21 10% 32 21 Obs 1332 25% 37 22 Sum of Wgt. 1332 50% 43 Largest Mean 42.69745 Std. Dev. 8.126862 75% 48 66 90% 53 67 Variance 66.04588 95% 56 68 Skewness .0700134 99% 62 68 Kurtosis 2.893639 Tableau 2: Distribution du score de créativité Données auto reportées sur les réalisations créatives Parmi l’ensemble des personnes ayant répondu à l’enquête, 43,7% parviennent à citer un exemple réalisation créative dans leur parcours. Principaux résultats Espace scolaire et réalisations de productions créatives Parmi les personnes 1145 personnes ayant cité une réalisation créative, le contexte de réalisation le plus cité est l’université ou un établissement de l’enseignement supérieur, pour un peu plus de 250 répondants. Le deuxième contexte le plus cité est le contexte professionnel, pour 249 personnes. Il semble important de souligner que l’importance de l’enseignement supérieur en tant que contexte de réalisation tient certainement en partie au profil des répondants, pour la majorité diplômés du supérieur, ainsi qu’à un effet mémoire qui conduit à citer les réalisations créatives les moins éloignées dans le temps par rapport au moment de l’enquête. Caractéristiques scolaires et mesure de la créativité Afin d’appréhender le lien entre parcours de formation et niveau auto reporté de créativité, il semble intéressant de restituer le score RIBS en fonction du niveau de diplôme. D’après les données collectées, le score le plus élevé est celui des diplômés de doctorat, avec un score de 43,9, puis en seconde position celui des diplômés équivalent à un diplôme de BTS et de DUT, avec un score de 43, 76. Il semble par ailleurs intéressant de noter que l’écart-type est beaucoup plus important pour les diplômés de BTS et DUT que pour les diplômés de doctorat. 240 Niveau de diplôme Observations CAP ou BEP Moyenne Ecart-type 14 40,21 7,08 Baccalauréat général, technologique ou prof 34 41,55 9,32 Bac+2 (BTS, DUT, etc) 68 43,76 8,1 225 42,46 8,2 308 43,1 8,08 602 42,46 8,2 Equivalent doctorat 95 43,9 6,65 Total 1346 42,7 8,1 Equivalent universitaire Grande master licence école Equivalent universitaire niveau master Tableau 3 : Niveau de créativité selon le type de diplôme Pratiques pédagogiques et développement de la créativité La contribution de l’expérience scolaire au développement de la créativité a pu être appréhendée en croisant le niveau auto-reporté de créativité avec le degré d’exposition au facteurs de développement de la créativité durant le parcours scolaire. Il ressort de ces analyses que plus le niveau d’exposition aux facteurs de développement de la créativité est élevé, plus le niveau autoreporté de créativité l’est aussi. Ainsi, alors que le quart le moins exposé au développement de la créativité reporte un score RIBS moyen de 40, 58, le quart des répondants les plus exposés au développement de la créativité reportent un score moyen de créativité de 45,78. 241 Niveau d’exposition =< Q1 Score RIBS Obs Mean Std. Dev. Min Max 374 40.58289 8.725626 17 65 Obs Mean Std. Dev. Min Max 263 41.62738 7.822819 24 64 Obs Mean Std. Dev. Min Max 342 43.14035 7.388916 21 67 Obs Mean Std. Dev. Min Max 306 45.78758 7.255793 28 68 Q1 < Niveau d’exposition =< Q2 Score RIBS Q2 <Niveau d’exposition =< Q3 Score RIBS Q3 < Niveau d’exposition Score RIBS Tableau 4: Score de créativité auto-reportée (RIBS) selon le niveau d’exposition aux facteurs de développement de la créativité. Conclusion Plusieurs pistes de résultats, qui méritent d’être approfondies, mettent avant des différences de créativité individuelle selon le parcours de formation. Tout d’abord, les diplômés de doctorat ainsi que ceux de DUT et BTS sont ceux qui rapportent le niveau de créativité tel que mesuré par le RIBS le plus élevé. Par ailleurs, des différences de niveau d’exposition aux facteurs de développement de la créativité apparaissent nettement selon le parcours suivi. D’un point de vue méthodologique, la mesure auto-reportée des apprentissages favorise une réappropriation de l’évaluation rétrospective des apports associés au parcours scolaire par les individus eux-mêmes. Par ailleurs, la confrontation de deux approches de la mesure de la créativité, en tant que potentiel et en tant que réalisation, permet de renforcer la méthodologie de mesure. Toutefois, il faudra préciser dans quelle mesure la validité des résultats tient en partie à des biais méthodologiques, tel que l’approximation liée à l’approche rétrospective Certaines pistes peuvent être envisagées pour affiner la mesure de la créativité et la description de cette compétence, par exemple en affinant les typologies de réalisation créative (niveau d’élaboration, domaine de la réalisation). 242 Pour renforcer les résultats, il s’agira également d’interroger de manière plus systématique, sur notre échantillon, les liens entre mesure de la créativité, déterminants scolaires et caractéristiques individuelles. Enfin, la méthodologie mise en œuvre dans le contexte ce cette recherche nous conduit interroger la pertinence et les possibilités d’internalisation des méthodes auto-reportées par le système éducatif afin d’appréhender des apprentissages non évalués par les enseignants, et notamment, la créativité. Références Bourdieu, P. (2000). L’inconscient d’école. Actes de la recherche en sciences sociales, 135(1), 3-5. Feldman, D. H., & Benjamin, A. C. (2006). Creativity and education: an American retrospective. Cambridge Journal of Education, 36(3), 319-336. Fischer, G. (2005). « Distances and diversity: sources for social creativity ». In Proceedings of the 5th conference on Creativity & cognition,128–136. Garaigordobil, M. (s. d.). Intervention in Creativity With Children Aged 10 and 11 Years: Impact of a Play Program on Verbal and Graphic–Figural Creativity. Creativity Research Journal, p. 329-345. Lindfors, E. (s. d.). Creativity, Innovation and entrepreneurship in education 2020 – Some considérations from crafts part. University of Tampere, Finland. Manning, A., Glackin, M., & Dillon, J. (2009). Creative science lessons? Prospective teachers reflect on good practice. School Science Review, 90(332), 53–58. OCDE (2014), « PISA 2012 Results: Creative Problem Solving: Students’ Skills in Tackling Real-Life Problems », (Volume V), PISA, Éditions OCDE, Paris Puozzo, I. (2013). Pédagogie de la créativité : de l’émotion à l’apprentissage. Éducation et socialisation. Les Cahiers du CERFEE, (33). Runco, M. A., Plucker, J. A., & Lim, W. (2001). Development and Psychometric Integrity of a Measure of Ideational Behavior. Creativity Research Journal, 13(3-4), 393-400. Turner, S. (2013). Teachers’ and Pupils’ Perceptions of Creativity across Different Key Stages. Research in Education, 89, 23-40. 243 MISE EN ŒUVRE DE L’EVALUATION DES FORMATIONS ET DES ENSEIGNEMENTS PAR LES ETUDIANTS (EEE) : UN DISPOSITIF DE TYPE "DÉTECTEUR DE FUMÉE" À L’ÉPREUVE DES FAITS (ID 117) NAKHILI, Nadia, Université Joseph Fourier, Grenoble (FR) DOUADY, Julien, Université Joseph Fourier, Grenoble (FR) HOFFMANN, Christian, Université Joseph Fourier, Grenoble (FR) LENDRI, Nina, Université de Technologie de Compiègne (FR) RÉSUMÉ L’EEE et sa mise en œuvre dans les universités : des visées multiples et des dispositifs variés L’évaluation des enseignements s’appuyant sur des questionnaires remplis par les étudiants est une pratique qui s’est généralisée ces dernières années sous l’effet des injonctions nationales et européennes. Au-delà du besoin d’indicateurs, on observe différentes attentes à propos des informations produites, selon les niveaux de responsabilité. Les instances politiques des établissements ont besoin de connaître la perception qu’ont les étudiants de la qualité des enseignements et des formations, afin de mener des actions globales ou de susciter des dynamiques auprès des équipes pédagogiques. Les enseignants ont besoin d’informations plus qualitatives visant l’amélioration de leurs pratiques au quotidien. L’enjeu est alors de concevoir un dispositif d’EEE optimisant l’exploitation des données collectées, en tenant compte de ressources forcement limitées, en combinant la possibilité d’une lecture pertinente pour l’institution d’une part, et la confidentialité de certains résultats pour protéger les personnes d’autre part. Dans ce contexte, les universités françaises ont adopté des stratégies différentes (Dejean, 2002). Certaines d’entre elles ont délibérément choisi d’abandonner l’idée d’une évaluation exhaustive au profit d’une évaluation indicative systématique (Pigeonnat, 2010 ; Romainville & Coggi, 2009), à la manière d’un « détecteur de fumée ». C’est le choix qu’a fait l’Université Joseph Fourier (UJF) de Grenoble depuis 2012 dans le cadre de sa charte « La qualité des formation et des enseignements » (Douady, Hoffmann & Nakhili, 2014). Trois niveaux d’évaluation à l’UJF : un dispositif ambitieux et complet Le dispositif retenu par l’UJF s’appuie sur 3 niveaux distincts, avec des finalités et des outils spécifiques : - l’évaluation institutionnelle des formations (macro) - l’évaluation institutionnelle des enseignements ou « détecteur de fumée » (méso) - l’analyse approfondie et confidentielle d’une situation d’enseignement (micro) L’évaluation des formations, au niveau macro, est un questionnaire général sur le contexte de formation, commun à toutes les formations de master et de licence. Il est réalisé par l’établissement pour l’aider dans l’orientation générale des formations. 244 L’évaluation des enseignements est subdivisée en 2 niveaux. Le côté institutionnel (niveau méso) est piloté par les composantes. Il repose sur une information quantitative et a pour fonction de signaler, de manière comparative, les situations d’enseignement les plus critiques. Son rôle n’est pas de permettre une analyse poussée de la situation pédagogique, et il n’a d’impact sur la qualité des enseignements que s’il est articulé avec le 3ème niveau du dispositif. Les équipes pédagogiques confrontées à un signalement, révélé par le détecteur de fumée, sont incitées par la direction de composante à engager des analyses poussées pour comprendre le pourquoi de ce déclenchement. La forme que prend cette analyse approfondie (niveau micro) est laissée au choix des enseignants ; elle reste confidentielle, mais il est de leur responsabilité de donner suite. L’établissement met à leur disposition des ressources : à la demande d’un enseignant ou d’une équipe enseignante, les conseillers pédagogiques du Service Universitaire de Pédagogie, soumis à une clause de confidentialité, peuvent les accompagner dans cette démarche. Une enquête révélatrice des progrès faits et des marges de progression: La présente communication propose un bilan du dispositif global après 3 ans de fonctionnement sur le terrain, avec un focus sur l’articulation entre les niveaux méso et micro. La mise en œuvre d’un tel dispositif repose sur un certain nombre de principes et de règles. La charte « La qualité des formations et des enseignements », qui formalise ces principes, a été adoptée en janvier 2012 . Elle a été appliquée dans une composante pilote dès 2010, puis généralisée depuis 2012, non sans difficultés. Dans une première communication (Douady, Hoffmann & Nakhili, 2014), nous présentions la philosophie du dispositif et quelques premiers retours et observations. Nous constations dès lors que l’articulation des niveaux méso et micro est améliorée par un pilotage assumé des directions de composante. Nous proposons désormais un bilan sur les difficultés observées et les améliorations possibles pour une meilleure exploitation par les acteurs. Nous nous basons principalement sur les résultats d’une enquête complétée par 208 enseignants de l’établissement, réalisée en juillet 2014, qui permet d’analyser tant leur connaissance et leur pratique du dispositif que leur ressenti par rapport à ses fondements. En second lieu, nous dressons le bilan des actions menées dans les composantes, révélatrices de l’enclenchement d’une « boucle qualité » vertueuse. Nous constatons qu’il reste difficile pour les enseignants de ne pas « détourner » les résultats du détecteur de fumée de sa fonction première (le signalement), ce qui les conduit régulièrement à exprimer des frustrations à son sujet. La communication auprès des enseignants semble être un des enjeux majeurs puisque lorsque ces derniers s’estiment bien au clair avec les fondements du dispositif, ces frustrations n’apparaissent pas. Nous concluons en dessinant quelques pistes pour nourrir le travail futur des acteurs et accompagnateurs de l’EEE. Références Dejean J. (2002). L’évaluation de l’enseignement dans les universités françaises. [En ligne] http://lesrapports.ladocumentationfrancaise.fr/BRP/024000165/0000.pdf Douady, J., Hoffmann, C., & Nakhili, N., (2014). Le « détecteur de fumée » : nécessité d’un pilotage assumé et d’une articulation soignée avec l’ensemble du processus d’évaluation des enseignements. Symposium « Évaluation des enseignements dans le supérieur : l’usage d’un dispositif de type 245 "détecteur de fumée" passé à la loupe », 26ème Colloque de l’ADMEE-Europe, Marrakech, 15-17 janvier 2014. Pigeonnat Y. (2010). Les pièges de l’évaluation systématique des enseignements ; une solution pour les éviter. Communication lors du 26ème congrès de l’AIPU, Rabat, mai 2010. Romainville M., Coggi C. (2009). L’évaluation de l’enseignement par les étudiants : approches critiques et pratiques innovantes (dir.). Bruxelles : De Boeck. 246 QUEL OUTIL D’ENTRAINEMENT POUR DES ÉTUDIANTS EN MÉDECINE ÉVALUÉS PAR QCM EN PHYSIQUE? (ID 120) MARIQUE, Pierre-Xavier, Didactique de la Physique, Département de Physique, Université de Liège (BE) VAN DE POËL, Jean-François, IFRES (BE) HOEBEKE, Maryse, Didactique de la Physique, Département de Physique, Université de Liège (BE) RÉSUMÉ La réforme des études de médecine mise en application dès la rentrée académique de septembre 2012 en Fédération Wallonie-Bruxelles a introduit une liste abondante de prérequis dans les cours dits de «sciences fondamentales» (physique, chimie, biologie) et favorisé l’évaluation sous forme de questions à choix multiples en première année de bachelier. Or, les étudiants sortant de l’enseignement secondaire maitrisent rarement, pour de multiples raisons, l’ensemble des prérequis. Par ailleurs, ils sont très peu entrainés à ce mode d’évaluation et n’en maitrisent donc pas les spécificités. Lors de leur arrivée à l’université, les causes d’échec des étudiants sont multiples. Parmi celles-ci, nous pouvons citer le temps d’adaptation de l’étudiant au système d'enseignement supérieur, la difficulté d’apprendre la nouvelle matière vue au cours (problèmes de méthode de travail, quantité de matière plus importante, laps de temps plus court pour l’assimiler, …) et, éventuellement, une mauvaise maitrise des prérequis. Cela nous a poussé à développer un outil de soutien à l'apprentissage pour le cours de physique. Nous avons opté pour une plate-forme en ligne afin qu’elle soit accessible à chaque instant et de n’importe quel endroit, moyennant une connexion internet. L’étudiant peut notamment y travailler la nouvelle matière ou les prérequis via une série de tests formatifs présentés sous forme de QCM. L’étudiant peut à tout moment générer un test selon trois paramètres: la(les) matière(s) qu’il souhaite travailler, le temps qu’il désire y consacrer et le niveau de maitrise qu’il souhaite atteindre à ce moment-là. La matière vue au cours a préalablement été décomposée en cinq grands thèmes. L’étudiant peut, lors de l’ouverture d’une session, choisir un ou plusieurs de ces thèmes. Le nombre de questions figurant dans son test formatif dépendra de la durée qu’il aura préalablement sélectionnée (30, 60, 90 ou 120 minutes). Un barème de 10 questions par heure, identique aux conditions d’examens, est appliqué. L’étudiant pourra, en outre, choisir un niveau parmi trois échelons de difficulté. Les questions portant sur chacune des cinq matières, issues notamment des examens des années antérieures, ont été évaluées par plusieurs membres de l’équipe pédagogique et un niveau de difficulté de 1 à 4 leur a été attribué. Le niveau de la question est établi sur la base de 4 critères: abstraction, réflexion, mixité et niveau mathématique. Chaque évaluateur de questions donne un score de 1 à 3 à chacun des critères et ce, pour chaque question. Le total sur l’ensemble des critères 247 fixera le niveau général de la question. Le critère d’abstraction est lié à l’abstraction de l’énoncé et de la réponse attendue. Le deuxième critère évalue la réflexion développée par l’étudiant pour répondre à la question qui lui est posée, et donc notamment le nombre d’étapes de résolution. Le critère de mixité est lié à la diversité des sujets intervenant dans un problème. Le dernier critère est lié au niveau de mathématique que requiert la résolution de la question ou du problème de physique. La moyenne des différentes évaluations fournit alors le niveau de la question. Afin de vérifier la concordance des évaluations, le Kappa de Fleiss a été mesuré et nous indique une concordance moyenne. Vingt ensembles de questions ont été créés, soit un par niveau de difficulté de question et par matière. Une attention particulière est apportée à la rédaction des questions, notamment afin de respecter les règles de conception développées par Leclercq (Leclercq, 1986) et sériant les niveaux d’abstraction des questions selon les taxonomies de Bloom (Bloom, 1956). Une fois les trois paramètres sélectionnés par l’étudiant, un test formatif est généré automatiquement. Un nombre de questions, fixé par la durée choisie par l’étudiant, est tiré aléatoirement en respectant le niveau de difficulté (du test) que l’étudiant a choisi. Le niveau «faible» de test proposera uniquement des questions de niveaux 1 et 2, le niveau «moyen», des questions de niveaux 1, 2 et 3 et le niveau «fort» des questions de niveaux 2, 3 et 4. L’étudiant pourra visualiser son état d’avancement dans la maitrise de chacun des thèmes grâce à un rapport qu’il pourra à tout moment générer. Dans le futur, ce rapport détaillera également quel type (théorie, application directe de formule, problèmes, …) de questions l’étudiant a tendance à réussir ou rater. Une vue simplifiée et ludique, à l’aide de médailles à gagner sera également proposée à l’étudiant. A l’aide de cette vue simplifiée et du rapport complet, l’équipe pédagogique pourra travailler plus efficacement avec l’étudiant si ce dernier demande un rendez-vous de remédiation. En effet, sur la base des rapports, les membres de l’équipe pédagogique pourront facilement et rapidement cibler les difficultés précises rencontrées par l’apprenant et lui proposer des pistes concrètes de travail pour y remédier. Outre cet outil, la plate-forme propose le travail des prérequis différentes formes (vidéos d’expérience à commenter, résolution questions débats, …). Cette diversité d’outils proposés a pour but étudiants selon la théorie de Viau (Viau, 1994). Ces outils ont (Marique, 2014). et de la nouvelle matière sous guidée de problèmes, forums, d’augmenter la motivation des été présentés précédemment Références Bloom, B.et coll. (1956). Taxonomy of educational objectives. Handbook I : Cognitive Domain. New York, McKay. Leclerq, D. (1986). La conception des questions à choix multiple. Bruxelles : Labor. Marique, P.-X., Hoebeke, M. (2014). Plate-forme interactive au service des grandes populations d’étudiants suivant un cours de Physique, Actes de la Conférence TICE 2014, Béziers, France. Viau, R. (1994). La motivation en contexte scolaire, St-Laurent, Éditions du Renouveau pédagogique. 248 COMMENT DE FUTURS ENSEIGNANTS DU SECONDAIRE SUPÉRIEUR EN PSYCHOLOGIE ET SCIENCES DE L’ÉDUCATION APPRENNENT À ÉVALUER LES APPRENTISSAGES? (ID 121) FRANÇOIS, Nathalie, CIFEN - Université de Liège (BE) NOEL, Stéphanie, Adpe - Université de Liège (BE) PIRARD, Florence, PERF - Université de Liège (BE) RÉSUMÉ Contexte Détenteur d’une licence ou d’un master en psychologie ou sciences de l’éducation, les futurs agrégés de ces disciplines n’ont pour certains d’entre eux qu’une représentation réduite de l’évaluation liée à leur expérience d’élève et des connaissances limitées en docimologie. Lors de leur formation d’agrégés, ces futurs enseignants (FE) effectuent des stages dans l’enseignement général, dans les filières de sciences humaines, mais également dans l’enseignement professionnalisant. Dans ce dernier, ils s’adressent essentiellement à des élèves inscrits dans des formations à des métiers de l’interaction humaine (éducateurs, puéricultrice, animateur, aide familiale…) et sont donc amenés à développer et à évaluer des compétences professionnelles. Dans cette communication, nous présentons le dispositif mis en place tout au long de l’année pour amener les FE à développer des compétences d’évaluation des apprentissages. Méthodologie Lors d’un premier module préparant au stage au sein de l’enseignement général, les FE sont invités, au sein du cours de didactique disciplinaire, à découvrir selon des démarches inductives, les trois grandes familles de tâches du métier d’enseignant. Ainsi, en sous-groupes, ceux-ci vont préparer une séquence de cours sur un thème donné, gérer un micro-enseignement, et évaluer les apprentissages. Pour cette troisième famille de tâches, les FE vont expérimenter tout d’abord l’élaboration d’une évaluation de contenus sur base de leur micro-enseignement. Dans un second temps, nous les confrontons à l’évaluation d’une tâche complexe. Une mise en situation leur propose de jouer le rôle d’un enseignant en sciences humaines qui évalue une revue de presse présentée oralement par des personnes qui endossent le rôle d’élèves (par le biais de capsules vidéo). Après avoir pris connaissance des articles composant la revue de presse et des consignes factices données aux « faux » élèves, les FE vont établir, par groupes, des critères leur permettant d’évaluer la production des élèves. Cette évaluation se fait ensuite individuellement avant qu’un temps en sous-groupes soit de nouveau proposé pour rectifier, modifier leurs critères d’évaluation. Ces deux mises en situation permettent ensuite, sur base des notes attribuées par chaque FE et des critères et indicateurs élaborés, de débattre de l’évaluation, de ce qu’elle recouvre et du cadre théorique qui permet de la soutenir. La construction d’une épreuve d’évaluation permet de questionner la validité théorique et de contenu mais également de faire réfléchir les FE à la 249 cohérence de leur épreuve tant du point de vue du contenu que de celui du niveau taxonomique des démarches sollicitées. La rédaction de critères d’évaluation amène une réflexion sur la validité, l’objectivité ainsi que sur le caractère diagnostique de ces critères (Beckers, 2011). Lors de ces échanges, nous proposons ensuite aux FE de « comparer » leur grille avec celle construite par l’équipe encadrante et inspirée d’un outil de la Commission des Outils d’Evaluation1. Lors du second module consacré à la préparation du stage dans l’enseignement qualifiant, les FE sont à nouveau mis en situation. Nous les invitons à évaluer et annoter des copies authentiques d’élèves futurs agents d’éducation portant sur la préparation d’une activité avec un groupe d’enfant au sein d’une institution accueillant des mineurs placés par un juge. Nous leur demandons ainsi de rendre une note mais également de « traiter » la copie comme s’ils devaient la rendre aux élèves. Cette troisième mise en situation est à nouveau l’occasion de discuter des critères d’évaluation mais également de sa fonction régulatrice (Beckers, 2007). Une discussion s’engage ainsi sur la qualité des feedbacks rendus. Les annotations du FE permettront-elles à l’élève d’identifier les critères de qualité de la production (Quelles informations sur la maitrise des objectifs prioritaires et transversaux ? Quelle contribution de chaque critère à la note ?). Les feedbacks rendus sont-ils communiqués clairement ? Quelles voies d’amélioration le FE propose-t-il ? Et enfin, les commentaires sont-ils bienveillants, le FE relève-t-il également des points positifs, afin de garantir un support affectif constructif ? A l’issue de chacun des modules, les FE effectuent leurs stages. Dans l’enseignement général ceux-ci sont amenés à développer et évaluer des compétences au service de la maîtrise des matières de sciences humaines. Dans l’enseignement qualifiant, ils sont invités à travailler par le biais d’un dispositif professionnalisant, le développement efficace et équitable des compétences et de l’identité professionnelle des élèves auxquels ils s’adressent. Au sein de leurs rapports de stage, les FE doivent présenter les outils utilisés (questions, tâches, consignes) pour mesurer la maîtrise d’objectifs terminaux d’intégration et du contenu matière abordé lors du premier stage et de compétences professionnelles lors du second stage (en fournissant les productions des élèves). Les FE doivent également analyser de façon critique l’évaluation proposée notamment par rapport aux résultats obtenus. Les différents éléments présents dans les rapports permettent aux formatrices d’appréhender la façon dont les FE ont intégré les concepts et les démarches envisagées. Les pratiques évaluatives des FE ainsi recueillies ont fait l’objet d’un article dont nous pourrons évoquer quelques résultats lors de la communication2. Limites et perspectives Dans ce dispositif, nous cherchons à mettre en place des situations proches des réalités de terrain en ayant recours en partie à du matériau authentique, même s’il faut rester conscient de l’écart inévitable existant par rapport aux situations vécues en stages. Ces différentes mises en situation permettent aux FE une première découverte, expérimentation, dans un cadre protégé de formation, avant la prise en charge dans le cadre des stages, d’une tâche essentielle de leur futur métier : l’évaluation. Nous avons également à cœur de recueillir l’avis des étudiants sur les différentes séances de cours par le biais d’un questionnaire anonyme et pouvons dès lors prendre connaissance d’aspects positifs ou négatifs ressentis et ainsi réguler la formation. Ainsi, les FE expriment de façon unanime l’originalité de la démarche mais surtout son aspect formatif par une prise de conscience de la complexité de cette tâche qu’ils sous-estimaient. 250 1 Disponible sur le portail officiel de l’enseignement en Fédération Wallonie Bruxelles www.enseignement.be 2 « Comment de futurs enseignants évaluent la maîtrise de compétences : analyses de pratiques » Jacqueline Beckers et Nathalie François. Mesure et évaluation en éducation, vol. 34, n° 3, 2011, p. 113-135.URI: http://id.erudit.org/iderudit/1024797ar DOI: 10.7202/1024797ar Références Beckers, J. (2007). Compétences et identité professionnelle. L'enseignement et autres métiers de l'interaction humaine. Bruxelles : De Boeck. Beckers, J. (2011). Développer et évaluer des compétences à l’école : vers plus d’efficacité et d’équité. Namur : Labor Education. 251 EXPÉRIMENTATION ET CHANGEMENT DE PRATIQUE ÉVALUATIVES DES COMPÉTENCES MÉTIERS DANS UN CENTRE DE FORMATION PROFESSIONNEL (ID 122) BLANVILLIAN, Christian, Centre de Formation Professionnelle et Technique (CFPT) Informatique, Genève (CH) GREMION, Christophe, Institut Fédéral des hauts études en Formation Professionnelle (IFFP), Lausanne (CH) RÉSUMÉ En Suisse, dans la formation professionnelle des informaticiens, le nouveau plan de formation professionnel (ordonnance 2014) est construit sur des concepts pédagogiques qui se basent sur la méthode compétences-ressources (CoRe). Chaque compétence opérationnelle est décrite par une ou plusieurs situations. Les ressources nécessaires pour maîtriser chacune de ces situations sont également données. Elles sont décrites en termes de connaissances, aptitudes et comportements. Lors des épreuves sur les bases théoriques, nous devons apprécier si, dans le système conceptuel de l’apprenant, les liens avec le monde du travail ont bien été tissés (OFFT, 2008). Ainsi, ces épreuves doivent permettre à l’étudiant de se confronter à des tâches complexes ou à de la résolution de problèmes. Cette nouvelle conception de l’évaluation a induit des changements sur la manière de gérer les situations d’enseignements-apprentissage et sur la validation de certaines compétences. Les grilles d’évaluations traditionnelles de l’école servant à indiquer la présence ou l’absence d’une compétence, sont basées sur des micro-indicateurs tellement précis que nous perdons de vue l’ensemble et le sens de ce qui aurait dû être évalué. Dès lors il s’avère impossible de vérifier si des tâches complexes ont bien été réussies et si l’apprenti est capable de résoudre des problèmes. Pour exemple, certains étudiants ont compris les limites de la grille d’évaluation traditionnelle et réussissent à obtenir la moyenne à des épreuves en ne réalisant qu’un copier-coller d’une correction d’exercice similaire qui ne correspond pas du tout à la solution au problème posé. Or, comme tous les éléments nécessaires à l’obtention du nombre minimal de points sont présents, nos indicateurs deviennent caducs. Pour pallier à cette limitation de la grille d’évaluation “traditionnelle école”, nous expérimentons une grille d’évaluation “descriptive globale” depuis juin 2014 (Scallon, 2004, ch. 7). Au-delà des aspects techniques liés à cette nouvelle grille, il est intéressant de présenter la démarche adoptée et de montrer comment, petit à petit, partant de l’esprit curieux des nouveaux enseignants en phase d’exploration (Huberman, 1989) qui n’hésitent pas à se lancer dans des innovations, l’idée qu’il était possible d’évaluer autrement les compétences des apprentis s’est propagée vers les enseignants ayant une plus longue expérience de l’ancien plan de formation et de la grille “traditionnelle école”. Avant et pendant l’expérimentation, la pensée questionnante des enseignants, basée sur leurs conceptualisations personnelles du processus d’évaluation des apprentis, a suscité de nombreuses critiques. Puis, les réticences de ces collègues qui s’interrogeaient sur cette nouvelle pratique se sont estompées pour faire place à l’envie d’expérimenter. Cela a permis l’acceptation de l’innovation et une bonne intégration de celle-ci par la grande majorité des enseignants (Par majorité, nous entendons tous les enseignants du groupe sauf une personne qui n’a pas réussi à entrer dans la critique de la grille d’évaluation “traditionnelle école”). Pourquoi une telle différence d’acceptation, d’appropriation et d’intégration dans les 252 pratiques entre cet enseignant et ses collègues ? Nous pouvons probablement trouver des pistes de réponses dans Blanchard-Laville (2013, pp.172-173) ou dans l’échelle des niveaux de préoccupation et d’utilisation des compétences de Gremion (2012). Le fait est que dans le groupe des enseignantscorrecteurs de ce module, ce même enseignant avait donné l’impulsion à cette expérimentation, s’appuyant sur ses corrections “un peu trop sévères” par rapport aux compétences attendues dans ce module selon la nouvelle ordonnance. Dans notre recherche de validité et de fiabilité, nous avons évalué le degré de concordance du RAI (test de validité inter-juge ou Rater Agreement Index) mesuré selon l’indice de Burry-Stock (Scallon, 2004, p. 250), en faisant varier la population jury (expert - non expert), la population évaluée (variable), la difficulté du sujet d’évaluation (selon les problèmes) et la grille d’évaluation (traditionnelle école ou descriptive globale). Les résultats de ces comparaisons ont été peu significatifs. Des améliorations ont pu être observées grâce à cette approche, mais cela a fait apparaître d’autres difficultés. En effet, si cette grille d’évaluation “descriptive globale” donne des résultats pertinents et cohérents au vu de la nouvelle politique des programmes, elle met en évidence de grandes disparités, ce que la grille “traditionnelle école” permettait d’éviter ou de masquer. Les correcteurs sont-ils assez formés et compétents pour juger des compétences (et non des connaissances) ? Cette manière d’évaluer est-elle en phase avec leurs habitudes d’enseignement ? Partagent-ils entre eux certaines valeurs et finalités de leur enseignement ? Jugent-ils de la forme ou du fond ? Veillent-ils ou visent-ils l’apprentissage ou la réussite des élèves (Perrenoud, 1998) ? Sont-ils prêts à un travail de corrections collectives entre pairs pour, en amont, définir collectivement quels savoirs professionnels évaluer (Vanhulle, 2004) et, en aval, limiter l’indispensable subjectivité des interprétations (Gérard, 2002) ? Même si la grille est naturellement perfectible, ce qu’il faudrait pouvoir changer prioritairement dans notre établissement pour obtenir une évaluation objective et pertinente des compétences techniques informatiques de nos apprentis, semble être davantage la culture commune locale de l’évaluation que l’outil de mesure utilisé. La grille d’évaluation “descriptive globale” implique des réflexions et discussions entre collègues que nous n’avions pas auparavant et qui sont particulièrement éclairantes pour déterminer quelles valeurs sous-jacentes au plan de formation doivent être transmises à nos élèves. Peut-être fait-elle émerger un besoin de formation continue à l’évaluation des compétences pour le corps enseignant, démarche collective qui pourrait être proposée dans la logique d’un projet d’établissement (Gather-Thurler, 2000) ? Enfin, alors même que la grille “traditionnelle école” reste aujourd’hui cachée aux élèves une fois l’examen terminé, la grille d’évaluation “descriptive globale” pourrait être présentée en classe les premiers jours de la formation et utilisée par les apprentis pour qu’ils puissent mesurer leur propre évolution tout au long du semestre, dans une logique d’évaluation formatrice (Vial, 2012), afin que l’évaluation devienne réellement un soutien à l’apprentissage. Références Blanchard-Laville, C. (2013). Au risque d’enseigner. Paris: PUF. Gather Thurler, M. (2000). Innover au coeur de l’établissement scolaire. Paris: ESF Éditeur. Gerard, F.-M. (2002). L’indispensable subjectivité de l’évaluation. Antipodes, n°156, avril 2002, 26-34. 253 Gremion, C. (2012). Echelle d’autoévaluation de compétences et cartographie de textes réflexifs : présentation et partage d’expériences. Actes du 24ème colloque international de l’ADMEE-Europe. Huberman, M. (1989). La vie des enseignants. Paris: Delachaux & Niestlé. OFFP, (2008). Manuel relatif aux ordonnances. Les étapes de l’élaboration d’une ordonance sur la formation professionnelle initiale. La Chaux-de-Fonds : Imprimerie des Montagnes. Perrenoud, P. (1998). Réussir ou comprendre ? Les dilemmes classiques d’une démarche de projet. Genève: Faculté de psychologie et des sciences de l’éducation. Scallon, G. (2004). L’évaluation des apprentissages dans une approche par compétences. Bruxelles : De Boeck. Vanhulle, S. (2004). L’écriture réflexive, une inlassable transformation de soi. Repères, (30). Vial, M. (2012). Se repérer dans les modèles de l’évaluation méthodes dispositifs outils. Bruxelles : De Boeck université. 254 EVALUER LE PROJET PROFESSIONNEL DE L’ÉTUDIANT LORS DE SON ENTRÉE À L’UNIVERSITÉ: VALIDATION DE CINQ PROFILS PROFESSIONNELS AUPRÈS D’ÉTUDIANTS DE PSYCHOLOGIE (ID 123) LEROY, Véronique, Université catholique de Louvain (BE) CLERCQ, Mikaël De, Université catholique de Louvain (BE) FRENAY, Mariane, Université catholique de Louvain (BE) RÉSUMÉ Au seuil de l’enseignement supérieur, l’étudiant est amené à réaliser un choix d’étude qui est accompagné par l’élaboration d’un projet professionnel. Ce projet ne sera pas sans influence sur l’implication de l’étudiant dans ses études. Il déterminera, entre autre, une part significative de la valeur qu’il accordera aux tâches qui lui seront demandées (Eccles & Wigfield, 2002) et son engagement tout au long du cursus (Boudrenghien & Frenay, 2011; Boudrenghien, Frenay, Bourgeois, Karabenick, & Eccles, 2014).Connaître les principales caractéristiques du projet professionnel de l’étudiant semble donc indispensable pour mieux comprendre son processus d’engagement dans les études supérieures (Neuville, Bourgeois, & Frenay, 2005). Dans le cadre des études de psychologie, le projet professionnel poursuivi par un étudiant peut être très varié. En effet, le métier de psychologue traditionnellement restreint, a vu son champ d’activité s’élargir et se diversifier avec l’évolution de la société. D’un étudiant à l’autre, le projet pourrait donc varier en fonction du lieu où il souhaiterait exercer sa profession (école, hôpital, etc.), de l’objet sur lequel il apprécierait de travailler (la délinquance, les apprentissages scolaires, etc.), des actions qu’il voudrait accomplir (réaliser des bilans intellectuels, enseigner, etc.) ou encore du secteur d’activité dans lequel il souhaiterait évoluer (entreprise, hôpital, etc.). Il parait donc important de pouvoir identifier et analyser cette diversité de projet afin d’en comprendre les implications sur le déroulement du cursus de l’étudiant. Pour ce faire, la faculté de psychologie et des sciences de l’éducation de l’Université catholique de Louvain (UCL, Belgique) a intégré le cours Projet de formation dans le programme des étudiants inscrits dans le Bachelier en sciences psychologiques et de l’éducation lors de la rentrée académique 2012 - 2013. Ce cours vise à accompagner l’étudiant dans la construction progressive de son projet professionnel personnel tout au long des trois années de Bachelier. Le dispositif pédagogique de ce cours a été présenté lors du colloque de l’ADMEE 2015 à Liège (Leroy, De Clercq, Frenay, 2015). L’objectif visé par la présente communication est de se focaliser sur la validation psychométrique de l’adaptation d’un instrument de mesure utilisé pour évaluer le projet professionnel de l’étudiant à l’entrée de ses études universitaires en psychologie. Méthode Le questionnaire utilisé est une version adaptée de l’ « Instrument de mesure des projets professionnels chez les étudiants en psychologie » (Neuville et al., 2005). Il permet d’évaluer la représentation que l’étudiant, en début de cursus universitaire, a du métier de psychologue tel qu’il souhaiterait l’exercer. Quatre descripteurs de la profession de psychologue y sont évalués : les lieux 255 (les endroits où le psychologue peut exercer sa profession), les objets (ce sur quoi il travaille), les actions (les tâches qu’il assume) et les secteurs d’activité (les champs d’exercice professionnel). Ces quatre descripteurs permettent de situer l’étudiant par rapport à cinq profils professionnels (entrepreneurial, clinique, éducatif, social et généraliste). En septembre 2012, le questionnaire adapté a été administré en auditoire à l’ensemble des étudiants inscrits en première année du bachelier en sciences psychologiques et de l’éducation (n = 492). Le questionnaire comprenait 47 items répartis sur les quatre descripteurs (les lieux : 8 items ; les objets : 14 items ; les actions : 17 items et les secteurs d’activité : 8 items) et présentés sur une échelle de Likert à 7 points allant de 1 (« Pas du tout intéressé ») à 7 (« Tout à fait intéressé »). En nous référant au regroupement d’items suggérés par Neuville et ses collègues (2005) sur les quatre descripteurs, nous avons pu situer chaque étudiant sur les cinq profils professionnels en comparaison au score moyen obtenu par les étudiants de l’auditoire concerné. Sur base des résultats obtenus lors de cette première récolte de données, le questionnaire a été révisé afin de mieux correspondre aux profils actuels du psychologue. Dix items ont donc été ajoutés au questionnaire et certains items ont été reformulés. La nouvelle version du questionnaire a été administrée en septembre 2013 (n =334) et septembre 2014 (n = 366) aux étudiants inscrits en première année du bachelier en sciences psychologiques et de l’éducation de l’UCL. Résultats Les analyses préliminaires réalisées sur le questionnaire révisé ont permis de confirmer la structure factorielle en cinq profils professionnels. Les qualités psychométriques (Laveault & Grégoire, 2002) de cet instrument seront présentées de façon détaillée lors de la communication à l’ADMEE. Perspectives Les résultats obtenus au questionnaire ont été remis individuellement aux trois cohortes d’étudiants en leur précisant qu’il s’agissait d’une tendance d’intérêt, à l’entrée des études, pour certains profils professionnels. L’utilisation de ce questionnaire est le point de départ de l’accompagnement de l’étudiant dans son projet d’études en lien avec son projet professionnel. Les pistes pédagogiques proposées aux étudiants seront discutées. Références Boudrenghien, G., Frenay, M., Bourgeois, E., Karabenick, S. & Eccles, J. (2014). A theoretical model of the antecedents of educational goal commitment, Canadian Journal of Career Development. 13(1), 60-69. Boudrenghien, G., & Frenay, M. (2011). La transition de l’enseignement secondaire vers l’enseignement supérieur : Rôle des représentations et motivations à l'égard de son projet de formation, Orientation scolaire et professionnelle, 40(2), 125-155. Eccles, J.S., & Wigfield, A. (2002). Motivational beliefs, values, and goals. Annual Review of Psychology, 53(1), 109-132. 256 Laveault, D. & Grégoire, J. (2002). Introduction aux théories des tests en psychologie et en éducation. Bruxelles, Belgique: de Boeck. Leroy, V., De Clercq, M, & Frenay, M., Accompagner et évaluer l’étudiant dans la construction de son projet socioprofessionnel au cours de son programme de Bachelier en sciences psychologiques et de l’éducation, 27ème Colloque de l’ADMEE Europe, Liège, 28 – 30 janvier 2015. Neuville, S., Bourgeois, E., & Frenay, M. (2005). Validation d’un instrument de mesure des projets professionnels chez les étudiants en psychologie. Mesure et Evaluation en Education, 27 (1), 23-49. 257 LES GESTES DE RÉGULATION DES ENSEIGNANTS FACE AUX OBSTACLES D’APPRENTISSAGE DES ÉLÈVES EN PRODUCTION ÉCRITE : QUELS LIENS AVEC LES PROGRÈS OBSERVÉS? (ID 124) COUCHEPIN, Catherine Tobola, Haute Ecole Pédagogique du Valais et Université de Genève (CH) RÉSUMÉ Dans cette contribution, à travers les interactions en classe, il s’agit de repérer les obstacles des élèves et de mettre en évidence les régulations proposées par les enseignants pour faire « avancer » l’objet d’enseignement : la rédaction d’un texte argumentatif. La contribution que nous souhaitons présenter expose quelques résultats d’une recherche financée par le FNS (N°100019-146858) . La recherche porte sur les capacités et les difficultés des apprenants en situation de production écrite de textes argumentatifs en 6H (élèves de 9-10 ans) en Suisse romande. Le dispositif de recherche permet d’étudier aussi bien les conditions d’enseignement et d’apprentissage, les textes argumentatifs écrits par les élèves, que les interactions didactiques. Les enseignants observés s’appuient sur une séquence didactique proposée par « S’exprimer en français » (Dolz, Noverraz & Schneuwly, 2001). Cette démarche suppose de la part de l’enseignant la mise en place d’activités intentionnelles, structurées et intensives qui doivent s’adapter aux besoins particuliers des groupes d’apprenants afin de les faire progresser. Cette adaptation aux besoins des élèves sollicite plusieurs actions de la part de l’enseignant. Tout d’abord, une évaluation formative des productions initiales en fonction des objectifs de la séquence et des caractéristiques du genre textuel pour organiser et réguler les apprentissages. Par son intermédiaire, il est possible de constater les capacités initiales des élèves et d’identifier les dysfonctionnements (Dolz, Gagnon & Vuillet, 2011 ; Reuter, 2013). Sur cette base, l’enseignant construit et/ou choisit les modules d’enseignement à réaliser durant la séquence, pour permettre aux élèves, quelles que soient leurs capacités de départ, d’améliorer leurs pratiques langagières. Il peut également prévoir et élaborer des interventions différenciées sur les dimensions qui posent le plus de problèmes. L’évaluation formative vise à améliorer les conditions d’enseignement/apprentissage en s’appuyant sur la manière dont un apprenant ou l’ensemble de la classe progresse à travers les activités proposées (Scriven, 1967, Cardinet, 1984, Allal & Wegmuller, 2004). Grâce à une observation systématique des élèves, l’enseignant peut mieux comprendre leurs pratiques langagières et ainsi ajuster les interventions didactiques proposées afin d’optimiser les apprentissages des élèves (Allal, Bain & Perrenoud, 1993) et ce en fonction des progrès et des problèmes d’apprentissages observés. Lors de l’apprentissage de la production écrite, la complexité de la tâche suppose des régulations depuis la mise en situation de départ jusqu’au bilan final. Nous portons notre attention plus particulièrement sur les régulations externes (provenant de facteurs situés dans l’environnement matériel, social et culturel) qui permettent d’assurer « le guidage, le contrôle, l’ajustement des activités cognitives, affectives et sociales » des élèves (Allal, 2007, p.9). Dans cette contribution, nous porterons la focale plus particulièrement sur les interactions online au sujet de l’argumentation tout au long de la séquence didactique mise en place par les enseignants. Les données analysées sont tirées de deux séquences d’enseignement autour d’un 258 genre argumentatif la « Réponse au courrier des lecteurs ». Les séquences ont été intégralement filmées. Elles sont également constituées des productions initiales et finales des élèves de ces deux classes. Trois questions orientent les analyses contrastées entre les deux classes de notre échantillon: - Quels sont les obstacles rencontrés par les élèves sur la production d’un texte argumentatif dans le cadre de la séquence d’enseignement ? - Quels sont les gestes de régulation des enseignants face à ces obstacles lors du déploiement d’une séquence didactique ? - Quels liens peuvent être effectués entre les gestes de régulation des enseignants et les apprentissages constatés dans les productions des élèves en fin de séquence ? Pour répondre à ces questions, une analyse a priori de la séquence pour repérer les difficultés et les erreurs possibles des élèves est effecutée (Charnay & Mante, 1995, Mottiez Lopez, 2000, Schubauer Leoni & Leutenegger, 2002). Dans les retranscriptions intégrales des deux séquences filmées, nous repérons les obstacles épistémologiques et didactiques (Bachelard, 1938/1993 ; Vygotski, 1997 ; Brousseau, 1998, Vuillet & Gabathuler ; à paraitre) et nous identifions les différents gestes de régulation proposés par les enseignants (Chabanne & Dezutter, 2011 ; Mottiez Lopez, 2012). Enfin, nous mettons en résonnance les progrès statistiquement significatifs des élèves avec les gestes de régulation proposés par les enseignants. Trois catégories d’obstacles ont été identifiés en fonction des contenus traités par l’enseignement : des obstacles associés à la définition de la situation de communication ; des obstacles relatifs à l’élaboration d’arguments ; et des obstacles de l’usage des organisateurs argumentatifs dans la rédaction du texte. Les régulations qui suivent l’émergence d’un obstacle sont de nature différente et sont utilisées diversement selon les deux enseignants observés. Il s’avère également que les résultats des élèves sont différents dans les deux classes. Si les élèves des deux classes ont progressé dans la contextualisation du texte écrit, le nombre d’arguments produits et l’usage plus pertinent des organisateurs du texte pour hiérarchiser les arguments, ces progrès sont plus importants dans une des deux classes et ceci, surtout pour les élèves qui étaient identifiés au début de l’enseignement comme des élèves en difficulté pour l’écriture. Quels sont les liens entre ces résultats et les gestes de régulation observés ? Dans la classe ayant les plus faibles résultats et ne facilitant pas la réussite d’élèves en difficulté, nous constatons un nombre plus important d’obstacles qui ne déclenchent pas de gestes de régulation, des régulations qui se limitent à un renforcement positif ou négatif et des reformulations simples pour corriger les élèves. Les explicitations et les mises en dialogue des élèves pour construire de nouveaux savoirs sur les textes écrits sont rares. En revanche, l’enseignant de la classe qui présente les meilleurs résultats, travaillant sur les mêmes objets et avec les mêmes moyens d’enseignement, les obstacles des élèves déclenchent des gestes de régulation où l’explicitation est prépondérante : explicitation du processus de réflexion par l’enseignant, questionnement serré pour guider l’élève dans sa réflexion, ouverture de débats dans la classe pour amener les élèves à prendre position quant aux démarches de chacun. L’intérêt de cette contribution est de montrer à quel point le langage utilisé et la pertinence des régulations ont leur importance dans l’apprentissage. Plus les interactions maitre-élève(s) ou élève(s)-élève(s) sont ciblées (formes de régulation, langage utilisé par l’enseignant pour donner ses feed-back et ses explications) (Bautier et al.; 2011) plus les progrès sont visibles et homogènes. 259 Références Allal, L., Bain, D., & Perrenoud, P. (1993). Évaluation formative et didactique du français. Neuchâtel et Paris: Delachaux et Niestlé. Allal, L. & Mottier Lopez, L. (Eds). (2007). Régulation des apprentissages en situation scolaire et en formation. Bruxelles : De Boeck. Allal, L., & Wegmuller, E. (2004). Finalités et fonctions de l’évaluation. Purposes and functions of evaluation. Educateur (special issue 04), 4-7. Bachelard, G. (1938/1993). La formation de l’esprit scientifique. Paris : Vrin. Bautier, E., Catteau, C., Joigneaux, C. & Thouny, C. (2011). Des difficultés invisibles aux apprentissages non faits. In J.-Y. Rochex & J. Crinon (Ed.), La construction des inégalités scolaires. Au cœur des pratiques et des dispositifs d’enseignement. (pp. 173-198). Rennes : Presses Universitaires. Cardinet, J. (1984). Pour apprécier le travail des élèves. IRDP/R 84.12., 2-4. Neuchâtel : Institut Romand de recherches et de Documentation Pédagogiques. Chabanne, J.-C, Desault, M., Dupuy C. & Aigoin, C. (2008). Les gestes professionnels spécifiques de l’enseignant dans le débat interprétatif : problèmes pour l’analyse et la formation, In Repères, 37, 2008, pp. 227-260. Chabanne, J.-C, & Dezutter, O. (2011). Les gestes de régulation des apprentissages dans la classe de français. Bruxelles: De Boeck, pp. 83-106. Charnay & Mante, M. (1995). Préparation à l’épreuve de mathématiques du concours de professeur des écoles. Paris : Hatier Pédagogie. Dolz, J. Noverraz, M. & Schneuwly, B. (2001). S'exprimer en français: séquences didactiques pour l'oral et pour l'écrit. Corome. De Boeck. Dolz, J., Gagnon, R. & Vuillet, Y. (2011). Production écrite et difficultés d’apprentissage. Genève: Université de Genève, Faculté de Psycho. et des Sc. de l'Ed. Mottiez Lopez, L. (2000). De l’analyse a priori à la régulation. Math-Ecole, n° 191, pp. 32-42. Mottier Lopez, L. (2012). La régulation des apprentissages en classe. Bruxelles : De Boeck. Reuter, Y. (2013). Panser l'erreur à l'école. De l'erreur au dysfonctionnement. Lille : Presses universitaires du Septentrion. Scallon, G. (2000). L’évaluation formative. Bruxelles : De Boeck Scriven, M. (1967). The methodology of evaluation. AERA Monograph Series on Evaluation, 1967, 1, 39-83. Schubauer Leoni, M.-L. & Leutenegger, F. (2002). Expliquer et comprendre dans une approche clinique/expérimentale du didactique ordinaire. In M. Saada-Robert & F. Leutenegger, Expliquer et comprendre en sciences de l’éducation, Raisons Educatives. Bruxelles : DeBoeck. pp.227-251. Vial, M. (2005). Se former pour évaluer : se donner une problématique et élaborer des concepts. Bruxelles : De Boeck. Vuillet, Y. & Gabathuler, C. (à paraitre). L’apprentissage de lectures de textes littéraires compris entre obstacles épistémologiques et nœuds idéologiques. Actes du colloque du REF 2015. Montréal. 260 UN DISPOSITIF D'ACCOMPAGNEMENT PERSONNALISÉ EN AMONT DES STAGES (ID 126) MAES, Olivier, HELHa/UCL (BE) DEPRIT, Agnès, HELHa/UCL (BE) MONCAREY, Coryse, HELHa (BE) RÉSUMÉ La formation des instituteurs primaires, en Belgique francophone, est structurée en trois années d’études conduisant au grade de Bachelier de niveau 6 du Cadre européen des certifications (2008). Le décret (2000) régissant la formation prévoit la réalisation de stages pédagogiques en situation réelle afin de favoriser une alternance intégrative (Pentecouteau, 2012). Depuis le décret Paysage (2013), l’organisation de l’enseignement supérieur en Fédération Wallonie-Bruxelles est remodelée. L’une de ses orientations vise la flexibilité du cursus notamment au moyen d’une évaluation basée sur l’acquisition progressive de crédits promouvant ainsi l’accompagnement personnalisé de l’étudiant dans son rythme d’étude et sa réussite. C’est dans ce contexte que les formateurs des futurs instituteurs primaires du département pédagogique de Mons de la HELHa ont modifié leur système d’évaluation des stages. D’une évaluation essentiellement certificative, ils ont voulu passer à une évaluation formative (Allal, 1991; De Ketele, 1991; Paquay, 2000) visant à soutenir et à favoriser les apprentissages en aidant l’étudiant à se situer, en lui donnant un signal clair et en mesurant le chemin parcouru ainsi que le degré d’atteinte des objectifs. Ce parcours permet aux étudiants de développer les compétences professionnelles attendues au terme de leur année d’études. Si beaucoup de changements ont été opérés et principalement la suppression des notes, il subsistait un moment qui rompait avec la dynamique d’accompagnement souhaitée : la vérification des dossiers (recueil de l’ensemble des préparations de leçons) par une équipe pluridisciplinaire d’enseignants de la Haute École accordant ou refusant, à la veille des stages, l’accès à ceux-ci. Cette étape était vécue difficilement par les enseignants qui n’observaient que rarement le transfert de leurs conseils, prodigués lors des cours et des ateliers de formation professionnelle, à l’ensemble des leçons présentées ainsi que par les étudiants qui ne se voyaient pas gratifiés de la reconnaissance attendue pour l’ensemble de leurs efforts. Face à ce constat, comment proposer aux stagiaires un accompagnement personnalisé favorisant la réflexivité et la problématisation, attitudes cognitives nécessaires pour les mener vers la professionnalisation (Paul, 2009), sans être dans le contrôle ? En effet, comme le souligne De Ketele (2001, p. 230) « l’accompagnement et le suivi seront d’autant plus efficaces qu’une culture de l’évaluation (évaluation pour améliorer) et non une culture de contrôle est instaurée ». Ce questionnement nous a menés à supprimer la vérification des dossiers au profit d’un dispositif de coaching (Paul, 2004 et 2009) organisé en amont des stages. C’est l’analyse de ce dernier qui fait l’objet de notre réflexion dont nous proposons ici les premiers résultats. L’efficacité d’un accompagnement personnalisé a notamment été mise en évidence par Lebel, Belair et Goyette (2012) dans leur recherche sur l’accompagnement des stagiaires ayant vécu un échec. Les auteures mettent en évidence le défi qu’est l’accompagnement et l’évaluation des stagiaires et précisent qu’un étudiant, uniquement confronté à ses difficultés, peut rencontrer le 261 désir d’abandonner sa formation et ce, d’autant plus si « les rencontres s’apparentent à un paradigme de la mesure écartant toute possibilité de créer un espace de dialogue, lequel constitue une prémisse à la reconnaissance de l’autre dans sa singularité de professionnel en émergence» (Lebel, Belair & Goyette, 2012, pp.8-9). Travailler en amont des stages nous paraît particulièrement important pour encourager la réflexion du stagiaire avant l’action car, comme le spécifient Goigoux, Ria et Capelle-Toczek (cités par Serres, Ria & Leblanc, 2013, p.99), « un levier principal de la formation réside sur la possibilité de réussir l’action pour la comprendre ». Ainsi, « préparer » l’action amènerait l’étudiant à réfléchir aux difficultés prévisibles et déjà à trouver des solutions pour y faire face (Serres, Ria & Leblanc, 2013). Par conséquent, l’accompagnement mis en place s’inscrit dans ces fondements et semble se positionner à la jonction de trois concepts. D’abord, il rejoint plusieurs caractéristiques du concept de coaching tel que Paul (2004) le définit en ce sens qu’il a pour but de cheminer, dans une temporalité bornée, avec l’étudiant qui est en attente d’aide pour résoudre son problème. Il vise l’efficacité et le résultat immédiat, multiplie les moyens pour y parvenir et encourage la réflexivité dans l’action. En plus de cette aide opérationnelle étayée dans une perspective d’autonomisation du stagiaire, le coaching vise son développement personnel et professionnel et lui permet de bénéficier des avantages du processus relationnel installé. La relation coach/coaché a donc bien une influence déterminante et nécessite l’écoute et le « parler engagé » car « c’est dans et par la « conversation de collaboration » (Payette, 2002) que s’explicite l’objectif et se travaille le rapport de la personne à cet objectif» (Paul, 2004, p.27). Ensuite, le rôle du coach est proche du compagnon réflexif défini par Donnay (2011), qui soutient l’étudiant dans son cheminement formatif afin « de l’amener à regarder « le réel » et les effets de ses actions, de les évaluer et d’ajuster ses conduites en fonction des résultats à atteindre » (Donnay, 2011, p.31). Cet accompagnement de l’enseignant en construction vers l’autonomie par la conscientisation de ses propres ressources est, selon Biémar (2009), une condition essentielle pour que le compagnonnage réflexif se mette en place. Enfin, l’aide de personne à personne proposée se défend d’être dans le contrôle. Elle n’a pas la volonté de nuire à autrui ni de porter un jugement sur les pratiques mais plutôt d’y apporter un regard bienveillant. Le coach, par sa distance avec le contexte, a la possibilité de guider le stagiaire vers d’autres alternatives, de l’aider à comprendre son action, à réfléchir sur sa pratique en sécurité et en confiance. En ces points, nous rejoignons également le concept d’ami critique développé par De Ketele (2002). Les traces nous permettant d’analyser notre dispositif se basent sur des données recueillies au moyen d’un focus group (Slocum, 2006 ; Kitzinger, Marková & Kalampalikis, 2004 ; Doise & Mugny, 1997) réalisé auprès d’étudiants ayant vécu le dispositif. Elles se centrent principalement sur la perception de l’utilité de ce coaching par les étudiants. Le verbatim retranscrit et analysé sur base de critères issus de la modélisation des concepts évoqués plus haut indique, dans ses premiers résultats, que les étudiants vivent davantage ce dispositif comme une structure de service alors que développer une structure de coopération favoriserait l’autonomie (St-Arnaud, 2003). Une de nos perspectives serait donc d’installer cette relation durant la phase d’initialisation du coaching (Paul, 2004) ce qui renforcerait le concept d’ami critique dans son idée d’alliance entre le coach et le coaché, gage d’une plus value pour chacun (De Ketele, 2002). 262 Références Allal, L. (1991). Stratégies d’évaluation formative : conceptions psycho-pédagogiques et modalités d’application. In L. Allal, J. Cardinet & P. Perrenoud, L’évaluation formative dans l’enseignement différencié, 6e éd. (pp. 153-183). Berne : Peter Lang. Biémar, S. (2009). Étude de l’évolution des images identitaires relatives à la relation pédagogique chez des enseignants en insertion professionnelle. Thèse de doctorat en sciences de l’éducation non publiée, Facultés Universitaires Notre-Dame de la Paix, Namur & Université de Liège, Liège. De Ketele, J.M. (1991). A propos des notions d’évaluation formative, d’évaluation sommative, d’individualisation et de différenciation. In L. Allal, J. Cardinet & P. Perrenoud, L’évaluation formative dans l’enseignement différencié, 6e éd. (pp. 185-191). Berne : Peter Lang. De Ketele, J.-M. (2001). Les concepts d’ami critique et de maillage au cœur de l’accompagnement, du suivi et de l’évaluation. In Actes des journées internationales de réflexion et d’échanges sur le programme d’éducation prioritaire « PEP » (pp. 226-234). Tunis : Ministère de l’Éducation, Centre national d’innovation pédagogique et de recherches en éducation et UNICEF. En ligne : http://www.cnipre.edunet.tn/sitefr/index.php?id=52 De Ketele, J.-M. (2002). Quelles dynamiques pour les politiques de discrimination positive de demain ? Synthèse de l’Université d’Été. Éducation prioritaire, numéro spécial, 1-9. En ligne : https://web.ac-reims.fr/carep/journees-academiques/archives.htm Décret de la Communauté française du 12 décembre 2000 définissant la formation initiale des instituteurs et des régents. (2001). Moniteur belge, 19 janvier, p.1471. Décret paysage : décret de la Communauté française du 7 novembre 2013 définissant le paysage de l’enseignement supérieur et l’organisation académique des études. (2013). Moniteur belge, 18 décembre, p. 99347. Doise, W. & Mugny, G. (1997). Psychologie sociale et développement cognitif. Paris : éd. Armand Colin et Masson. Donnay, J. (2011). Le compagnonnage réflexif, une alternative au « fais comme je te dis ? ». Propos libres sur la formation des enseignants, 12, 25-32. En ligne: http://www.revuedeshep.ch Kitzinger, J., Marková, I. & Kalampalikis, N. (2004). Qu’est-ce que les focus groups ? Bulletin de psychologie, 57 (3), 237-243. En ligne: http://bulletindepsychologie.net/vente/derniers.php Le cadre européen des certifications pour l’éducation et la formation tout au long de la vie (CEC) (2008). Luxembourg : Office des publications officielles des Communautés européennes. En ligne : https://ec.europa.eu/ploteus/sites/eac-eqf/files/broch_fr.pdf Lebel, C., Belair, L. & Goyette, N. (2012). Accompagnement et reconnaissance professionnelle au service de la persévérance des stagiaires en difficultés. Recherches & Éducations, 7, 55-68. En ligne : http://rechercheseducations.revues.org/1374?file=1 Paquay, L. (2000). L’évaluation couperet ou levier du développement de compétences ? In C. Bosman, F.-M. Gérard, X. Roegiers, Quel avenir pour les compétences ? Bruxelles : De Boeck. Paul, M. (2004). L’accompagnement : une posture professionnelle spécifique. Paris: L’Harmattan. Paul, M. (2009). Accompagnement. Recherche & formation, (62), 91-108. En ligne: http://rechercheformation.revues.org/435 263 Pentecouteau, H. (2012). L’alternance dans une formation professionnelle universitaire. De l’idéal épistémologique aux contradictions pédagogiques. Revue internationale de pédagogie de l’enseignement universitaire, 28 (1), 1-11. En ligne : https://ripes.revues.org/605 St-Arnaud, Y. (2003). L’interaction professionnelle : Efficacité et coopération (2è éd.). Montréal : Presses de l’Université de Montréal. Serres, G., Ria, L. & Leblanc, S. (2013). Analyse des processus de formation professionnelle et conception de dispositifs pour la formation des enseignants débutants et de leurs formateurs. In J.-F. Desbiens, C. Spallanzani & C. Borges. Quand le stage en enseignement déraille. Regards pluriels sur une réalité trop souvent occultée (pp. 89-102). Québec : Presses de l’Université du Québec. Slocum, N. (2006). Focus groupe. In N. Slocum, J. Elliott, S. Heesterbeek & C. Lukensmeyer, Méthodes participatives : un guide pour l'utilisateur (p. 119 –127). Bruxelles : Fondation Roi Baudouin. 264 ÉVALUATION DU DÉVELOPPEMENT DE COMPÉTENCES SUITE À UM APPRENTISSAGE PAR PROJET TRANSDISCIPLINAIRE: ETUDE DE CAS EM FACULTE DE PHARMACIE (ID 127) DAEL, Anaëlle Vanden, Université libre de Bruxelles (BE) SCHMIT, Nathalie, Université libre de Bruxelles (BE) VAN ANTWERPEN, Pierre, Université libre de Bruxelles, (BE) DEJAEGHER, Bieke, Université libre de Bruxelles (BE) RÉSUMÉ Afin de donner du sens aux apprentissages et de favoriser le développement des compétences des étudiants, un apprentissage par projet, intitulé Edupharm, a été mis en place en 2014-2015, en Faculté de Pharmacie à l’Université libre de Bruxelles. Après une première année de mise en application, il nous a semblé utile et nécessaire d’évaluer l’impact d’un tel projet sur les apprentissages à travers deux axes d’analyse. L’objectif de notre recherche est de déterminer, d’une part, le degré de satisfaction des étudiants, des enseignants et des assistants sur la mise en place de ce nouveau projet pour pouvoir le modifier, l’adapter, l’améliorer pour sa seconde année. L’analyse montre que ce projet a de l’avenir tant parce que le contenu répond aux attentes des acteurs que par son mode de fonctionnement qui intéresse. D’autre part, nous avons voulu déterminer si cet apprentissage par projet permet aux étudiants de développer davantage de compétences disciplinaires et transversales, en comparaison à des étudiants ayant reçu un enseignement de type ‘traditionnel’. Des analyses quantitative et qualitative ont permis, à travers des questionnaires, des focus groupes et des entretiens, de mettre en évidence que le projet Edupharm suscite le sentiment d’avoir développé des compétences disciplinaires et transversales. De plus, nous avons appris que la réalisation d’un stage avant le projet a une certaine influence sur les résultats obtenus. Ces deux axes de réflexion nous ont amenés à nous repositionner face aux avantages et aux limites de ce dispositif, nous permettant ainsi d’adopter une série d’adaptations. Contexte Dans les années soixante, l’apprentissage par projet a fait sa place au sein de l’enseignement fondamental et dans l’enseignement secondaire. Dans les dernières décennies du 20e siècle, ce type d’apprentissage a conquis l’enseignement supérieur (Raucent & al., 2007 ; Reverdy, 2013) et ce, davantage dans les domaines de la santé et de l’ingénierie. Suite à la modification de l’Arrêté Royal (Ministère de la santé publique, 2009) qui porte sur le rôle du pharmacien et, suite à la modification du programme de cours pour les étudiants du bloc 1 du master en Faculté de Pharmacie à l’Université libre de Bruxelles, un apprentissage par projet a été pensé et créé en 2013-2014 (Vanden Dael & al., 2014 ; Vanden Dael & al., 2015). C’est en 20142015 que le dispositif a été testé pour la première fois. L’enjeu principal est d’amener les étudiants à développer davantage de compétences à travers une activité d’apprentissage qui fait sens et qui les implique dans leurs apprentissages. 265 Le projet rassemble six domaines des sciences pharmaceutiques qui sont abordés à partir d’une ordonnance et d’un cas clinique. Les étudiants participent à une succession de séminaires et de laboratoires pour découvrir pas à pas la situation du patient, dans le but de délivrer un conseil et suivi adapté. Le projet se déroule en trois phases, la découverte de l’ordonnance et la réalisation des tâches préparatoires, la mise en pratique par la réalisation de manipulations et la participation à des séminaires et enfin, la défense du conseil et suivi établi. La situation du patient évolue suite aux recherches effectuées par les étudiants en phase 1. Figure 1 : Déroulement du projet Edupharm Problématique « L’apprentissage par projet permet-il de développer des compétences ? », « L’apprentissage par projet développe-t-il davantage les compétences disciplinaires ou transversales ? », « L’apprentissage par projet a-t-il un impact positif ? », « Existe-t-il réellement une différence en termes d’acquisition de compétences entre une pédagogie traditionnelle et une pédagogie dite ‘active’ (en particulier un apprentissage par projet) ? », « Quelles sont les limites d’un tel dispositif ? ». Face à ces questions, certains auteurs restent prudents quant aux bienfaits de l’apprentissage par projet (Pochet, 1995 ; Galand & Frenay, 2005a ; Postiaux & El Mahjouri, 2007). Dès lors, après un an de mise en application, nous avons jugé utile et nécessaire de répondre à ces questions pour évaluer l’impact d’un tel enseignement sur les apprentissages des étudiants. L’apprentissage par projet est né aux États-Unis dans les facultés de médecine (Reverdy, 2013 ; Pochet, 1995). Dans les faits, plusieurs universités proposent des apprentissages par projet (Galand & Frenay, 2005a ; Postiaux & El Mahjouri, 2007 ; De los Rios & al., 2010), mais nous n’avons pas à notre connaissance, d’autres exemples d’apprentissage par projet dans le domaine des sciences pharmaceutiques en particulier. Ce type de dispositif est difficile à mesurer et à confirmer. En effet, des difficultés sur le plan méthodologique sont souvent rencontrées (Galand & Frenay, 2005a ; Proulx, 2008 ; Postiaux & El Mahjouri, 2007). Et les résultats de ce type de pédagogie restent assez variés, lacunaires, voire même mitigés (Pochet, 1995 ; Galand & Frenay, 2005a ; Postiaux & El Mahjouri, 2007). Dès lors, il est 266 nécessaire de rester vigilant à l’égard de cette pratique pédagogique. Un projet mal pensé, trop ambitieux, trop complexe ou trop simpliste pourrait amener à une perte de temps ou passer à côté des apprentissages nécessaires (Proulx, 2008). Ainsi, il est judicieux de vérifier si le projet Edupharm répond aux attentes des acteurs et a un impact positif sur le développement de compétences. La recherche aborde deux axes d’analyse. Le premier vise à mettre en exergue les avantages, mais également les limites d’un tel projet auprès des enseignants et des étudiants. Le second cherche à vérifier si le nouveau projet Edupharm développe chez les étudiants davantage de compétences que l’ancien type d’enseignement (Annexe1). Méthodologie Premier axe de recherche : appréciation du dispositif En mars 2015, le projet Edupharm est arrivé au bout de sa première année de mise en application. Suite aux premières impressions positives délivrées par des étudiants et des enseignants, nous avons souhaité analyser le cadre et le contenu de ce dispositif innovateur. Nous avons créé un questionnaire avec 56 questions, reprenant des questions fermées et des questions ouvertes. Suite au questionnaire, des focus groupes d’étudiants ont été organisés, ainsi que des interviews de trois tuteurs et de deux enseignants. Second axe de recherche : développement de compétences Pour mener à bien cette partie de la recherche, nous avons sondé les étudiants ayant participé au projet Edupharm (master bloc 1 en 2014-2015) et les étudiants de l’année précédente (master bloc 1 en 2013-2014), n’ayant pas eu le projet dans leurs programmes de cours. De plus, nous avons fait la distinction, pour chaque année, entre les étudiants ayant suivi un stage en officine en fin de bachelier et ceux n’ayant pas suivi de stage en officine (Annexe 2). Sur base du profil d’enseignement du master, un questionnaire avec les 47 acquis d’apprentissage du profil d’enseignement, repris à travers 8 compétences générales (Annexe 3), a été créé. Pour préciser le sentiment de compétence des étudiants, nous leur avons soumis une échelle de Likert à quatre niveaux. Afin de nuancer et compléter les données recueillies, certains étudiants ont participé à des focus groupes et deux enseignants ont été interviewés. Notre souhait est de comparer les moyennes (concernant le sentiment de compétence) des étudiants. Les tests de Shapiro-Wilk ont mis en évidence la nécessité de réaliser des tests nonparamétriques. Nos premières analyses, comparant les questionnaires des étudiants ayant suivi et n’ayant pas suivi le projet (comparaisons inter-groupes, tests de Mann-Whitney), ont indiqué des incohérences, sans doute en raison de la faible taille des groupes étudiés. Ainsi, nous avons focalisé notre analyse sur les résultats du groupe ayant participé au projet, avant et après celui-ci (comparaisons intra-groupes, tests de Wilcoxon). 267 Résultats et discussion Sentiment d’appréciation De manière générale, le projet a été accueilli positivement, tant par les étudiants que les enseignants. Au niveau du contenu, 80 % des étudiants considèrent le projet intéressant et formateur sur le rôle d’un pharmacien. Plus de 90 % des étudiants affirment avoir pris conscience de l’importance de délivrer un conseil et suivi adéquat aux patients lorsqu’ils viennent à la pharmacie. Plus de 90 % des étudiants affirment que le projet Edupharm apporte une expérience de collaboration professionnelle. Toutefois, ils précisent que le travail en équipe n’est pas toujours évident. Au niveau du cadre, les étudiants ont mis en exergue certains points à améliorer. 60 % des étudiants ont trouvé les consignes peu claires. Pour l’organisation de la charge de travail, les étudiants sont mitigés. Ils avancent le manque d’équilibre entre le premier et le second quadrimestre. En accord pour ≥ 90 % Prise de conscience sur l’importance d’un conseil et suivi adéquat L’importance d’un travail de collaboration interprofessionnelle (pharmaciens/médecins) professionnelle et Apprentissage du travail d’équipe Développement pharmaceutiques En accord pour ≥ 70 % et < 90 % des connaissances dans différents domaines Projet intéressant dans sa globalité Apprentissage sur le rôle d’un pharmacien Appréciation globale du projet (à nuancer) Utilité de l’attribution d’un tuteur à chaque groupe Organisation de réunions/supervisions obligatoires En désaccord Organisation du projet en deux quadrimestres (± 43 %) Clarté des consignes (± 60 %) Figure 2 : Taux d’accords et de désaccords (axe 1 - sentiment d’appréciation) Concernant le contenu des modules, les étudiants sont satisfaits de ce qu’ils ont appris, mais regrettent le manque de sens dans le premier module traitant de l’étude du médicament. Ils n’ont pas perçu la place du séminaire dans l’analyse du cas clinique. Par contre, les cinq autres modules et davantage le dernier module ont été largement appréciés par les étudiants (79 % à 98 % de taux de satisfaction. Le module six aborde le point final du projet, c'est-à-dire la formulation du conseil et suivi pour le patient traité. Ce module comporte quatre activités qui ont suscité de l’engouement chez les étudiants : synthèse du cas clinique, analyse de conseils et suivis sur base de vidéos, 268 rencontre avec des étudiants médecins généralistes (collaboration interprofessionnelle) et le jeu de rôle dans l’officine pédagogique de la Faculté de Pharmacie. Module 1 - Étude du médicament : ± 27 % Module 2 – Nutrition : ± 79 % Module 3 – Galénique : ± 93 % Module 4 – Biochimie médicale : ± 93 % Module 5 – Toxicologie : ± 85 % Module 6 – Conseil et suivi : ± 98 % Figure 3 : Satisfaction des étudiants à propos des modules relatifs à 6 domaines pharmaceutiques (axe 1 sentiment d’appréciation) Au sujet de l’évaluation, les étudiants sont satisfaits d’avoir accès à des grilles de critères. Plus de 80 % d’entre eux reconnaissent que clôturer le projet par une défense orale est nécessaire et important. Pour les enseignants, le projet Edupharm innove un type d’enseignement qu’ils n’avaient encore jamais expérimenté. Ils sont satisfaits de l’investissement des étudiants. Après une première année, ils reconnaissent qu’ils doivent adapter le contenu de leur module pour tendre davantage vers un enseignement performant, en modifiant leurs consignes et leurs documents notamment. Sentiment de compétence Nous présentons les résultats relatifs aux compétences disciplinaires, aux compétences transversales, puis aux stages. Premièrement, les tests de Wilcoxon ont permis de mettre en évidence que, d’un point de vue des sciences pharmaceutiques, les acquis d’apprentissage relatifs à la réalisation d’une analyse pharmaceutique et aux conseils, ainsi qu’au bon usage du médicament ont été développés grâce au projet. Cela correspond à six acquis d’apprentissage sur les dix attendus. Lors des entretiens, étudiants et titulaires se rejoignent pour dire que ces acquis ont tous été développés lors du module 6 (conseil et suivi). Celui-ci était le dernier des modules et visait à structurer les informations récoltées jusque-là au sujet de son cas clinique pour être capables de prononcer un conseil au patient. Ces résultats rejoignent ceux de Galand et Frenay (2005b) qui contredisent l’hypothèse d’une baisse de niveau ou d’acquis théoriques. Ils pointent au contraire une série d’effets positifs, et en particulier dans la résolution de situations problèmes complexes. Deuxièmement, au sujet des compétences transversales, les questionnaires nous permettent d’observer que le projet Edupharm a permis le développement de 4 acquis d’apprentissage sur 13. Ceci rejoint les résultats de Milgrom et Raucent (2005) qui précisaient qu’un apprentissage par projet permet de développer des compétences transversales. Néanmoins, nous nous attendions à davantage d’acquis d’apprentissage développés. Tout d’abord, les étudiants se sentent davantage à l’aise avec les acquis d’apprentissage relatifs à la gestion d’équipe : « Diriger une équipe » et « Solutionner des conflits ». Ceci a été mis en évidence par l’intermédiaire des questionnaires, mais également lors des entretiens dirigés et des focus groupes. Par contre, ces résultats se distinguent de ceux de Galand (2005) qui n’a pas pu démontrer 269 qu’une approche par projet et par problèmes améliore le travail de groupe, certains étudiants percevant le travail d’équipe davantage comme un frein que comme un moteur. Puis, les résultats des questionnaires indiquent que le sentiment de compétence des étudiants est significativement supérieur après le projet qu’avant celui-ci au sujet de la déontologie et de l’éthique pharmaceutique : « Se comporter avec moralité, probité, dignité, honneur, discrétion » et « Maintenir une confraternité entre professionnels de la santé ». Néanmoins, ces résultats sont à nuancer car les entretiens dirigés et les focus groupes expliquent également ces résultats par l’impact des cours. Enfin, les résultats des questionnaires ont mis en évidence une diminution significative du sentiment de compétence concernant l’acquis d’apprentissage « Créer, entretenir des relations humaines », ce qui s’éloigne des résultats de Postiaux & El Mahjouri (2007) qui avaient relevé que les étudiants sont positivement sensibles à la dimension sociale du projet (se faire des amis par exemple). Les étudiants expliquent ce résultat étonnant lors des focus groupes : certains groupes ont éprouvé des difficultés à travailler ensemble, ce qui a amené à certaines tensions entre les étudiants. Néanmoins, ils le nuancent également en précisant que le projet Edupharm a permis de rencontrer d’autres étudiants et de lier de nouvelles relations. 47 acquis d’apprentissage présents dans le profil d’enseignement de la faculté Nombre d’acquis Convergence des Ambivalence des Pas de différence d’apprentissage visés résultats dans les 3 résultats parmi les 3 observée, dans aucun par le projet outils méthodologiques outils méthodologiques des 3 outils Edupharm méthodologiques Compétences disciplinaires 10 Compétences transversales 13 6+ 2+ 1- 0 4 2+ 8 Légende : + : Augmentation du sentiment de compétences – : Diminution du sentiment de compétences Figure 4 : Comparaisons des résultats en fonction des trois outils méthodologiques : questionnaires, focus groupes, entretiens (axe 2 - sentiment de compétence) Troisièmement, les étudiants n’ayant pas suivi de stage en officine avant le lancement du projet ne se sentent pas pénalisés ou moins compétents. Toutefois, les étudiants ayant réalisé un stage en officine avant le projet rapportent que le stage les a aidés à comprendre plus rapidement certains enjeux. Conclusion et perspectives Pour conclure, les étudiants semblent globalement satisfaits de ce nouveau dispositif. Edupharm leur a permis de donner du sens à leurs apprentissages et de collaborer avec d’autres professionnels de la santé. Ces deux recherches complémentaires nous permettent d’affirmer qu’un tel apprentissage par projet a permis aux étudiants de percevoir la nécessité de délivrer un conseil et un 270 suivi adéquat aux patients. Le dernier module leur a permis de « jouer le jeu » et de développer les acquis d’apprentissage relatifs au conseil et au suivi. Bien que les étudiants estiment avoir appris à diriger une équipe et à solutionner des conflits, ils relèvent également de grandes difficultés à travailler en équipe. Ensuite, nous avons pris conscience de l’impact que peut avoir le critère d’avoir déjà fait un stage en officine, sur le projet et le sentiment de compétence en général d’un étudiant. Cette constatation a déclenché la réflexion sur la mise en place d’un nouveau projet, à savoir la mise en place d’un stage d’observation obligatoire en bloc 3 du bachelier. Cet enseignement professionnalisant sera innovant dans des études universitaires en pharmacie en Belgique francophone. Le nouveau dispositif sera créé en septembre 2015 pour être mis en application dès février 2016. Le pari de faire travailler ensemble les enseignants de six domaines pharmaceutiques différents a été tenu. Cette recherche basée sur deux axes nous a confortés dans l’idée de poursuivre la mise en place d’un tel projet. Le projet Edupharm de 2014-2015 a été adapté pour améliorer le dispositif de 2015-2016, tant sur la forme que sur le fond. Une nouvelle évaluation sera menée suite à la seconde année de mise en application. Ainsi, une évaluation intergroupes sur deux ans pourra apporter davantage de nuances dans l’analyse du développement de compétences. Enfin, plusieurs auteurs se rejoignent, pour affirmer qu’un apprentissage par projet est une pratique pédagogique qui doit rester ponctuelle et non exclusive (Romainville, 2007 ; Rey & al., 2012 ; Proulx, 2008 ;). C’est le cas du projet Edupharm qui trouve sa place au côté des cours et des travaux pratiques organisés classiquement. De plus, nos résultats vont aussi dans ce sens, les étudiants citant à de nombreuses reprises les avantages des cours ou des travaux pratiques. Rappelons également qu’isoler « l’effet projet » reste compliqué, étant donné qu’il existe un effet de maturation naturel des étudiants. Finalement, les deux axes ont principalement étudié l’avis des étudiants pour un projet précisé. Il serait intéressant d’étudier d’autres cas ayant mis en place des apprentissages par projet dans le domaine des sciences de la santé ainsi que d’interroger d’autres acteurs. Ceci permettrait d’étudier les caractéristiques propres à chaque projet et de tirer des conclusions générales. Références De los Rìos, I., Cazorla, A., Dìas-Puente, J.M., & Yagüe, J.L. (2010). Project-based learning in engineering higher education : two decades of teaching competences in real environments. Procedia Social and Behavorial Sciences, 2(2), 1368-1378. Galand, B. (2005). Impact de l’APP sur les méthodes de travail et les attitudes des étudiants. In B. Galand & M. Frenay (Eds), L’approche par problèmes et par projets dans l’enseignement supérieur. Impact, enjeux, défis (pp.107-136). Louvain-la-Neuve : Presses universitaires de Louvain. Galand, B., & Frenay, M. (2005a). L’approche par problèmes et par projets dans l’enseignement supérieur. Impact, enjeux, défis. Louvain-La-Neuve : Presses universitaires de Louvain. Galand, B., & Frenay, M. (2005b). Impact de l’APP sur les connaissances des étudiants. In B. Galand & M. Frenay (Eds), L’approche par problèmes et par projets dans l’enseignement supérieur. Impact, enjeux, défis (pp.137-161). Louvain-la-Neuve : Presses universitaires de Louvain. Milgrom, E. & Raucent, B. (2005). Les enjeux de l’APP et sa mise en oeuvre : l’exemple de la formation des ingénieurs à l’UCL. In B. Galand & M. Frenay, L’approche par problèmes et par projets 271 dans l’enseignement supérieur. Impact, enjeux, défis (pp.15-41). Louvain-la-Neuve : Presses universitaires de Louvain. Ministère de la santé publique, (2009). Arrêté royal du 21 janvier 2009 portant instruction pour les pharmaciens, agence fédérale des médicaments et des produits de santé. Pochet, B. (1995). Le « problem-based learning », une révolution ou un progrès attendu ? Revue française de pédagogie, 111, 95-107. Postiaux, N., & El Mahjouri, S. (2007). Apprentissage par projet en première année : quel dispositif pour quels effets ? Une expérience en formation d’ingénieurs. In Frenay, M., Wouters, P., & Raucent, B (Eds). Questions de pédagogies dans l’enseignement supérieur – les pédagogies actives : enjeux et conditions (pp. 594-602). Louvain-la-Neuve : Presses universitaires de Louvain. Postiaux, N., & El Mahjouri, S. (2007). Apprentissage par projet en première année : quel dispositif pour quels effets ? Une expérience en formation d’ingénieurs. In M. Frenay, P. Wouters & B. Raucent (Eds). Questions de pédagogies dans l’enseignement supérieur – les pédagogies actives : enjeux et conditions (pp. 594-602). Louvain-la-Neuve : Presses universitaires de Louvain. Proulx, J. (2008). Apprentissage par projet. Québec : Presses de l’Université du Québec. Raucent, B., Boey, C., Barrot, A, Maufette, Y., & Milgrom, E. (2007). Comment sensibiliser les enseignants à l'apprentissage par projet ? In Vers un changement de culture de l’enseignement supérieur. Regards sur l’innovation, la collaboration et la valorisation (pp. 544-547). Montréal : Association internationale de pédagogie universitaire. En ligne http://aipu2007.umontreal.ca/pdf/Actes_AIPU_2007.pdf, consulté le 20 novembre 2013. Reverdy, C. (2013). Des projets pour mieux apprendre? Institut français de l’éducation, 82, 1-24. Rey, B., Carette, V., Defrance, A., & Kahn, S. (2012). Les compétences à l'école : Apprentissage et évaluation. Bruxelles : De Boeck. Romainville, M. (2007). Ignorante du passé, la pédagogie universitaire est-elle condamnée à le revivre ? Quelques leçons de la longe histoire des méthodes actives. In Questions de pédagogie dans l’enseignement supérieur : actes du IVe colloque (pp. 181-188). Louvain-la-Neuve : Presses universitaires de Louvain. Schmit, N. (2015). Le développement des compétences à l’université à travers la mise en place d’un apprentissage par projet : Étude du cas de la Faculté de Pharmacie. Sous la direction de Wolfs, J.-L., Mémoire de Master en sciences de l’éducation non publié, Université libre de Bruxelles, Bruxelles. Vanden Dael, A., De Vriese, C., Van Antwerpen, P. (2015). Mise en application d’un apprentissage par projet transdisciplinaire à la Faculté de Pharmacie de l’ULB. Proposition de communication au 8ème édition du colloque Questions de Pédagogie dans l’Enseignement Supérieur. Vanden Dael, A., Van Antwerpen, P., Blondeau, M. (2014). Évaluation des apprentissages des étudiants suite à un projet transdisciplinaire en Faculté de Pharmacie. Proposition de communication au 27ème colloque de l’ADMEE-Europe. 272 Annexe 1 : Schématisation du second axe de la recherche – Développement de compétences. 273 Annexe 2 : Tableau du dispositif expérimental – les groupes d’échantillons Les étudiants ont été répartis en deux groupes en fonction de la variable « participation au projet Edupharm ». Ensuite, chaque groupe a été divisé en deux sous-groupes selon la variable « participation à un stage en 3ème année de bachelier ». 274 Annexe 3 : Les 8 compétences du profil d’enseignement – Projet Edupharm Délivrer des médicaments et des produits de santé en garantissant leur qualité et leur conformité. Contrôler la conformité et la qualité des matières premières et des produits finis > Lors de la réception > Lors du stockage Fabriquer les préparations pharmaceutiques (magistrales et officinales) et parapharmaceutiques en respectant l’ordre, la précision, la rigueur et la propreté Assurer la traçabilité > Lors des différentes étapes de production > Lors du cheminement du grossiste au patient Conditionner et stocker les matières premières et les produits finis de manière à préserver leur stabilité (température, humidité, lumière…) Écarter de façon appropriée les produits périmés et/ou non conformes Dispenser des soins pharmaceutiques afin d’améliorer la qualité de vie du patient. Réaliser une analyse pharmaceutique > Lors de la présentation d’une prescription afin d’évaluer l’adéquation du plan thérapeutique choisi par le médecin > Lors d’une demande d’un médicament non prescrit Donner des informations, des conseils sur le médicament et/ou le produit de santé, et des conseils hygiénodiététiques > Lors de l’instauration d’un nouveau traitement > Lors de la substitution d’un traitement existant > Lors d’un renouvellement de traitement Constituer et/ou mettre à jour le dossier pharmaceutique > Lors de changements administratifs > Lors de la découverte d’une intolérance, d’une allergie, d’un effet indésirable > Lors de l’instauration et/ou de l’adaptation d’un traitement médicamenteux Effectuer un suivi pharmaceutique en accompagnant les patients nécessitant une surveillance thérapeutique afin de s’assurer de l’efficacité et de la sécurité du médicament. Identifier les patients à risque (personnes âgées, femmes enceintes…) 275 S’informer sur l’évolution de l’état de santé et sur l’apparition d’effets indésirables Vérifier le bon usage du médicament Collaborer avec les autres professionnels de santé Promouvoir les actions de prévention en santé publique en tenant compte des coûts liés aux soins. Relayer les informations sur la santé émanant des institutions publiques > Lors de la publication de nouveaux décrets > Lors de campagnes de sensibilisation du public aux problèmes liés à la santé ou aux médicaments Fournir un support psychosocial en vue d’aider et de responsabiliser les patients lors de comportements à risque (tabagisme, alcoolisme…) Encourager le patient à agir en vue de prévenir la survenue de maladie ou de comportement à risque (vaccination, MST…) Gérer une structure dédiée aux manipulations des produits de santé afin d’en optimiser le fonctionnement. S’intégrer dans une équipe, diriger une équipe Assurer la logistique de la structure (aspects pratiques, administratifs et économiques) > Lors de l’établissement et la réception des commandes > Lors de la mise à jour des stocks > Lors du classement des produits > Lors de la prise en charge des préparations magistrales et officinales Aménager les conditions de travail Créer, entretenir des relations humaines et solutionner les conflits Respecter la législation, la déontologie et l’éthique pharmaceutiques. Veiller au bien-être et à la sécurité du patient Appliquer la règlementation en vigueur dans le domaine de la santé Se comporter avec moralité, probité, dignité, honneur, discrétion Maintenir une confraternité entre professionnels de la santé 276 Développer ses connaissances afin d’intégrer les avancées de la recherche pharmaceutique dans sa pratique professionnelle. S’informer sur les thérapies, les médicaments et les nouvelles avancées scientifiques en utilisant des outils de recherche adéquats > Lors de la mise sur le marché de nouveaux médicaments ou produits de santé > Lors de la publication de nouvelles recommandations de bonne pratique > Lors de formations continues (congrès, symposiums, conférences, séminaires) Interpréter de façon critique l’information > En différenciant les sources d’information commerciales et scientifiques > Lors de toute mise en garde à l’encontre d’un médicament, association de médicaments ou de produits de santé Auto-évaluer l’évolution de ses capacités professionnelles Partager ses connaissances lors de tout acte pharmaceutique. Collaborer avec les membres de l’équipe Communiquer les résultats de la recherche avec les professionnels et les patients Adapter son langage à son interlocuteur (patient, professionnel, etc.) 277 COMPRÉHENSION DE TEXTES: COMPARAISON DE DEUX MODES D'ÉVALUATION (ID 128) RODRIGUEZ-SMITH, Sabine, Université Paris-Descartes, laboratoire EDA (FR) JHEAN-LAROSE, Sandra, Université Paris-Descartes, laboratoire EDA (FR) GOASDOUÉ, Rémi, Université Paris-Descartes, laboratoire EDA (FR) RÉSUMÉ De nombreuses enquêtes (nationales et internationales) révèlent que 15% des élèves français de fin d'école primaire (10-11 ans, fifth-grade) connaissent de grandes difficultés en lecturecompréhension. Ce constat chiffré est établi à partir de scores réalisés par les élèves répondant à des questionnaires de compréhension. La passation en masse de ces épreuves ne permet pas pas d'autres procédures plus coûteuses en temps et en moyens, qui pourrait donner un autre regard sur les performances en compréhension. Or, le questionnaire de compréhension est un outil particulièrement peu maîtrisable et qui engendre de nombreuses questions : - L'écrit ne constitue-t-il pas toujours une forme de « compétence-écran » qui met d'emblée en difficulté les élèves les plus faibles? - La réponse à l'item est-elle un témoin direct de la compréhension ? - Peut-on légitimer aussi aisément le passage implicite de la compréhension d'un texte à la compréhension de texte ? En plagiant Binet (1905), on peut affirmer que « la compréhension de textes, c'est ce que mesure mon questionnaire ». Comment dès lors sortir de cette tautologie qui appauvrit le diagnotic que l'on peut faire à partir de ces évaluations ? Les évaluations à grande échelle et la psychologie cognitive emploient partage le terme d'évaluation et des méthodes, telles que le questionnaire, mais pas exactement les mêmes finalités . Les évaluations à grandes échelles cherchent avant tout à vérifier que les acquis scolaires prévus dans les curricula sont bien maîtrisés, là où la psychologie cognitive cherche à poser un diagnotic du fonctionnement cognitif sous-jacent. Bien que ces visées collectives ou individuelles puissent apparaître comme radicalement opposées, des convergences et enrichissement mutuels peuvent naître des confrontations de leurs méthodes. L'originalité de notre étude tient à la comparaison chez les mêmes élèves, de deux protocoles visant à évaluer la compréhension de textes narratifs: (i) un texte et une sélection d'épreuves (choix de titre, choix de résumé, reprises anaphoriques) issus des évaluations nationales françaises et (ii) un texte et une batterie d'épreuves, «Diagnos-r» (Rappel, reconnaissance, Jugements d'importance relative et Questions ouvertes) construits dans le cadre de la sémantique cognitive (Le Ny, 1979, 2005 ; Denhière & Baudet, 1992) et reprenant des tâches d'évaluation des processus cognitifs (Blanc & Brouillet, 2005). Méthode Pour chacun des deux textes, nous avons croisé les protocoles incluant les deux classes d'épreuves : nous avons inventé pour le texte de Diagnos-r, « Sidonie », un questionnaire de type évaluations nationales (essentiellement des QCM) et pour le texte des évaluations nationales, 278 « Verte » de Marie Desplechin (évaluations nationales 2002), des épreuves de rappel, de reconnaissance, de jugement relatif d'importance et des questions orales. Quatre-vingts élèves de fin de cycle 3 (issus d'écoles parisiennes) ont participé individuellement à l'expérimentation (lecture suivie de la passation des épreuves) lors de deux sessions de 30 minutes. Les élèves ont répondu aux différentes épreuves orales et aux questionnaires écrits en présence du chercheur qui pouvait observer les stratégies de réponse et demander des justifications. Nous avons ensuite retranscrit et recodé les rappels et comparé les résultats aux différentes épreuves. Résultats Nos résultats montrent, chez un grand nombre d'élèves (35% environ), des discordances fortes entre les deux modes d'évaluation. Certains élèves ont de très bons résultats aux questionnaires et proposent des rappels de récit faibles ; pour d'autres, c'est l'inverse. D'autres encore ont des résultats faibles à ces deux épreuves emblématiques mais font preuve d'une structuration du récit cohérente à travers les autres épreuves... Pour aller au-delà du constat qu'il existe des faux positifs et des faux négatifs, nous avons délibérément choisi de nous intéresser plus particulièrement aux élèves qui, en fonction de leur faible nombre de bonnes réponses aux questionnaires écrits de compréhension, auraient été déclarés dans la catégorie « faibles compreneurs » des évaluations externes. L'idée sous-jacente était de mieux estimer si ces élèves, qui dans les résultats aux évaluations nationales sont désignés comme élèves en difficulté, ont réellement des difficultés de compréhension et de pouvoir qualifier plus précisément la nature de ces difficultés. Pour un nombre non négligeable de ces élèves (17%), on ne note pas de différences significatives quant à la structuration du récit et le nombre de contresens avec le groupe d'élèves dits « moyens » (30 % environ); ils sont pourtant jugés en difficulté. En analysant plus finement les justifications de ces élèves, il est possible de percevoir, de manière plus aiguë peut-être, que chez d'autres, un manque appuyé de stratégie de réponse. - Ils ne conçoivent souvent pas l'activité de choix de résumé comme une tâche de détection d'incohérences mais avancent des jugements de valeur : « Celui-là, il ne me plaît pas trop ». - Ils pratiquent l'auto-référence : «La poule est tombée malade parce qu'elle ne pond plus ». Pourquoi ne pond-elle plus ? « Parce qu'elle est tombée malade ». - Ils se référent à leur propre expérience de vie réelle - Ils ne vont pas vérifier dans le texte, attrapent un mot et se réfèrent à leurs propres connaissances. En somme, il est possible de définir qualitativement une tendance à un profil commun de ces élèves en fonction de leur rapport à l'exercice scolaire que représente le questionnaire de compréhension de textes. Discussion Parler de difficulté scolaire pose toujours intrinsèquement la définition de cette difficulté. Qu'appelle-t-on un élève en difficulté ? Où pose-t-on le seuil de la difficulté ? Dans le cadre de la compréhension de textes plus particulièrement, cela pose de même question quant à la définition que l'on donne à la compréhension : que veut dire comprendre un texte pour un niveau donné ? À 279 partir de quand considère-t-on qu'un élève a compris le texte ? Cette compréhension peut-elle être considérée comme binaire (il a compris ou il n'a pas compris) ? Certes non ! Si on ajoute à cela que (i) la difficulté de l'exercice dépend éminemment des propriétés du texte et du rapport texte/questions ; que (ii) les modalités d'évaluation scolaires, donc majoritairement le questionnaire, reposent en fait sur des compétences qui ne font pas l'objet d'un enseignement explicite, il semble très difficile de prétendre évaluer les acquis scolaires dans le domaine de la compréhension de textes. Ce qui semble clair, en revanche, c'est que certains élèves n'ont pas les clés d'un contrat largement implicite et ne mettent pas en œuvre les bonnes stratégies pour répondre aux questionnaires. 280 CAMINHOS PARA A ONSTRUÇÃO DE UM INSTRUMENTO DE AVALIAÇÃO MULTIDIMENSIONAL: POR UMA QUALIDADE EDUCACIONAL SOCIALMENTE REFERENCIADA (ID 129) ALMEIDA, Luana Costa, Univás/Unicamp (BR) DALBEN, Adilson, FASESP/UNISAL/Unicamp (BR) FERRAROTTO, Luana, Unicamp (BR) MIRANDA, Antônio Carlos, UNISAL/Unicamp (BR) RESUMO No Brasil, o uso de testes padronizados para aferição da qualidade das escolas é cada vez mais comum nas políticas públicas educacionais. O Plano Nacional de Educação (PNE), que estabelece as diretrizes e metas para dez anos, exemplifica a centralidade dada aos testes ao associá-los à ideia de monitoramento da qualidade educacional. Tal utilização é preocupante, pois o uso dos testes padronizados com esta perspectiva entende o trabalho da escola como passível de ser mensurado por esses instrumentos, sem que sejam considerados seus limites tanto em termos técnicos quanto conceituais, (Dalben, Almeida, 2015; Freitas, 2013, dentre outros). Técnicos, porque ocorre o uso meritocrático dos resultados obtidos, desconsiderando as imprecisões dos processos estatísticos, de elaboração e aplicação do instrumento. Conceituais, porque toma-se a medida como reflexo da qualidade ignorando seu limite de abrangência, já que são incapazes de medir as diversas dimensões do trabalho desenvolvido na escola e os demais aspectos da formação humana. Dessa forma, proceder a uma avaliação de larga escala mais ampla coloca como necessidade a construção de uma avaliação multidimensional que abarque diferentes áreas da formação humana no âmbito escolar. Inserido no projeto de pesquisa financiado pelo Observatório da Educação – Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), “A qualidade da escola pública: um estudo longitudinal para a sustentação da responsabilização compartilhada”, que objetiva discutir a possibilidade de uma avaliação externa mais próxima ao trabalho das escolas, o presente texto busca apresentar os passos percorridos até o momento na criação de um instrumento (questionário) para medir a qualidade socialmente referenciada das escolas, que, por sua vez, não se limita aos resultados obtidos em testes padronizados. O desafio de construir um instrumento que ouse ultrapassar as dimensões atualmente abarcadas nas avaliações de larga escala adotadas no Brasil tem sido percorrido tomando como ponto de partida a realidade e o conhecimento já acumulado por teóricos e pesquisadores da educação. Uma primeira etapa desta empreitada foi uma pesquisa de campo exploratória (2013) em que se acompanhou oito escolas municipais da cidade de Campinas-SP/Brasil, cuja rede conta com quarenta e quatro escolas de Ensino Fundamental. A intenção foi compreender como as instituições escolares trabalham em seu dia a dia e quais são os aspectos que consideram importantes para a formação de seus estudantes. 281 As informações coletadas foram organizadas em quadros de indicadores e, para aprofundar a análise, foram desenvolvidos grupos focais com gestores e professores (2014). Os dados obtidos foram agrupados em nove categorias preliminares e despertaram no grupo de pesquisadores a necessidade de estudo e discussão teórica para ampliação e compreensão das contribuições recebidas. Após amplo retorno à literatura e tendo em mãos os dados da realidade a partir da voz dos atores escolares, foram definidas seis dimensões do que convencionou-se chamar de formação humana (político-social, ética, afetiva, corporal, cognitiva, artística e cultural). Concomitantemente, foi elaborado um glossário para definir os termos usados nesta etapa. Neste processo, iniciou-se a reflexão acerca da elaboração da matriz de avaliação multidimensional, chegando-se a doze categorias. Após amplo processo de discussão e entendimento de que um único instrumento, por seus limites técnicos, não poderia abarcar todas elas, decidiu-se que o instrumento contemplaria apenas cinco categorias: Participação, Trabalho coletivo, Inclusão, Compromisso social; Prática didática. A construção dos itens exigiu um exercício de alinhamento entre o olhar dos pesquisadores e dos atores escolares, sendo criado um banco de dados para as diferentes dimensões a partir do diálogo entre pesquisadores do grupo e atores escolares. Inicialmente contou-se com noventa e cinco itens, dos quais, após ampla discussão, selecionouse cinquenta para o instrumento em elaboração. Desses, quarenta foram eleitos para compor o questionário e reelaborados segundo as indicações da literatura da área de construção de questionários (Pasquali, 2013 e Gunther, 2003), optando-se por oito itens para compor a avaliação de cada dimensão. Ainda com fins de adequação, o instrumento foi submetido a uma pré-testagem, a qual deu origem a algumas alterações necessárias. Como próximo passo da pesquisa, o instrumento será analisado por uma equipe de juízes composta por pesquisadores externos e profissionais da Rede de Campinas. Após as adequações apontadas pelos juízes, o instrumento servirá de base para a construção de um questionário destinado aos alunos. Tais instrumentos serão aplicados em todos os professores e todos os estudantes dos 5 os e 9os anos da rede estudada. Espera-se que tal empreitada possa contribuir não apenas para a construção de uma avaliação multidimensional que abarque importantes aspectos da qualidade socialmente referenciadas das escolas, como sirva de base para reflexão das políticas públicas de avaliação e, especialmente, para a autoavaliação das escolas. Referências Almeida; LC; Dalben, A; Freitas, LC. (2013) O IDEB: limites e ilusões de uma política educacional. Educação e Sociedade. N 125, Vol.34, pp. 1153-1174. Dalben, A.; Almeida, L.C. (2015) Para uma avaliação de larga escala multidimensional. Estudos em Avaliação Educacional. São Paulo, v. 26, n. 61, p. 12-28, jan./abr. 282 Günther, H. (2003). Como elaborar um questionário. Brasília, DF: UnB, Laboratório de Psicologia Ambiental, 2003 (Série: Planejamento de Pesquisa nas Ciências Sociais, nº 01). Pasquali, L. (2013) Psicometria: teoria dos testes na Psicologia e na Educação. 5.ed. Petrópolis:Vozes. 283 ANALYSE D’UN DISPOSITIF AUTOMATISÉ D’ÉVALUATION DIAGNOSTIQUE D’ÉTUDIANTS DANS UN CENTRE UNIVERSITAIRE DE LANGUES ÉTRANGÈRES (ID 130) PLATTEAUX, Hervé, Université de Fribourg (CH) SIEBER, Maud, Université de Fribourg (CH) COEN, Pierre-François, Haute Ecole Pédagogique de Fribourg (CH) RÉSUMÉ Introduction L’Université de Fribourg propose à ses étudiants de multiples cours de langues étrangères pour développer les compétences linguistiques nécessaires pour suivre les cours (étudiants allophones) ou permettre de s’ouvrir à d’autres champs culturels. Le Centre des Langues propose ainsi des cours de différents niveaux pour ceux qui débutent dans l’apprentissage d’une langue étrangère et ceux qui souhaitent approfondir des compétences déjà existantes. Vu le nombre important des inscriptions, les enseignants de ce centre sont contraints de trier ces étudiants candidats. Ils ont donc introduit une procédure de placement par niveau avec des tests automatisés implémentés sur la plateforme Moodle (à la place de tests “papier-crayon” fastidieux à corriger). Dans ce contexte, notre recherche poursuit plusieurs objectifs : 1) analyser comment ces évaluations diagnostiques sont élaborées par les enseignants du Centre de Langues et 2) évaluer l’efficacité de ces tests en termes de justesse du placement des étudiants et d’acceptance par les utilisateurs. Nous n’abordons pas ici l’évaluation standardisée définie comme un instrument de pilotage des systèmes éducatifs (Mons, 2009), avec ses qualités mais également ses défauts (Hanushek et Raymond, 2003). Pour nous recentrer sur l’apprenant (Behrens, 2006), nous nous intéressons à la standardisation de la procédure d’évaluation traduite, dans notre cas, par la caractère obligatoire du test diagnostic pour les étudiants. L’automatisation de cette évaluation nous interroge aussi sur la forme des questions proposées par les formateurs et sur l’exploitation, directe et/ou ajustée, des résultats calculés automatiquement. La nature des questions renvoie à la fois à leurs validités informative et prédictive (Leclercq, 2006). Les enseignants concepteurs des tests se sont interrogés 1) sur la qualité des informations recueillies par le test (suffisantes pour situer l’étudiant ? suffisamment précises par rapport aux compétences à évaluer ?) et 2) sur la dimension prédictive des résultats (correspondance avec les niveaux des cours auxquels les étudiants sont affectés ?). L’exploitation des informations renvoie davantage a une problématique pédagogique (jugement professionnel) (Lafortune et Allal, 2008) à ceci près que dans le cas d’une évaluation diagnostique, les points de repère pour construire ce jugement restent très subjectifs. Contexte des quatre tests analysés Les étudiants désirant s’inscrire dans un cours de langue étrangère organisé par le Centre de Langues (DaF allemand, EFL anglais, FLE français, ILS italien) passent un test obligatoire pour être 284 placés dans un cours adapté à leur niveau. Ces quatre tests sont diffusés via la plateforme Moodle de l’Université, modalité choisie dans un contexte où on doit gérer 1’500 nouveaux étudiants à la rentrée d’automne. Ces tests supportent une évaluation diagnostique, basée sur une structure adaptative automatisée permettant un cheminement dans des sous-tests construits sur les compétences réceptives et les niveaux du Cadre européen commun de référence pour les langues (CECR). Les sous-tests sont surtout des questions à choix multiples, parfois des textes à trous. Pour les tests DaF et FLE, la difficulté relative des items a été testée (Gick et al., 2012) en utilisant le modèle de Rasch (1980). Pour y instaurer une validité écologique (Leclercq 2006), les tests ont été élaborés selon les besoins des étudiants, pour leurs études universitaires ou leurs professions futures. Pour les enseignants d’allemand et de français, l’évaluation diagnostique est basée uniquement sur le test automatisé. Si le niveau calculé automatiquement est erroné, l’étudiant est changé de niveau lors des premiers cours. Pour l’italien et l’anglais, l’évaluation diagnostique résulte d’une combinaison entre le test automatisé et une entrevue étudiant- enseignant servant à valider ou à corriger le niveau de langue calculé. Eléments méthodologiques On analyse le cheminement des étudiants (N = 1’256 à la rentrée d’automne 2014), dans le test automatique des quatre langues. On distingue alors les étudiants ayant suivi le test jusqu’au bout et les autres. Deux autres groupes sont créés : les étudiants devant changer de niveau et les autres. Nos deux couples de groupes sont finalement croisés et permettent d’évaluer le test automatique (cf. tableau ci-dessous). +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ + Etudiants... + sont changés de niveau + ne sont pas changés de niveau + +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ + ont fait le test + (Erreur) + (Efficacité) + jusqu’au bout + + + + + (Acceptance) + + + +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ Par ailleurs, un entretien avec chaque responsable-concepteurs-enseignants (N = 4) des tests de langue complète notre analyse pour obtenir leurs représentations sur l’apport des technologies numériques dans une évaluation diagnostique automatisée. L’entretien se focalise sur 1) les apports des technologies numériques, 2) l’objectivité et la standardisation des tests de langues et 3) l’impact du CECR. 285 Résultats L’analyse des quatre tests montre que ceux-ci fonctionnent bien dans leur contexte : test automatisé seul ou test automatisé complété par une entrevue. L’efficacité du test automatisé apparaît comme une variable globale où se mélangent les résultats des deux variables acceptance et erreur. C’est le contexte du dispositif d’évaluation diagnostique qui permet d’appréhender comment équilibrer les variables en un compromis judicieux où l’étudiant va suffisamment loin dans le test automatique pour que celui-ci crée une erreur qu’on peut admettre. Les enseignants sont ambivalents. Les technologies permettent un gain de temps et une certaine standardisation pour les compétences écrites. Mais les types de questions possibles empêchent des nuances et elles restreignent l’évaluation diagnostique à des compétences réceptives. Un entretien systématique est alors un bon complément aux tests automatisés. Par ailleurs, le modèle des langues du CECR permet un diagnostic du niveau de compétence en réduisant - trop ? - la complexité des critères à prendre en compte. Conclusions Notre analyse révèle une tension à laquelle sont confrontés les concepteurs et metteurs en oeuvre d’une évaluation diagnostique automatisée. D’un côté, à l’aide du CECR, ils peuvent concevoir un dispositif entièrement automatisé très précis pour le placement. Cette précision s’obtient par un test complexe et long qui fait diminuer son acceptance. D’un autre côté, un test plus court sera certes fait jusqu’au bout par les étudiants mais, par contre, ne sera pas assez complet pour pouvoir évaluer une complexité aussi grande que celle des compétences langagières. Un entretien complétant le test automatisé est une solution, qui permet de tester les compétences de production, mais elle n’est viable qu’avec un nombre d’étudiants limité. Références Behrens M. (2006). Analyse de la littérature critique sur le développement, l’usage et l’implémentation de standards dans un système éducatif. Neuchâtel: IRDP. CECR (sd). Apprendre, enseigner, évaluer. Les descripteurs en un coup d’oeil. Retrieved December, 18, 2014 from http://espaceeducatif.ac-rennes.fr/jahia/webdav/site/espaceeducatif3/groups/polelangues-vivantes_Webmestres/public/documents/CECRL/cecrl_coup_oeil.pdf Gick, C., Platteaux, H., Hoein, S., Blons-Pierre, C., & Kohler, P. (2012). Analyse de validité des tests de classement en ligne pour les langues à l’aide du modèle de Rasch. In 24ème Colloque de l’ADMEE Europe. Luxembourg 11-13 janvier 2012. Hanushek, E. & Raymond, M. (2004). Does School Accountability Lead to Improved Performance? And Student Performance, Journal of Policy Analysis and Management, 24(2), 297-327. Lafortune, L. & Allal, L. (Eds) (2008). Jugement professionnel en évaluation. Pratiques enseignantes au Québec et à Genève. Québec : Presses de l’université du Québec. Leclercq, D. (2006). L’évolution des QCM. In G. Figari et L. Mottier-Lopez. Recherches sur l’évaluation en Education. Paris : L’Harmattan, 139-146. Mons, N. (2009). Les effets théoriques et réels de l’évaluation standardisée. Paris : EACEA. 286 Rasch, G. (1980). Probabilistic models for some intelligence and attainment tests. Danish Institute for Educational Researche Copenhagen 1960, expanded edition with foreword and afterword by B.D. Wright. Chicago: The University of Chicago press. 287 PERCEPTION DES ÉTUDIANTS EN FORMATION À L’ENSEIGNEMENT SECONDAIRE SUR LEUR DÉVELOPPEMENT PROFESSIONNEL, LE DISPOSITIF DE FORMATION ET LEURS REPRESENTATIONS (ID 131) BARRAS, Hervé, Haute Ecole Pédagogique du Valais (CH) PERISSET, Danièle, Haute Ecole Pédagogique du Valais (CH) RÉSUMÉ Enseigner n’est actuellement plus perçu comme étant la manifestation spontanée d’une personnalité, d’un charisme ou d’une vocation, où l’excellence du savoir acquis à l’Université tient lieu de brevet pédagogique. C’est devenu un métier qui demande à celui qui l’exerce de posséder des compétences spécifiques reconnue dans le champ social concerné, celui des usagers que sont les élèves et leurs parents mais aussi par les autorités scolaires. Cette évolution a donc contraint une professionnalisation du métier d’enseignant, soit un dépassement de la croyance en « l’enseignement en tant qu’art » vers un professionnel de l’enseignement maitrisant des outils disciplinaires et didactiques, pédagogiques, sociologiques ou psychologiques, complémentaires à la formation disciplinaire. En Suisse, la création de hautes écoles pédagogiques s’est faite en réponse aux défis de la formation à l’enseignement. La HEPVS forme des enseignants du primaire et du secondaire selon les cadres légaux. La formation des enseignants du secondaire est articulée en quatre domaines, les sciences de l’éducation (SE), la didactique, le terrain et la réflexivité (Périsset, Vuillet, Luy, & Barras, 2015). Elle recherche la conscientisation et le développement des compétences professionnelles des étudiants par la dualité grâce à leur engagement dans la formation et dans leurs classes. Le développement professionnel (DP) est un enjeu de formation majeur dans une Haute école pédagogique comme celle où nous menons notre enquête. Il se retrouve dans la littérature qui propose des modèles éclairants. Nous nous référerons à deux approches du développement, soit celle le décrivant comme une succession de stades et celle, complémentaire, d’un développement par la professionnalisation (Uwamariya & Mukamurera, 2005). La première approche peut se relier au concept piagétien où l’individu produit des changements visibles alors que la seconde s’appuie sur la pratique réflexive et les principes de l’épistémologie scientifique nécessitant une formation en alternance, théorique et pratique visant. L’enseignement maintient un paradoxe entre des actions individuelles menées dans un cadre social, la classe, où le recourt aux pairs est rare. Il est connu dans la littérature sous le terme de la solitude pédagogique chez les enseignants (Savoie-Zajc, 2007; Shulman, 1993). Il faut aussi ajouter la présence de critiques portant sur le dispositif ou les contenus de formation (Huberman, 1986). Comme si les participants n’étaient pas capables de lier les apports formatifs à leur pratique. Pour Legendre (1998), la transformation et la personnalisation des éléments théoriques issus de la formation se font difficilement au travers d’un enseignement transmissif. Elle ajoute une distorsion en faveur des savoirs pratiques au détriment des savoirs théoriques. L’accompagnement favorise la collaboration entre les divers acteurs de la formation afin d’étayer le transfert de l’expertise chez les étudiants (Prud’Homme & Leclerq, 2014). Ce que démontre quelques études récentes insistant sur la nécessité de promouvoir l’accompagnement des jeunes 288 enseignants (Degraef, Van Campenhoudt, & Franssen, 2012; Labeeu, 2013). Autrement dit, travailler avec ses collègues et avec des sources à son DP. Philippe, Romainville, & Willocq (1997, p.309) débutent ainsi leur article : « Les représentations pilotent les comportements. ». Si c’est vrai, alors il faut questionner les étudiants sur leurs représentations de l’école où ils se forment et de leur profession. Pour Bartlett (1932), nous assemblons nos connaissances dans des schémas, soit des structures hiérarchisées. Ils sont régis comme des processus actifs et évolutifs selon les apprentissages et les expériences (Rumelhart, Smolensky, McClelland, & Hinton, 1986). Ils sont une forme de représentations mentales condensant et ordonnant les apprentissages ainsi que les expériences. Conservés dans la structure de l’individu, ils permettent d’interpréter les nouvelles informations et constituent un cadre de référence pour le traitement de l’information et la production des comportements. Cette recherche évalue la satisfaction des étudiants sur le dispositif de formation à travers leur DP, le dispositif d’accompagnement et leurs représentations des savoir utiles pour enseigner. Méthode La filière de formation à l’enseignement aux degrés secondaires compte 140 étudiants dont 50 ont répondu au questionnaire en ligne. Ils sont tous au bénéfice d’un parcours académique antérieur. Tous bénéficient du même dispositif d’accompagnement réflexif à la formation. Le questionnaire construit avec les outils Google inc., comprend quatre parties : les données sociométriques, le DP, les représentations de l’accompagnement et les représentations de la profession. Ils indiquent leur degré d’accord à chacun des items proposés selon une échelle de Lickert à choix forcé en quatre modalités. Résultats Les données sont traitées avec le logiciel IBM® SPSS® Statistics Version 19 (19.0.0). Les étudiants répondent différemment à leur DP selon leur avancement dans leurs cursus (H(2)=7.12, p=.028). Il y a un accroissement au début des études puis une péjoration à la fin. Les commentaires libres en lien avec les activités de mentorat sont très explicites et massivement négatifs, 18 commentaires dont 22 phrases à valence négative et 4 à valence positive. Les étudiants perçoivent différemment les dispositifs (c2F(7)=139.70, p<.001) en faveur des actions sur le terrain. d’accompagnement proposés La représentation des savoirs important pour enseigner est en faveur de la discipline par rapport à ceux des SE, de la didactique, du contexte et des caractéristiques des élèves (c2F(4)=60.27, p<.001). Les étudiants se représentent leur profession comme variée, collaborative et non figée (c2F(3)=87.50, p<.001). Quelques commentaires libres contredisent partiellement cette vision. Discussion et conclusion Le DP des étudiants par le dispositif de formation ne recueille pas un degré de satisfaction élevé de la part des étudiants. Cet effet est plus marqué en fin de formation, comme une fatigue ou un 289 phénomène d’attribution causal où tout ce qui serait positif serait intériorisé et l’inverse pour les éléments négatifs (Heider, 1958). Les étudiants indiquent une préférence pour les apports pratiques au détriment de ceux théoriques. De plus, les dispositifs permettant l’articulation de ces apports ne sont pas compris. Nous faisons le même constat en faveur des apports disciplinaires face à ceux des didactiques et des SE. Ces premiers résultats, nous renforcent dans l’idée d’améliorer notre formation en pensant plus à l’intégration des différents apports des SE, de la didactique et du terrain par le biais de la réflexivité et l’analyse des pratiques. Références Bartlett, F. C. (1932). Remembering: a study in experimental an social psychology. Cambridge UK: Cambridge University Press. Degraef, V., Van Campenhoudt, L., & Franssen, A. (2012). Evaluation qualitative, participative et prospective de la formation initiale des enseignants en Fédération Wallonie-Bruxelles. Bruxelles : Université Saint-Louis, Centre d'études sociologiques des FUSL. Heider, F. (1958). The psychology of interpersonal relations. New York: John Wiley & Sons. Huberman, M. (1986). Un nouveau modèle pour le développement professionnel des enseignants. Revue française de pédagogie, 75, 5-15. Labeeu, M. (2013). Premiers mois en classe du primaire. Education et Formation, e-299, 98-107. Legendre, M.-F. (1998). Pratique réflexive et études de cas : quelques enjeux à l’utilisation de la méthode des cas en formation des maîtres. Revue des sciences de l'éducation, 24(2), 379-406. Périsset, D., Vuillet, Y., Luy, M.-M., & Barras, H. (2015). Eléments pour une vision d'ensemble du plan d'études à la formation à l'enseignement secondaire de la HEP-VS. Saint-Maurice : Haute Ecole Pédagogique du Valais. Philippe, M.-C., Romainville, M., & Willocq, B. (1997). Comment les étudiants anticipent-ils leur apprentissage à l'université ? Revue des Sciences de l’Éducation, 23(2), 309-325. Prud'Homme, R., & Leclerc, M. (2014). Données d'observation et gestion de l'apprentissage : guide à l'intention des communautés d'apprentissage professionnelles. Québec : Presses de l'Université du Québec. Rumelhart, D. E., Smolensky, P., McClelland, J. L., & Hinton, G. E. (1986). Schemata and sequential thought process in parallel distributed processing models. In J. L. McClelland & D. E. Rumelhart (Eds.), Parallel distributed processing. Explorations in the microstructure of cognition (Vol. 2: Psychological and biological models). Cambridge: MIT Press. Savoie-Zajc, L. (2007). Chapitre 4. L'accompagnement aux ajustements de pratiques professionnelles de personnels scolaires par la recherche-action. In F. Cros (Ed.), L'agir innovationnel (pp. 61-75). Bruxelles : De Boeck Supérieur. Shulman, L. S. (1993). Forum: Teaching as Community Property. Change: The Magazine of Higher Learning, 25(6), 6-7. 290 Uwamariya, A., & Mukamurera, J. (2005). Le concept de «développement professionnel» en enseignement : approches théoriques. Revue des sciences de l'éducation, 31(1), 133-155. 291 LES CONCEPTIONS DES FUTURS ENSEIGNANTS DU SECONDAIRE EN MATIÈRE D’ÉVALUATION: FREIN OU LEVIER À UN CHANGEMENT DE PRATIQUES? (ID 132) GOFFIN, Christelle, Université de Liège (BE) FAGNANT, Annick, Université de Liège (BE) RÉSUMÉ Plusieurs recherches se sont intéressées aux conceptions des enseignants ou futurs enseignants en matière d’évaluation (Boraita & Issaieva, 2013 ; Issaieva & Crahay, 2010 ; Goffin, Renson & Fagnant, 2014 ; Soussi, Ducrey, Ferrez, Nidegger & Viry, 2006). Boraita et Issaieva (2013) ont comparé les conceptions des futurs enseignants à celles d’enseignants en exercice dans l’enseignement primaire. Alors qu’en cours de formation, les futurs enseignants construiraient leurs représentations « à partir de connaissances théoriques et d’idéaux » les conduisant à identifier clairement les différentes fonctions de l’évaluation, les enseignants en fonction présenteraient quant à eux une structuration dans laquelle les fonctions sommative et formative s’entremêlent. On peut y voir une complémentarité mais aussi un risque de réduire les enjeux de cette dernière à l’importance de donner des commentaires formatifs suite aux évaluations sommatives (Goffin & al., 2014 ; Soussi & al., 2006). Si les recherches montrent des conceptions relativement positives à propos des évaluations formatives (Issaieva & Crahay, 2010 ; Issaieva, Pini & Crahay, 2011), elles en pointent aussi les limites quant aux retombées dans les classes (Soussi & al., 2006). Les modifications des pratiques seraient en effet tributaires de résistances diverses, liées notamment « à la complexité et la lourdeur qui caractérise la mise en place des démarches concrètes en vue de réguler au mieux les apprentissages » (Boraita & Issaieva, p. 1). Les « résistances » pourraient aussi s’expliquer par une non-prise en compte des conceptions à l’entrée en formation et par la difficulté de réellement les infléchir (Crahay, Wanlin Issaieva & Laduron, 2010). Les conceptions des enseignants proviennent de sources diverses, dont notamment les expériences qu’ils ont vécues eux-mêmes en tant qu’élève (Crahay et al., 2010 ; Vause, 2010). On peut dès lors penser que ces expériences les conduisent, dès l’entrée en formation, à anticiper des freins et des leviers à une diversité de pratiques d’évaluation. S’ils ont sans doute vécu des évaluations de leurs apprentissages, qu’en est-il de leur expérience d’évaluations au service de l’apprentissage (dans un visée formative étroite ou élargie, Allal & Mottier Lopez, 2005) voire d’évaluation en tant qu’apprentissage (dans une perspective visant à « étayer l’apprentissage » et notamment à concevoir l’auto-évaluation comme une activité d’apprentissage et non simplement comme une auto-notation, Rey & Freyfant, 2014) ? La présente étude s’intéresse aux conceptions des futurs enseignants à leur entrée en formation initiale. Elle vise à répondre à deux questions principales : (1) Comment les futurs enseignants du secondaire perçoivent-ils les liens entre évaluation et apprentissage ? (2) Leur vécu en tant qu’apprenant leur a-t-il permis d’être confronté à différentes formes d’évaluation et cela peut-il les conduire à anticiper des leviers et des freins potentiels pour leurs pratiques futures ? 292 Le public concerné est constitué des futurs enseignants inscrits à l’agrégation de l’enseignement secondaire supérieur qui se destinent à enseigner à des élèves âgés de 15 à 18 ans environ. Un questionnaire constitué de deux volets leur est soumis à l’entrée de leur formation dans le cadre d’un cours qui rassemble environ 250 étudiants issus de 18 disciplines différentes (mathématiques, histoire de l’art, langues modernes, éducation physique,…) et dont la grande majorité ne dispose d’aucune expérience d’enseignement. Le premier volet du questionnaire comprend trois parties visant à cerner les conceptions des futurs enseignants en matière d’évaluation. La première partie vise à approcher les conceptions les plus spontanées en leur demandant d’expliciter les différents liens qu’ils perçoivent entre « évaluation » et « apprentissage ». La deuxième partie propose une étude de cas invitant à réfléchir à ce qu’un enseignant pourrait mettre en place durant une heure de cours pour évaluer ses élèves sans réaliser de test formel ou d’interrogation écrite. On vise ici à emmener les étudiants vers l’idée d’évaluer « pour former » (Rey & Freyfant, 2014) et à percevoir leur capacité à imaginer des formes variées d’évaluation « en situation ». Enfin, la troisième partie est plus classique et les invite à se positionner sur une échelle de type Likert face à une série de propositions décrivant différentes « intentions » d’évaluation. Pour cette dernière partie, les échelles validées par Issaiava et Crahay (2010) et par Boraita et Issaieva (2013) seront utilisées afin de voir s’ils reconnaissent l’importance des fonctions formative, sommative et normative de l’évaluation et d’analyser la structuration de leurs conceptions. Un questionnaire visant à identifier l’évaluation de, au service de et en tant qu’apprentissage leur sera également proposé (inspiré des travaux du Protocole de l’ouest et du nord canadien de collaboration concernant l'éducation, 2006). Le deuxième volet s’intéresse quant à lui à leur vécu en tant qu’apprenant. Différentes formes d’évaluation seront explicitées (évaluation formative, évaluation mutuelle, co-évaluation et autoévaluation) ; les futurs enseignants devront chercher des souvenirs d’expérience de ce type, les décrire et en pointer les avantages et les limites à leurs yeux en tant qu’élève d’abord, puis en tant que futur enseignant ensuite. Un des objectifs est évidemment de prendre en compte ces conceptions spontanées dans le cadre de la formation qui leur sera délivrée tout au long de l’année, pariant sur l’idée qu’une réelle prise en compte des conceptions et des freins anticipés pourraient être bénéfique pour un transfert vers la pratique. Une troisième question de recherche concerne l’impact de la formation sur ces conceptions initiales mais elle ne sera pas abordée dans le cadre de la présente communication. Plus modestement, nous devrons ici nous en tenir à présenter les résultats des deux volets du questionnaire, à porter un regard critique sur celui-ci et à mentionner quelques pistes esquissant comment il est envisagé de relier ces conceptions à divers apprentissages liés à l’évaluation. Références Allal, L. & Mottier Lopez, L. (2005). L’évaluation formative de l’apprentissage : revue de publications en langue française. In Centre pour la recherche et l’innovation dans l’enseignement (Ed.). L’évaluation formative pour un meilleur apprentissage dans les classes secondaires (265-290). Paris : Edition OCDE. Boraita, F. & Issaieva, E. (2013). Les conceptions de l’évaluation chez les futurs enseignants et enseignants en exercice : une étude dans le canton de Genève. Actes du 25e colloque de l’ADMEE- 293 Europe: Evaluation et autoévaluation, quels espaces de formation. Du 9 au 11 janvier 2013, Fribourg (Suisse). Crahay, M., Wanlin, P. Issaieva, E. & Laduron, I. (2010). Fonctions, structuration et évolution des croyances (et connaissances) des enseignants. Une revue critique de la littérature anglo-saxonne. Note de synthèse. Revue française de pédagogie, 172, 85-129. Goffin, C., Renson, J. & Fagnant, A. (2014). Comment les futurs enseignants du secondaire conçoivent-ils l’évaluation formative et ses difficultés de mise en œuvre ? Actes du 26e colloque international de l’ADMEE-Europe. Cultures et politiques de l’évaluation en éducation et en formation. Du 15 au 17 janvier 2014, Marrakech (Maroc). Issaieva, I. & Crahay, M. (2010). Conception de l’évaluation scolaire des élèves et des enseignants : validation d’échelles et études de leurs relations. Mesure et Evaluation en Education, 33(1), 31-62. Issaieva, I., Pini, G. & Crahay, M. (2011). Positionnement des enseignants et des élèves face à l’évaluation : une convergence existe-t-elle ? Revue française de pédagogie, 176, 5-26. Protocole de l'Ouest et du Nord canadiens de collaboration concernant l'éducation. Repenser l'évaluation en classe en fonction des buts visés. Education Monitoba. Retrieved 09/09/2015 from http://www.edu.gov.mb.ca/m12/frpub/me/docs/repenser_eval/. Rey, O. & Feyfant, A. (2014). Evaluer pour (mieux) faire apprendre. Dossier de veille de l’Institut Français de l’Éducation, 94, 1-44. Soussi, A., Ducrey, F., Ferrez, E., Nidegger, C. & Viry, G. (2006). Pratiques d’évaluation : ce qu’en disent les enseignants (à l’école obligatoire et dans l’enseignement postobligatoire général). Rapport du service de la recherche en éducation, Université de Genève. Disponible sur Internet à l’adresse : http://edudoc.ch/record/3603/ (consulté en mars 2012). Vause, A. (2010). Les croyances et connaissances des enseignants de l’école primaire à propos de l’acte d’enseigner. Education & Formation, 294, 14-19. 294 QU'ÉVALUENT LES QUESTIONNAIRES DE COMPRÉHENSION DE TEXTE? (ID 134) BLANC, Christophe, Laboratoire EDA, Université Paris-Descartes (FR) GOASDOUÉ, Rémi, Laboratoire EDA, Université Paris-Descartes (FR) Résumé Le questionnaire est très largement la pratique dominante d’évaluation de la compréhension tant dans les évaluations internes qu’externes (et ce, dès le début de l’apprentissage Fijalkow 2003). Or, cette technique repose sur un premier paradoxe qui est peu mis en avant: on utilise la compétence évaluée pour évaluer la compétence qu’on prétend évaluer. Plus simplement il faut maîtriser la compréhension (des questions) pour témoigner de sa compréhension (d’un texte). Les efforts de simplification de formulation des questions en termes de lexique, syntaxe, concision relèguent au second plan ce problème de la compréhension des questions en supposant qu’elles sont plus simple à comprendre que le texte auquel elles se réfèrent. Lors de passations individuelles nous avons régulièrement observé d’une part, des difficultés ou méprises sur la compréhension des questions, et d’autre part, des discordances entre ce qu’un élève semble avoir compris d’un texte notamment dans des tâches de rappel et les réponses qu’il donne au questionnaire. C’est donc dans ce contexte d’interrogation sur les outils permettant d’attester de la compréhension que nous avons proposé à des élèves de fin de cycle primaire en France de répondre à des questionnaires sans avoir préalablement lu le texte afférent. Cette activité incongrue, mais perçue comme ludique par les élève, permet d’abord d’interroger la validité des épreuves de compréhension. Elle nous a ensuite conduit à proposer une forme d’analyse a priori des questions et enfin de mieux comprendre l’activité des élèves qui les conduit à leurs choix de réponse. Deux hypothèses peuvent être alors formulées : soit on peut répondre aux questions parce qu’elles convoquent des connaissances générales antérieures et extérieures au texte, soit le recoupement des différentes questions permet de privilégier certaines réponses. La première hypothèse correspond à ce qui est désigné par l’expression « reading dependency » et déjà pointé comme limite de la validité de certains tests de compréhension (Keenan 2006). Ces travaux s’interrogent cependant sur l’opportunité de ne choisir que des questions dont les réponses ne peuvent être trouvées qu’en lisant le texte, car la culture générale ou la maîtrise du lexique est souvent étroitement corrélée à la maîtrise de la compréhension. La seconde hypothèse, repose sur l’analyse a priori et à partir d’entretiens des relations entre les questions. En cherchant à évaluer la compréhension d’un texte on est inévitablement amené à évoquer divers éléments du texte, permettent indirectement d’étayer les choix de réponse. Méthode Nous avons proposé à 200 élèves de fin de cycle primaire (10-11ans), issus pour moitié d’école en zone d’éducation prioritaire, de répondre à deux questionnaires sans disposer du texte auquel ils se réfèrent. Ces épreuves de compréhension sont extraites d’évaluations nationales proposées en France au sein d’un ensemble d’épreuves évaluant la maîtrise de la langue. Ces passations collectives ont été complétées par 5 entretiens individuels au cours desquels nous avons demandé aux élèves d’expliquer leurs stratégies et de justifier leurs choix de réponse. 295 Résultats Le premier résultat global le plus frappant est la comparaison en terme de réussite pour l’ensemble des questions entre notre échantillon et celui qui a servi à la publication des résultats des évaluations nationales. Sur les 19 questions des deux textes, l’écart moyen est proche de -1,8 en point de pourcentage, donc faiblement inférieur pour notre échantillon par rapport aux réponses des élèves ayant lu le texte. La corrélation des pourcentages de réussite aux 19 questions entre les deux échantillons est légèrement supérieure proche de 0,8. Seules 4 questions sur les 19 suscitent un écart de réussite supérieur à 15 point de pourcentage. Les entretiens individuels permettent très clairement de décrire les recoupements pressentis dans l’analyse a priori des questions. Les élèves évoquent peu des connaissances antérieures, si ce n’est en terme de plausibilité parfois : « cette réponse, c’est impossible c’est sûr que ça n’a rien à voir avec le texte ». L’utilisation des questions pour répondre est particulièrement probante avec les choix de résumés. Les différences entre les petits textes proposés pour déterminer le résumé le plus proche par exemple permettent d’inférer avec le recoupement d’intitulés d’autres questions des éléments très précis sur le texte et donc de répondre ultérieurement à d’autres questions. Enfin l’assurance des élèves dans leur réponse nous a frappés et montre avec les distributions des choix par modalités de réponse qu’ils ne répondent pas au hasard. Enfin, une brève discussion postentretien sur leurs pratiques du questionnaire, nous a permis de confirmer que les comportements stratégiques dont ils font preuve dans cette activité singulière, ne sont pas inédits. Plusieurs élèves affirment lire les questions avant les textes, ne pas les lire entièrement et utiliser les questions pour guider leurs lectures. Discussion Les résultats globaux de cette comparaison ramènent inévitablement au questionnement initial : qu’est-ce qu’évaluent les questionnaires ? Eu égard au faible écart entre les deux échantillons, on est en droit d’affirmer qu’ils évaluent la compréhension mais celle du questionnaire avant tout. Cette affirmation est également étayée par l’écart entre les zones d’éducation de notre échantillon et par les entretiens. Au-delà de la première impression, ces résultats ne remettent pas de manière radicale en cause la validité de ces épreuves si on considère qu’elles ont pour but d’attester de différences de niveau de maîtrise. Elles permettent bien de différencier des niveaux de réussite, les élèves maîtrisant peu la compréhension échouent également plus à cette tâche de répondre sans lire le texte. Cependant le contenu de ce qui est mesuré et les interprétations qu’on peut en tirer est bien moins net qu’on pourrait le penser. Cette question n’est pas un obstacle pour attester de performances globales des élèves notamment si elles sont agrégées à d’autres mesures, elle l’est beaucoup moins si l’on espère comprendre les difficultés des élèves tirer des pistes de remédiations de ces outils. Ce travail fut l’occasion d’une analyse approfondie de la tâche proposée aux élèves et pourrait guider la conception de questionnaires ou, au moins, servir à mieux comprendre ce qui est en jeu dans les questions posées. A nouveau, au-delà du constat global, interroger la pratique du questionnaire est un enjeu fondamental pour l’enseignement et l’évaluation de la compréhension. D’une part parce que c’est la forme dominante non-seulement d’évaluation mais aussi d’enseignement de la compréhension et d’autre part en raison de l’effet qu’ont les questionnaires 296 sur l’activité de lecture des élèves. La quête d’une efficacité immédiate et quantifiable pourrait conduire à privilégier l’enseignement du questionnaire au détriment de la richesse de celui de la compréhension. Références Fijalkow E. (2003). L'enseignement de la lecture-écriture au cours préparatoire. Ente tradition et innovation. L'Harmattan : Paris. Keenan, J.M., & Betjemann, R.S. (2006). Comprehending the Gray Oral Reading Test without reading it: Why comprehension tests should not include passage-independent items. Scientific Studies of Reading, 10, 363–380. 297 TRANSITION ENTRE ÉCOLE OBLIGATOIRE ET MONDE PROFESSIONNEL: ENJEUX AUTOUR D'UNE RECHERCHÉ (ID 137) STOCKER, Eugen, URSP - Unité de recherche pour le pilotage des systèmes pédagogiques (CH) HUNZIKER, Karin Bachmann, URSP - Unité de recherche pour le pilotage des systèmes pédagogiques (CH) RÉSUMÉ Contexte À la fin de l’école obligatoire, les passages directs vers une formation certifiante du niveau secondaire II, qui étaient autrefois la règle, se font plus rares. Différentes raisons sont évoquées dans les débats publics ou politiques pour expliquer ce phénomène : le décalage entre la demande et l’offre de places d’apprentissage, les connaissances insuffisantes des jeunes à la sortie de l’école obligatoire, leur manque de maturité, etc. Corollairement, près d’un quart des jeunes intègrent une mesure dite de transition offrant des prestations (orientation professionnelle, soutien scolaire ou soutien à l’insertion) destinées à favoriser l’accès à la formation. Dans le canton de Vaud (Suisse), l’Organisme pour le Perfectionnement scolaire, la Transition et l'Insertion professionnelle (OPTI) accueille une grande partie des jeunes de 15 à 18 ans en difficulté de transition. Créé il y a une douzaine d’années, cette structure se caractérise par son orientation vers la pratique (travail en atelier, stages en entreprise), son regroupement des jeunes dans des secteurs correspondant à leur projet professionnel initial ou leur niveau scolaire et par l’intervention de psychologues conseillers en orientation dans le travail d’élaboration d’un projet professionnel. Au fil des années, l’OPTI a évolué en adaptant ses prestations à l’environnement économique et social et à la population scolaire changeante (migration). Toutefois, des avis divergents sont progressivement apparus concernant le poids à accorder aux missions respectivement de perfectionnement scolaire, de transition et d’insertion professionnelle. Par exemple, en mettant l’accent sur le « coaching » en regard de l’insertion professionnelle, les professionnels du terrain ont priorisé une démarche qui ne correspond pas aux priorités des autorités, ce qui a créé une tension entre les personnes proches du terrain et celles « d’en haut ». En conséquence, les missions et le fonctionnement de cet organisme sont régulièrement questionnés par les autorités et dans les débats politiques. Ainsi, la Commission de gestion du parlement cantonal s’est emparée du thème de la transition. L’intention de la commission semble claire : il faut éviter que les mesures de transition deviennent pour trop d’élèves le prolongement « naturel » de la scolarité obligatoire. Dans l’optique de la commission, l’année de transition devrait être réservée aux jeunes aux compétences insuffisantes pour entamer un apprentissage. Pressées de répondre aux questions de la commission, les autorités scolaires ont alors sollicité l’Unité de recherche pour le pilotage des systèmes pédagogiques (URSP – unité rattachée au Département de la formation, de la jeunesse et de la culture du canton de Vaud) pour une enquête. Elles souhaitent en particuliers qu’il y ait une identification des différentes populations d’élèves en fonction de leurs compétences et du choix, ou non choix, les ayant amenés en année de transition, et elles aimeraient connaître la proportion d’élèves pour lesquels cette mesure représente une solution adéquate. 298 En 2013, un projet de recherche portant sur l’adéquation entre l’offre des prestations de l’OPTI et les besoins des jeunes a été élaboré. Les données ont été collectées en 2014 au moyen d’une enquête par questionnaire auprès de l’ensemble des jeunes de l’OPTI et d’entretiens menés avec les responsables de l’OPTI, les enseignants et les conseillers en orientation. Par rapport aux jeunes, les thèmes abordés concernaient la place et le rôle assignés par eux à l’OPTI, l’évolution de leurs projets professionnels, leurs attentes et besoins, leur degré de satisfaction. Avec les professionnels étaient questionnés le positionnement de la mesure de transition, les missions et prestations de l’OPTI, le profil des jeunes, les enjeux pour l’avenir. Ces informations ont été complétées par des données issues des statistiques scolaires sur les caractéristiques des élèves et leur parcours scolaire. Enjeux Initiée sur mandat des autorités scolaires, dans un contexte de tension et de méfiance mutuelle entre les professionnels de l’OPTI et les autorités scolaires, la réalisation d’une recherche courait un triple risque : celui de limiter la qualité et la pertinence des données collectées sur le terrain, de limiter l’intérêt scientifique de la recherche et, in fine, de limiter la représentativité ou la légitimité (perçues) des résultats. Comment dès lors susciter la collaboration des professionnels du terrain à une recherche destinée à évaluer leur domaine d’action pour leurs autorités ? L’exposé propose une réflexion sur les relations entre le politique (demandeur de l’enquête), le terrain (les enquêtés) et la recherche. Il ne présente donc pas des résultats directs de l’enquête mais se focalise sur les réflexions et choix relatifs à la démarche de recherche et sur certaines expériences vécues sur le terrain auprès des professionnels impliqués dans la prise en charge des jeunes. Trois axes seront approfondis : - L’axe méthodologique : par exemple, adoption d’une démarche compréhensive par le biais d’entretiens individuels ou par focus group ou encore utilisation de premiers résultats (statistiques, analyse du questionnaire auprès des élèves) afin de favoriser la réflexion et la prise de position et pas seulement la réponse à des questions ; - L’axe relationnel par la présence des chercheurs sur le terrain et la recherche du contact direct avec les jeunes et les professionnels ; - L’axe « expertise » par la mise en disponibilité des chercheurs à toute sollicitation concernant des résultats de l’enquête avant la publication des résultats finaux de celle-ci. Pour finir, notons que l’enquête s’est bien déroulée sur le terrain et les participants ont – curieusement – manifesté un plus grand intérêt pour les résultats que les mandants de la recherche. 299 MISE EN PLACE DE PROCÉDURES PSYCHOMÉTRIQUES POUR CALIBRER DES ÉPREUVES D’ÉVALUATION LANGAGIÈRES (ID 138) HARLAUX, Pierre-Antoine, Centre international d'études pédagogiques (FR) GEORGES, Sébastien, Centre international d'études pédagogiques (FR) RÉSUMÉ Parmi les procédures à mettre en œuvre pour garantir la qualité de certifications, celle de la mesure objective des contenus d’évaluation par le biais d’analyses psychométriques est une composante essentielle de la validité, la fidélité, la sensibilité et l’équité des épreuves présentées aux candidats. Tout instrument de mesure servant à évaluer des compétences cognitives, comme c’est le cas pour la compétence en langue, doit en effet être construit selon un ensemble de procédures qui permettent d’attester des qualités de cet instrument. En ce qui concerne les qualités d’ordre pédagogique, elles s’appuient sur des référentiels de compétence officiels, reconnus, et partagés (comme par exemple le Cadre européen commun de référence pour les langues – CECRL). En ce qui concerne les qualités d’ordre métrique, elles requièrent des outils et techniques psychométriques. Ces dernières permettent d’assurer de manière objective et répétable la validité de l’instrument de mesure, sa fidélité, son équité, ainsi que sa précision. Ces éléments sont d’autant plus importants dans le cadre d’examens certifiants à fort enjeu social (immigration professionnelle, ou académique, etc.). Il est alors indispensable de s’assurer que les candidats sont évalués sur la base d’épreuves dont les qualités métriques du contenu ont pu être vérifiées et validées. Ces preuves sont aujourd’hui au cœur des enjeux que s’est fixé le Centre international d’études pédagogiques pour ses diplômes de français langue étrangère / seconde (DELF et DALF). L’analyse du contenu des épreuves implique donc au préalable la mise en place d'une organisation spécifiquement dédiée et adaptée aux possibilités humaines, financières, et logistiques, à la fois pour les centres de passation des examens mais aussi pour l’organisme concepteur. De façon générale, trois options sont disponibles. 1) les pré-tests, où le contenu est présenté à un échantillon de candidats afin d’être testé puis analysé, avant d’être proposé officiellement à des candidats en contexte certifiant. Le résultat fourni aux candidats est alors basé sur des épreuves dont on a démontré auparavant les qualités métriques ; 2) les post-tests, où le contenu est analysé après passation par les candidats, et dont le résultat sera dépendant des qualités métriques fournies a posteriori par les analyses ; et 3) le seeding-test, où une partie de l’épreuve soumise aux candidats à déjà été analysé (par exemple à l’aide de pré-tests ou de précédents seeding-tests) et servira à fournir un résultat fiable, ainsi qu’une autre partie, qui sera elle analysée mais non comptabilisée dans le résultat. Chaque certification constitue par la dépendance à son contexte de conception et de distribution un cas de figure unique. Ainsi, l’enjeu et les conditions de passation de l’épreuve, le nombre de sessions et de candidats annuels, ou encore la gestion centralisée ou décentralisée de l’administration de l’épreuve impactent directement sur les options et la méthode d’analyse psychométrique à appliquer. 300 Dans le cadre de l’application de ces pratiques aux examens du DELF et DALF, c’est le choix du pré-test qui a été retenu et qui servira pour cette communication d’illustration. Le principe est de présenter une version de l’épreuve à un public cible, souvent en phase d’apprentissage, et qui peut lui servir d’épreuve d’entraînement. Cette passation est non certifiante, et sert à recueillir suffisamment d’informations sur les qualités des constituants de l’épreuve, qui pourront alors être utilisés pour élaborer une version officielle. La mise en place de cette option a des conséquences fortes sur l’implication de plusieurs corps de métier : pédagogues, logisticiens, administratifs, et psychométriciens. En premier lieu, d’un point de vue pédagogique, les tâches concernées réfèrent à la conception du contenu des épreuves mais aussi à la gestion et au suivi du cycle de production afin d’anticiper les besoins en nombre de versions. En deuxième lieu, en ce qui concerne de la gestion administrative, il est indispensable d’assurer le recrutement et la gestion des centres participants aux pré-tests, ainsi que l’organisation des sessions de pré-test, de même que celui des candidats. En particulier, la participation active et massive de plusieurs centres est une nécessité forte pour réunir un nombre suffisant de candidats et pallier à d’éventuels sur- ou sous-échantillonnages de certaines caractéristiques des candidats. L’aspect logistique concerne l’acheminement sécurisé, aussi bien pour les épreuves papier/crayon que sur ordinateur, du matériel de test, ainsi que son retour. Dans le cas d’une administration de type papier/crayon, il est également nécessaire de veiller par la suite à sa numérisation soit par feuille de réponses standardisées, soit par saisie manuelle. Les passations dématérialisées offrent tous les avantages en matière de rapidité et fiabilité en permettant par exemple de récupérer instantanément les réponses fournies par les candidats. En revanche, elles nécessitent un investissement préalable lourd, et obligent les centres de passation à s’équiper de postes informatiques en nombre suffisant. Après récupération des données sous forme numérique, les analyses psychométriques vont permettre de déterminer un certain nombre d’indicateurs servant à sélectionner les contenus les plus pertinents pour constituer des versions de qualité et difficulté équivalentes. La mise en œuvre de ce type de procédures implique un certain nombre de difficultés à résoudre. Premièrement, l’implication de centres partenaires mobilisés sur une base régulière pour qui l’organisation de pré-tests peut représenter une charge de travail supplémentaire. L’anticipation de problèmes d’exposition des contenus doit servir à évaluer les besoins en nouvelles épreuves, et donc le nombre de pré-tests à mettre en place. Enfin des questions d’ordre logistique sont également soulevées par ce type de procédure concernant le choix du support de passation de l’épreuve, sa correction, ainsi que la récupération des données et des réponses des candidats pour mettre en œuvre les analyses psychométriques. 301 FATORES DE IMPACTO NO (IN)SUCESSO ESCOLAR DOS ALUNOS E ESCOLAS, MEDIDOS POR AVALIAÇÃO INTERNA (ESCOLA) E EXTERNA (EXAMES) (ID 139) ROMÃO, Paula, Instituto Universitário da Maia (PT) FRADINHO, M.ª Fátima, Agrupamento de Escolas de Águas Santas (PT) RESUMO O texto apresentado a este seminário tem por base duas teses de doutoramento. A primeira analisou os resultados obtidos pelos alunos nos exames nacionais das disciplinas de Português e de Matemática, nos 9º e 12º anos de escolaridade, respetivamente, numa amostra de escolas que integravam o programa AVES, nos anos letivos de 2008-2009. A segunda foi elaborada de acordo com um estudo realizado no concelho da Maia, referente ao 3º ciclo, que abrangeu os anos letivos 2007/2013. Pretendeu-se averiguar se a constituição de turmas se constitui como um fator com impacto no sucesso/insucesso escolar, dos alunos. No primeiro estudo pretendeu-se identificar em que medida as variáveis consideradas, por aluno e por escola, nomeadamente o género, as competências de raciocínio (verbal, numérico e abstrato), o estatuto socioeconómico e cultural das famílias, o percurso escolar dos alunos (histórico académico relativo ao absentismo, média das classificações, número de retenções e número de negativas) e também dados relativos à frequência de explicações , explicam os resultados obtidos pelos alunos nos exames nacionais nas disciplinas de Português e Matemática, no 9º e 12º ano de escolaridade, e se existem diferenças entre-escolas e intra-escola. Obteve-se um resultado que sem ser surpreendente, é simultaneamente ignorado pelos decisores políticos: a importância de se intervir atempadamente sempre que num aluno são detetadas dificuldades numa ou mais disciplinas, corroborando a importância de um ensino básico de qualidade. Constatamos que em educação também se aplica o “efeito borboleta”, que é o mesmo que dizer que ínfimas diferenças nas condições iniciais do percurso dos alunos, podem provocar grandes diferenças nas condições finais (como se uma borboleta ao bater as asas, algures na Amazónia, possa provocar um tornado no Texas). Esta é a principal evidência desta investigação que claramente desmistifica essa crença ao demonstrar que a variável de percurso prévio (variável do histórico) dos alunos, sozinha, tem um poder explicativo maior do que todas as outras juntas, devendo agir-se de forma preventiva e rigorosa. Para isso deve-se investir na seleção dos melhores professores uma vez que a literatura mais recente considera que o professor, depois do aluno, é o primeiro responsável pelo bom desempenho dos alunos, seguido do fator liderança das escolas. No segundo estudo efetuado a 970 turmas, 22 412 alunos, os resultados escolares globais que foram obtidos relativamente ao sucesso escolar, no 3º ciclo, de todas as escolas do concelho da Maia, nos períodos em estudo, 2007/2012 e 2012/2013 verificamos que a taxa média de insucesso escolar neste concelho foi 12,67% (comparando-a com a taxa média nacional de retenção e desistência, no 3º ciclo e no mesmo período, 14,43%). Contudo, a média global da taxa de sucesso escolar no concelho da Maia não nos deve fazer esquecer que existiram grandes discrepâncias de resultados entre as diferentes escolas, que pode oscilar, nos primeiros cinco anos do estudo, entre os 95,77% e 79,86%. 302 No ano letivo 2012/2013 a taxa de retenção e desistência a nível nacional passou para 15,9% e no concelho da Maia, a taxa de insucesso escolar foi 15,93%, uma das razões poderá ter sido a formação de novos mega-agrupamentos. Neste ano letivo, verificamos um aumento significativo da taxa de insucesso escolar (nos países da OCDE cerca de 13%), bem como na média do número de níveis inferiores a três. No sentido de inverter esta situação são necessárias respostas contextualizadas, efetivas e adequadas por parte das escolas devendo ser revisto o número de níveis inferiores a três na transição/aprovação dos alunos, compensada no ano letivo seguinte com a introdução de um plano de reforço na recuperação de áreas de insucesso, e maior autonomia das escolas, nomeadamente: na constituição de turmas, gestão do currículo e construção de diferentes percursos escolares. Neste estudo, a escola que obteve uma taxa média de transição/aprovação superior (cerca de 96%) foi a que aplicou critérios mais diversificados, concretizou diferentes projetos baseados em turmas por competências, projetos que certamente foram mais ao encontro do desenvolvimento das capacidades pedagógicas dos alunos, fazendo com que o seu aproveitamento fosse melhor. Desta forma, quer os bons alunos quer os menos proficientes beneficiaram no desempenho escolar. Aliás, encontrámos várias turmas sem qualquer nível inferior a três. No ano letivo 2012/2013, os projetos baseados em turmas por competências deixaram de ser aplicados na escola supracitada, em virtude da alteração da direção e da constituição de um megaagrupamento. Constatou-se que a taxa de sucesso escolar no 3º ciclo diminuiu significativamente, passando de 95,77% para 84,57%, para além de ter aumentado o número médio de níveis inferiores a três por aluno, ou seja, passou de 0,74 para 1,38. Os resultados escolares no concelho da Maia são bastante díspares, no que concerne aos alunos do 3º ciclo, se tivermos em consideração as diferentes escolas. Com efeito a escola menos bem sucedida (79,86%) e a que obteve melhores resultados (95,77%) encontram-se geograficamente separadas por um gradeamento, logo, encontrando-se inseridas no mesmo meio escolar. Obviamente, vários fatores estarão na origem desta disparidade de resultados, tais como a liderança, os projetos implementados, a motivação e formação do corpo docente, o envolvimento dos alunos e da restante comunidade escolar. A escola mais bem sucedida foi uma escola reflexiva e onde habitualmente se monitorizava permanentemente o impacto da implementação de projetos. Também revelou clareza percecionada e inferida da leitura do Projeto Educativo, em que a Missão e a Visão eram destacadas por via de grandes painéis afixados à entrada da escola e também partilhados por toda a comunidade escolar, que diariamente agia em conformidade, e sabia em cada momento «para onde ir» a fim de «lá chegar» (metas do Projeto educativo). Somente com união e o esforço de todos se poderá construir uma escola vocacionada de e para o sucesso. Sucesso não é apenas transitar, sucesso não é tirar nível três, sucesso é que as escolas sejam capazes de levar «tão longe e tão alto» cada aluno de acordo com as suas capacidades, empenho e motivação. Referências Fradinho, Mª. de Fátima (2012). O Percurso Escolar dos Alunos que Transitaram com Mais de Dois Níveis Inferiores a Três no 3º Ciclo – Dissertação de Mestrado. Porto: Universidade Portucalense. Justino, David (2015). Recomendação – Retenção Escolar nos Ensinos Básico e Secundário. Conselho Nacional de Educação. 303 Ministério da Educação (2013), Portugal primeiros resultados PISA 2012. Lisboa: Edições Ministério da Educação. Romão, Paula (2012). Alguns Fatores Determinantes dos Resultados Obtidos Pelos Alunos do 9º e 12º anos nos Exames Nacionais de Português e Matemática e o Efeito Escola – Tese de Doutoramento. Porto: Universidade Católica. 304 LES ÉVALUATIONS STANDARDISÉES DES ÉLÈVES EN FRANCE : AVANCÉES ET RECULS (ID 140) TROSSEILLE, Bruno, Direction de l'évaluation, de la prodpective et de la performance (DEPP) (FR) RÉSUMÉ Pour un système éducatif, il est de première importance de pouvoir bénéficier d’un regard objectif sur ses performances, s’il veut pouvoir améliorer les résultats de son action. Pour un pays comme la France, qui prétend non seulement avoir un système éducatif de qualité mais prétend également voir diminuer les écarts d’acquis entre les catégories sociales pour des raisons de justice sociale ou d’égalité entre les sexes, il est impératif de se doter d’un dispositif d’évaluation de haute qualité. Depuis une quarantaine d’années, le ministère français de l’éducation nationale, à travers sa direction de l’évaluation (DEPP), a mis en œuvre des dispositifs d’évaluation des acquis des élèves aux objectifs variés et parfois confus. Les années 80 leur assignent de façon dominante une fonction de régulation et de pilotage d’ensemble du système éducatif : des bilans d’acquis sur échantillons d’élèves en fin d’année, à différents niveaux scolaires, permettent de connaître l’état des acquis en référence aux programmes d’enseignement. Les années 90 voient l’émergence et la prépondérance de finalités diagnostiques, par la mise en place d’évaluations de masse à l’usage des enseignants (protocoles de rentrée en troisième et sixième année d’enseignement obligatoire, banque d’outils d’aide à l’évaluation) avec, toutefois, des utilisations pour un pilotage local et national. Dès le début des années 2000, l’apport des évaluations internationales, avec la généralisation des méthodologies psychométriques, fait entrer le ministère dans l’ère de la comparabilité géographique et temporelle quant aux acquis des élèves. Ainsi, la DEPP donne naissance en 2003 au dispositif CEDRE (Cycle des évaluations réalisées sur échantillon) qui évalue les acquis des élèves de fin d’école primaire et de collège, au regard de ce qui est attendu par les programmes scolaires. Chaque année, le domaine évalué est différent et à partir de 2009, des comparaisons temporelles peuvent s’établir sur la maîtrise de la langue française, les langues étrangères, l’histoire-géographie, les sciences et les mathématiques. Depuis, d'autres dispositifs d'évaluations construits pour permettre des comparaisons diachroniques se sont développés en France. À la charnière de la décennie suivante, alors que les finalités de diagnostic individuel des élèves et de bilan des acquis pour le pilotage étaient jusqu’alors relativement distinguées, la séparation de ces deux approches est remise en question. L’organisation, de 2009 à 2012, d’évaluations de masse concernant tous les élèves de deuxième et cinquième année de l’école élémentaire, est confiée à la direction chargée de la mise en œuvre de la politique éducative. Cette dernière assume la mise en place d’évaluations présentant simultanément deux objectifs jusque-là séparés sur les plans conceptuel et opérationnel, le diagnostic individuel des forces et faiblesses des élèves, à usage professionnel local, et le bilan des acquis d’une génération, à usage de régulation globale du système éducatif. Alors que de nouveaux programmes d’enseignement, contestés par de nombreux acteurs du monde éducatif, s’imposent aux enseignants de l’école primaire, ces évaluations nationales peuvent être interprétées comme un moyen pour le ministère de s’assurer que les réformes pédagogiques sont bien mises en œuvre au niveau local. C’est ce qu’on peut lire dans une 305 note de synthèse des Inspections générales à destination du ministre : « Ces évaluations révèlent aussi l’écart, qui peut être important, entre ce qui est enseigné et ce qui devrait l’être. En ce sens les évaluations nationales sont un puissant levier pour une mise en œuvre complète des nouveaux programmes. » Cependant, la confusion, dans une même évaluation, des différentes fonctions – diagnostic individuel, bilan destiné à la régulation d’une politique éducative, contrôle des enseignants – est potentiellement source d’erreurs et de troubles, tant sur le plan scientifique que sociétal. Après avoir décrit brièvement l’histoire entrelacée des différentes fonctions dévolues à l’évaluation au sein du ministère, nous montrerons comment les préoccupations de qualité ont connu des avancées et des reculs. Enfin, nous envisagerons l’avenir du paysage évaluatif et la façon dont il peut se réorganiser en fonction des différentes finalités qui lui sont aujourd’hui assignées et des défis qu’il devra affronter, notamment en termes de fondements scientifiques, conceptuels, techniques, voire politiques. Ainsi, aujourd’hui, l’évaluation des acquis des élèves peut répondre à trois objectifs : • fournir aux enseignants des outils afin d’enrichir leurs pratiques pédagogiques en évaluant mieux les acquis de leurs élèves ; • disposer d’indicateurs permettant de mesurer, au niveau national, les performances du système (évolutions temporelles et comparaisons internationales) ; • doter les « pilotes de proximité » (recteurs, DASEN, IEN) d’indicateurs leur permettant de mieux connaître les résultats des écoles et d’effectuer une vraie régulation. Alors que les outils existent pour remplir les deux premiers objectifs, le troisième est sans doute le plus ardu à atteindre si l’on souhaite éviter de mélanger les deux premiers objectifs en dotant les acteurs locaux d’outils de pilotage. Références Trosseille, B. & Rocher, T. (2015). Les évaluations standardisées des élèves. Perspective historique. Education & formations, n° 86-87, pp. 15-35. MENESR-DEPP. 306 FORMER À L’ÉVALUATION: LE LEVIER DE L’AUTOÉVALUATION ENTRE AUTO CONTRÔLE ET AUTO QUESTIONNEMENT (ID 141) BEROUD, Jean Yves, Aix Marseille Université (FR) RÉSUMÉ Ce texte propose de mettre en tension la posture d’entre-deux du formateur à l’évaluation entre auto-contrôle et auto-questionnement. Proposer l’autoévaluation comme levier dynamique d’apprentissage questionne la posture du formateur jouant l’entre-deux entre auto-contrôle et auto-questionnement Choisir de former des professionnels à l’évaluation en formation initiale ou continue est un projet en acte qui vise à rendre intelligible les situations. L’évaluation étant une pratique sociale, le formateur est confronté aux représentations, aux expériences, aux affects des formés, ne serait-ce que par rapport au mot "évaluation". Or, l’évaluation est un allant de soi en forme de trompe-l’œil : avoir une expérience de l’évaluation ce n’est pas avoir une pratique problématisée et référencée. Un autre constat concerne la demande des formés : régulièrement il est exprimé un désir d’obtenir des outils « pratico-pratiques ». Avec des étudiants en master se destinant aux métiers de l’enseignement, il s’agira pour eux d’obtenir la bonne méthode pour construire le bon dispositif d’évaluation qui conviendra aux élèves et à l’inspecteur. Pour des managers, en formation professionnelle, la commande sera pour mieux gérer son équipe lors de l’entretien annuel d’évaluation. Si ces demandes semblent à priori légitimes et compréhensibles, il n’est pas sans interroger la place nécessaire des concepts : « une simple initiation au maniement d’instruments et de procédures ne saurait suffire, la formation à l’évaluation doit porter aussi sur les concepts et les principes théoriques qui sont à la base des instruments et de ces procédures » (Perrenoud, 1988, p.13). Parmi les leviers du travail du sujet en formation à l’évaluation, il y a celui de l’auto-évaluation. Vial (2000), envisage l’auto-évaluation dans une dialectique entre auto contrôle et auto questionnement. L’auto-contrôle renvoie à une compétence indispensable de réajustement ou de correction. « Réajuster reviendrait à rétroagir sur les méthodes et démarches qui ont conduit à l’erreur, à optimiser ce qui a bien fonctionné et à essayer de généraliser ce qui a amené la réussite » (Poplimont, 2000, p.215) Les études en psychologie cognitive (Nguyen-Xuan & Richard& Hoc, 1990) vont dans le sens de l’importance de ce « processus d’auto contrôle de l’activité » et vers l’idée de métacognition comme instance de l’expertise. Cet autocontrôle est nécessaire lorsque les étudiants de master ont besoins de s’approprier la différence entre évaluation formative et formatrice. L’apprentissage est relié ici à une intégration des procédures pour la fabrication d’un produit (autobilan), « l’évaluation disparait au profit du seul contrôle, pour prendre le statut d’outils pour acquérir des savoirs en situation » (Vial, 2012, p.90) Si l’auto-contrôle est une condition sine qua non à la réussite des étudiants de master pour la réussite aux concours par un bouclage rétroactif ou feedback (Hattie & Timperley, 2007), l’autoévaluation dispose d’un autre versant dynamique : l’auto-questionnement. A la différence de l’autocontrôle qui recherche la solution, l’auto-questionnement vise la recherche de sens, « d’apprendre 307 le monde, de prêter du sens à ce qui est vécu dans la formation, de « voir dans le vide » (Vial, 2000, p.183). Ce processus s’éduque avec les managers comme avec les étudiants par le travail des critères, du projet, de la posture et des objets à évaluer. C’est un travail de mise en suspens, de questionnement éthique, une invitation à la praxis (Imbert, 1990) pour réorienter sons action. A ce sujet, Vial (2000, p.202-203) identifie six principes d’intelligibilité de la situation de formation dans une perspective d’auto-questionnement : observer-écouter, parier sur les potentialités de changement, mettre en scène les questions, saisir les opportunités pour impulser des remaniements, rester étranger et se centrer sur le sens en train de se construire. S’interroger sur les processus en cours, c’est aussi s’intéresser à l’assessment for learning (Black & Wiliam, 2009) ou à l’idée d’assessment as learning (Earl, 2003) au sein de la communauté anglophone. Le formateur doit donc constamment s’interroger sur sa posture pour répondre tout ou partie à la demande initiale des formés. Problématiser cette question, c’est s’intéresser à l’agir professionnel présenté par Jorro (2002, p. 113) comme une dialogie entre les dimensions stratégiques, tactiques et éthiques. C’est aussi mettre en perspective l’approche multiréfentielle (Ardoino, 1993), le lien aux concepts notamment ceux « d’intelligibilité des actions » (Barbier, p.91) et le rapport théoriepratique (Poplimont, 2000) particulièrement mis en exergue par les stagiaires en formation continue. Car une des questions partagées par le formateur et les formés semble être celle de la construction du sens : « faire émerger chez le sujet des mobiles inédits et en retour, élargir le champ des possibles sur le plan des buts et des moyens d’action qu’il peut s’autoriser au moins à envisagery compris en dehors de la formation : ce faisant, on lui ouvre un espace même ténu, où il peut projeter l’idée de transformation, de prise sur le réel et se mettre en mouvement » (Bourgeois, 2000, p.102). La posture du formateur est donc un équilibre instable (Ardoino, 1990) à la croisée de différents gestes professionnels sans cesse en débat dans l’activité : C’est une praxis (Imbert, 1990) Proposer l’auto-évaluation comme levier dynamique d’apprentissage questionne la posture du formateur jouant l’entre-deux entre auto-contrôle et auto-questionnement un « intervalle continu entre deux bornes mais qui exclut ces bornes réputées inaccessibles alors, qu’il puisse s’en détacher : qu’il en fasse des témoins et des limites dont il ne saurait ni se départir, ni se préoccuper » (Lerbet, 1988, p.199). Références Ardoino, J. (1990). Les postures ou impostures respectives du chercheur, de l’expert et du consultant. In Les nouvelles formes de la recherche en éducation, pp. 22-34. Paris : Andsha. Ardoino, J.(1993). L'approche mutiréférentielle et formatives, Pratiques de formation . (plurielle) des situations éducatives Ardoino, J. (2000). Les avatars de l’éducation, Paris : PUF. Barbier, J.M., (2000). Sémantique de l’action et sémantique de l’intelligibilité des actions. In Maggi, B. Manières de penser et manières d’agir en formation, pp. 89-104, Paris, PUF. Black, P. & Wiliam, D. (2009). Developing the Theory of Formative Assessment. Educational Assessment, Evaluation and Accountability 21(1), 5-31. doi:10.1007/s11092-008-9068-5 Bourgeois E. (2000). Le sens de l’engagement en formation . rIn J-M. Barbier et O. Galatanu (dir.), Signification, sens, formation, Paris : PUF. 308 Earl,L. (2003). Assessment As Learning: Using Classroom Assessment to Maximize Student Learning. Thousand Oaks, CA: Corwin Press. Gather Thurler, M. et Perrenoud, Ph. (dir.) (1988). Savoir évaluer pour mieux enseigner. Quelle formation des maîtres ? Genève : Service de la recherche sociologique, Cahier n° 26. Hattie, J. et Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81-112. doi : 10.3102/003465430298487 Imbert, F. (1990). Action et fabrication dans le champ éducatif, Les nouvelles formes de la recherche en éducation, colloque international francophone d'Alençon, Paris : Matrice ANDSHA, 105-111. Jorro, A. (2002). Professionnaliser le métier d’enseignant, Issy-les-Moulineaux : ESF Editeur. Lerbet, G. (1988). L'insolite développement, vers une science de l'entre-deux, UNMFREO, Maurecourt. Nguyen-Xuan, A., Richard, J.-F, & Hoc, J-M. (1990).Le contrôle de l’activité. In J.F. Richard, C. Bonnet & R. Ghiglione, Traité de Psychologie Cognitive 2 : Le traitement de l’information symbolique (pp. 207-245). Paris : Dunod. Poplimont, C. (2000). Représentations sociales des formateurs dans la formation par alternance. Approche intensive et étude clinique de cas. Thèse de doctorat en Sciences de l’éducation. Université de Provence. Vial, M. (2000). Organiser la formation : le pari sur l'autoévaluation. Paris : L'Harmattan. Vial, M. (2012). Se repérer dans les modèles de l’évaluation : histoire, modèles, outils. Bruxelles : De Boeck. 309 EVOLUTION DE L’ACCOMPAGNEMENT DE L’ÉTUDIANT DE DEUXIÈME ANNÉE EN ARCHITECTURE DES JARDINS ET DU PAYSAGE ET DANS UN DISPOSITIF PROFESSIONNALISANT? (ID 142) VANWINKEL, Arlette, Haute Ecole Francisco Ferrer (Bruxelles) (BE) SAUSSEZ, Gilles, Haute Ecole Lucia de Brouckère (Bruxelles) (BE) RÉSUMÉ C’est le fruit d’une « recherche » effectuée sur une grille d’évaluation en section Architecture des Jardins et du Paysage qui sera présentée. La recherche se situe au sein de la formation initiale des enseignants du supérieur (CAPAES : certificat d’aptitude pédagogique approprié à l’enseignement supérieur) durant l’année académique 2014-2015. Cette recherche aboutit à une nouvelle grille d’évaluation. La compétence visée par les formateurs du CAPAES est la compétence 8 (article 3 du décret du 17/07/2002) Maîtriser et utiliser les outils d'évaluation des apprentissages adaptés à l'enseignement dispensé et pouvoir répondre de ses choix. C’est le fruit d’une recherche effectuée sur une grille d’évaluation en BA2 section Architecture des Jardins et du Paysage dans le cadre d’une activité d’intégration professionnelle qui sera présentée. Cette recherche se fait en groupe sous forme de GAPP (groupe d’analyse des pratiques pédagogiques). Mais le travail de chaque candidat au CAPAES est individualisé, chaque candidat bénéficie d’un accompagnement individuel et donc approprié à chaque situation. Pratiquement, il est demandé à chaque candidat CAPAES de choisir une activité d’enseignement qui lui pose problème. La problématique développée est l’évaluation certificative de l’activité choisie. En effet, l’évaluation telle que pratiquée avant le CAPAES (moment 0) ne satisfait pas le collègue MA (maitre assistant). Pourquoi et comment cette recherche ? Pour aboutir à quel outil et comment y arriver ? Dans un premier temps, l’objectif était de muer d’une approche-cours vers une approcheprogramme. Pour ce faire, dans le cadre du CAPAES, il a été demandé aux candidats de choisir un cours et une problématique méthodologique, en particulier une évaluation certificative. L’évaluation au moment 0, avant CAPAES, est exposée avec les tenants et aboutissants. Au moment 1, les 6 critères de l’approche critèriée de Belair sont présentés, ils sont bien sûr contextualisés à la formation des Architectes Paysagistes. Puis l’enseignant compare les informations fournies par Gérard et Belair. Cette comparaison se concrétise par une « nouvelle » grille d’évaluation. Dans un second temps, les AAT(acquis d’apprentissages terminaux) ont été convoqués et examinés en regard du référentiel de compétences. L’examen a offert la décomposition d’objectifs généraux en objectifs opérationnels et, in fine, ils ont rencontrés les AAT. Une nouvelle grille voit le jour, elle structure les AAT et elle les précise grâce à des critères et à des indicateurs. En outre, une pondération la complète. On peut constater au travers de cette grille 310 la pertinence de l’évaluation en regard des objectifs. En plus, de la pertinence, la fiabilité et la validité sont également vérifiées (selon la terminologie de J.-M. De Ketele). Le tout a été travaillé dans le respect de la triple concordance: Objectifs-MéthodologieEvaluation (Tyler). De négative, la perception, le rapport à l’évaluation de l’enseignant est devenue positive. Encore une fois cette recherche individuelle mais partagée avec le groupe a permis de faire progresser la grille. En effet, celle-ci a évolué d’une grille d’évaluation de compétences (moment 0) vers une grille plus fouillée en termes notamment d’indicateurs (moment 1). Ensuite des mises à l’épreuve réelles ont été réalisées. Celles-ci ont nécessité de nouveaux aménagements de grille d’évaluation (moment 2). Pour conclure : Le processus qui conduit de remises en cause en améliorations successives fait partie intégrante du métier d’enseignant. Dans cet esprit, l’évaluation constitue un bon baromètre de la qualité de l’enseignement car « évaluer les élèves c'est évaluer sa propre pédagogie, c'est contrôler qu'un enseignement a été efficace. » C’est ce qui guidera l’enseignant lors des activités à venir. Le bilan mené n’a de valeur qu’en regard des perspectives qu’il ouvre… 311 IMPACT DE L’ORGANISATION DU SECONDAIRE I EN FILIÈRES SUR LA SATISFACTION DES ÉLÈVES (ID 144) DAEPPEN, Karine, Unité de recherche pour le pilotage des systèmes pédagogiques (URSP), (CH) NTAMAKILIRO, Ladislas, Unité de recherche pour le pilotage des systèmes pédagogiques (URSP), (CH) RÉSUMÉ La différenciation de l’enseignement secondaire qui consiste à regrouper les élèves en filières ou en niveaux dans les principales disciplines d’enseignement a un impact sur les caractéristiques socioaffectives des élèves (Ferrara & Friant, 2014 ; Hallan & Ireson, 2007). Notre étude, destinée à évaluer les effets d’une réforme des structures du secondaire I dans le canton de Vaud, aborde cette problématique. La nouvelle loi sur l’enseignement obligatoire du canton de Vaud, mise en œuvre de manière progressive à partir de 2013, apporte d’importants changements, notamment en termes de structure, à l’organisation du secondaire I. Initialement, les élèves étaient répartis dans trois filières: la voie baccalauréat, à exigences élevées, la voie générale, à exigences moyennes, et la voie à options, à exigences élémentaires. Cette dernière voie, moins exigeante en terme de performance scolaire, était parfois connotée négativement auprès du public, y compris auprès des employeurs, et à cet égard jugée stigmatisante pour les élèves. Afin de lutter contre cette stigmatisation, la réforme du secondaire I opère une fusion de la voie à options avec la voie générale et introduit dans la nouvelle voie ainsi créée deux niveaux de compétence – dits « de base » et « supérieur » – en français, mathématiques et allemand. La voie baccalauréat a, quant à elle, été conservée. La procédure d’orientation, dans son entier, a également été modifiée. Jusqu’à présent les élèves étaient orientés sur la base de différents critères, tels que le degré de maîtrise des objectifs du programme, les progrès réalisés au cours du cycle, la capacité à s’adapter à ces nouvelles conditions d’apprentissage et l’attitude face au travail scolaire en général. Dorénavant, seuls les résultats scolaires sont pris en considération, et plus seulement dans les trois disciplines principales, mais également en sciences, en histoire et en géographie. En outre, les résultats aux épreuves externes dans les trois branches principales représentent désormais 30% des moyennes annuelles comptant pour l’orientation dans les voies et les niveaux. Notre mandat de recherche a pour but d’assurer un suivi scientifique de la mise en œuvre de cette réforme et d’en évaluer les effets sur différents aspects du système d’enseignement. Un des aspects pris en compte dans cette étude concerne la motivation des élèves. L’étude permettra de répondre aux questions suivantes : les élèves évoluant dans le nouveau système sont-ils plus satisfaits de leur orientation et plus motivés pour apprendre qu’auparavant ? Leur image de soi estelle meilleure? Pour répondre à ces questions, l’étude s’appuie sur les informations récoltées à l’aide d’un questionnaire de motivation passé à deux reprises à deux volées d’élèves de sept établissements : la dernière volée parcourant le secondaire I sous l’égide de l’ancien système, et la première volée organisée d’après le nouveau système. Chacune des volées se compose d’un peu plus de 1000 312 élèves. Les élèves ont passé le questionnaire la première fois au milieu de leur première année, la deuxième fois au milieu de leur deuxième année secondaire. Trois principaux thèmes sont abordés dans le questionnaire : la satisfaction des élèves vis-vis de leur orientation, leurs attitudes envers l’école et le travail scolaire, et leur image de soi scolaire. Les données relatives aux caractéristiques individuelles des élèves et à leur enclassement proviennent de la base de données du recensement scolaire. Les résultats présentés au congrès de l’ADMEE concernent essentiellement la satisfaction des élèves vis-à-vis de leur orientation évaluée à l’aide des quatre premiers items du questionnaire (Dans quelle voie es-tu ? Es-tu satisfait d’être dans cette voie ? Pourquoi ? Souhaiterais-tu changer de voie ?). Les réponses des élèves des deux volées sont comparées, et l’évolution des réponses données à deux moments séparés d’une année est mesurée à l’aide d’analyses multivariées. Des analyses qualitatives permettent d’étudier les réponses ouvertes du questionnaire. Les résultats indiquent une satisfaction significativement plus importante chez les élèves fréquentant la voie la plus exigeante, celle qui mène à la maturité gymnasiale. Cette satisfaction, essentiellement liée à la représentation d’avenir prometteur associé à cette voie ainsi qu’à sa bonne image, tend toutefois à diminuer une année plus tard. Chez les autres élèves, au contraire, cette satisfaction est en nette progression, quelle que soit la volée considérée. Il semble qu’à une première impression peu positive, pouvant refléter la déception de ne pas avoir réussi à accéder à une voie plus exigeante, succède une seconde impression, améliorée, qui indique tout à la fois un soulagement par rapport au rythme de travail jugé adéquat et une sensation confortable de se sentir à sa place. Un autre résultat montre que les élèves fréquentant la nouvelle voie fusionnée sont plus satisfaits de leur orientation que les élèves, pris ensemble, des anciennes voies générale et à options. Il semble, par conséquent, que les élèves les moins performants préfèrent le regroupement en classes de niveaux au regroupement en filières séparées. Références Hallan, S. & Ireson, J. (2007). Secondary school pupils’ satisfaction with their ability grouping placements. British Educational Research Journal, 33 (1), 27-45. Ferrara, M. & Friant, N. (2014). Les représentations sociales des élèves du premier et du dernier degré de l’enseignement secondaire en Belgique francophone par rapport aux différentes filières. L’orientation scolaire et professionnelle, 43 (4), 497-524. 313 METTRE L’ÉVALUATION AU SERVICE DE L’APPRENTISSAGE DES COMPÉTENCES TOUT EN RESPECTANT LES EXIGENCES DE PERTINENCE, DE VALIDITÉ ET DE FIABILITÉ : LE CAS D’UN ATELIER DE PRISE DE PAROLE EN PUBLIC À HEC-ECOLE DE GESTION DE L’ULG (ID 145) HOMBURG, David, Université de Liège (BE) RÉSUMÉ Dans une approche pédagogique axée sur le développement des compétences, l’évaluation sommative consiste à confronter l’étudiant à des situations complexes demandant de sa part une production elle-même complexe (De Ketele & Gérard, 2005; Tardif, 2006). Pour évaluer ces productions, la théorie classique des scores s’avère inefficace : « il ne sera pas possible de constituer un nombre d’ « items » parce que ceux-ci reviendraient à décomposer la tâche complexe en sousunités, ce qui ne permettrait plus d’évaluer la compétence qui consiste bien à gérer la complexité. » (De Ketele & Gérard, 2005). Dès lors, comment mettre l’évaluation au service de l’apprentissage des compétences tout en respectant les exigences de pertinence, de validité et de fiabilité? Cette communication vise à présenter la manière dont cette question a été abordée au sein de l’atelier « Marquer les esprits grâce à des présentations efficaces », organisé à HEC-Ecole de Gestion de l’Université de Liège. Cet atelier prend place au sein d’un vaste programme de développement des compétences transversales, le Portfolio de Compétences . Ce programme propose un large choix d’ateliers thématiques accompagnant les étudiants tout au long de leur cursus. Ces ateliers sont des modules de quatre demi-journées permettant aux étudiants de se confronter à plusieurs reprises à des situations complexes et de recevoir un débriefing personnalisé de la part d’experts de la thématique abordée. Ce programme, dispensé en petits groupes, se caractérise par une individualisation des enseignements en fonction des écueils rencontrés ou des projets personnels de chacun. Au sein de l’approche-programme (Prégent, Bernard & Kozanitis, 2009) mise en place dans la faculté, l’objectif du Portfolio de Compétences est de doter les étudiants d’outils leur permettant de développer leur compétence sur le long terme. L’atelier « Marquer les esprits grâce à des présentations efficaces », axé sur les techniques de présentations, s’adresse à une quinzaine d’étudiants de bachelier. Au cours de cet atelier, chaque étudiant est amené à réaliser quatre présentations, recevant à chaque fois un débriefing personnel détaillé comprenant des pistes d’amélioration concrètes. Ces débriefings se passent en trois temps : (1) l’étudiant donne son propre ressenti par rapport à sa prestation ; (2) les autres participants donnent leur feedback sur la manière dont ils ont perçu la présentation ; (3) le formateur donne à son tour un avis sur la présentation et fournit des pistes d’actions pour remédier aux éventuels problèmes mis en évidence. Au-delà de la prise de parole en public elle-même, cet atelier aborde donc l’observation critique des présentations d’autrui. Ceci permet aux étudiants de mettre à profit les exposés auxquels ils assisteront par la suite et d’en tirer d’importants enseignements pour leurs propres présentations. 314 Les débriefings faits aux étudiants se basent sur une grille critériée établie par les enseignants dans une logique de développement des compétences (Prégent, Bernard & Kozanitis, 2009 ; Tardif, 2006). Cette grille, communiquée aux étudiants dès la première séance de l’atelier, identifie clairement les aspects considérés dans l’évaluation des présentations (qualité des supports, langage non-verbal, utilisation de la voix, structure de l’exposé, originalité, mise en scène et interactivité), en détaillant pour chacun en une série de sous-critères et en donnant un exemple concret de ce qui est considéré comme « excellent », « satisfaisant » ou « à améliorer » pour chaque critère . Les différents « items » de cette subdivision sont toutefois soumis à un critère « effet global », rendant compte de la complexité propre à l’approche par compétences. Par ailleurs, la pondération de ces différents items n’est pas établie. En effet, leur pondération évoluera de manière individuelle en fonction de la progression des étudiants et de leur niveau de départ. Ainsi, par exemple, un étudiant maitrisant la structuration de ses exposés, mais ayant problème de langage non-verbal verra le poids relatif de ce second critère augmenter. Ceci permet aux enseignants de valoriser les progrès effectués par l’étudiant par rapport à son niveau de départ. Cette personnalisation de l’évaluation permet d’en faire un réel moteur d’apprentissage pour l’étudiant. Nous voyons ci-dessus que la manière dont les étudiants sont évalués au cours de cet atelier est effectivement au service de leur apprentissage. Toutefois, De Ketele et Gérard (2005) établissent que les conditions nécessaires à une évaluation digne de ce nom sont sa validité, sa fiabilité et sa pertinence. Pour établir la validité de ce mode d’évaluation, il faudrait pouvoir comparer, pour un même étudiant, l’appréciation des enseignants pour deux présentations distinctes. La validité serait confirmée si l’appréciation était identique. Bien que cet atelier présente une succession de présentations, celles-ci ne peuvent être comparées. En effet, dans la mesure où l’étudiant bénéficie d’un feedback et de pistes d’amélioration entre les présentations, il semble logique qu’il s’améliore d’une fois à l’autre. Il n’est donc pas possible de mesurer la validité des évaluations de cet atelier. La fiabilité semble plus facile à établir, dans la mesure où deux formateurs sont en charge de ces évaluations. Lors de la quatrième séance de l’atelier, les deux enseignants font chacun une évaluation indépendante. Il est donc possible de comparer les notes des deux enseignants et de voir dans quelle mesure elles coïncident. Si c’était le cas, l’évaluation pourrait être considérée comme fiable. Les données permettant de vérifier cette caractéristique seront récoltées lors de l’atelier du premier quadrimestre 2015-2016, et pourront être présentées au colloque de l’ADMEE. La pertinence du dispositif est identifiée par De Ketele et Gérard (2005) comme l’aspect le plus important dans la validation d’une évaluation dans une approche par compétences. Cette pertinence peut être établie de trois façons : (1) par le paramétrage de la famille de situations évaluées, (2) en analysant les présentations exécutées par les étudiants dans la suite de leurs études et (3) par les témoignages des étudiants et des alumnis de l’institution. En conclusion, le dispositif présenté ci-dessus ne prétend pas fournir une réponse entièrement satisfaisante à la question de recherche posée. Cette communication se veut toutefois une occasion d’ouvrir le débat sur cette problématique passionnante de l’évaluation des compétences. 315 Références De Ketele J.-M. & Gérard F.-M. (2005). La validation des épreuves d’évaluation selon l’approche par les compétences, Mesure et Evaluation en Education, 28, 3,1-26. Prégent R., Bernard H. & Kozanitis A. (2009). Enseigner à l’université dans le cadre d’une approche-programme: Un défi à relever. Québec, Canada: Presses internationales Polytechiques. Tardif, J. (2006). L’évaluation des compétences: Documenter le parcours de développement. Montréal, Canada : Chenelière Education. 316 TENSÕES DE UM AGIR AVALIATIVO EM MUTAÇÃO NA ESCOLA ATUAL (ID 146) SILVESTRE, Maria José, Universidade de Évora, (PT) GOMES, Sónia, Universidade de Évora, (PT) CID, Marília, Universidade de Évora, (PT) SARAGOÇA, José, Universidade de Évora, (PT) FIALHO, Isabel, Universidade de Évora, (PT) RESUMO Este estudo pretende contribuir para a problematização e o enriquecimento do debate académico sobre os efeitos das mudanças, ao nível das políticas de avaliação nas práticas pedagógicas. O seu objetivo central é identificar, descrever e analisar efeitos das medidas de política educativa da última década no agir avaliativo docente. A investigação teve por base a análise de Relatórios da Avaliação Externa de Escolas (AEE), bem como as perceções de docentes dos ensinos básico e secundário sobre a avaliação discente. Metodologicamente, o estudo comporta uma componente empírica, que integrou a análise de conteúdo de Relatórios da AEE de dez unidades de gestão escolares (UGE), com vista à identificação de (boas) práticas ao nível da avaliação das aprendizagens, e a aplicação e análise de questionários a docentes dos ensinos básico e secundário, com vista à clarificação das suas percepções relativamente às práticas assumidas nas escolas, aos problemas, tensões e desafios que se colocam, atualmente, aos práticos. A partir da análise cruzada das informações explícitas e implícitas provenientes dos Relatórios da AEE e dos inquéritos aplicados, procurámos respostas para a questão central do estudo: Quais os principais efeitos das alterações introduzidas nas políticas educativas na última década a nível das práticas pedagógicas avaliativas? Para tal, estabelecemos como objetivos de investigação: (i) Conhecer as percepções dos professores sobre os efeitos das alterações introduzidas nas políticas educativas da última década, a nível das práticas pedagógicas avaliativas; (ii) Identificar eventuais tensões existentes nas escolas, resultantes da avaliação discente; (iii) Identificar boas práticas avaliativas, valorizadas pela Inspeção Geral da Educação e Ciência (IGEC); (iv) Identificar novos desafios que se colocam aos professores, na área da avaliação discente. Centrando-nos no paradigma interpretativista, levámos a cabo uma abordagem mista. Conceptualmente, assumimos que o conhecimento científico emerge, nesta investigação, do resultado das interpretações dos investigadores acerca das perceções manifestadas quer pelos atores escolares (no inquérito por questionário), quer pelas equipas avaliativas (nos relatórios da AEE). Quanto às técnicas de recolha de dados, optámos pelo inquérito por questionário e pela análise documental. Na interpretação dos dados recolhidos seguimos a técnica da análise de conteúdo, a partir da prévia identificação de categorias e subcategorias identificadas numa matriz de categorização. 317 Os critérios de seleção das UGE e dos inquiridos foram os seguintes: (1) UGE avaliadas externamente em dois ciclos avaliativos da AEE; (2) região da área territorial da IGEC; (3) região Alentejo: a área de influência da Universidade de Évora; (4) docentes em exercício de funções em UGE do Alentejo, provenientes de diversos níveis de ensino e grupos disciplinares. O estudo foi realizado em 10 escolas/agrupamentos de escolas do ensino não superior, da região Alentejo. Foram inquiridos 20 docentes, através da aplicação de um inquérito por questionário. A análise dos resultados obtidos através da inquirição permite-nos afirmar que os docentes não se sentem totalmente confortáveis quando têm de avaliar as aprendizagens dos seus alunos, até pela consciência assumida de que toda a avaliação comporta, sempre, algum grau de subjetividade e o risco de alguma “injustiça”. Contribuem para esse desconforto: (1) a contínua alteração à legislação; (2) a inexistência de práticas de acompanhamento/supervisão da avaliação discente; (3) a submissão a critérios de avaliação, definidos pelos conselhos pedagógicos, nem sempre totalmente compreendidos; (4) o isolamento da profissão docente e a ausência ou insuficiente reflexão e debate nas estruturas intermédias, sobre as questões da avaliação das aprendizagens; (5) o efeito normativo da avaliação sumativa externa; (6) a crescente heterogeneidade das turmas, aliada ao excessivo número de alunos por turma; (7) a extensão e desarticulação sequencial dos programas das disciplinas, em contraponto com a escassez de horas letivas semanais; (8) a dificuldade de articulação da avaliação formativa com a avaliação sumativa interna. A análise dos Relatórios da AEE, nos dois ciclos avaliativos, permitiu-nos verificar que os relatórios mais recentes identificam um maior número de UGE com boas práticas avaliativas: (1) a conjugação das modalidades diagnóstica, formativa (esta “realizada de forma contínua e sistemática”) e sumativa na avaliação dos alunos, cada uma com papel preponderante na regulação das aprendizagens; (2) as práticas colaborativas entre docentes (de modo a uniformizar procedimentos, instrumentos e critérios) que garantem a equidade do processo avaliativo; (3) “o recurso regular à auto e à heteroavaliação, bem como a avaliação global do grupo, efetuada em conselho de docentes” enquanto mecanismos que atribuem consistência ao processo avaliativo na educação pré-escolar; (4) “o uso difundido, por parte dos docentes, de uma folha de cálculo com as ponderações dos diferentes instrumentos usados [na avaliação sumativa] e que é divulgada aos alunos” enquanto mecanismo que confere rigor, equidade e transparência ao processo; (5) a reflexão permanente sobre o processo avaliativo bem como a supervisão da aplicação dos critérios de avaliação nas estruturas intermédias; e (6) “a avaliação sumativa trimestral [que] tem como referência as metas de sucesso estabelecidas para cada disciplina”, permitindo “uma monitorização mais objetiva dos resultados e das estratégias implementadas e a sua reformulação”. Todavia, como aspetos menos conseguidos ao nível da avaliação dos alunos foram referenciados: (1) a “atuação divergente dos docentes”; (2) a não generalização de práticas colaborativas (regulares e sistemáticas) que garantam a adoção de “mecanismos de calibragem dos instrumentos de avaliação” e que permitam “aquilatar do grau de coerência entre práticas de ensino e os resultados alcançados”, imprimindo confiança à avaliação interna e aos resultados escolares; e, por último, (3) o facto de a avaliação formativa não ser “assumida, na generalidade, como mecanismo para a monitorização do currículo e para a eficácia das práticas letivas”. Pelo exposto, transparece que na escola atual, na última década, o agir avaliativo dos docentes tem vindo a sofrer alterações (muitas delas potenciadas pelas opções do poder político), ainda que efetivamente persistam no tempo grande parte das tensões que têm dificultado a implementação 318 de uma avaliação ao serviço da retificação de procedimentos e do reajuste do ensino em função dos objetivos fixados. 319 RHÉTORIQUE DE LA PROFESSIONNALISATION ET ÉVALUATION DES COMPÉTENCES EN FORMATION DES ENSEIGNANTS (ID 148) PERRIN, Denis, HEP-BEJUNE, (CH) RÉSUMÉ Rhétorique de la professionnalisation et évaluation des compétences en formation des enseignants Depuis quelques années, le concept de professionnalisation est réinterrogé de façon critique par les milieux de la recherche et les milieux professionnels. Les membres de l’unité de recherche « professionnalisation de la formation des enseignants et recomposition identitaire » de la HEPBEJUNE se penchent également sur la question, principalement dans le cadre d’un projet financé par le FNS. L’éventail considérable des problématiques englobées dans cette thématique amène les chercheurs de l’UR à travailler en plusieurs équipes qui traitent séparément de certaines d’entre elles afin que leurs résultats fassent avancer la réflexion commune. Depuis quelques mois, je me préoccupe avec Patrick Studer, chercheur à l’Université de Zurich et membre de l’UR, de comparer les dispositifs de formation en hautes écoles et à l’université des enseignants suisses. Les difficultés méthodologiques liées aux recherches comparatives nous ont amenés à analyser un corpus de textes qui sont à la base de la création et du fonctionnement d’une dizaine d’institutions de formation suisses. Ce corpus a été constitué à partir d’un outil au service de l’analyse comparée des institutions qui doit faciliter les choix des chercheurs et leur permettre « d’élaborer une vision distanciée des institutions» (Stumpf, Joliat & Perrin, 2015, en cours de publication, p. 6). 320 « Cette matrice permet de mieux identifier les mises en rapport possibles, intra et/ou intercomposantes, en fonction des objets de recherche construits par les chercheurs, de leurs objectifs et des cadres théoriques qu’ils convoquent » (Op.cit, p.5). À partir de cette modélisation institutionnelle, nous avons choisi de comparer des textes de niveaux 1 (écrits officiels de politique institutionnelle) et 2 (écrits intermédiaires de pilotage opérationnel de la formation). Les nouvelles institutions de formation professionnalisantes suisses, sont au bénéfice d’un mandat officiel de recherche et de développement professionnel qui marque une différence fondamentale avec les anciens séminaires de formation (écoles normales). Dans un contexte sémantique flou de la notion de professionnalisation, si recherche et développement professionnel sont identifiables formellement en tant qu’entités spécifiques de formation, leurs conceptions officielles en tant qu’instruments de la professionnalisation ne montrent pas une étroite cohérence conceptuelle. Elles se placent ainsi au cœur du débat où s’opposent des idées contradictoires sur le rôle que les sciences et la théorie devraient jouer dans la formation des futurs professionnels de l'enseignement et plus spécifiquement dans l’interface entre théorie et expérience professionnelle. Ainsi, nous avons opté pour un cadre théorique issu de la linguistique nous permettant d’analyser les contradictions conceptuelles contenues dans les textes choisis. Les contradictions informent le comportement humain et sont nécessaires à la pensée humaine. Elles sont une clé de l’élaboration des systèmes de formation et révélatrices de la pensée des décideurs et des dirigeants d’institutions de formation (Studer, 2012). Selon Studer toujours, « Les concepts imprègnent le discours et le discours imprègne les concepts: il semble évident qu'il existe une forte interaction entre les deux phénomènes analytiques » (2012, p. 124). Studer cite l’exemple de la devise européenne – l’unité dans la diversité – qui est fondée sur une contradiction qui forme la toile de fond conceptuelle de 321 l’élaboration des politiques de l’UE. Elle permet par exemple aux uns de manifester un intérêt politique pour le développement de l’apprentissage des langues et à d’autres de revendiquer pour affirmer leurs droits linguistiques. Les contradictions conduisent ainsi à des luttes, voir des luttes de pouvoir entre acteurs et amènent des stratégies de résolution qui ne sont pas toujours aisées à accepter dans les milieux de la formation. On peut citer ici des luttes entre politiques de la formation et politiques de la profession. Les analyses sont en cours et nous ne pouvons encore en exposer les résultats ici. Tout au plus pouvons-nous donner une tendance générale. Elles montrent que la contradiction inhérente entre théorie et pratique subsume la plupart des autres. Elles montrent aussi que l’esprit scientifique est souvent recalé au profit de la pratique et une tension forte entre progrès (théorie, complexité, management, besoins de la formation) et status quo (pratique, simplicité, praticiens, besoins des étudiants). La résolution de cette dernière contradiction se joue au niveau de l’individu : il doit être réflexif et doit prendre l’initiative. Pour cette présentation, et considérant que l’évaluation des compétences et de l’expérience professionnelles sont une des clés de voûte du processus de professionnalisation, j’orienterai mes analyses afin de mettre en tension contradictions de la rhétorique des décideurs et contradictions identifiées dans les dispositifs d’évaluation de deux domaines de formation de la HEP-BEJUNE : la recherche et la pratique, plus spécifiquement ciblée sur les analyses des pratiques professionnelles. Mes questions générales peuvent être formulées ainsi : retrouve-t-on les mêmes types de contradictions dans les documents de niveau 3 (écrits d’opérationnalisation de la formation) et dans ceux de niveau 1 et 2 en ce qui concerne l’évaluation des compétences professionnelles ? quelles sont les stratégies de résolution de ces contradictions identifiables dans les documents et dans les pratiques réelles ? qu’amènent-elles en terme d’évolution de l’évaluation des compétences et de l’expérience professionnelles ? La méthodologie se fonde sur l’analyse de textes institutionnels de différents niveaux (politique, stratégique, opérationnel). Ma présentation sera orientée sur la définition du cadre conceptuel d’analyse, sur la présentation des résultats de ces analyses et sur leur mise en perspective avec l’amélioration des postures évaluatives institutionnelles. Références Studer, P. (2012). Conceptual contradiction and discourses on multilingualism. In P. Studer & Y. Werlen (dir). Linguistic Diversity in Europe. Current Trends and Discourses (pp. 115-136). Berlin/Boston : Walter de Gruyter GmbH & Co. 322 A UTILIZAÇÃO DE NOVAS MODALIDADES DE AVALIAÇÃO DA APRENDIZAGEM E SUA IMPORTÂNCIA PARA UMA TRAJETÓRIA DE TRABALHO HARMONIOSA DOS PROFESSORES: A EXPERIÊNCIA DO QUEBEC (ID 149) COSTA, Carla Barroso da, Université du Québec à Montréal, (CA) RESUMO Desde os anos 1990, a educação no Quebec passou por várias reformas a fim de revitalizar e adaptar-se, de forma eficaz, às tendências atuais da formação por competências: a construção de um saber sólido vinculado às situações reais de aprendizagem, bem como a participação consciente e sistemática dos alunos em suas próprias avaliações. Este novo contexto tem levado a uma rápida mudança nos processos de avaliação da aprendizagem das escolas do Quebec, tanto no que diz respeito ao ensino primário como também ao ensino secundário. Assim, certas modalidades de avaliação ditas inovadoras são cada vez mais utilizadas em sala de aula, como é o caso do portfolio, dos trabalhos em grupo ou das situações de avaliação de tarefas complexas (Lakhal, Frenette e Sevigny, 2012), além das auto-avaliações feitas pelos alunos e das coevaluações realizadas entre os alunos, assim como entre os alunos e os professores. Diversas pesquisas sugerem uma relação importante entre a utilização de novas modalidades de avaliação e a performance ou sucesso escolar dos alunos (Guay, 2012; Talbot, 2011; Champlain, 2011; Rousseau e Vézina, 2007). No entanto, a questão advinda da leitura desses estudos era: o que se sabe da relação entre a utilização de métodos inovadores de avaliação e os aspectos que definem o engajamento profissional dos professores, como o sentimento de competência e as emoções vividas em classe? Em uma análise da literatura, encontraram-se alguns estudos que se interessavam pela relação entre a capacidade de desenvolver avaliações pertinentes e significativas às competências profissionais dos professores, como é o caso da pesquisa feita por Fontaine, Savoie-Zajc e Cadieux (2013). Esta pesquisa, por exemplo, tinha por objetivo a consolidação de competências pedagógicas à partir da utilização de práticas avaliativas geradoras de uma dinâmica coformativa entre professores e alunos. No entanto, a percepção dos professores quanto aos aspectos que contribuem ao engajamento profissional e a sua relação com a prática avaliativa aplicada em classe foi detectada como algo ainda pouco explorado, constituindo-se assim em um tema de pesquisa cientificamente pertinente. Definido como uma identificação psicológica estabelecida pelo indivíduo em relação a sua profissão, o engajamento profissional é construído com base em uma ligação emocional do indivíduo à sua profissão (Blau e Holladay, 2006; Cooper e Viswesvaran-Hakim, 2005; Duchesne et ai, 2005; Lee et ai, 2000). Neste sentido, aqueles que se identificam com sua profissão tendem a ter uma experiência profissional baseada em uma quantidade maior de experiências positivas do que aqueles que se dizem não identificar com sua profissão. A pesquisa realizada por Barroso da Costa (2014) identificou diversos aspectos ligados ao engajamento profissional dos professores, entre eles o sentimento de competência e as emoções vividas em classe. De acordo com a teoria sócio-cognitiva de Bandura (1997), o sentimento de competência é uma percepção pessoal sobre a própria capacidade a organizar e executar as tarefas específicas de uma profissao e de atingir um determinado nível de desempenho. No caso dos professores, o sentimento de competência pode estar relacionado à capacidade de conduzir processos pedagógicos, incluindo as práticas de 323 avaliação, assim como a percepção de contribuir com o sucesso escolar dos alunos (Friedman e Kass, 2002). Paralelamente, ensinar é uma tarefa que apresenta uma forte carga emocional, podendo ir da extrema devoção à raiva e intolerância (Zembylas, 2003). Não há dúvida de que na prática da profissão do ensino a emoção ocupa uma posição central e que pode ser alterada por diferentes motivos, incluindo às modalidades de avaliação empregadas pelo professor durante o processo ensino-aprendizagem. Assim, o objetivo desta pesquisa é o de analisar a freqüência de uso de novas modalidades de avaliação e sua ligação com as experiências emocionais em sala de aula e os sentimentos de competência para ensinar. O estudo, do tipo quantitativo, foi desenvolvido junto a 1 205 professores de escolas primárias e secundárias do Quebec. A pesquisa consiste em análises secundárias dos dados vinculados a uma sondagem pan-canadense junto a professores do ensino primário e secundário, realizada em 2006 por uma equipe de pesquisadores de diversas universidades canadenses (Kamanzi et al., 2008) e desenvolvida à partir de um questionário autoadministrado. Inicialmente, análises fatoriais exploratórias e confirmatórias foram desenvolvidas no intuito de verificar a consistência dos fatores. Em seguida, modelagens de equações estruturais foram conduzidas para examinar o modelo teórico em questão. Os resultados mostram uma associação positiva da utilização de novos métodos de avaliação com as experiências emocionais positivas em sala de aula e com o sentimento de competência dos professores. Assim, os professores que afirmam utilizar frequentemente novos métodos de avaliação da aprendizagem são aqueles que mais apreciam a relação estabelecida com seus alunos. Da mesma forma, o uso dessas novas modalidades de avaliação está relacionado à uma percepção mais positiva por parte dos professores sobre a sua própria capacidade de organizar e executar as tarefas específicas da profissão. Finalmente, os métodos de avaliação que permitem a regulação da aprendizagem sugerem uma importante conexão com uma experiência profissional harmoniosa e engajante dos professores. É importante ressaltar que os dados utilizados impõem limites ao estudo, na medida em que um tempo razoável entre a coleta dos dados e as análises dos mesmos pode ter tido influência na prática de avaliação dos professores e mudado alguns aspectos. Além disso, a pesquisa utilizou-se de uma base de dados não concebida para produzir escalas de medida visando confirmar modelos teóricos, num contexto de causalidade, como é o caso do presente estudo. Assim, várias variáveis que inicialmente eram tidas como interessantes, não se ajustaram ao modelo e tiveram que ser retiradas, reduzindo o número de itens dos fatores analizados. No entanto, acredita-se que esses limites citados não impedem de retirar dessas análises indicações importantes, como o fato de que as modalidades de avaliação da aprendizagem adotadas pelos professores podem interferir na trajetória de trabalho do professor em classe. Os resultados da pesquisa tendem a ser extremamente úteis aos gestores de escolas, no sentido de promover a utilização de avaliações inovadoras objetivando a performance escolar dos alunos, bem como o engajamento profissional dos professores. 324 LES ENSEIGNANTS DÉBUTANTS DU CANTON DE FRIBOURG ET L’ÉVALUATION SOMMATIVE: ENTRE PRESCRIPTIONS ET PRATIQUES RÉELLES (ID 150) LUISONI, Marc, Haute école pédagogique de Fribourg, (CH) MONNARD, Isabelle, Haute école pédagogique de Fribourg, (CH) RÉSUMÉ Dans des systèmes scolaires à qui on demande avant tout d’être « efficaces » (Carette, 2008), la mise en pratique de l’évaluation instituée, formative ou par tâche complexe par exemple peine à se généraliser, même si ces concepts sont largement travaillés lors de la formation initiale des enseignants. Dans la perspective de mettre en place des pratiques innovantes, il est alors indispensable de travailler les croyances à propos de l’évaluation pour permettre aux futurs enseignants de passer de croyances ancrées sur leurs expériences à une conception qui considère l’évaluation comme un processus complexe orientant son enseignement. Le rôle de la formation dans cette évolution n’est pas encore clair ; Graham (2005) a montré que le maître de stage joue un rôle déterminant dans cette évolution, plus que les cours ou autres dispositifs dont l’influence semble moindre. On peut alors s’interroger sur la pérennité d’une telle évolution et le risque que le choc avec la réalité ne fasse ressurgir les anciennes conceptions chez les étudiants débutants. La formation initiale dispensée par la Haute école pédagogique de Fribourg en Suisse propose aux étudiants des dispositifs qui doivent leur permettre, entre autres, de développer leur compétence à « évaluer la progression des apprentissages et le degré d’acquisition des savoirs et des compétences des élèves » (Haute école pédagogique, Fribourg, 2011). Construite autour de trois dispositifs différents – des cours, des ateliers et des stages – la formation vise à la fois une maîtrise des concepts autour de l’évaluation et une mise en œuvre adéquate de celle-ci. Dans un cursus qui favorise l’alternance, les éléments conceptuels abordés dans l’institution de formation vont être confrontés aux pratiques réelles développées par exemple lors des stages. Ce cursus, construit dans une perspective constructiviste, accorde une grande importance à la prise en compte et à la déstabilisation des conceptions des étudiants. Le questionnement général de nos travaux s’intéresse aux pratiques des enseignants formés à la Haute école pédagogique de Fribourg durant leurs premières années d’exercice et plus particulièrement à la manière dont ils articulent leurs conceptions de l’évaluation et les missions parfois contradictoires de l’école qui doit à la fois assurer l’apprentissage pour tous et remplir son rôle implicite de sélection. Ces enseignants débutants doivent jongler dans cette phase de tâtonnement (Huberman, 1989) entre ce qu’ils ont appris en formation initiale et la réalité du métier. Le passage du statut d’étudiant à celui d’enseignant les oblige à concilier les apprentissages réalisés en formation initiale et le milieu professionnel (Perez-Droux, 2007). Pour élaborer leurs évaluations sommatives, ils sont ainsi confrontés à des référentiels multiples (Mottier Lopez & Allal, 2008) : contraintes institutionnelles, valeurs personnelles, conceptions de l’évaluation, culture de l’établissement, interactions avec les collègues... Ces éléments influencent l’action des enseignants et en ce sens correspondent à des prescriptions intégrées par l’acteur et participant à construction du sens autour de sa propre action (Dubet, 1994). Diverses sources de tensions ont ainsi pu être mises en évidence chez les jeunes enseignants novices interrogés dans le cadre de nos travaux 325 (Monnard & Luisoni, 2015). Elles s’organisent autour de trois axes, dont deux polarisés. Le premier, que nous avons intitulé « perspective métier », regroupe les influences exercées d’un côté par les collègues et de l’autre par l’institution. Le deuxième axe d’influence concerne les usagers de l’école autres que l’enseignant, à savoir à une extrémité les parents, à l’autre les élèves dont il s’agit de tenir plus ou moins compte lorsqu’on élabore une épreuve. Finalement, un troisième axe d’influence se dégage. Nous l’avons intitulé « perspective profession » dans le sens où il nécessite le recours à des savoirs savants et un haut niveau d’abstraction. On trouve dans ce troisième axe non polarisé l’influence exercée par la formation et les compétences réflexives. L’étude présentée dans cette communication s’intéresse aux pratiques déclarées d’évaluation sommative d’enseignants pratiquant depuis trois à quatre ans en référence aux diverses prescriptions auxquelles ils sont soumis. Notre objectif est de comprendre comment ces prescriptions parfois contradictoires s’actualisent dans les outils d’évaluation sommatives élaborés par les enseignants novices. Méthode Cette recherche réalisée dans une perspective exploratoire s’inscrit dans une approche qualitative dans laquelle les allers retours entre récolte, analyse de données et élaboration conceptuelle sont constants. Pour réaliser des profils d’enseignants novices à partir des prescriptions auxquelles ils sont les plus sensibles et identifier leurs pratiques déclarées nous avons mené des entretiens compréhensifs semi-structurés avec sept d’entre eux. Le protocole propose au sujet de s’exprimer, dans un premier temps, à partir d’une évaluation sommative choisie sans contrainte et utilisée en classe, puis dans un deuxième temps de manière plus générale sur quatre thématiques : l’élaboration et la qualité de l’outil, la correction des épreuves, le rapport au contexte et les arrangements entre pratique souhaitée et pratique réelle. Pour mieux comprendre le lien entre les pratiques réelles et les profils d’enseignants réalisés à partir des prescriptions, nous avons récolté les outils présentés dans le premier temps et une série d’autres qu’ils nous ont mis à disposition. Résultats Les analyses du discours des enseignants novices ont permis d’identifier les sources de prescription qui les influencent le plus dans leurs pratiques d’évaluation en général et dans l’évaluation sommative en particulier. En confrontant ces prescriptions aux trois perspectives décrites plus haut, nous avons pu mettre en évidence différents profils d’enseignants. Certains se positionnent clairement à l’extrémité d’un axe, sans influence des deux autres, tandis que d’autres subissent plusieurs types d’influences à des degrés divers. L’analyse des évaluations produites par les novices au regard des profils identifiés permet de mettre en lumière les ajustements réalisés par les novices quand ils élaborent leurs évaluations. Elle apporte également un éclairage supplémentaire à la compréhension de l’évolution des conceptions durant les premières années de pratique. 326 Références Carette, V. (2008). Les caractéristiques des enseignants efficaces en question. Revue française de pédagogie. Recherches en éducation, (162), 81-93. http://doi.org/10.4000/rfp.851 Dubet, F. (1994). Sociologie de l’expérience. Paris: Editions du Seuil. Graham, P. (2005). Classroom-based assessment: Changing knowledge and practice trough preservice teacher education. Teaching and Teacher Education, 21, 607-621. Haute école pédagogique, Fribourg. (2011). Référentiel de compétences de la HEP FR. Consulté à l’adresse http://www.hepfr.ch/sites/default/files/referentiel_standards_hep_ph_fr_fr-dt_18-03-11_0.pdf Huberman, M. (1989). La vie des enseignants. Neuchâtel: Delachaux et Niestlé. Monnard, I., & Luisoni, M. (2015, janvier). Pratiques d’évaluation sommative d’enseignants primaires débutants du canton de Fribourg (Suisse). Communication présenté à 27e colloque de l’ADMEE Europe, Liège. Consulté à l’adresse http://admee2015.sciencesconf.org/ Mottier Lopez, L., & Allal, L. (2008). Le jugement professionnel en évaluation: un acte cognitif et une pratique sociale située. Revue suisse des sciences de l’éducation, 30(3), 465-482. Perez-Droux, T. (2007). Prendre en compte la diversité des élèves au collège: entre discours et pratiques des enseignants-stagiaires en institut universitaire de formation des maîtres. Les Sciences de l’éducation Pour l’ère nouvelle, 4(40), 107-134. 327 DE LA CO-EVALUATION A L’AUTO-EVALUATION: ACTIONS ET PERCEPTIONS DANS UNE CLASSE DE FLE (ID 151) VITALE, Margherita, Scuola Secondaria di I Grado «Materdona-Moro» (IT) RESUME Cette étude de cas rend compte d’un premier parcours vers l’apprentissage à s’auto-évaluer dans une classe de cinquième. L’expérience s’est déroulée pendant les cours de Français Langue Etrangère et visait à rendre les collégiens de plus en plus conscients de leurs éventuels progrès dans la discipline. Le contexte scolaire italien n’est ni habitué, ni organisé pour l’auto-évaluation, étant l’évaluation une prérogative de l’enseignant, ainsi vue et vécue par les étudiants aussi. Le problème qu’on relève de ce type d’ approche, c’est que les étudiants ont peu de conscience soit de leur réels connaissances et habilités soit de la manière d’être évalués. En partant d’une réflexion faite par chaque collégien sur son style d’apprentissage et sa méthode d’étude, on est passé à une forme d’explicitation, à travers la création d’une sorte de portfolio d’apprentissage en utilisant une sorte de gommette de réussite et des perceptions qu’ils avaient à l’égard de leurs performances. Donc d’une forme passive à une forme plus active, même à travers des formes d’auto-questionnement. Leurs performances ont été aussi évaluées par l’enseignant, en faisant ainsi une comparaison entre ce qui est la perception des élèves et la réalité. Avec cette expérience, on a cherché à passer d’ une forme d’évaluation qui semble comme faite par l’ « enseignant-tout-puissant » et donc sans aucune possibilité de contradiction, à une forme de co-évaluation, enseignant-collégien, et autoévaluation de la part des étudiants à fin de faire leur rendre compte s’il y avait des progrès, si la méthode d’étude utilisée était utile pour les buts à atteindre, s’il y avait des ajustements à faire. Introduction Cette étude de cas rend compte d’un premier parcours vers l’apprentissage à l’auto-évaluation dans une classe de cinquième. L’expérience s’est déroulée pendant les cours de Français Langue Etrangère en Italie et visait à rendre les collégiens de plus en plus conscients de leurs éventuels progrès dans la discipline. L’emploi du temps du collège prévoit l’enseignement du Français pour 2 heures hebdomadaires. Le niveau à atteindre à la fin du collège c’est A1 du CECR. Le contexte scolaire italien n’est ni habitué, ni organisé pour l’auto-évaluation, étant l’évaluation une prérogative de l’enseignant, ainsi vue et vécue par les étudiants aussi. L’idée de commencer un parcours de ce type vient du constat que les étudiants ont peu de conscience soit de leur réels connaissances et habilités, soit de la manière d’être évalués. En effet, d’habitude les étudiants sont des protagonistes passifs et ne participent pas du procès de décision de l’enseignant soit en ce qui concerne les objectifs, soit au choix des critères d’évaluation. En partant des considérations de deux scientifiques, « même l’évaluation faite par le professeur devient une forme d’auto-évaluation pour les élèves » (Allal, 1993) et « l’auto-évaluation s’apprend donc, comme toute autre discipline» (Vial, 2009), on a réfléchi et on a pensé d’approcher une méthode différente d’évaluer les performances des collégiens : en effet, on a introduit des activités qui obligeaient les élèves à une majeure réflexion sur leur travail et donc commencer à leur apprendre des formes d’auto-évaluation. 328 Déroulement du travail Après avoir pris conscience qu’il y avait des problèmes dans les résultats des étudiants aux tests, malgré leurs efforts, on a établi de commencer un parcours pour les mener à une forme d’autoévaluation en passant par une co-évaluation faite avec l’enseignant. Phase 1 : Le premier pas a été celui d’établir leur style d’apprentissage et leur méthode d’étude à la maison. Cette première enquête, à travers un simple test, est servie pour se rendre compte si les élèves avaient un style plus visuel ou auditif, global ou analytique, etc. La réflexion sur ces aspects servait à l’enseignant pour choisir des différents types d’activités à proposer et aux collégiens à leur faire comprendre quels étaient leurs styles et comment dérouler les différents types d’activités. En outre, à travers des descriptions libres faites par eux, on a remarqué qu’ils tendaient à faire les activités écrites sans avoir cherché à comprendre les règles de fonctionnement de la langue, soit au niveau lexical soit au niveau grammatical. Le test, très simple mais qui demandait une certaine réflexion de la part des collégiens, était composé par 4 parties relatives aux quatre groupes de styles, et chaque partie présentait, 2 ou 3, situations entre lesquelles choisir les plus représentatives de sa propre manière de travailler et étudier. A la fin du test chacun devait collecter les réponses qui définissaient les différents profils. Les styles d’apprentissages ont été considérés selon la classification suivante : VISUEL : ceux qui ont un style d’apprentissage défini visuel préfèrent apprendre en regardant des images, des graphiques. AUDITIF : ceux qui ont un style auditif préfèrent écouter des explications, lire à voix haute. KINESTHÉSIQUE : ceux qui sont kinesthésiques apprennent en faisant ; avec des activité pratiques et ils s’expriment en utilisant même les gestes. ANALYTIQUE : les personnes analytiques ont besoin d’analyser attentivement tous les aspects de la langue ; quand ils lisent ou ils écoutent un texte il leur faut de comprendre le sens de tous les mots. GLOBAL : pour ceux qui ont un style global est suffisant de comprendre le sens général de ce qu’ils lisent ou écoutent. Ils préfèrent apprendre des mots plutôt que la grammaire. RÉFLEXIF : les personnes qui ont ce style veulent du temps pour tout organiser ; ils n’aiment pas prendre des risques ; ils cherchent à dire et écrire des phrases grammaticalement correctes. IMPULSIF : ceux qui ont ce style considèrent important de s’exprimer spontanément et se faire comprendre sans trop penser à la forme; ils n’aiment pas si l’enseignant les interrompt pour les corriger. INDIVIDUEL : ce sont les personnes qui aiment travailler et s’organiser tous seuls. Ils aiment que leurs rythmes et leurs temps soient respectés et préfèrent réfléchir en solitude. GROUPE : ils préfèrent travailler en groupe. Ils aiment discuter et se confronter avec les autres et ils comprennent que partager le travail aide à obtenir plus rapidement des résultats. TEST sur les Styles d’Apprentissages : 329 Les cinq premières questions servaient à établir si l’élève avait un style Auditif, Visuel ou Kinesthésique. En classe je préfère : Lire un texte, observer images et graphiques. Écouter l’enseignant, écouter des conversations enregistrées, faire des exercices de prononciation. Participer à des activités qui demandent de faire des recherches, visiter des lieux, interviewer des personnes. Pendant la leçon, je trouve plus utile Prendre des notes. Écouter attentivement. Intervenir en demandant des exemples pratiques Quand je fais les devoirs à la maison, je préfère : Lire silencieusement. Lire à voix haute. Bouger pendant que j’étudie Je rappelle mieux les mots si Je les lis et les écris plusieurs fois Je les entends et les répète à voix haute ou mentalement Je les utilise dans des jeux, ou des activités concrètes comme des représentations théâtrales Quand je fais un exercice, je trouve plus utile : Lire personnellement les consignes. Que quelqu’un m’explique ce que je dois faire Que quelqu’un me montre ce que je dois faire avec des exemples. Plus de réponses A indiquaient un style Visuel ; plus de réponses B indiquaient un style Auditif ; plus de réponses C indiquaient un style Kinesthésique. Trois questions pour établir si l’élève avait un style Analytique ou Global À la maison, quand je fais les devoirs : 330 J’ai besoin de silence, je ne vaux pas être dérangé. J’aime écouter de la musique En classe, pendant que je lis ou j’écoute un texte en français : Ne pas comprendre chaque mot m’irrite. Je veux comprendre surtout le sens général. Selon moi, c’est plus important : Étudier la grammaire. Apprendre plus de mots Plus de réponses A indiquaient un style Analytique ; plus de réponses B indiquaient un style Global Trois questions pour établir si l’élève avait un style Réflexif ou Impulsif À la maison : J’organise mon temps de manière précise : j’établis les heures pour les devoirs et celles pour les autres activités Je préfère ne pas planifier en avance comment utiliser mon temps. À l’école, pendant un devoir en classe : Je fais les exercices dans l’ordre où ils sont présents sur la copie. Je préfère ne pas suivre l’ordre où ils sont présents sur la copie. Quand je parle français : Je ne me sens pas dérangé si l’enseignant interrompt pour corriger mes fautes Je préfère finir ce que je dois dire, même si je me rends compte que je fais des fautes Plus de réponses A indiquaient un style Réflexif ; plus de réponses B indiquaient un style Impulsif . Trois questions pour établir si l’ élève préfère le travail individuel ou de groupe J’apprends mieux : Tout seul, à la maison 331 En classe avec le professeur et les camarades Quand j’accomplis une tâche : Je préfère le faire individuellement Je préfère pouvoir consulter un copain En classe, pendant un travail en groupe : J’ai des difficultés à me concentrer et j’ai l’impression de perdre du temps J’ai l’impression que la collaboration avec les autres me fais gagner du temps Plus de réponses A indiquaient que l’élève préfère le travail Individuel ; plus de réponses B indiquaient que l’élève préfère le travail en Groupe. Figure 1 : Adapté et traduit de Bruneri R.(2005). Salut, les copains – Livret d’Orientation Voilà les résultats. En ce qui concerne la première partie : Visuel Audi˜f Kinesthésique 19% V-A A-K 19% 19% 24% 19% Figure 2 : Résultats 1 ère partie du test. Les résultats du graphique montrent qu’il y a des élèves qui se partagent entre les styles Visuel – Auditif (V-A) et des autres entre le styles Auditif – Kinesthésique (A-K). Cela ne doit pas apparaître étrange pour au moins 2 raisons : En général on parle de style d’apprentissage prédominant, on les possède tous, mais on préfère en utiliser l’un ou l’autre, certaines fois par rapport à la situation. Le test ne pouvait pas tenir compte de toutes les situations possibles, car cela aurait été très long et d’un certain point de vue inutile si l’on considère que les élèves avaient 12 ans et donc en pleine évolution. Un autre aspect à relever c’est que si l’on considère la pourcentage des élèves qui ont un style totalement Auditif et on y ajoute celle des V-A et des A-K, on pourrait supposer que la manière de leçon que la plupart d’eux préfère c’est celle traditionnelle : le prof qui explique et eux, les élèves qui écoutent . Ou peut-être que cela dépend de l’habitude à avoir ce type de leçon depuis l’école primaire. 332 La deuxième partie a donné ces résultats : ANALYTIQUE GLOBAL 29% 71% Figure 3 : Résultats de la deuxième partie du test. Les résultats de la troisième partie : RÉFLEXIF IMPULSIF 48% 52% Figure 4 : Résultats de la troisième partie du test. Les élèves sont bien partagés entre les deux. Enfin, la quatrième partie : INDIVIDUEL EN GROUPE 29% 71% Figure 5 :Résultats de la quatrième partie du test. 333 La plupart des élèves préfère et trouve plus utile travailler en groupe. Phase 2 : En relevant que les élèves avaient des gros difficultés à comprendre des passages logiques dans le règles de fonctionnement de la langue, surtout grammaticales, on a utilisés des diagrammes de flux utilisés dans la programmation informatique, schématisant les règles des plus simples aux plus complexes, pour les habituer à un apprentissage raisonné et pas seulement mnémonique qui ne garantit pas une réelle acquisition. Voilà un exemple. 334 START Input NON COD avant l’Aux . OUI Aux NON ÊTRE NON OUI Sujet Pluriel OUI OUI NON COD Fé m NON NON Féminin OUI OUI Fé m Sing NON OUI COD Sing PP +S PP +S PP +E PP + ES PP +S NON Féminin OUI PP +E END Figure 6 : Diagramme de flux pour la règle de l’accord du Participe Passé Comme déjà relevé, (Vitale, 2015) au-delà de l’évidente complexité dans l’explicitation, les schémas, produits à plusieurs reprises et améliorations de la part des élèves, ont mis en évidence que ce genre de réflexion les a aidés beaucoup à s’orienter dans une règle qui, même si apprise et identique à la correspondante règle de l’italien, dans ce cas, présente beaucoup de facteurs à tenir en considération. 335 L’expérience a permis aux élèves de s’auto-évaluer sur deux plans : 1. En effet, si le diagramme ne marchait pas, alors il y avait de manques de connaissances, ou des pas donnés par escomptés et donc ils allaient réviser la règle dans le manuel. 2. Ils ont pu se rendre compte s’ ils avaient effectivement compris le fonctionnement de la règle. Phase 3 : On a décidé d’implémenter une sorte de portfolio d’apprentissage. La Loi n. 53 du 28 mars 2003, dite Riforma Moratti, prévoyait déjà l’introduction d’un Portfolio de compétences qui devait remplacer, au fait, le bulletin scolaire. Pour le collège il était constitué de plusieurs parties : Matériaux produits par l’élève, seul ou en groupe, capables de mettre en évidence les plus remarquables compétences du sujet. Des épreuves scolaires significatives par rapport à la maîtrise des objectifs d’apprentissage selon les contextes et les situations. Les observations des parents et des enseignants sur les méthodes d’apprentissage de l’ élève. Commentaires sur des travaux choisis par les élèves, par les parents et par les professeurs, manifestants ses capacités et ses aspirations personnels. Indications nées des observations continues, des rencontres professeurs-parents, des interviews avec les élèves, des tests et questionnaires par rapport aux attitudes et intérêts personnels L’ idée sous-jacente était de mettre en évidence les succès plus que les échecs. Le projet a été abandonné pour des différents raisons, comme par exemple la responsabilité de la compilation du portfolio par un seul enseignant tuteur, ce qui provoquait d’une part le risque de mettre dans un état subalterne les autres professeurs de l’équipe pédagogique, de l’autre part il y avait aussi le problème que le professeur désigné aurait dû être compétent dans toutes les disciplines enseignées. En outre, aucune formation était prévue pour les professeurs-tuteurs et cela aussi posait beaucoup de problèmes car le système scolaire italien n’est pas habitué au portfolio, même pas celui professionnel, et donc les professeurs ne savaient pas comment agir efficacement pour bien faire ce travail. L’idée d’un portfolio ainsi conçu limitait en effet les potentialités d’un tel outil. Cadre Théorique Le portfolio est en effet polyfonctionnel. […] Parmi les fonctions formatives, on peut citer les suivantes : encourager l'évaluation centrée sur la progression des apprentissages, favoriser l'autoévaluation et l'apprentissage autonome, exercer la capacité métacognitive, constituer un support d'entretien (Weiss, 2000) Le portfolio représente aussi un travail métacognitif car les élèves doivent observer leurs productions, leurs éventuels progrès, leurs points de forces et de faiblesses. La littérature scientifique à l’égard du portfolio est très variées et tous font plusieurs classifications ; en suivant celle faite par Jalbert (1998) on distingue : Le portfolio : support continu à l'apprentissage. 336 Le portfolio : dossier de présentation. Le portfolio : bilan des apprentissages. Le portfolio : support continu à l'apprentissage Dans ce type de portfolio l’enseignant connaît les points forts et les faiblesses des élèves, leurs idées, leur cheminement, en plus, même les élèves peuvent s’en rendre compte, cela qui portera à l’auto-évaluation. C’est une forme d’évaluation formative car le professeur peut faire des ajustements sur la démarche et les objectifs. Le portfolio : dossier de présentation Avec ce type de portfolio, les meilleurs travaux sont choisis par les élèves. Ce type de portfolio aide la motivation des élèves qui développent un sentiment de fierté, mais il prennent aussi un regard plus objectif. Le portfolio : bilan des apprentissages Le portfolio de ce type sert à dresser un bilan des apprentissages à la fin d'une étape ou à la fin de l'année scolaire . C’est une évaluation de type sommative et certificative faite par l’enseignant. Figure 7 : Tiré de Samir Hoyek -LE PORTFOLIO – La prise en charge de sa propre formation Quel que soit le type de Portfolio choisi, l’ écriture qu’il exige n’est plus mécanique, mais elle devient réflexive. Selon Walker D. (1985) elle favorise une distanciation de soi qui permet d’être plus objectifs, en plus elle aide l’étudiant/e à ancrer ses nouvelles connaissances à celles déjà possédées et à comprendre la composante affective de l’apprentissage. Tout cela augmente la motivation à apprendre ; suscite la réflexion et aide la maîtrise des émotions. Face aux activités proposées et en considérant le niveau minimal à atteindre, à l’aide du professeur, ils devaient évaluer leur propres performances à travers une simple gommette de réussite. Sur la base des corrections effectuées de manière autonome ou pendant les corrections faites en classe, ils devaient dire si selon eux ils avaient bien étudié ou pas, s’ils avaient eu des difficultés et à quel degré. 337 Je démontre d’avoir bien compris Je n’ai pas compris J’ai eu des difficultés Je n’ai pas eu de difficultés J’ai bien étudié Je n’ai pas bien étudié Activités Figure 8. Tableau à remplir par les collégiens. Cela allait dans la direction d’un processus métacognitif : les élèves étaient naturellement menés à réfléchir sur leur façon d’étudier et sur leurs performances, à travers une forme d’autoquestionnement et la description de leur perceptions : ils devaient décrire leurs réflexions à l’égard de ces sujets. Dans certains cas ils tendaient à se sous-estimer ou à se surestimer. En prenant en considération environ 88 activités déroulés pendant l’année scolaire, et leurs commentaires à ces activités, on a remarqué que au début les étudiants avaient une perception différente de leur réelle capacité : en effet le 61% de la classe n’était pas toujours capable de se rendre compte des erreurs et des difficultés. Seulement le 28% entre eux étaient effectivement conscients de l’efficacité, ou non-efficacité, de leur méthode d’étude et de leur performance face aux différentes activités. Le restant 11% ne participait pas activement. Leur évaluation était partagée avec le professeur qui leur donnait des conseils ou proposait les ajustements à faire pour dérouler l’activité ou la méthode pour mieux aborder l’apprentissage du sujet de l’activité : ainsi en mettant en œuvre des formes de co-évaluation avec l’abandon d’ une forme évaluative faite et ressentie comme faite par l’ « enseignant-tout-puissant ». On parle, dans ce cas, d’une évaluation de type formatif, ce qui permettait aux acteurs du processus d’enseignement-apprentissage de reformuler, de réviser, d’ ajuster soit les objectifs soit les activités et les manières de les accomplir. À la fin de l’année ils étaient devenus plus capables de comprendre leurs points forts et leurs faiblesses, même s’ils n’étaient pas encore complètement autonomes, ce qui était normal en considérant leur âge et leur niveau de connaissance de la langue étrangère. Le 39% n’était pas encore capable de comprendre, de se rendre compte des erreurs et des difficultés ; le 22% se rendait mieux compte de l’efficacité de la méthode d’étude et de leurs performances ; le 39% entre eux étaient devenus effectivement conscients. 338 Situapon des collégiens au début du parcours Conscients Pas Conscients 11% Ne parpcipe pas 28% 61% Figure 9 : Situation des collégiens au début du parcours. Situation des collégiens à la 6in du parcours Conscients Pas Conscients 22% Moyennement Conscients 39% 39% Figure 10 : Situation des collégiens à la fin du parcours. Limites et perspectives Limites relevés : Le manque d’une culture à s’auto-évaluer : le système scolaire italien n’est ni habitué, ni organisé à des formes d’autoévaluation, donc la possibilité de commencer un parcours de ce type est laissée à la sensibilité des enseignants. Cela va de soi que même pour les étudiants n’est pas simple de s’introduire dans cette nouvelle perspective. Le temps qu’on a pu dédier à l’activité. Pour implémenter et faire comprendre l’utilité de ce parcours aux élèves il a fallu du temps. En plus, il a fallu du temps pour habituer les étudiants à réfléchir sur leurs performances afin que cela devînt une habitude. Le partage des critères d’évaluation. Même si très intéressés, les élèves avaient du mal à entrer dans l’optique des critères d’évaluation car ils étaient habitués aux simples notes, sans réellement savoir le pourquoi et le comment de ces notes. 339 À la lumière de cette expérience on a individué trois objectifs à atteindre dans le futur : Partager le plus possible avec les élèves la formation des critères d’évaluation, avec le niveau seuil à atteindre, de façon qu’ ils puissent devenir de plus en plus conscients de ce qui est leur requis. Par conséquent les faire arriver à des formes d’autonomie de l’apprentissage qui est l’un de buts essentiels de l’auto-évaluation. Habituer les élèves à la réflexion métacognitive à travers des formes d’auto-questionnement e de explicitation du ressenti. Références Allal, L. (1993). Régulations métacognitives : quelle place pour l’élève dans l’évaluation formative ? In Allal L., Bain D. & Perrenoud P. (Dir) . Évaluation formative et didactique du français (p. 81-95). Neuchâtel (Switzerland)- Paris : Delachaux et Niestlé. Bruneri, R.(2005). Salut, les copains – Livret d’Orientation. Milano : Paravia Bruno Mondadori Editore Hoyek, S. (2011 ) -LE PORTFOLIO – La prise en charge de sa propre formation. Beyrouth: Université Saint-Joseph. Jalbert, P. (1998). Le portfolio : de la théorie à la pratique. Québec français, n° 111, p. 37-40 http://id.erudit.org/iderudit/56281ac Vial, M. (2009). Se former pour évaluer. Bruxelles : De Boeck. Vitale, M. (2015). Pensée Procédurale et Auto-évaluation, un lien possible ? Actes du 27ème Colloque International de l’ ADMEE – EUROPE « L’évaluation à la lumière des Contextes et des Disciplines». Liège. http://admee2015.sciencesconf.org/conference/admee2015/admee15_Actes_du_colloque4incp.pd f Walker, D. (1985). Writing in Reflexion. In Boud D., Keogh R., Walker D. (Eds.). Reflection: turning experience into learning (p. 52-68). London: Logan. WEISS, J. (2000). Le portfolio, instrument de légitimation et de formation, Revue française de pédagogie, n°132, 11-22. Loi n. 53/2003 de la République Italienne. 340 REFLEXIONS A PROPOS DU BACCALAUREAT FRANÇAIS (ID 152) JEANTHEAU, Jean-Pierre, Assessment Europe JOHNSON, Roderick, Assessment Europe JOHNSON, Sandra, Assessment Europe RÉSUMÉ Créé en 1808, en tant que premier diplôme universitaire et considéré actuellement comme un certificat de fin d’études secondaires, le baccalauréat n‘a cessé depuis 50 ans de se diversifier, en particulier dans le but assumé de s’ouvrir aux disciplines technologiques et professionnelles. Au-delà des frontières métropolitaines, le baccalauréat est naturellement accessible aux étudiants des établissements des départements et territoires d’outre-mer, mais aussi des établissements français situés à l’étranger, presque partout dans le monde. Parmi les 650 000 candidats recensés actuellement chaque année, à peu près la moitié ont passé un baccalauréat général, un peu moins d’un quart un baccalauréat technologique et un autre quart un baccalauréat professionnel. Tous les bacheliers, quel que soit le type de baccalauréat obtenu, s’ouvrent, en principe, les portes de l’Université. Au fil des ans, le baccalauréat a acquis en France un statut particulier, entre le monument historique et le rite scolaire incontournable. Il est aussi devenu un modèle de référence à travers le Monde, pour des diplômes sanctionnant des qualifications similaires, par exemple pour le très respecté International Baccalaureate Diploma. Cependant, malgré les très grands enjeux, symboliques ou en terme de poursuite d’études, qu’il représente pour les candidats, le baccalauréat apparaît comme n’ayant pas ou très peu fait l’objet d’un examen minutieux de son fonctionnement en tant qu’évaluation validant des apprentissages, contrairement à beaucoup d’autres diplômes à travers le monde certifiant également l’acquisition de compétences en fin de scolarité secondaire ; les questions de validité, de fiabilité et comparabilité viennent immédiatement à l’esprit. Notre présentation à partir d’une revue de la littérature académique (en français et en anglais) portant sur le sujet, d’analyses des rapports techniques sur le baccalauréat, et des publications officielles du ministère français de l’Education nationale, et d’entretiens avec des personnes engagées personnellement dans le fonctionnement du baccalauréat, soulèvera les principales problématiques liées à ces questions et fournira les résultats de nos recherches et réflexions sur chacun des points cités. Introduction Ces dernières années la recherche en évaluation a été largement dominée par deux thèmes principaux: le rendement scolaire, avec les enquêtes (TIMSS, PIRLS) conduites par l’IAEA ou celles de l’OCDE (PISA, PIAAC), et l’évaluation formative, c’est-à-dire la synergie entre les pratiques d’enseignement et l’évaluation en classe. L’intérêt des chercheurs pour ces deux sujets repose sur des conditions objectives. L‘impact des évaluations internationales est très bien documenté, et ouvre un espace quasi illimité pour leurs analyses et commentaires, leur fournissant un matériel théorique aussi bien qu’empirique. D’un autre côté, l’accès relativement facile aux classes, qui 341 peuvent être considérées par certains chercheurs comme des laboratoires (petit nombre d’élèves captifs dans un lieu circonscrit), permet de conduire aisément des observations ou des expérimentations autour de la mise en œuvre du concept d’évaluation formative. Mais entre-temps, l’évaluation (et la validation) des niveaux de qualification à la sortie du système scolaire, qui est incontestablement la plus importante en termes d’enjeux concrets que ce soit pour les élèves (tout particulièrement), mais aussi pour les établissements scolaires, a fait l’objet de beaucoup moins d’attention. La certification, et donc l’évaluation, à la sortie des cycles d’enseignement, sont importantes à la fois parce qu’elles donnent des indications explicites sur le niveau atteint par les élèves à la fin de leur carrière scolaire, mais aussi sur le potentiel des élèves dans la perspective d’une insertion professionnelle ou d’une poursuite d’études supérieures. Dans un certain nombre de pays comme l’Angleterre, la Suède ou les Pays-Bas, les niveaux de qualification en sortie de scolarité des élèves sont utilisés comme des indicateurs de l’efficacité de chaque école (responsabilité de l’école). Aux USA, où des diplômes de fin de scolarité n’ont jamais été standardisés au niveau national, l’évaluation de chaque école et des systèmes éducatifs de chaque état se fait à partir de tests standardisés produits à la demande des Etats. Si le baccalauréat n’est pas utilisé officiellement (les médias publiant néanmoins des classements et les établissements affichant fièrement de hauts pourcentages de réussite pour attirer des élèves) pour évaluer l’efficacité du système éducatif ou des établissements, il reste considéré comme un diplôme de fin de scolarité secondaire extrêmement important pour les élèves et leurs familles. Créé en 1808 et passé par une poignée d’étudiants sous la forme d’un questionnaire oral en latin et grec portant sur leurs études essentiellement classiques, le baccalauréat s’est transformé au fil du temps intégrant délibérément de plus en plus de matières et étendant par étape son domaine de certification aux formations technologiques puis professionnelles (Bonnet, 1997; Cam, 2001; El Atia, 2008) qui dans la plupart des autres pays possèdent des diplômes qualifiants différents. Ainsi, on trouve actuellement trois types certification portant le nom de baccalauréat. Ainsi, on trouve actuellement trois types certification portant le nom de baccalauréat : Le baccalauréat général Il s’agit de l‘évolution du diplôme original (il ne se passe plus en grec ou latin même si ces langues peuvent être des matières évaluées lors de l’examen) qui se décline en trois grandes variantes : littéraire (bac L), scientifique (bac S), économique et social (bac ES). Chaque variante ayant ses propres sous-variantes, mettant l’accent plus ou moins sur une matière particulière. Le baccalauréat technologique Introduit en 1968,il possède huit spécialities principales : hôtellerie, techniques de la musique et de la danse, sciences et technologies de l'industrie et du développement durable (STIDD), sciences et technologies du design et des arts appliqués (STDAA), sciences et technologies de laboratoire (STL), sciences et technologies du management et de la gestion (STMG), sciences et technologies de l’agronomie et du vivant STAV), sciences et technologies de la santé et du social (STSS). 342 Le baccalauréat professionnel Introduit en 1985, on recense actuellement plus de 80 variantes, dont quatre regroupent presque la moitié des candidats : Gestion – administration ; Commerce ; Accompagnement, soins et services à la personne ; Electrotechnique énergie équipements communicants. Selon le Ministère de l’Education Nationale (MEN, 2015), parmi les 703 500 candidats qui se sont présentés au baccalauréat en 2015, 49% ont passé les épreuves dans les séries générales, 20% dans les séries technologiques, 31% dans la voie professionnelle. Chacun des bacheliers aura le droit de s’inscrire dans une université – même si en pratique on constate de grandes différences d’orientation post-baccalauréat (en particulier pour l’entrée à l’Université) selon les types de baccalauréats obtenus (Duru-Bellat & Kieffer, 2008; Ichou & Vallet, 2011). Pour faire passer l’épreuve 4000 centres d’examens ont été activés, en France métropolitaine, dans les départements français d’Outre-mer (Guadeloupe, Guyane, Martinique, Mayotte, Réunion), dans les collectivités françaises d’Outre-mer mais aussi dans 83 pays étrangers. Des groupes d’enseignants et d’inspecteurs ont produit environ 2900 sujets d’examen qui ont amenés les candidats à produire environ 4 millions de copies. L’examen a mobilisé environ 170 000 correcteurs et examinateurs. Pour avoir une idée de la variété des épreuves on relèvera, entre autres, la possibilité du choix (théorique), pour les séries générales, parmi 58 langues vivantes étrangères, régionales ou des signes et technologiques pour les épreuves de langues. Dans un contexte d’accroissement quasi-continu de la proportion de bacheliers dans chaque nouvelle génération en âge de passer l’examen (voir ci-dessous), ce grand nombre d’options, associé aux contraintes géographiques et temporelles de la passation des épreuves, nous incitent à nous interroger sur la réelle signification de l’obtention du baccalauréat et sur la qualité technique de l’évaluation des connaissances des candidats. 2. Des questions à propos de la qualité et de l’équité des épreuves dans le temps Si on considère l’évolution de la proportion de bacheliers dans une génération7, on peut voir une augmentation rapide de cette proportion après la seconde guerre mondiale et l’explosion du nombre de bacheliers dans les années 80-90 (Graphique 1), résultat d’une accélération de l’augmentation du nombre de bacheliers généraux, mais aussi, voire surtout, des réformes des parcours technologiques et professionnels qui ont débouché la création des baccalauréats correspondants. 7 Les chiffres sont officiels, mais approximatifs, car produits du rapport entre candidats reçus et nombre de jeunes de 17 ans recensés en France l’année du baccalauréat considéré, alors que l’âge des candidats n’est pas homogène. Néanmoins les écarts aux chiffres réels sont considérés comme faibles. 343 Graphique 1 : Une croissance spectaculaire (pourcentage de bacheliers dans une génération, 1851-2015) Source:Ministère de l’Education nationale, traitements des auteurs. En 2015 on a enregistré parmi les candidats 87,8% d’admis (Graphique 2), résultat stable par rapport à 2014 après une longue période d’augmentation. Quel que soit le type de baccalauréat obtenu le degré de réussite des élèves est distingué par les mentions suivantes : très bien (TB): moyenne égale ou supérieure à 16 sur 20 ; bien (B) : moyenne égale ou supérieure à 14 et inférieure à 16 ; assez bien (AB) : moyenne égale ou supérieure à 12 et inférieure à 14 ; passable : moyenne égale ou supérieure à 10 et inférieure à 12. Graphique 2 : Un taux de réussite en hausse constante (Champ : France métropolitaine + DOM y compris Mayotte à partir de 2012) Source: (Le Laidier & Thomas, 2015, p.1). 344 Mécaniquement, en raison du plus grand nombre de candidats reçus à l’examen, le nombre de bacheliers ayant obtenus une mention est en augmentation. L’augmentation en pourcentage n’est pas très sensible à l’exception du cas du bac technologique et des mentions très bien au bac général (Graphique 3), qui permettent de valider les inscriptions dans les formations post-bac les plus recherchées8. Graphique 3 : Mentions de Très bien par type de baccalauréat (pourcentage de mentions parmi les présents, 2009 à 2015) Source: Ministère de l’Education nationale, Notes d’information (juillet 2009, 2010, 2011, 2012, 2013, 2014, 2015), traitement des auteurs. Du fait de l’absence, pour diverses raisons, d’évaluation nationale externe des compétences des élèves de terminale il est difficile de dire si cette augmentation du nombre de bacheliers (en nombre et proportion) est liée avec une augmentation du niveau des élèves en fin de scolarité secondaire. La seule comparaison que nous avons pu construire reprend les résultats aux enquêtes PISA (quelles que soient les réticences méthodologiques que nous pouvons avoir vis-à-vis de cette enquête de l’OCDE) des années (A) 2000 à 2012 et superpose le % de réussite au bac en année A + 2 (la majorité des enquêtés PISA se trouvant en seconde au moment de l’enquête et donc au Bac deux années après). On constate alors que l’augmentation du taux de réussite ne peut s’expliquer par une augmentation du niveau des élèves de 15 ans qui se montre extrêmement stable en fait depuis plus d’une décennie (Graphique 4). 8 http://www.onisep.fr/Choisir-mes-etudes/Au-lycee-au-CFA/La-procedure-Admission-Post-Bac/Admission-Post-Bac-toutsavoir-sur-la-procedure-2016/APB-2016-ce-qui-change-dans-la-procedure-admission-post-bace 345 Graphique 4 : Un niveau qui monte ? (Comparaison du pourcentage de réussite au différents baccalauréat et des score PISA* de 2000 à 2012) * Les scores Pisa sont proches de 500 (50 sur l’échelle) Source : Ministère de l’éducation et OCDE, traitement des auteurs. Notre souhait n’est pas d’entrer dans les débats franco-français concernant le niveau scolaire des bacheliers, mais d’adopter le point de vue des autorités académiques étrangères qui accueillent de plus en plus de bacheliers français dans leurs parcours de formation supérieure. Graphique 5, par exemple, montre les correspondances en vigueur (dans un Lycée français à l’étranger) entre les notes obtenues au baccalauréat et les descripteurs de compétence anglo-saxons (les niveaux requis pour l’entrée dans l’enseignement supérieur varient suivant les institutions). On constate que cette correspondance repose essentiellement sur les notes obtenues et peut être très sensible à une variation de celles-ci. Cette caractéristique entraîne évidement une interrogation de la part des chercheurs ou même des enseignants étrangers sur la façon dont ses notes sont attribuées. Cette préoccupation est d’autant plus grande que dans beaucoup de pays, principalement anglo-saxons, la question de la fiabilité des indicateurs (notes) dans le cas d’une épreuve de certification de fin de scolarité concernant une matière particulière (GCE Advanced Level) a fait l’objet de nombreuses et intéressantes recherches. On relève, a contrario, en France, que l’idée même d’étudier et de contrôler d’un point de vue scientifique un examen aussi ancien et emblématique que le baccalauréat apparaît comme incongrue. La fiabilité et la validité de l’examen du baccalauréat sont rarement mises en question (nous avons d’ailleurs eu beaucoup de difficulté à trouver le moindre rapport technique portant sur ces sujets et concernant le baccalauréat dans la littérature francophone) ou du moins n’entraînent que de rares études particulières. Nous tenterons de dégager la philosophie sous-jacente à ce type de réaction et de repérer les raisons d’une telle situation. 346 Graphique 5 : Equivalences internationales entre les notes générales obtenues au baccalauréat et certains degrés de fin d’étude secondaire étrangers Source: Lycée Français Hong Kong Le baccalauréat français qui est devenu un modèle de référence pour des épreuves de même type un peu partout dans le monde, comme pour le très respecté International Baccalaureate Diploma, se trouve doté d’un statut qui le rend pratiquement inattaquable. Néanmoins, nous pensons qu’il est temps de nous demander si le Baccalauréat peut encore résister à un examen technique portant sur les domaines suivants : Validité Que peut-on dire au sujet de la validité de l’évaluation au cours du baccalauréat, en terme de couverture des domaines évalués, de priorité aux connaissances, de format des questions, … Une autre interrogation porte sur la manière dont les notes sont attribuées dans les différentes matières qui contribuent à l’attribution du baccalauréat. Fiabilité Comment les interactions entre les questions posées, les correcteurs et les élèves sont-elles contrôlées, ces relations ont elles jamais été mesurées ? Quelles sont les efforts entrepris pour standardiser la notation sur le territoire national ? Quels sont les ajustements proposés pour tenir compte des différences de difficulté qui peuvent être rencontrés d’une année sur l’autre ? 347 Comparabilité Est-ce que l’obtention d’un baccalauréat donné (général, technologique ou professionnel) garantit le même niveau de compétences dans tous les établissements français de centre-ville, de renom, de banlieue, d’outre-mer ? Que peut-on dire d’un point de vue technique de la comparabilité entre les différents baccalauréats ? Est-ce qu’un baccalauréat par exemple S (mais pourquoi pas bac L, bac ES, bac Pro Commerce, bac STI) obtenu à Paris est « exactement » équivalent à un bac S (ou un bac L, bac ES, bac Pro Commerce, bac STI) obtenu à Toulouse, ou Mayotte, Washington, Beyrouth ? En fait, en étant conscients que la certification des bacheliers est présentée ou ressentie comme un enjeu social aux multiples facettes, s’il fallait résumer en une question la problématique peutêtre serait-elle : Est-on en mesure d’assurer un niveau acceptable de fiabilité, voire d‘équité, sans perdre de vue ses buts académiques et sociaux ? Lors de notre observation du processus de certification des bacheliers, deux questions nous ont semblé se poser de façon particulière. La première question s’agit des sujets : Sont-ils de niveaux équivalents d’une année sur l’autre ? Comment sont calibrés les sujets de remplacement (utilisés en cas de problèmes) ? Les sujets utilisés dans les répartis aux quatre coins du globe sont-ils comparables (avec des dates de passation différentes*) ? Cela renvoie aux problèmes de comparabilité. La deuxième question est celle de la notation : Quelles sont les procédures de « standardisation » qui se déroulent à l’intérieur de chaque académie ? Comment évaluer ces procédures quand apparemment aucune donnée statistique concernant la question des écarts de notation n’est disponible ? Comment sont gérés les problèmes d’harmonisation, inter-académiques en métropole, avec ceux des DOM ou les centres d’examen à l’étranger ? Tout ceci peut se traduire en termes techniques par des questions de « reliability », c’est-à-dire de robustesse ou de fiabilité. Etudes expérimentales concernant la fiabilité de la notation Nous n’avons pas pu trouver de publication traitant de la comparabilité (en terme de notes) des différents sujets qui peuvent être proposés au baccalauréat (établissements à l’étranger vs métropole), et les études docimologiques concernant la notation du baccalauréat semblent bien rares. En résumant les études qui avaient été fait jusqu’alors, Merle (1999) constate « une certaine imprécision » dans la notation des copies au noveau du baccalauréat, citant Aymes (1979) pour les mathématiques et Juvenceau (1989) pour le français, tout en observant que la notation des mathématiques démontre « une incertitude moins marquée que dans les autres disciplines, comme l’indiquent des études ancienne (Laugier et Weinberg, 1936) et récente (Chatel, 1994) » (op. cité, p.221). Lors de notre investigation nous n’avons pu accéder qu’à une seule étude docimologique plus récente (Suchaut 2008). Pour remettre en contexte cette étude on rappelle l’organisation matérielle. A peu près 30 professeurs dans deux académies (Besançon et Dijon) ont corrigé les copies de trois bacheliers de la filière ES ayant passé l’examen dans la même académie (pour chaque académie une copie avait reçu une note initiale de 15, une autre de 11 et une dernière de 9). Chaque note donnée par les correcteurs était collectée puis exploitée. Graphique 5 permet de visualiser les notes attribuées par chaque correcteur. Les correcteurs ont été placés en abscisse et rangés de façon décroissante suivant la note attribuée à la copie supposée la meilleure de leur académie (si une 348 autre copie avait été prise comme référence pour ranger les correcteurs les mêmes observations auraient pu être faites). On constate qu’en général les copies (A et D) ayant reçu la meilleure note originellement (15) sont la plupart du temps (surtout dans l’académie 2) reconnues comme les meilleures copies parmi les trois proposées à chaque correcteur. En revanche entre les autres copies (B et C ou E et F) la hiérarchisation est beaucoup moins nette. Graphique 5 : Les résultats de l’étude Suchaut (les correcteurs sont rangés sur l’axe horizontal suivant la note attribuée à la meilleure copie) Source: Suchaut (2008, p. 4), traitement des auteurs. Sans aller plus loin dans les détails, les principaux résultats de l’enquête Suchaut sont que : les deux échantillons académiques ont produit des courbes de répartitions de notes assez comparables ; la meilleure copie était bien distinguée des deux autres ; les écarts inter-correcteurs pour toutes les copies notées étaient considérables (9-11) ; aucun correcteur n‘est apparu comme fondamentalement plus ou moins sévère que les autres ; en d’autres termes, la relation correcteur – copie était très forte ; les correcteurs avaient des avis différents sur les mérites de chaque copie. Les données produites par l’étude de Suchaut ont fait l’objet d’une seconde analyse en utilisant la théorie de la généralisabilité, pour estimer la robustesse des notes (intervalles de confiance) 349 suivant le nombre de correcteurs (Johnson & Johnson, 2009). Se basant sur le fait que 30 ou plus correcteurs ont corrigé de façon indépendante la même copie, on obtient un intervalle de confiance à 95% de ± 0.8 points autour de la note moyenne (sur une échelle de notation de 1-20). On peut estimer (toujours pour une probabilité de 95%) ce que serait l’intervalle de confiance pour 1, 2 ou 3 correcteurs, à savoir ± 4.7 points, ± 1.7 points, ± 1.4 points. Naturellement, il serait nécessaire afin d’obtenir des résultats plus robustes que ceux présentés ici de répéter ce type d’enquête avec un échantillon plus important de copies et de proposer toutes les copies à tous les correcteurs (et non pas de limiter les copies aux correcteurs provenant de la même académie comme dans l’enquête Suchaut). Les études de la notation des copies d’élèves démontrent systématiquement la fragilité de la notation lorsque le correcteur est seul. On remarque que le passage à la double correction réduit considérablement les écarts et donc fiabilise les notes. Nous recommandons, si les conditions matérielles sont réunies de passer à ce système de double correction. Les procédures de correction du Ministère de l’Education nationale Le Ministère de l’Education nationale est évidemment conscient de la problématique liée à la notation et des possibles dérives liées à la note attribuée par un correcteur unique. Il met en œuvre des procédures qui visent, au moins apparemment, à limiter les écarts : Les réunions d’entente Généralement deux jours après l’attribution aléatoire des copies anonymées aux correcteurs des réunions d’entente sont organisées avec les correcteurs. Pendant les 6 heures de la réunion les professeurs échangent leurs avis sur les difficultés éventuelles de correction qu’ils ont rencontrées (dans les 24-48h précédentes); ils corrigent également, simultanément quelques copies, puis confrontent leurs notations. Ces échanges et cet exercice ont pour but de rapprocher les positions des correcteurs sur la façon de noter les copies qui leurs sont proposées. Forts de cette vision « partagée » les correcteurs repartent corriger seuls leur paquet de copies. Les réunions d’harmonisation Après la correction des copies, les correcteurs se retrouvent en réunion d’harmonisation. Chacun a calculé la moyenne des notes attribués aux copies qu’il a corrigées, les médianes, les écarts types. On compare, on cherche à expliquer les éventuelles différences. Les derniers cas problématiques sont soumis à l’avis de l’ensemble des correcteurs. Les copies notées en dessous de 5 ou 6 font systématiquement l’objet d’une deuxième correction. Le jury de délibération Les correcteurs vont encore siéger en jury de délibération qui rassemble les correcteurs de toutes les matières. Ce comité examine chaque cas problématique à l’aide, le cas échéant, du livret scolaire (résultats du contrôle continu). Comment analyser ces mesures ? D’un côté il existe dans les premières mesures (réunions d’entente et d’harmonisation) une volonté de rechercher une notation la plus “juste” possible, mais 350 en fait aucun signal d’alarme comme celui que pourrait envoyer une note différente donnée par un correcteur n’est envoyé. Les seuls cas examinés (et qui vont faire l’objet d’une seconde correction) sont ceux des copies les plus faibles. Il n’y a pas de contre-correction pour les notes très élevées. Ce manque de symétrie laisse penser que la philosophie à l’œuvre derrière les mesures prises vise à tout faire pour éviter qu’un “bon” élève échoue. Cette perception des mesures prises dans l’organisation de la correction se fonde sur les faits suivants : - seules les notes très basses sont à nouveau corrigées (pas les plus hautes) - seuls les “cas” (les élèves proches de la moyenne, mais en-dessous) sont réexaminés en jury pluridisciplinaire - l’appel au contrôle continu ne concerne que les candidats risquant de ne pas obtenir la certification en raison d’une moyenne inférieure au seuil exigé, alors que les études montrent que la notation continue au sein d’une classe reflète plus le classement des élèves de cette classe les uns par rapport aux autres que l’atteinte de seuils intangibles imposés par l’institution scolaire. D’autre part, des notes de contrôle continu semblables peuvent cacher des niveaux de maîtrise des matières évaluées très différents d’une classe à l’autre, d’un établissement à l’autre. Cette pratique favorise les élèves qui ont étudié dans une classe ou un établissement de faible niveau (MEN, 1998). Il faut ajouter que par le jeu d’options il est possible d’obtenir des points supplémentaires qui s’ajoutent au total de points déjà obtenus. Ce qui permet d’observer de plus en plus d’élèves qui obtiennent des moyennes de notes supérieures à 20 quand le maximum théorique de chaque note est de 20 ! Ces points ne servent pas seulement aux meilleurs élèves mais contribuent pour certains élèves à l’obtention du baccalauréat. Enfin, les élèves ayant moins de 10 de moyenne vont être convoqués pour des épreuves orales, dites communément de rattrapage. Ils pourront repasser certaines épreuves où ils pensent avoir obtenu une note trop basse par rapport à leurs réelles compétences. Suivant la même philosophie, seule la meilleure note obtenue sera conservée … avant de nouvelles réunions en jury pluridisciplinaire. Réflexions On peut penser que l’ensemble des mesures décrites ci-dessus atteint en très grande partie son objectif : ne pas priver de baccalauréat un élève qui aurait mérité ce diplôme. Il rend l’échec plus certain, puisque tout a déjà été fait, et de ce fait plus stigmatisant. Il assure aussi une certaine paix des écoles en répondant favorablement à une forte demande sociale et politique. Mais le problème de la validité des notes obtenues, surtout pour les élèves ayant obtenus de bonnes notes et donc des mentions, n’est pas résolu. Des questions restent en suspens : Est-ce que la notation est équitable ? Est-ce que l’organisation actuelle du baccalauréat est susceptible de conforter la confiance que les universités étrangères peuvent placer en lui ? Quoiqu’il en soit, ne faudrait-il pas étudier plus précisément les effets des processus de notation sur les résultats du baccalauréat ? Ne faudrait-il pas conduire des études docimologiques reposant sur des corrections dans différentes académies ou dans différents lieux géographiques de copies du baccalauréat similaires? Ne faudrait-il pas envisager de passer à une double correction systématique ? 351 Références Aymes, J. (1979). Une expérience de multicorrection. Bulletin de l’Association des professeurs de mathématiques de l’enseignement public, n° 321. Bonnet, G. (1997). Country Profile from France. Assessment in Education: Principles, Policy & Practice, 4(2), 295-306. Cam, P. (2001). The French Baccalauréat since 1985: Level of qualification or type of diploma? Assessment in Education: Principles, Policy & Practice, 8(3), 291-314. Chatel, E. (1994). Qu'est-ce qu'une note : recherche sur la pluralité des modes d'éducation et d'évaluation. Les dossiers d'Education et Formations, 47, 183-200. Duru-Bellat, M. & Kieffer, A. (2008). Du baccalauréat à l’enseignement supérieur en France : déplacement et recomposition des inégalités. Population, 63(1), 123-157. El Atia, S. (2008). From Napoleon to Sarkozy: Two Hundred Years of the Baccalauréat Exam, Language Assessment Quarterly, 5(2), 142-153. Ichou, M. & Vallet, L-A. (2011). Do all roads lead to inequality? Trends in French upper secondary school analysed with four longitudinal surveys. Oxford Review of Education, 37(2), 167-194. Johnson, R. & Johnson, S. (2009). Conceptualising and interpreting reliability. Coventry: The Office of Qualifications and Examinations Regulation (Ofqual). Jouvanceau, P. (1989). L’épreuve anticipée du baccalauréat et l’évaluation. Education et Formation, 18, 13-21. Laugier, H. & Weinberg, D. (1936). Commission française pour l'enquête Carnegie sur les examens et concours. La correction des épreuves écrites au baccalauréat. Paris : Maison du livre. Le Laidier, S. & Thomas, F. (2015). Le baccalauréat 2015. Session de juin. Note d’information no.24. Paris : Ministère de l’Education Nationale. MEN (1998). Perception du collège et de la vie scolaire par les élèves en fin de troisième. Dossiers éducation et formation N° 104. Paris : Ministère de l’Education Nationale. MEN (2015). Baccalauréat 2015. Dossier de presse. Paris : Ministère de l’Education Nationale. Merle, P. (1999). Équité et notation : l’expérience subjective des lycéens. In D. Meuret (éd), La Justice du Système Éducatif, 213-226. Louvain la Neuve & Paris : De Boeck Supérieur. Suchaut, B. (2008). La loterie des notes au bac : un réexamen de l'arbitraire de la notation des élèves. Document de travail de l'IREDU 2008-03. 352 LES INDICATEURS DE PERFORMANCE DANS L'ENSEIGNEMENT SUPÉRIEUR DANS LE CADRE DE L’ASSURANCE QUALITÉ AU SEIN D'UNE FACULTÉ DE L’UNIVERSITÉ DE BOUIRA (ID 153) CHIBANE, Mohamed, Universite de Bouira, (DZ) HALOUANE, Zaouina, Universite de Bouira, (DZ) BADDARI, Kamal, Universite de Bouira, (DZ) RÉSUMÉ Introduction Depuis l’adoption du système LMD par notre université, une cellule d’assurance qualité est installée afin d’assurer et de perdurer les exigences des offres de formation liées à chaque filière ainsi que d’assurer le bon déroulement des finalités générales de l’enseignement supérieur. Ce référentiel de l’assurance qualité est indispensable afin d’éclaircir nos intérêts et de préciser les indicateurs et procédure de notre évaluation. La qualité dans l’enseignement supérieur dépond du bon fonctionnement de l’ensemble de ses acteurs. Ce qui nous pousse à poser la question suivante : Quelles sont les lacunes qui entravent la qualité de l’enseignement au niveau d’une faculté? Et quels sont les conséquences qui en résultent ? Pour répondre à notre questionnement, il faut connaitre les indicateurs des performances des différentes catégories de personnel de cette faculté et de comprendre les interactions des uns et des autres. Méthode Cette recherche s’inscrit dans une démarche statistique, afin d’évaluer les performances des différents acteurs dans l’enseignement supérieur au niveau d’une faculté de l’Université de Bouira. Partant d’une vision globale qui considère la qualité d’implication des personnes différentes et la propriété de leurs interactions qui sont d’une importance majeure quant-aux performances que peut développer chaque catégorie. Nous avons donc appliqué les différents outils que nous avons conceptualisés. Cette recherche est penchée sur l’investigation des indicateurs qualitatifs concernant les étudiants universitaires, le personnel enseignant, le personnel administratif et les responsables dans l’enseignement supérieur. Pour connaitre les perceptions de chacune de ces catégories citées nous avons conçu quatre questionnaires. Ces derniers sont composés d’une série de questions administrées sous forme écrite: 1- Questionnaire d’Appréciation des Performances Educatives dans l’Enseignement Supérieur : QAPEES (Formulaire étudiant), 36 items. 2- Questionnaire d’Appréciation des Performances Educatives dans l’Enseignement Supérieur : QAPEES (Formule enseignant), 20 items. 3- Questionnaire d’Autoévaluation du Travail Administratif Universitaire QATAU, 20 items. 4- Questionnaire d’Appréciation du Travail et d’Evaluation des Conditions Chez les Responsables Universitaires : QATECRU, 25 items. 353 Les propriétés psychométriques des outils La validité, la fiabilité et la fidélité de ces outils ont été validées par différentes procédures qui déterminent les motivations pour chacune de ces catégories de personnel pour améliorer leurs compétences. La fidélité de ces questionnaires se résume dans leurs résultats qui ont été comparés aux données cliniques issues des entretiens individuels. Nous avons obtenus de façon consistante les mêmes résultats. La stabilité des résultats suite à deux évaluations du même groupe de sujet dans un test-retest prouve leur validité interne. Leur congruence est influencée par l’échelle de mesure qui est celle de Lickert qui évalue la densité et la fréquence de 1 à 5, par le mode d’administration, et par la clarté des concepts à mesurer. Leur complémentarité se distingue dans les différentes catégories de personnels pour lesquels ces outils sont destinés ainsi que dans l’avantage d’aborder les performances de ces différents acteurs, de l’enseignement supérieur, dans une dynamique interactionnelle. Ces questionnaires sont donc spécifiques à la mesure des performances des populations auxquels ils sont destinés à savoir les différents acteurs de l’enseignement supérieur tels qu’ils sont mentionnés respectivement dans leurs titres. Les items de nos outils d’évaluation renvoient aux contenus des cours ; aux contraintes personnelles de chacun des acteurs ; à la qualité relationnelle et les interactions dans les groupes ; aux facteurs motivants ; à la rigueur dans le travail et l’apprentissage et aux perspectives de chaque acteur. Les résultats : } Les contenus des cours : Moyenne des 4 questionnaires = 65% Le QAPEES (formulaire étudiant) : La moyenne des valeurs qui correspondent à ces items est égale à « 3, 2 » en pourcentage = 64% Le QAPEES (formulaire enseignant) : La moyenne des valeurs qui correspondent à ces items est égale à « 3, 4 » en pourcentage = 68% Le QATAU (formulaire des administrateurs) : La moyenne des valeurs qui correspondent à ces items est égale à « 3, 1 » en pourcentage = 62% Le QATECRU (formulaire responsables) : La moyenne des valeurs qui correspondent à ces items est égale à « 3, 3 » en pourcentage = 66%. } Les contraintes personnelles : Moyenne des 4 questionnaires = 60% Les items du CAPEES (étudiant) : La moyenne des valeurs qui correspondent à ces items est égale à « 4,3 » en pourcentage = 86%. Pour le CAPEES (enseignant) : La moyenne des valeurs qui correspondent à ses items est égale à « 2,6 » en pourcentage = 52%. Le QATAU (administrateurs) : La moyenne des valeurs qui correspondent à ses items est égale à «2,8 » en pourcentage = 56%. 354 QATECRU (responsables) : La moyenne des valeurs qui correspondent à ses items est égale à « 2,3 » en pourcentage = 46%. } Le relationnel : Moyenne des 4 questionnaires = 32% Le QAPEES (formulaire étudiant) : La moyenne des valeurs qui correspondent à ces items est égale à « 1, 8 » en pourcentage = 36% Le QAPEES (formulaire enseignant) : La moyenne des valeurs qui correspondent à ces items est égale à « 1,4 » en pourcentage = 28% Le QATAU (formulaire des administrateurs) : La moyenne des valeurs qui correspondent à ces items est égale à « 1,5 » en pourcentage = 30% Le QATECRU (formulaire responsables) : La moyenne des valeurs qui correspondent à ces items est égale à « 1,7» en pourcentage = 34%. Les facteurs motivants : Moyenne des 4 questionnaires = 29,5% Le QAPEES (formulaire étudiant) : La moyenne des valeurs qui correspondent à ces items est égale à « 1,3 » en pourcentage = 26% Le QAPEES (formulaire enseignant) : La moyenne des valeurs qui correspondent à ces items est égale à « 1,5 » en pourcentage = 30% Le QATAU (formulaire des administrateurs) : La moyenne des valeurs qui correspondent à ces items est égale à « 1,9 » en pourcentage = 38% Le QATECRU (formulaire responsables) : La moyenne des valeurs qui correspondent à ces items est égale à « 1,2 » en pourcentage = 24%. Tableau N°1 : le graphe représentant les indices de performances en pourcentage en fonction des facteurs. Synthèse L’homogénéité des résultats par rapport à chaque facteur nous éclaire sur le fonctionnement collectif des exigences liées à l’enseignement supérieur. En comparant nos résultats suivant les facteurs, nous déduisons que le relationnel influe sur les motivations des différents acteurs. Plus les indices de performances liés aux relationnel sont bas plus les indices de performance liés aux motivations le sont également, de même que les contraintes personnelles qui paraissent avec des valeurs supérieures à la moyenne. Et ce en dehors des contenus des cours qui est supérieur à la moyenne. Là nous découvrons une corrélation positive entre ces deux facteurs. Ce qui permet d’envisager de travailler sur l’amélioration du relationnel afin d’aboutir à une motivation meilleure. Remarque : Les résultats plus développés seront présentés dans le texte final (l’article) avec d’autres facteurs (rigueur dans le travail et l’apprentissage et les perspectives de chaque acteur). Références Badari Kamel, H. A. (2012). Maitriser les indicateurs de la formation, Edition OPU, 70 pages. Balm G. (1994), Evaluer et améliorer ses performances, Le benchmarking. Paris, AFNOR Edition 1994 355 Chibane M. Hallouane Z (2015), Typologie d’évaluation de la qualité des performances dans l’enseignement supérieur, actes du 27eme colloque ADMEE. Didou-Aupetit S. (2005), Cahiers de la recherche sur l’éducation et les savoirs, Mesures et assurance qualité dans l’enseignement supérieur au Mexique, p. 109-132. Garcia S. (2006), L’assurance qualité : un outil de régulation du marché de la formation supérieure et de gestion des universitaires, Cahiers de la recherche sur l’éducation et les savoirs, n°5, 2006, pp. 69/93. Heldenberg Anne (2011), Les démarches qualité dans l’enseignement supérieur en Europe, 283 pages, publiés par Harmattan. 356 COMMENT L’ANALYSE DES DONNÉES DE PRODUCTION PERMET D’AMÉLIORER LA FORMATION CONTINUE DES ÉVALUATEURS D’UNE ÉPREUVE D’EXPRESSION ORALE (ID 154) CASANOVA, Dominique, Chambre de commerce et d'industrie de région Paris Ile-de-France (FR) BROWN, Gisèle, Chambre de commerce et d'industrie de région Paris Ile-de-France (FR) BOUMAAZ, Amine, ENSAI (FR) DEMEUSE, Marc, Université de Mons (BE) RÉSUMÉ L’évaluation d’une épreuve d’expression orale est un processus complexe qui recourt généralement à un jugement humain, avec tout ce qu’il comporte d’imprévisible. En effet, de nombreux paramètres interviennent dans l’acte d’évaluation (Eckes, 2011), qui peuvent influer sur la décision prise par l’évaluateur. Chaque évaluateur a une expérience et un parcours qui lui sont propres et peut se trouver dans des dispositions particulières au moment de l’évaluation (fatigue, préoccupation personnelles, effet de transfert, intérêt pour le contenu de la discussion…), en dépit des recommandations émises par l’organisme d’évaluation (Artus & Demeuse, 2008). Par ailleurs, les évaluateurs développent leur propre compréhension du référentiel d’évaluation et des exigences propres à un niveau donnée, même si les documents de référence et la formation à l’entrée dans le dispositif sont identiques pour chacun. La mise en place d’une formation à l’entrée dans le dispositif, d’un suivi des premières évaluations et de sessions de standardisation ne suffisent donc pas toujours pour faire converger les évaluations de manière satisfaisante (Lumley & McNamara, 1995). A défaut de faire disparaître les différences entre correcteurs, elles contribuent à l’amélioration de la consistance individuelle et renforcent la validité des évaluations. Il est donc important de pouvoir mettre en lumière les différents profils d’évaluateurs (McNamara & Adams, 1991), et cela à partir des données de production, le comportement d’un évaluateur pouvant être différent lors d’une activité formative. Cette explicitation du profil des évaluateurs peut être utilisée pour leur proposer un accompagnement plus personnalisé et pour mettre en place une stratégie d’appariement en jurys qui assure une évaluation plus « neutre » des candidats, afin de limiter l’erreur de mesure (Casanova et Demeuse, 2011). Ceci est d’autant plus nécessaire dans un contexte d’évaluation à forts enjeux, où des garanties doivent être apportées sur la validité et la fidélité des résultats. Cette communication présente les méthodes et les outils mis en place pour le suivi et l’accompagnement des évaluateurs de l’épreuve d’expression orale du Test d’évaluation de français (TEF) du Centre de langue française de la Chambre de commerce et d’industrie de la région Paris Ilede-France. Ce test est diffusé à l’international à travers un réseau de centres agréés, et l’épreuve d’expression orale, organisée pour 25.000 candidats par an, est animée et évaluée par deux évaluateurs du centre agréé. Un dispositif de contrôle sur échantillon, à partir d’un enregistrement sonore des passations, permet d’assurer la qualité de ces évaluations. Il est réalisé par des évaluateurs du Centre de langue française, qui réévaluent les candidats sans avoir pris connaissance de l’évaluation du centre. Certains de ces enregistrements sont réévalués indépendamment par deux évaluateurs, ce qui 357 permet de disposer d’informations reliant entre eux les différents évaluateurs. Ces données sont analysées au moyen du modèle de Rasch multifacettes, qui permet de caractériser la sévérité des évaluateurs du Centre de langue française aux seuils entre niveaux de performance et en fonction des critères d’évaluation. La détermination des profils des évaluateurs du Centre de langue française permet de mettre en évidence des singularités et proposer un accompagnement individualisé plus efficace qu’une formation-type commune à l’ensemble des évaluateurs, telle que celle qu’ils suivent à leur entrée dans le dispositif. Cette connaissance des profils est déterminante dans le dispositif de contrôle des évaluations dans les centres agréés. En effet, pour un enregistrement donné, c’est un évaluateur de profil neutre pour le niveau attribué par le jury du centre agréé (c’est-à-dire qui ne présente pas de sévérité particulière pour l’attribution ce niveau) qui sera choisi pour la contre-évaluation. Lorsqu’un écart de niveau est constaté, une nouvelle contre-évaluation est organisée par un évaluateur de profil comparable, ce qui permettra de déterminer le niveau final du candidat. Un bilan a posteriori peut alors être réalisé pour chacun des centres agréés sur la base de ces contre-évaluations. Il renseigne le Responsable du centre sur la fréquence des écarts d’évaluation constatés, sur les jurys concernés, sur les niveaux posant difficulté et précise les cas les plus problématiques pour que des formations ciblées puissent être organisées avec les évaluateurs concernés. L’analyse des données de production permet ainsi de rétroagir sur la formation des évaluateurs en leur proposant un accompagnement centré sur les difficultés qu’ils rencontrent en situation opérationnelle. Références Artus, F., & Demeuse, M. (2008), Évaluer les productions orales en français langue étrangère (FLE) en situation de test. Étude de la fidélité inter-juges de l’épreuve d’expression orale du Test d’évaluation de français (TEF) de la Chambre de commerce et d’industrie de Paris, Les cahiers des sciences de l’éducation, n°25 et 26, 131-151. Casanova, D. & Demeuse, M. (2011). Analyse des différentes composantes influant sur la fidélité de l’épreuve d’expression écrite d’un test standardisé de français langue étrangère, Mesure et évaluation en éducation, 34(1), 25-53. Eckes, T. (2011). Introduction to Many-Facet Rasch Measurement. Analysing and Evaluating Rater-Mediated Assessments, Frankfurt am Main: Peter Lang. Linacre, J. M. (1989). Many-facet Rasch Measurement, Chicago: MESA Press. Lumley, T., & McNamara, T. F. (1995). Rater characteristics and rater bias: Implications for training, Language Testing, 12, 54–71. McNamara, T. F., & Adams, R. J. (1991), Exploring rater behavior with Rasch techniques. Communication présentée au 13th Language Testing Research Colloquium, Educational Testing Service. Princeton, N.J. 358 L’APPORT DU MODÈLE DE RASCH DANS UN PROCESSUS DE VALIDATION D’UN TEST DE CONCORDANCE DE SCRIPT (ID 156) DIONNE, Eric, Université d'Ottawa (CA) GRONDIN, Julie, Université du Québec à Rimouski (CA) LATREILLE, Marie-Ève, Université d'Ottawa (CA) RÉSUMÉ Le test de concordance de script (TCS) est un instrument qui a été développé initialement dans les années 90 pour développer et mesurer le raisonnement clinique chez les futurs médecins. De nos jours, son développement et son utilisation visent à évaluer le raisonnement clinique chez bon nombre d’étudiants qui se destinent à une profession dans le secteur de la santé (ex. sciences infirmières, chiropractie, etc.). Essentiellement, il s’agit d’un outil composé de quatre différentes sections. La première est composée d’un cas clinique fournissant aux sujets un certain nombre d’informations (ex. âge du patient, principaux symptômes, etc.). La seconde présente une hypothèse de jugement clinique qui peut s’opérationnaliser, par exemple, par un geste clinique (ex. administrer un médicament, demander un bilan sanguin, etc.). La troisième section présente une conséquence en lien avec l’hypothèse précédemment émise (ex. à la suite de l’administration du médicament vous observez que…, le bilan sanguin démontre…, etc.). La dernière section, quant à elle, permet aux sujets de se prononcer sur la valeur de l’hypothèse émise. Autrement dit, dans quelle mesure cette hypothèse, liée au raisonnement clinique, permet de résoudre le problème du patient ? Dans un TCS, il n’y a pas clairement de bonne ou de mauvaise réponse. En effet, le score attribué aux sujets est fonction de la distribution des scores d’un panel d’experts ayant répondu préalablement au TCS. Plus la réponse d’un sujet « concorde » avec la réponse modale du panel d’experts, plus le sujet aura un score élevé. À l’inverse, plus son score s’éloigne de la réponse modale, plus son score sera faible. La structure des scores dépend donc considérablement de la façon dont les experts auront eux-mêmes répondu aux questions. Plusieurs variables peuvent donc affecter les qualités psychométriques du TCS. Nous pouvons mentionner, à titre d’exemple, la composition du panel des experts, le nombre d’experts, la méthode d’attribution des scores, le nombre de catégories de réponse, etc. Mentionnons que les études psychométriques en lien avec le TCS s’appuient généralement sur la théorie classique des tests. Dans le cadre de l’étude retenue, nous avons mis à profit le modèle à crédit partiel de Rasch (Masters, 1982) pour étudier un TCS développé en sciences infirmières (Latreille, 2012). Nous souhaitions répondre à la question de recherche suivante : existet-il une différence à employer le modèle de Rasch (1960, 1980, 1992) plutôt que la théorie classique des tests dans le cadre d’un processus de validation d’un TCS ? 359 Méthodologie Pour réaliser cette étude, nous avons fait une analyse secondaire des données. Les données initiales proviennent de la recherche de Latreille (2012) qui a développé, administré et validé un TCS en sciences infirmières dans le domaine spécifique de la pédiatrie. Le panel d’experts était composé de quinze sujets (n=15) et l’épreuve a été administrée auprès de soixante-dix (n=70) étudiantes en sciences infirmières. Au départ, 30 cas cliniques ainsi que 90 items ont été développés. Après avoir optimisé le TCS, la moitié des cas cliniques et la moitié des items ont été abandonnés. La théorie classique des tests (TCT) a été utilisée (cohérence interne, corrélations items-total, difficulté, etc.) pour déterminer les propriétés psychométriques de l’instrument. Dans le cadre de nos travaux, nous avons donc réanalysé les données, mais, en mettant cette fois à profit la modélisation de Rasch pour vérifier si les items problématiques étaient les mêmes en utilisant la modélisation de Rasch plutôt que la TCT. Les logiciels Winsteps (Linacre, 2015) et FACETS (Linacre, 2015) ont été employés pour réaliser les analyses touchant les 15 cas cliniques et les 45 items issus du processus d’optimisation. Les analyses ont été réalisées en suivant les propositions de Tennant et Conaghan (2007). Résultats Les résultats montrent que l’échelle de mesure souffre d’un certain nombre de difficultés. Le graphique de Wright illustre, par exemple, que l’échelle est lacunaire dans trois zones distinctes de l’échelle. On remarque également que certains items possèdent une corrélation faible (≤0,10). Par ailleurs, les statistiques d’ajustement (infit et outfit) basées sur le carré moyen sont adéquates (les valeurs sont comprises dans l’intervalle 0,5 à 1,5) autant pour les sujets que pour les items. Il s’agit généralement d’un indice intéressant sur la qualité de la mesure. En ce qui concerne les sujets, l’indice de séparation (0,88) et la fidélité (0,44) sont faibles. Ces valeurs peuvent s’expliquer par la taille modeste de l’échantillon. En ce qui concerne les items, l’indice de séparation (3,10) et l’indice de fidélité (0,91) sont adéquats. Nous avons aussi examiné si le postulat d’unidimensionnalité semblait être respecté. Après avoir analysé les résidus des corrélations inter-items, nous avons remarqué que 97 % des résidus montraient une corrélation faible ou nulle (≤0,30). En définitive, nous avons noté que certains items avaient été abandonnés à la lumière de la TCT sans raison suffisante. Nous avons aussi identifié quelques items problématiques qui n’ont pas été ciblés avec la TCT. Conclusion À notre connaissance, aucune étude ne s’est intéressée à la qualité de la mesure obtenue avec un TCS en mettant à profit le modèle de Rasch. Nos travaux semblent démontrer que l’optimisation d’un TCS serait améliorée en utilisant une telle méthodologie en permettant, entre autres, d’identifier les items réellement problématiques tout en conservant des items utiles qui seraient trop rapidement abandonnés à la lumière seule de la TCT. Références Latreille, M-E. (2012). Évaluation du raisonnement clinique d’étudiantes et d’infirmières dans le domaine de la pédiatrie. (Mémoire de maîtrise non publié). Université d’Ottawa, Ottawa. 360 Linacre, J. M. (2015). Facets computer program for many-facet Rasch measurement, version 3.71.4. Beaverton, Oregon: Winsteps.com Linacre, J. M. (2015). Winsteps, version 3.90.0. Beaverton, Oregon: Winsteps.com Masters G.N. (1982) A Rasch model for partial credit scoring. Psychometrika 47, 149-174. Rasch G. (1960, 1980, 1992) Probabilistic Models for Some Intelligence and Attainment Tests. Chicago: MESA Press. Tennant, A., et Conaghan, P. G. (2009). The rasch measurement model in rheumatology: What is it and why use it? when should it be applied, and what should one look for in a Rasch paper? Arthritis Rheum, 57, 1358-1362. 361 CONTEXTUALIZAÇÃP E TEMAS ESTRUTURADORES NO EXAME NACIONAL DO ENSINO MÉDIO DE QUÍMICA (ID 159) BARBOZA, Liane Maria Vargas, Universidade Federal do Paraná (BR) FERNANDES, Claúdia de Oliveira, Universidade Federal do Estado do Rio de Janeiro (BR) HARACEMIV, Sonia Maria Chaves, Universidadde Federal do Paraná (BR) RESUMO O presente trabalho teve por objetivo analisar as questões de Química da prova do Exame Nacional do Ensino Médio (ENEM) - área Ciências da Natureza e suas Tecnologias do ano de 2014 frente às Orientações Educacionais Complementares aos Parâmetros Curriculares Nacionais - PCN+ Ensino Médio (2002), Orientações Curriculares para o Ensino Médio (2006) e Documento Básico do Enem (2001), quanto à contextualização e temas estruturadores do ensino de Química. A metodologia empregada foi análise documental com abordagem qualitativa. Neste estudo foi analisada a prova do ENEM – Caderno Azul do ano de 2014. O tema estruturador Química e biosfera foi o mais contemplado nas questões do Enem, seguido pelo tema Química e atmosfera. Outros temas abordados foram: Química e hidrosfera, Química e litosfera, Energia e transformação química e Reconhecimento e caracterização das transformações químicas. Constatou-se que 4 questões Química da prova do ENEM de 2014 não eram contextualizadas e não atendiam aos PCN+ do Ensino Médio, às Orientações Curriculares para o Ensino Médio e ao Documento Básico do ENEM. Introdução O Exame Nacional do Ensino Médio (ENEM) é um exame de larga escala instituído pelo Ministério de Educação de acordo com a Portaria n.º 438 de 28 de maio de 1998 e operacionalizado e implementado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). O ENEM foi criado com o objetivo de avaliar o desempenho do estudante ao fim da educação básica, buscando contribuir para a melhoria da qualidade desse nível de escolaridade (Brasil, 2014a). A Prova do ENEM foi estruturada como uma prova de múltipla escolha e uma redação. Para o exame foi definida uma matriz de referência contemplando competências e habilidades, imprescindíveis à vida acadêmica, ao mundo do trabalho e ao exercício da cidadania. O modelo de Matriz contempla a indicação das competências e habilidades gerais próprias do aluno, na fase de desenvolvimento cognitivo correspondente ao término da escolaridade básica, associada aos conteúdos do ensino fundamental e médio, e considera, como referências norteadoras, o texto da Lei de Diretrizes e Bases da Educação Nacional (LDB), os Parâmetros Curriculares Nacionais (PCN), os textos da Reforma do Ensino Médio e as matrizes Curriculares de Referência para o Saeb (Brasil, 2001, p.7). A Portaria n.º 109 de 27 de maio de 2009 do INEP estabelece como objetivos do Enem: 362 I - oferecer uma referência para que cada cidadão possa proceder à sua autoavaliação com vistas às suas escolhas futuras, tanto em relação ao mundo do trabalho quanto em relação à continuidade de estudos; II - estruturar uma avaliação ao final da educação básica que sirva como modalidade alternativa ou complementar aos processos de seleção nos diferentes setores do mundo do trabalho; III - estruturar uma avaliação ao final da educação básica que sirva como modalidade alternativa ou complementar aos exames de acesso aos cursos profissionalizantes, pósmédios e à Educação Superior; IV - possibilitar a participação e criar condições de acesso a programas governamentais; V - promover a certificação de jovens e adultos no nível de conclusão do ensino médio nos termos do artigo 38, §§ 1º e 2º da Lei nº 9.394/96 - Lei das Diretrizes e Bases da Educação Nacional (LDB); VI - promover avaliação do desempenho acadêmico das escolas de ensino médio, de forma que cada unidade escolar receba o resultado global; VII - promover avaliação do desempenho acadêmico dos estudantes ingressantes nas Instituições de Educação Superior (Brasil, 2009, p.1). Neste contexto o estudante deve ter condições de realizar a autoavaliação refletindo sobre suas aptidões e suas perspectivas futuras de trabalho. Para tanto é necessário que na escola básica a autoavaliação faça parte do cotidiano escolar visando a formação de sujeitos autônomos e críticos (Fernandes; Freitas, 2007, p. 35). A escolha da futura profissão é uma etapa importante da vida dos adolescentes que exige reflexão crítica sobre sua vida pessoal, escolar e sobre seus interesses. A avaliação realizada a partir do ENEM é utilizada como um parâmetro no ingresso no mundo do trabalho e no Ensino Superior. Em 2009 o ENEM passou a ser utilizado também como mecanismo de seleção para o ingresso no ensino superior. Foram implementadas mudanças no Exame que contribuem para a democratização das oportunidades de acesso às vagas oferecidas por Instituições Federais de Ensino Superior (IFES), para a mobilidade acadêmica e para induzir a reestruturação dos currículos do Ensino Médio (Brasil, 2014a). O Exame passou a constituir-se em 4 provas objetivas, contendo cada uma 45 questões de múltipla escolha para cada área do conhecimento e uma redação. As provas e respectivas áreas de conhecimento do Ensino Médio são: a) Prova I - Linguagens, Códigos e suas Tecnologias e Redação: Língua Portuguesa, Língua Estrangeira (Inglês ou Espanhol), Artes e Educação Física; b) Prova II Matemática e suas Tecnologias: Matemática; c) Prova III - Ciências Humanas e suas Tecnologias: História, Geografia, Filosofia e Sociologia; d) Prova IV - Ciências da Natureza e suas Tecnologias: Química, Física e Biologia. A nova matriz de referência do ENEM de 2009 é composta de 5 eixos cognitivos comuns a todas as áreas de conhecimento: I. Dominar linguagens (DL); II. Compreender fenômenos (CF); III. Enfrentar situações-problema (SP); IV. Construir argumentação (CA) e V. Elaborar propostas (EP) (Brasil, 2015). A matriz contempla a associação entre conteúdos, competências e habilidades. As competências e habilidades são definidas para cada área de conhecimento. Para a área das Ciências da Natureza e suas Tecnologias foram estabelecidas 8 competências e 30 habilidades. 363 Contextualização e temas estruturadores na prova de química do ENEM 2014 A ciência Química participa do desenvolvimento científico-tecnológico com importantes contribuições específicas, cujas decorrências têm alcance econômico, social e político (Brasil, 2000, p. 30). A Química está presente no dia-a-dia dos sujeitos, contribui para a formação dos cidadãos e pode possibilitar o desenvolvimento da autonomia no exercício da cidadania. Segundo Santos e Schnetzler (2010, p. 46) considerando que a cidadania se refere: à participação dos indivíduos na sociedade, torna-se evidente que, para o cidadão efetivar a sua participação comunitária, é necessário que ele disponha de informações que estão diretamente vinculadas aos problemas sociais que afetam o cidadão, os quais exigem um posicionamento quanto ao encaminhamento de suas soluções. Nesse sentido a compreensão do mundo onde os indivíduos vivem, por meio da aquisição de conhecimentos químicos com abordagem histórica, política, econômica, ética, social e ambiental, contribui para a formação cultural dos sujeitos. De acordo com os Parâmetros Curriculares Nacionais para o Ensino Médio, a Química deve contemplar as transformações químicas abordando aspectos qualitativos e quantitativos, a química a biosfera, hidrosfera, litosfera e atmosfera, a Físico-Química, a Bioquímica, a Inorgânica e a Química Orgânica (Brasil, 2000). A Química deve ser apresentada e estruturada sobre o tripé: as transformações químicas, os materiais e suas propriedades e os modelos explicativos (Brasil, 2002, p. 87). Com base nesta estrutura, as orientações pedagógicas para trabalhar a química são: contextualização, que dê significado aos conteúdos e que facilite o estabelecimento de ligações com outros campos de conhecimento; respeito ao desenvolvimento cognitivo e afetivo, que garanta ao estudante tratamento atento a sua formação e seus interesses; desenvolvimento de competências e habilidades em consonância com os temas e conteúdos do ensino (Brasil, 2002, p. 87-88). Como se pode perceber a contextualização no ensino da Química é fundamental para uma aprendizagem significativa. A abordagem dos conteúdos por meio de temas pode despertar o interesse dos estudantes para aprender a química e contribuir para o desenvolvimento do espírito crítico e reflexivo. O ensino de Química visa contribuir para a formação da cidadania e, dessa forma, deve permitir o desenvolvimento de conhecimentos e valores que possam servir de instrumentos mediadores da interação do indivíduo com o mundo. Consegue-se isso mais efetivamente ao se contextualizar o aprendizado, o que pode ser feito com exemplos mais gerais, universais, ou com exemplos de relevância mais local, regional (Brasil, 2000, p. 38). 364 A contextualização deve contribuir para dar significado aos conteúdos, a qual pode ser realizada através de temas que favoreçam a compreensão e a inserção do conhecimento disciplinar nos diferentes setores da sociedade, suas relações com os aspectos políticos, econômicos e sociais de cada época e com a tecnologia e cultura contemporânea (Brasil, 2002). De acordo com os PCN+ do Ensino Médio as competências gerais a serem desenvolvidas na área de Ciências da Natureza, Matemática e suas Tecnologias dizem respeito aos: domínios da representação e comunicação, envolvendo a leitura e interpretação de códigos, nomenclaturas e textos próprios da Química e da Ciência, a transposição entre diferentes formas de representação, a busca de informações, a produção e análise crítica de diferentes tipos de textos; da investigação e compreensão, ou seja, o uso de ideias, conceitos, leis, modelos e procedimentos científicos associados a essa disciplina; e da contextualização sociocultural, ou seja, a inserção do conhecimento disciplinar nos diferentes setores da sociedade, suas relações com os aspectos políticos, econômicos e sociais de cada época e com a tecnologia e cultura contemporâneas (Brasil, 2002, p. 88). Os temas estruturadores são temas amplos que podem abordar vários conteúdos, leis, conceitos, teorias, além dos aspectos históricos, econômicos, políticos, éticos e ambientais. Estes temas organizam os conteúdos afins. O ensino da Química por meio de temas possibilita a abordagem dos conteúdos macroscópicos, microscópicos, a contextualização e a interdisciplinaridade. Os PCN+ Ensino Médio de Química estabelecem nove temas estruturadores, sendo eles: 1. Reconhecimento e caracterização das transformações químicas; 2. Primeiros modelos de constituição da matéria; 3. Energia e transformação química; 4. Aspectos dinâmicos das transformações químicas; 5. Química e atmosfera; 6. Química e hidrosfera; 7. Química e litosfera; 8. Química e biosfera; 9. Modelos quânticos e propriedades químicas (Brasil, 2002, p. 93). Compreender as diferentes funções da abordagem de aspectos sociocientíficos permite uma compreensão de que formar cidadãos não se limita a nomear cientificamente fenômenos e materiais do cotidiano ou explicar princípios científicos e tecnológicos do funcionamento de artefatos do dia-a-dia. Assim, a contextualização pode ser vista com os seguintes objetivos: 1) desenvolver atitudes e valores em uma perspectiva humanística diante das questões sociais relativas à ciência e à tecnologia; 2) auxiliar na aprendizagem de conceitos científicos e de aspectos relativos à natureza da ciência; e 3) encorajar os alunos a relacionar suas experiências escolares em ciências com problemas do cotidiano (Santos, 2007, p. 5). Nessa perspectiva, a discussão de temas e a articulação destes com os conteúdos específicos da Química pode contribuir para uma aprendizagem mais ativa e significativa. Os estudos a partir da atmosfera, hidrosfera, litosfera e biosfera são muito apropriados para aprofundar a interdisciplinaridade, pois o entendimento da participação de cada uma dessas partes no conjunto e a do próprio conjunto requerem não só o conhecimento específico, mas fundamentalmente o entendimento dos resultados das interações entre os conhecimentos químicos e os conhecimentos físicos, biológicos e geológicos (Brasil, 2000, p. 36). 365 Conforme consta nas Diretrizes Curriculares Nacionais da Educação Básica – Ensino Médio (Brasil, 2013, p. 195) o currículo deve ter tratamento metodológico que evidencie a contextualização e a interdisciplinaridade ou outras formas de interação e articulação entre diferentes campos de saberes específicos. A abordagem da Química de forma contextualizada e interdisciplinar possibilita a interação com outras disciplinas e o trabalho crítico-social dos conhecimentos. Nesse trabalho procuramos compreender se há a contextualização na prova do ENEM e se essa, da forma como se apresenta, se relaciona com a proposta de contextualização existente nos documentos curriculares oficiais. O ENEM é uma avaliação de larga escala que tem exercido certa influência nos processos de ensino e aprendizagem e nas práticas avaliativas nas escolas. O predomínio no cenário educacional contemporâneo, dos testes de larga escala, tem influenciado os currículos, acerca daquilo que vai ser ensinado nas escolas, bem como as estratégias didáticas de ensino e de avaliação, com foco no treinamento. Tal constatação percebida a partir de pesquisas (Fernandes, 2014; Fetzner, 2014; Freitas, 2011) contrariam as próprias orientações curriculares que adotam uma perspectiva mais construtivista de ensino e aprendizagem, como observa-se no documento dos PCN da área das Ciências da Natureza, Matemática e suas Tecnologias (2000). Entendemos também que conhecer como se dá a contextualização dos conteúdos e quais são os temas abordados no ENEM pode contribuir para uma melhor compreensão desse exame no campo da química e no que tange à sua elaboração e concepção. A partir do exposto, o objetivo do presente trabalho foi analisar as questões de Química da prova do Exame Nacional do Ensino Médio - área Ciências da Natureza e suas Tecnologias do ano de 2014, frente às Orientações Educacionais Complementares aos Parâmetros Curriculares Nacionais - PCN+ Ensino Médio (2002), Orientações Curriculares para o Ensino Médio (2006) e Documento Básico do Enem (2001), quanto à contextualização e temas estruturadores do ensino de Química. Procedimentos metodológicos A metodologia desenvolvida neste estudo foi a análise documental com abordagem qualitativa. Segundo Lüdke (1986, p. 38) uma análise documental se trata de uma técnica valiosa de abordagem de dados qualitativos, seja complementando as informações obtidas por outras técnicas, seja desvelando aspectos novos de um tema ou problema. Foi analisada a prova do ENEM, área das Ciências da Natureza e suas Tecnologias, quanto às questões de Química do Caderno Azul do ano de 2014 (Brasil, 2014b, p. 16-31). Para esse trabalho, foram analisadas 15 questões de Química quanto à contextualização e os temas estruturadores do ensino de Química a partir dos documentos: PCN+ do Ensino Médio (Brasil, 2002), Orientações Curriculares para o Ensino Médio (Brasil, 2006) e Documento Básico do ENEM (2001). Resultados e discussões Os resultados da análise das questões de Química do ENEM 2014 revelaram que 73% privilegiaram a contextualização e 27% constituíram questões conteudistas. 366 No Quadro 1 podem ser observados os contextos contemplados na prova de Química ENEM 2014. Quadro 1: Contextualização sociocultural na prova de química do ENEM de 2014 continua QUESTÕES 48 - Aborda a destruição da camada de ozônio na atmosfera a partir dos clorofluorcarbonetos (CFCs). CONTEXTOS Poluição atmosférica 51 - Contempla o processo de impedimento da contaminação microbiana da água por meio do ácido hipocloroso, o qual pode formar clorofórmio e outras substâncias orgânicas tóxicas em presença de matéria orgânica. Água Medicamento 52 - Refere-se a talidomida uma substância orgânica formada pela mistura racêmica composta por dois enantiômeros (R e S). Nesta questão é informada a ação do enantiômero S da talidomida no corpo humano. Combustível 54 - Se reporta as propriedades do biodiesel em relação ao teor de ácidos graxos saturados de algumas oleaginosas e a resistência a oxidação. Combustível 56 - Trata da composição do Diesel e da quantidade de enxofre em ppm. Água 59 - Aborda a revelação das chapas de raios X e a recuperação dos íons prata. Água 63 - Refere-se à aplicação excessiva de fertilizantes nitrogenados na agricultura e a as alterações no solo e água. Água 70 - Trata sobre os resíduos químicos no corpo receptor. Fonte: Elaborado pelas autoras. 367 continuação QUESTÕES CONTEXTOS 83 - Contempla a biorremediação de resíduos sólidos gerados pela combustão incompleta de compostos orgânicos. Solo 86 - Traz informações sobre o a substância que causa mau odor de peixe. Poluição atmosférica 88 - Trata da emissão do dióxido de enxofre por indústrias de extração de cobre e níquel, em decorrência da oxidação dos minérios sulfurados. Poluição atmosférica Fonte: Elaborado pelas autoras. Nas questões contextualizadas analisadas foram identificados os seguintes contextos: 26% água, 20% poluição atmosférica, 13% combustíveis, 7% medicamento e 7% poluição do solo. A análise apontou que 27% das questões não eram contextualizadas. A contextualização sociocultural das questões analisadas como contextualizadas da prova de Química, segundo os PCN+ Ensino Médio (Brasil, 2002, p. 92-93) estavam relacionadas com: ciência e tecnologia na atualidade (72,5%), ciência e tecnologia na cultura contemporânea (16,5%), ciência e tecnologia, ética e cidadania (5,5%) e ciência e tecnologia na história (5,5%). As questões 58, 65, 77 e 80 não se apresentaram contextualizadas. A questão 58 descreveu a ação química do sabão, não apresentou nenhum contexto social, histórico, ambiental, político ou econômico. A questão 65 abordou as fórmulas estruturais de moléculas com substituintes planares e não planares, sendo classificada como uma questão conteudista. A questão 77 abordou a classificação de cadeias carbônicas e não apresentou contextualização. A questão 80 tratou do processo químico da obtenção do fenol, não revelou um enfoque contextualizado e sim uma abordagem conteudista. Os PCN da área das Ciências da Natureza, Matemática e suas Tecnologias afirmam que: o ensino de Química tem se reduzido à transmissão de informações, definições e leis isoladas, sem qualquer relação com a vida do aluno, exigindo deste quase sempre a pura memorização, restrita a baixos níveis cognitivos. Reduz-se o conhecimento químico a fórmulas matemáticas e à aplicação de “regrinhas”, que devem ser exaustivamente treinadas, supondo a mecanização e não o entendimento de uma situação-problema. Em outros momentos, o ensino atual privilegia aspectos teóricos, em níveis de abstração inadequados aos dos estudantes (Brasil, 2000, p. 32). As questões não contemplam o Documento Básico do ENEM (Brasil, 2002, p. 13), o qual estabelece que o ENEM: 368 busca verificar como o conhecimento assim construído pode ser efetivado pelo participante por meio da demonstração de sua autonomia de julgamento e de ação, de atitudes, valores e procedimentos diante de situações-problema que se aproximem, o máximo possível, das condições reais de convívio social e de trabalho individual e coletivo. Verificou-se que as questões de Química 58, 65, 77 e 80 se distanciam da proposta do Documento Básico do ENEM, pois estas não apresentam situação-problema que instigue a demonstração de autonomia, de julgamento e de ação, de atitudes, valores e procedimentos diante de situações-problema próximas ao cotidiano dos estudantes. Como apontam as Orientações Curriculares para o Ensino Médio de Química: A extrema complexidade do mundo atual não mais permite que o ensino médio seja apenas preparatório para um exame de seleção, em que o estudante é perito, porque treinado em resolver questões que exigem sempre a mesma resposta padrão. O mundo atual exige que o estudante se posicione, julgue e tome decisões, e seja responsabilizado por isso. Essas são capacidades mentais construídas nas interações sociais vivenciadas na escola, em situações complexas que exigem novas formas de participação. Para isso, não servem componentes curriculares desenvolvidos com base em treinamento para respostas padrão. Um projeto pedagógico escolar adequado não é avaliado pelo número de exercícios propostos e resolvidos, mas pela qualidade das situações propostas, em que os estudantes e os professores, em interação, terão de produzir conhecimentos contextualizados (Brasil, 2006, p. 106). É nesse sentido que o ensino dos conceitos e conteúdos de química no Ensino Médio por meio da contextualização, interdisciplinaridade e da problematização, podem levar o estudante a desenvolver o espírito crítico e reflexivo. Os instrumentos de avaliação devem ser elaborados de acordo com os processos de ensino e aprendizagem dos estudantes. A avaliação revela como é o ensinar e o aprender em química. Questões que priorizam conceitos e conteúdos memorísticos, fragmentados, e sem significado para os estudantes, podem desvelar o que ainda pode ser o ensino de química nas escolas ou as concepções de ensino e aprendizagem predominantes nas escolas, em nosso caso em especial, nas aulas de química. Os PCN+ Ensino Médio revelam que a contextualização no ensino de ciências: abarca competências de inserção da ciência e de suas tecnologias em um processo histórico, social e cultural e o reconhecimento e discussão de aspectos práticos e éticos da ciência no mundo contemporâneo (Brasil, 2002, p. 31). Nessa ótica, a contextualização do conteúdo pode ser desenvolvida a partir de temas que possibilitem a reflexão crítica, a capacidade de argumentação e a formação da cidadania. Com base nos PCN+ Ensino Médio de Química (Brasil, 2002, p. 93-106) as questões da prova foram classificadas em relação aos temas estruturadores. A análise das 15 questões de Química na prova do ENEM de 2014 quanto aos temas estruturadores revelou que 60% das questões contemplaram o tema Química e biosfera, 12% abordaram Química e atmosfera, 7% 369 Reconhecimento e caracterização das transformações, 7% Energia e transformação química, 7% Química e hidrosfera e 7% Química e litosfera. Os conteúdos de Química podem ser ensinados por meio de temas que sejam significativos para os estudantes. Para tanto, será necessário que o professor planeje as aulas, visando contemplar os aspectos, históricos, sociais, políticos éticos, econômicos e ambientais. Os estudos a partir da atmosfera, hidrosfera, litosfera e biosfera são muito apropriados para aprofundar a interdisciplinaridade, pois o entendimento da participação de cada uma dessas partes no conjunto e a do próprio conjunto requerem não só o conhecimento específico, mas fundamentalmente o entendimento dos resultados das interações entre os conhecimentos químicos e os conhecimentos físicos, biológicos e geológicos (Brasil, 2000, p. 36). A abordagem de temas químicos sociocientíficos possibilita a contextualização e o desenvolvimento da capacidade dos estudantes se posicionarem frente à situações do dia a dia. Pesquisa realizada por Santos e Schnetzler (2010, p. 109) com 12 professores de química sobre o conteúdo programático revelou que 100% dos entrevistados considerou em primeiro lugar a inclusão de temas químicos sociais no desenvolvimento no currículo. No ensino de Química o professor pode trabalhar os conteúdos químicos a partir de temas que propiciem a argumentação, a discussão, o posicionamento, a compreensão do mundo em que vivem e também o entendimento dos conceitos e conteúdos. Considerações finais A análise documental com abordagem qualitativa possibilitou analisar a prova de Química do ENEM 2014 quanto à contextualização e temas estruturadores. Esta análise poderá contribuir para estudos de outras provas de Química do Enem, pois fornece dados sobre a elaboração das questões. Os resultados da análise das questões de Química do ENEM 2014 revelaram que a maioria privilegiou a contextualização e as demais se apresentaram como conteudistas. Nas questões contextualizadas analisadas foram identificados os seguintes contextos: água, poluição atmosférica, combustíveis, medicamento e poluição do solo. A contextualização sociocultural apresentada nas questões contextualizadas da prova de Química estava relacionada com: ciência e tecnologia na atualidade, ciência e tecnologia na cultura contemporânea, ciência e tecnologia, ética e cidadania e ciência e tecnologia na história. O tema estruturador Química e biosfera foi o mais contemplado nas questões do Enem, seguido pelo tema Química e atmosfera. Outros temas abordados foram: Química e hidrosfera, Química e litosfera, Energia e transformação química e Reconhecimento e caracterização das transformações químicas. 370 Referências Brasil. (2000). Ministério da Educação. Secretaria de Educação Média e Tecnológica. Parâmetros Curriculares Nacionais para o Ensino Médio. Ciências da Natureza, Matemática e suas Tecnologias. Brasil. (2001). Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Exame Nacional do Ensino Médio – ENEM: documento básico. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Brasil. (2002). Ministério da Educação. PCN+ Ensino Médio. Orientações Educacionais Complementares aos Parâmetros Curriculares Nacionais. Ciências da Natureza, Matemática e suas Tecnologias. (2002). Disponível em : http://portal.mec.gov.br/seb/arquivos/pdf/CienciasNatureza.pdf. Brasil. (2006). Ministério da Educação. Orientações Curriculares para o Ensino Médio. volume 2. Ciências da natureza, matemática e suas tecnologias / Secretaria de Educação Básica. - Brasília: Ministério da Educação, Secretaria de Educação Básica. Brasil. (2009). Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Portaria n. 109, de 27 de maio de 2009. Estabelece a sistemática para a realização do Exame Nacional do Ensino Médio no exercício de 2009. Diário Oficial da União. Seção 1 . 107, segunda-feira, 8 de junho de 2009. Disponível em : http://www2.unirio.br/cosea/port._109__08061.pdf. Brasil. (2012) Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Matriz de referência do ENEM. Disponível em: http://download.inep.gov.br/educacao_basica/enem/downloads/2012/matriz_referencia_enem.pdf Brasil. (2013). Ministério da Educação. Secretaria de Educação Básica. Secretaria de Educação Continuada, Alfabetização, Diversidade e Inclusão. Diretrizes Curriculares Nacionais Gerais da Educação Básica / Ministério da Educação. Secretaria de Educação Básica. Diretoria de Currículos e Educação Integral. Brasília: MEC, SEB, DICEI. Brasil (2014a). Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Sobre o ENEM. Disponível em: http://portal.inep.gov.br/web/enem/sobre-o-enem. Brasil (2014b). Ministério da Educação. Instituto Nacional de Pesquisas Educacionais Anísio Teixeira. Prova de Ciências Humanas e suas Tecnologias. Prova de Ciências da Natureza e suas Tecnologias. 1º Dia Caderno 1 Azul. Brasília: INEP, 2014. Disponível em : http://portal.inep.gov.br/web/enem/edicoes-anteriores/provas-e-gabaritos. Fernandes, C. de O., Freitas, L. C. de. (2007). Indagações sobre currículo: currículo e avaliação. Brasília: Ministério da Educação, Secretaria de Educação Básica. Fernandes, C. de O. (2014). Por que é tão importante avaliar as aprendizagens? In Fernandes, Cláudia de O. (org.) Avaliação das aprendizagens e sua relação com o papel social da escola. São Paulo: Cortez. Fetzner, A. R. (2014). Entre o diálogo e a redução: práticas curriculares e avaliativas. In Fernandes, C.de O. (org.) Avaliação das aprendizagens e sua relação com o papel social da escola. São Paulo, SP: Cortez. Freitas, L. C. de. (2011). Os reformadores da Educação. E-book, v. 3, da 10ª Reunião da Anped Sudeste. 371 Lüdke, M., André, M. E. D. A. (1986). Pesquisa em educação: abordagens qualitativas. São Paulo, SP: EPU. Santos, W. L. P. (2007). Contextualização no ensino de ciências por meio de temas CTS em uma perspectiva crítica. Ciência & Ensino, 1, número especial, novembro. Santos, W. L. P., Schnetzler, R. P. (2010). Educação em química: compromisso com a cidadania. Ijuí, RS: UNIJUÍ. 372 ETUDE EXPLORATOIRE DE DÉCALAGES POTENTIELS ENTRE LES MÉTHODES D’ÉVALUATION EMPLOYÉES PAR PISA ET LA COMPLEXITÉ DES RÉPONSES APPORTÉES PAR LES ÉLÈVES: UNE ÉTUDE DE CAS AVEC UN ITEM DE MATHÉMATIQUES (ID 162) MEHMETI, Teuta, Université de Neuchâtel, Institut de psychologie et éducation (CH) RÉSUMÉ PISA: Objectifs, Critiques Les enquêtes d’évaluation à large échelle, nationales ou internationales sont devenues un outil prédominant pour mesurer et évaluer la qualité d’un système éducatif ainsi que les compétences des élèves. Dans le cas de l’enquête PISA, un des buts transversaux est celui de mesurer des compétences liées à la vie quotidienne, permettant d’affronter les défis de notre société complexe (OECD, 2010, 2014). Les items proposés dans de telles enquêtes sont donc construits et inspirés autour de situations de la vie réelle. Les chercheurs en éducation reconnaissent les efforts de PISA pour évaluer de telles compétences en suivant un design méthodologique rigoureux. Des critiques sont toutefois adressées par des chercheurs intéressés notamment par la comparaison de ces enquêtes internationales avec celles nationales (Bodin, 2005) voire régionales (pour le cas suisse : Suchaut & Ntamakirilo, 2014) ; les méthodes d’évaluation employées par les enquêteurs de PISA (Vrignaud, 2006) ; la problématique des dispositifs pédagogiques et d’évaluation comme participant à la production des inégalités sociales à l’école (Bautier, & Rayou, 2013 ; Bautier, Crinon, Rayou, & Rochex, 2006; Rochex & Tiberghien, 2006). Depasser une vision unidimensionnelle des competences et tenir compte de l’heterogeneite des modes de faire, de pensee, univers et registres par les eleves Dans cette contribution, nous visons à enrichir ce débat en approfondissant une hypothèse pouvant découler des deux dernières lignées de recherches: nous souhaitons en effet montrer en quoi les pratiques d’évaluation de PISA peuvent conduire à une conception unidimensionnelle des compétences, manquant ainsi de considérer l’hétérogénéité des modes de faire, des univers et registres (Bautier, Bonnéry, Crinon, Rayou, & Rochex, 2015 ; Bautier, Crinon, Rayou, & Rochex, 2006 ; Bautier & Rayou, 2013) mobilisés par les élèves. Dans ce sens, nous nous inspirons aussi des analyses apportées par les didacticiens en mathématiques (par exemple Roditi & Salles, 2015) et soulignons la nécessité d’étudier finement le type de connaissances et compétences mises en jeu dans les épreuves PISA, l’activité pensante et réflexive de l’élève qui résout un item PISA : quel type de raisonnement est attendu de sa part suivant les objectifs et évaluations de PISA ? Les compétences que souhaitent mesurer PISA semblent-elles être en adéquation avec la manière dont les réponses des élèves sont évaluées ? 373 Considerations Theoriques Notre approche théorique est essentiellement inspirée de l’approche psycho- socioculturelle qui met l’accent sur la dimension contextuelle des apprentissages et du développement de la pensée chez l’individu. Les compétences sont donc dépendantes des contextes desquels elles découlent et dans lesquels elles prennent sens. Des études ont par exemple pu montrer que les compétences d’enfants dans des résolutions de problèmes mathématiques varient selon les contextes dans lesquels ces compétences sont mises en jeu et les situations mises en scènes dans les problèmes à résoudre : par exemple des enfants sont capables de faire des calculs relativement complexes lorsqu’ils exercent des activités de vente dans la rue, mais n’y arrivent pas dans un exercice plus formel, de type scolaire (Carraher, Carraher, & Schliemann, 1985), ou dépassent les difficultés rencontrées à résoudre un problème mathématique posé dans une forme formelle lorsque le problème est proposé en mettant en scène l’activité du basketball (Nasir, Hand, & Taylor, 2008). Suivant cette approche, les élèves peuvent se montrer compétents lorsque l’exercice formel demandé fait sens par rapport à la situation mise en scène. Suivant une approche interdisciplinaire, des chercheurs français proposent la notion de secondarisation (Bautier & Rochex, 2004) comme notion heuristique pour désigner le travail psycho social, langagier, et cognitif demandé à l’élève qui doit dépasser son expérience immédiate et adopter une attitude plus décentrée et réflexive sur les objets de savoir. Ce travail de secondarisation semble donc exigé par les acteurs en éducation. Cependant, ceci ne demeure souvent qu’un implicite pour l’élève. Questionnements Suivant ces approches, nous nous attachons ici à saisir un éventuel décalage qui peut émerger entre la manière dont les enfants raisonnent dans une tâche, leur compréhension de celle-ci, les univers, modes de pensée qu’ils semblent mobiliser, et les exigences et buts des responsables de l'évaluation des élèves dans les items PISA. PISA se donne comme but de mesurer des compétences liées à des situations de la vie quotidienne : a ce sujet nous poserons la question de savoir dans quelle mesure l’usage de situations quotidiennes participe du travail psycho-social, cognitif et langagier de l’élève résolvant l’item. Approche methodologique Cette étude est basée sur des données issues d’un travail de thèse de doctorat en cours. L’item "Cambriolages", item mathématiques libéré (enquête PISA 2012), a été privilégié en raison de son faible taux de réussite totale par les élèves suisses. Un design quasi-expérimental a été privilégié dans le but de mesurer la variation des réponses des élèves selon que l’item 1) propose une situation familière aux élèves 2) légitime leur prise de position et argumentation. 91 élèves de 12 à 15 ans ont été interrogés sur l’item original (N =34 ), un item modifié de notre part suivant le format 1) (N= 57) et suivant le format 2) (N= 50). Une analyse qualitative des réponses des élèves a été faites sur l’ensemble des productions écrites (N= 141) avec une attention particulière à la manière dont les réponses des élèves reflètent ou non les exigences des concepteurs de PISA. 374 Premieres observations et ouvertures Les premières analyses tendent à montrer que 1) l’usage d’un registre familier ne semble pas systématiquement favoriser la production de réponses qui seraient considérées comme correctes par PISA 2) le fait de poser plusieurs questions et favoriser un espace pour argumenter est susceptible de favoriser chez les élèves l’émergence de réponses considérées comme correctes suivant l'évaluation proposée dans PISA. Nous discuterons en quoi ces résultats semblent conforter l’hypothèse 1) d’un manque de prise en considération par les évaluateurs de PISA de la complexité du travail psycho-social et cognitif requis de la part de l’élève et 2) d’un décalage entre ce niveau de complexité et l’évaluation des compétences à caractère unidimensionnel. Références Bautier, E., Bonnéry, S., Crinon, J., Rayou, P., & Rochex, J.-Y. (2015). Penser les difficultés des élèves et des enseignants In S. Bonnéry (Ed.), Supports pédagogiques et inégalités scolaires (pp.161176). Paris : La dispute. Bautier, E., Crinon, J., Rayou, P., & Rochex, J.-Y. (2006). Performances en littéracie, modes de faire et univers mobilisés par les élèves: analyses secondaires de l'enquête PISA 2000. Revue française de pédagogie, 157, 85-101. Bautier, E., & Rayou, P. (2013). malentendus scolaires. Paris : PUF. Les inégalités d'apprentissage. Programmes, pratiques et Bautier, E., & Rochex, J.-Y. (2004). Activité conjointe ne signifie pas significations partagées. Raisons éducatives. Situation éducative et significations, 8, 199-220. Bodin A. (2005). What does PISA really assess ? What it doesn’t ? A French View. Communication presentée à la conférence franco-finnoise « Enseigner les mathématiques : au-delà de l’enquête PISA », Paris : 6-8 octobre. Carraher, T. N., Carraher, D.W., Schliemann, A.D. (1985). Mathematics in the streets and in schools. British Journal of Developmental Psychology, 3, 21 - 29. Nasir, N., Hand, V. & Taylor, E.V. (2008). Culture and mathematics in school : Boundaries between « cultural » and « domain » knolwedge in the mathematics classroom and beyond. Review of Research in Education, 32, 187-240. OECD (2010). PISA 2009 Results: What Students Know and Can Do – Student Performance in Reading, Mathematics and Science (Volume I). PISA : OECD Publishing. OECD (2014), PISA 2012 Results: What Students Know and Can Do – Student Performance in Mathematics, Reading and Science (Volume I, Revised edition, February 2014). PISA : OECD Publishing. Rochex, J.-Y. & Tiberghien, A. (Éd.). (2006). PISA: Analyses secondaires, questions et débats théoriques et méthodologiques. Revue française de pédagogie, 157. Roditi, E., & Salles, F. (2015). Nouvelles analyses de l’enquête PISA 2012 en mathématiques. Un autre regard sur les résultats. Eduction & Formations, 86-87, 235–257. 375 Suchaut, B., & Ntamakiliro, L. (2014). Connaissances scolaires et compétences mesurées par PISA. Résultats aux épreuves cantonales et à PISA: quelles relations chez les élèves vaudois? (Notes de recherche No. 159). Unité de recherche pour le pilotage des systèmes pédagogiques. Retrieved from d.ch/fileadmin/user_upload/organisation/dfj/ursp/Publications/Publications_99ajd/159_rapport_ursp_2014.pdf Vrignaud, P. (2006). La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ? Revue française de pédagogie, 157, 27-41. 376 ÉVALUATION DE LA RÉFLEXIVITÉ AU TRAVERS DE PORTFOLIOS (ID 163) HOUSEN, Marie, Université de Liège (BE) PIRARD, Florence, Université de Liège (BE) RÉSUMÉ Notre étude s’inscrit dans une expérience d’enseignement et d’apprentissage avec portfolio expérimentée depuis 2010 (Pirard & Lambert, 2015) et exploite une sélection de matériel recueilli durant l’année académique 2014-2015 auprès de cent soixante étudiants universitaires inscrits au cours « Questions et Pratiques d’Éducation du Jeune Enfant » (QPEJE) dispensé en première année du master en Sciences de l’Éducation de l’Université de Liège. Elle propose des analyses de « traces de réflexivité » (Derobertmasure & Dehon, 2012, p.31) créées lors de la rédaction de portfolio. Dans cette expérience, le portfolio est considéré d’abord comme un outil de développement intégré dans un dispositif d’enseignement qui fait appel à la réflexivité. Il permet aux étudiants de garder trace de leurs apprentissages au fil des activités proposées dans un dispositif d’enseignement universitaire qui articule des temps présentiels à d’autres activités telles que les lectures en ligne, les possibilités d’échange sur un forum, des visites de terrain, la rencontre de professionnels, des analyses vidéoscopiques. Des questions clés sont proposées aux étudiants afin de structurer leur portfolio et le développement de leur pensée. Elles concernent leurs représentations du jeune enfant et des conditions éducatives à privilégier dans un cadre professionnel ainsi que leurs perceptions des enjeux éducatifs spécifiques au secteur. Des documents vidéo filmés dans des institutions éducatives par des praticiens sont consultables en ligne. Il leur est demandé d’en sélectionner un de le décrypter et de l’analyser d’abord de manière spontanée, ensuite référencée à l’aide des différentes ressources théoriques mises à leur disposition en ligne. On peut considérer que ce dispositif d’enseignement présente les deux grandes caractéristiques, qui, selon Chaubet (2010), permettent de stimuler la réflexivité : 1) agir en situation de travail authentique ou vraisemblable (dans notre cas les vidéos et la visite en milieu d’accueil) 2) confronter à l’altérité (la visite de terrain, les échanges avec les professionnel-le-s et les débats menés en classe). Le portfolio devient en fin de parcours un objet d’évaluation individuelle. Il constitue aussi la base d’un rapport commun, lui-même évalué, à deux, trois ou quatre étudiants qui sont invités à confronter, analyser et synthétiser leurs représentations du jeune enfant, des conditions éducatives et leur perceptions des enjeux éducatifs ; leur décryptage et analyse de situations éducatives filmées. La réflexivité fait partie des critères d’évaluation finale tels que le propose Deum et Vanhulle (2008). L’importance accordée au développement de la réflexivité et à son évaluation dans ce dispositif nous conduit à analyser rétrospectivement l’évaluation réalisée de portfolios. La référence au modèle théorique de la réflexivité d’Hatton & Smith (1995) adapté par Michaud & Alin (2010) permet une gradation de la réflexivité en termes de niveaux. Il prend en compte le caractère développemental de la réflexion. Quatre niveaux de réflexion y sont décrits : descriptif sans réflexion, descriptif, argumentatif et critique. Néanmoins, il importe de préciser que ces différents niveaux ne doivent pas être compris comme une hiérarchie en termes de « valeurs ». En effet, les résultats d’une recherche d’Hatton et Smith (2005) ont permis de montrer que la phase descriptive 377 sans réflexion constitue un palier nécessaire au niveau suivant. Dès lors, dans notre analyse ce n’est pas seulement l’atteinte du niveau de réflexion critique qui nous permet de conclure à l’aboutissement d’une pratique réflexive de qualité mais bien « […] le recours équilibré à chacune des différentes familles de processus » (Derobertmasure, 2012). L’apport de Michaud et Alin (2010) permet d’étayer ces différents niveaux de réflexivité en y précisant pour chacun des indicateurs de fond (justification des choix, processus mis en œuvre, cohérence des idées, …), des indicateurs de forme portant sur la structure et la temporalité des écrits et enfin un indicateur d’implication estimé par la manière dont l’auteur se présente dans son portfolio (je, il, on et nous). Les indices réflexifs de notre échantillon de portfolio ont été classés par plusieurs codeurs au sein de cette grille afin de nous permettre d’évaluer d’une part, le niveau de réflexivité atteint et d’autre part, l’utilisation équilibrée des quatre niveaux. Références Chaubet, P. (2010). La réflexion, processus déclenché et constructeur : cas d’enseignants de FLS en formation ou en exercice et d’aspirants coopérants internationaux (Thèse de doctorat en sciences de l’éducation). Université de Montréal, Montréal, Canada. Derobertmasure, A. (2012). La formation initiale des enseignants et le développement de la réflexivité ? Objectivation du concept et analyse des productions orales et écrites des futurs enseignants (Thèse de doctorat en Sciences Psychologiques et de l’Éducation). Université de Mons, Mons, Belgique. Derobertmasure, A. & Dehon, A. (2009). Vers quelle évaluation de la réflexivité en contexte de formation initiale des enseignants ? Questions Vive, 6 (12), 29-44. doi : 10.4000/questionsvives.376 Deum, M. & Vanhulle, S. (2008). Portfolio et démarches socio-réflexives, Cahier de la section des Sciences de l’éducation, n°116. Hatton, N. & Smith, D. (1995). Reflection in teacher education : towards definition and implementation. Teaching and Teacher Education, 11 (1). 33-49. Lambert, I. & Pirard, F. (2015). Portfolio, un outil d’apprentissage et d’évaluation des compétences en formation des adultes. Actes du 27ième colloque de l’admee europe – L’évaluation à la lumière des contextes et des disciplines, 235-238. Michaud, C. & Alin, C. (2010). Le portfolio : Un en-(je)u de formation et de développement professionnel. Acte du congrès d l’Actualité de la recherche en éducation et en formation (AREF), 1-9. Université de Genève. 378 AS IMPLICAÇÕES DA AVALIAÇÃO DE DESEMPENHO NA VALORZAÇÃO DOS DOCENTES DA REDE PÚBLICA ESTADUAL DE ENSINO DO RIO GRANDE DO NORTE (BRASIL) (ID 164) ALVES, Fádyla Késsia Rocha de Araújo, UFRN/U.LISBOA/CAPES (BR) FANÇA, Magna, UFRN (BR) MELO, Amilka Dayane Dias, UFRN (BR) RESUMO No Brasil, a lei complementar nº 322 de 11 de janeiro de 2006 dispõe sobre o Estatuto e o Plano de Cargos, Carreira e Remuneração do Magistério Público Estadual do Rio Grande do Norte (PCCR), referente à Educação Básica e à Educação Profissional, e dá outras providências. De acordo com essa legislação, a carreira dos professores é organizada em seis Níveis e dez Classes. O nível é a posição na estrutura da carreira correspondente à titulação do cargo de Professor, ou seja, depende do nível de formação de cada professor, o qual pode ser de nível médio (N-I), licenciatura curta (N-II), licenciatura plena (N-III), especialização (N-IV), mestrado (N-V) ou doutorado (N-VI). A classe é o agrupamento de cargos genericamente semelhantes em que se estrutura a carreira e é representada pelas letras de A a J. A mudança de nível denomina-se Promoção e a mudança de classe é chamada de Progressão. Entretanto, segundo o artigo 4º da lei do PCCR, um dos princípios que regem o magistério é a evolução funcional baseada na avaliação do desempenho e na aquisição de titulações. Ou seja, a evolução na carreira docente (promoção e progressão) está condicionada a alguns fatores, como por exemplo, a avaliação de desempenho. Essa avaliação ocorre em dois momentos diferentes da carreira do professor. No primeiro momento, ela ocorre sessenta dias antes de encerrar o estágio probatório docente que é sempre de 3 anos. E os requisitos são: disciplina; assiduidade; eficiência; pontualidade; ética; relacionamento interpessoal; e aptidão para o exercício do respectivo cargo. Além de aprendizagem dos alunos e gestão do trabalho pedagógico; participação na elaboração, execução e avaliação da Proposta Pedagógica da Escola; e colaboração em atividades de articulação da Escola com as famílias dos alunos e a comunidade. No segundo momento, após o estágio probatório, essa avaliação ocorre enquanto condição para a evolução funcional do professor, de maneira que, define a possibilidade do professor obter ou não a progressão de sua carreira, o que implica na mudança de classe e no aumento de 5% do seu vencimento. Legalmente, as progressões devem ocorrer anualmente e serem publicadas no dia 15 de outubro de cada ano. A avaliação de desempenho do professor deve ser efetivada por meio da análise, por parte de uma Comissão de Gestão do Plano de Cargos, Carreira e Remuneração do Magistério Público Estadual, dos seguintes critérios: desempenho das funções de magistério; produção intelectual; qualificação profissional; e rendimento obtido pelos alunos da unidade de ensino em que o professor for lotado. Tais requisitos apontam para uma avaliação de caráter subjetivo, tornando-a não objetiva, acrítica e não reflexiva. Além desses requisitos, para a efetivação de progressão, o professor deve cumprir o interstício mínimo de dois anos de efetivo exercício funcional na mesma classe de vencimento e a pontuação mínima em cada critério da avaliação de desempenho, ao final dos dois anos. O vencimento de cada professor depende do nível e da classe em que ele se encontre, logo, a avaliação de desempenho configura-se um dos fatores restritivos a melhoria salarial dos docentes. Um dos principais desafios da educação brasileira é remunerar 379 adequadamente os professores, o que torna a questão salarial parte indispensável para as propostas de valorização docente. Entretanto, realidades como a do Rio Grande do Norte tornam a carreira docente pouco atrativa, seja pelas condições de trabalho ou, principalmente, pelos baixos níveis de remuneração. No setor público, estadual ou municipal, geralmente, a restrição orçamentária é imposta como critério dominante na definição de melhorias salariais. Assim, a avaliação de desempenho compreende uma das estratégias políticas a serem utilizadas para dificultar o avanço na carreira docente após o estágio probatório e, consequentemente, impedir melhorias salariais e maiores investimentos do poder público na remuneração de professores. No caso específico do Rio Grande do Norte, os docentes da rede estadual de ensino sofrem com a negação do direito às mudanças de níveis e classes (promoção e progressão). Quanto a mudança de níveis, eles conquistam uma nova titulação, mas essas não lhe são outorgadas de imediato, principalmente, aquelas relacionadas com a sua formação em nível de pós-graduação, demorando anos para serem contempladas. Em relação à mudança de classes, verificam-se dificuldades em virtude da não efetivação daquilo que propõe o PCCR, uma vez que, este define a criação de uma comissão de gestão do plano de cargos, carreira e remuneração do magistério para a efetivação da avaliação de desempenho, porém, essas definições não ocorrem a contento na referida rede de ensino, pois, a referida comissão não foi criada, bem como a avaliação de desempenho não tem sido efetivada. A partir deste cenário, o presente trabalho objetiva analisar as implicações da avaliação de desempenho no contexto da valorização do magistério e o uso dessa avaliação como estratégia política para limitar o avanço na carreira na docente e, consequentemente, reduzir os investimentos do governo em maior remuneração desses profissionais. Para o desenvolvimento deste trabalho procedeu-se à uma análise bibliográfica e documental. Concluiu-se que as principais implicações da avaliação de desempenho para a valorização do magistério são os critérios subjetivos consubstanciados nos requisitos para promoção e progressão, como por exemplo, quando a avaliação da aprendizagem dos alunos está associada a avaliação de desempenho docente, bem como a limitação que esta avaliação provoca na melhoria salarial ao não permitir avanços na carreira dos professores, especialmente, quando ela não é efetivada conforme determinação da lei estadual, o que induz a transformar o plano de carreira em uma “lei morta”. 380 EVALUATION DES SEMINAIRES DE COLLABORATION INTERPROFESSIONNELLE - INITIATIVE DU PÔLE SANTÉ DE L'UNIVERSITÉ LIBRE DE BRUXELLES (ID 165) BLONDEAU, Marie, Université libre de Bruxelles (BE) SCHETGEN, Marco, Université libre de Bruxelles (BE) RÉSUMÉ La collaboration entre les différents acteurs du domaine de la santé est essentielle pour optimaliser la prise en charge des patients tant en milieu hospitalier qu’au sein de la première ligne de soins. Un dispositif de formation à la collaboration interprofessionnelle a été mis en place par les différentes sections du Pôle Santé de l'Université libre de Bruxelles en 2013 (étudiants en médecine, pharmacie, kinésithérapie, ostéopathie et santé publique), auxquelles se sont ajoutés les étudiants en Soins Infirmiers de la Haute Ecole libre de Bruxelles Ilya Prigogine. Chaque étudiant participe ainsi à 2 séminaires organisés en sous-groupes pluridisciplinaires. Ils ont pour objectif de mieux connaître les autres professions, de communiquer et collaborer pour une prise en charge interprofessionnelle d’un patient. Dans cette communication, l’accent sera mis sur l’évaluation du dispositif mis en place : satisfaction des étudiants, apprentissages effectués et compétences mises en œuvre. Des pistes seront proposées pour analyser plus précisément le développement des compétences de collaboration interprofessionnelle des étudiants. Contexte La prise en charge optimale des patients exige de plus en plus une vision multidisciplinaire amenant les différents agents de santé à collaborer régulièrement tant en milieu hospitalier qu’au sein de la première ligne de soins. En effet, pour offrir aux patients des soins de meilleure qualité, plus efficients et sécuritaires, tous les acteurs de santé doivent faire preuve d’une capacité de travailler en équipe, d'une bonne connaissance des rôles revenant aux autres professions et d'une attitude positive à l'encontre de tous les membres de l'équipe pluridisciplinaire (Hammick, 2009). Pour former les étudiants à cette pratique collaborative, le Pôle Santé de l’ULB a mis en place une formation interprofessionnelle, formation définie par le CAIPE (2002) comme un processus d’apprentissage conjoint regroupant deux professions ou davantage, qui leur permet de mieux se connaître pour mieux collaborer et améliorer la qualité des soins. Ainsi, depuis septembre 2013, des séminaires transversaux, encadrés par des professionnels de santé, mettent les étudiants de différentes sections médicales et paramédicales en situation de collaboration interprofessionnelle. Dispositif Le dispositif consiste à regrouper les étudiants en fin de formation de 6 écoles/facultés (médecine, santé publique, kinésithérapie, ostéopathie, pharmacie et soins infirmiers) lors de deux séminaires. 381 Au total 500 étudiants participent aux séminaires. Comme le décrit Blondeau et al. (2015), les objectifs visés sont : connaître le travail effectué par les autres professionnels, comprendre l’intérêt de chaque discipline dans le cadre d’une prise en charge interdisciplinaire et communiquer entre acteurs des différentes disciplines. Ainsi, les étudiants organisés en sous-groupes multidisciplinaires de 8 ou 9 échangent autour de cas cliniques. Lors du premier séminaire, ils sont amenés à expliquer aux autres participants les spécificités de leur métier au travers du cas étudié. Le second séminaire exige de chaque groupe d’élaborer de manière collaborative un projet de prise en charge du patient. Evaluation des apprentissages Le dispositif mis en place permet d’évaluer les apprentissages des étudiants, tant au niveau des connaissances effectuées que des compétences développées. Nous décrivons ci-dessous les résultats récoltés lors de la deuxième année de mise en œuvre (2014-2015). Les connaissances Lors des 2 années de lancement du dispositif, les apprentissages effectués ont été évalués de manière formative sur base d’un pré et d’un posttest. Le développement des connaissances sur les rôles et les fonctions de chacune des professions a ainsi été évalué à l’aide d’un questionnaire (vrai/faux) rempli en ligne avant et après les séminaires (3 questions par profession représentée). 307 étudiants ont rempli les 2 questionnaires. fréquence de la différence pré - post (/18) Tableau 1 : fréquence des différences de résultats entre le pré et le posttest (année 2104-2015) Nous pouvons observer une augmentation des points le plus souvent entre 1 et 6 points supplémentaires sur 18. Les compétences Il est difficile d’évaluer les compétences développées par les étudiants dans un dispositif de formation assez court (au total 6 heures par participant) et avec un effectif aussi important. C’est 382 pourquoi nous avons choisi d’évaluer les compétences que les étudiants déclarent avoir mises en œuvre au cours du séminaire et celles qu’ils estiment avoir développées. Tableau 2: Compétences déclarées avoir été mises en œuvre Ces résultats nous indiquent que les étudiants estiment avoir adopté certains comportements favorisant le travail en équipe et la collaboration interprofessionnelle, comme l’ouverture à la critique, la participation à la prise de décision. Bien entendu, ce ne sont que des déclarations, mais nous pouvons toutefois estimer qu’un tel exercice de métacognition (l’apprenant fait état de connaissances explicites de son fonctionnement) contribue à développer des apprentissages de qualité, et ce particulièrement dans le domaine des compétences méthodologiques (Romainville, 2007). Nous avons également demandé aux étudiants si les séminaires leur avaient permis de mieux connaître les rôles et fonctions des différentes professions et s’ils se sentaient plus capables de collaborer avec les autres professionnels. Tableau 3 : Compétences déclarées avoir été mises en œuvre Ces résultats nous indiquent qu’environ 9 étudiants sur 10 ont le sentiment d’avoir atteint ces objectifs. Les commentaires des étudiants vont dans le même sens : ils retiennent l’idée de 383 l’importance de la collaboration interprofessionnelle, et mentionnent l’intérêt des séminaires pour connaître les rôles de chacun des professionnels. Evaluation du dispositif Suite aux deux séminaires, les étudiants ont rempli un questionnaire d’évaluation de leur satisfaction quant au dispositif mis en place. Tableau 4 : Evaluation de la satisfaction des étudiants quant au dispositif pédagogique Comme lors de la première année de mise en œuvre (Blondeau et al., 2015), la grande majorité des étudiants déclare avoir apprécié les séminaires ainsi que leur animation. Les commentaires soulignent cette satisfaction puisque les étudiants souhaitent plus de séminaires, une organisation plus tôt dans le cursus,… Conclusions Une formation à la collaboration interprofessionnelle est de plus en plus indispensable pour les futurs acteurs de notre système de santé. Les séminaires mis en place pour les étudiants du Pôle Santé de l’ULB et de la HELB Ilya Prigogine sont très appréciés et leur permettent de communiquer entre eux et de mieux connaître les autres professionnels de santé, leurs rôles et responsabilités. L’évaluation actuelle des séminaires et de leur impact est toutefois limitée à la meilleure connaissance des rôles et fonctions des différents professionnels représentés et à la déclaration des compétences mises en œuvre ou développées. Une étude plus approfondie du fonctionnement des sous-groupes et du transfert des compétences sur le terrain serait intéressante à mener. Perspectives Dès la rentrée 2015, un nouveau pas sera réalisé pour évaluer les compétences des étudiants : deux groupes multidisciplinaires seront filmés lors de leurs échanges. Ces séquences seront analysées à l’aide d’une grille d’évaluation de la collaboration interprofessionnelle validée. 384 De plus, afin d’évaluer le niveau 3 de Kirkpatrick « performance » (Kirkpatrick, 1994), une enquête sera réalisée auprès des maîtres de stage et des jeunes diplômés sur leurs capacités de collaboration avec les autres professionnels. Par ailleurs le SimLabS, centre de simulation créé par l’ULB et la Haute Ecole libre de Bruxelles Ilya Prigogine, a comme objectif d’intégrer la simulation au cœur de la formation initiale des étudiants. En fin de cursus seront organisées des activités de prise en charge interprofessionnelle. Ces mises en situation interprofessionnelles permettront de développer davantage les compétences des étudiants dans ce domaine. Références Blondeau M., Schetgen M., Schellens P.J., Datoussaid K., Thibaut P., Mise en place de séminaires de collaboration interprofessionnelle en santé, Initiative du Pôle Santé de l'Université libre de Bruxelles p 285-290, 17-19 juin 2015, Brest, France Blondeau M., De Vriese C., Schetgen M., Mise en place de séminaires de collaboration interprofessionnelle pour les étudiants du Pôle santé de l’ULB, Third Belgian Pharmaceutical Care Symposium, 7 février 2015, Mechelen, Belgique CAIPE, Centre For The Advancement Of Interprofessional Education, 2002, Royaume-Uni http://caipe.org.uk/ Frenk J, Chen L, Bhutta ZA, Cohen J, Crisp N, Evans T et al. (2010). Health professionals for a new century: transforming education to strengthen health systems in an interdependent world. Lancet 376 (9756):1923-1958. Hammick M, Olckers L, Campion-Smith C. (2009), Learning in interprofessional teams: AMEE Guide no 38. Med Teach, 31(1):1-12. Kirkpatrick D.L, Evaluating Training Programs : the four levels, Third ed., Berrett Koehler, 1994, San Francisco Romainville M., Conscience, métacognition, apprentissage : le cas des compétences méthodologiques in La conscience chez l’enfant et chez l’élève, sous la direction de Pons F. et Doudin P.A. , Québec : Presses de l’Université du Québec, 2007, 108-130. 385 L'ÉVALUATION DES PRATIQUES ÉVALUATIVES DANS LEUR CONTEXTE: VIDÉOSCOPIE ET ANALYSE SÉQUENTIELLE DES LOGIQUES ET DES DÉMARCHES (ID 167) GRENON, Vincent, Université de Sherbrooke,(CA) LAROSE, François, Université de Sherbrooke, (CA) RÉSUMÉ L’étude des pratiques effectives des enseignants fait l’objet d’un intérêt croissant en sciences de l’éducation, et ce, depuis longtemps (Tupin,2003). Cet intérêt se manifeste peu importe le type de dispositif de soutien à la préparation, à l’actualisation ou à l’évaluation auquel les praticiens recourent. Le dépôt de nouveaux programmes de formation destinés aux élèves du primaire et du secondaire au Québec, depuis le début des années 2000, a eu, ou à tout le moins aurait dû avoir, des répercussions sur les pratiques évaluatives des enseignants. En prenant appui sur un cadre de référence développé au sein du Centre de recherche sur l'intervention éducative et socioéducative (CRIÉSÉ), nous avons développé un cadre méthodologique pour étudier les pratiques enseignantes par l'entremise de la vidéoscopie. Nos études sont basées sur des indicateurs observables et elles intègrent une dimension temporelle. Parmi les indicateurs retenus, certains sont d'intérêt pour ce colloque puisqu'ils touchent des pratiques de nature évaluative. De manière générale, ce cadre d'analyse convient à l'étude des pratiques enseignantes, mais aussi aux pratiques d'intervenants ayant à intervenir avec des clientèles distinctes. Notre cadre d'analyse repose sur la notion d’intervention éducative (Lenoir, Larose, Deaudelin, Kalubi et Roy, 2002) qui intègre "l’ensemble des actions de planification (phase préactive: identification de la situation problème; établissement d’un jugement de valeur justifiant l’action; structuration de l’action au sein d’un dispositif), d’actualisation en classe (phase interactive: l’agir en situation) et d’évaluation de l’actualisation (phase postactive)" (p. 14). Ces trois phases occupent une grand rôle dans le découpage de l'analyse des pratiques. Dans le cadre de cette communication, nous illustrerons l'intérêt d'une nouvelle démarche qui prend en compte les interventions de nature évaluative (formatives et sommatives) d'enseignants en contexte et en quoi il est possible de décrire les interactions entre ces indicateurs et d'autres observés lors des interactions entre des intervenants et des formés. En ce sens, les pratiques d'évaluations sont plutôt traditionnelles, mais la démarche pour les étudier pourrait être qualifiée de novatrice. Pour ce faire, nous présenterons les résultats de l’analyse vidéoscopique du recours aux technologies de l’information et de la communication (TICE) de la part d’enseignants du secondaire et de leurs impacts sur l’apprentissage des compétences scripturales de leurs élèves. Une analyse factorielle d’opérateurs (Dazy, Le Barzic, Saporta et Lavallard, 1996; Escofier et Pagès, 1990) a permis d’étudier plus de 160 indicateurs (110 associées aux actions des enseignants et 58 décrivant les actions des élèves). Parmi ces indicateurs, quatre ciblent directement l'évaluation sommative et quatre autres sont associés à des éléments qui touchent l'évaluation formative. Au total, 26 périodes d’observations ont été réalisées, codifiées et analysées. Cette étude a été soutenue par le Fonds de recherche du Québec - Société et culture, ce projet de recherche a permis, entre l’automne 2011 et l'hiver 2013, d’accompagner des groupes d’enseignants dans le développement de situations d’apprentissage et d'évaluation (SAE) authentiques soutenant le 386 développement des compétences scripturales et intégrant les TICE. Sur le plan temporel, il est possible de constater une évolution dans les stratégies d'enseignement, dans les rétroactions fournies et dans l’emphase mise sur les étapes de création des productions écrites des élèves (planification, rédaction et révision du texte). À titre d’exemple, les enseignants ont davantage invité leurs élèves à recourir aux dispositifs technologiques mis en place pour soutenir la démarche d’écriture que nous l’avions espéré au démarrage du projet (plus de 60% du temps d’enseignement a été consacré à utiliser les différents dispositifs). Par contre, malgré tout le soin apporté à accompagner les enseignants à recourir aux outils informatisés lors de l'évaluation, ceux-ci ont évité de recourir à des fonctions avancées des dispositifs. Ils ont préféré se satisfaire de fonctions plus simples reprenant ce qu'ils faisaient de manière plus traditionnelle. En fonction des différents dispositifs sélectionnés (blogue, Twitter et idéateur), nous observons des différences significatives quant au potentiel de soutien qu’offrent ces outils. Ensuite, nous expliciterons en quoi ce type de démarche méthodologique permet d'étudier les pratiques de manière générale, mais aussi en quoi elle permet de cibler des pratiques de nature évaluative en contexte. En terminant, nous expliquerons les éléments qu'il faut considérer pour être en mesure de transposer cette approche à des contextes similaires. Nous présenterons le cas d'une recherche en cours impliquant l'étude des interventions de nature évaluative d'organismes communautaires œuvrant auprès de clientèles adultes et défavorisées. 387 L’ÉVALUATION DES « COMPÉTENCES FONDAMENTALES » DANS LE CADRE DE L’INTERVENTION ÉDUCATIVE D’ORGANISMES COMMUNAUTAIRES MONTRÉALAIS S’ADRESSANT AUX PARENTS MARGINALISÉS (ID 168) LAROSE, Francois, Université de Sherbrooke, (CA) GRENON, Vincent, Université de Sherbrooke, (CA) RÉSUMÉ Cette communication sera centrée sur l’hiatus existant entre les pratiques de formation et d’évaluation de deux organismes communautaires montréalais intervenant auprès de parents marginalisés et sous-scolarisés d’une part et, d’autre part, les exigences en matière d’évaluation des apprentissages et de certification du réseau de l’enseignement public aux adultes qui accueille en fin de parcours la majorité des parents bénéficiaires. Plus concrètement, nous ferons tout d’abord état du contexte caractérisant l’intervention socioéducative déployée par deux organismes communautaires montréalais, l’École des parents (RESO) et l’École des parents (Pointe-auxTrembles). En effet, au Québec, 80 % des adultes ne détenant pas de certification d'études secondaires n'atteignent pas le seuil minimal de compétences en littératie pour pouvoir être considérés fonctionnels au plan économique et social (Institut de la statistique du Québec, 2006). Plusieurs auteurs reconnaissent l'importance de l'intervention socioéducative déployée par les organismes communautaires en matière d'alphabétisation des adultes auprès des populations marginalisées que les services des commissions scolaires n'arrivent pas à rejoindre. Plusieurs auteurs reconnaissent aussi que les taux d’abandon après retour aux études chez les adultes provenant des populations vulnérables sont anormalement élevés. L’action compensatoire déployée par les organismes communautaires au plan de l’accès à un seuil minimal de littératie fonctionnelle chez les adultes provenant des populations vulnérables et marginalisées, représente un levier efficace mais fragile pour le retour aux études qualifiantes d’adultes peu ou pas scolarisés. Cette fragilité est en grande partie due à l’incohérence des approches pédagogiques et des pratiques évaluatives déployées par les formateurs des organismes communautaires d’une part et, d’autre part, celles des personnels enseignants. Il en résulte un sentiment de contraste radical entre les approches vécues préalablement par les adultes au sein des organismes communautaires et celles, plus typiquement scolaires, auxquelles ils sont confrontés lors de leur insertion dans un centre d’éducation des adultes. En effet, les objets de formation ainsi que le matériel didactique utilisé dans les organismes communautaires sont issus de la réalité et du vécu des formés. Le matériel et les pratiques évaluatives y est caractéristique d'une démarche située fondée sur l'apprentissage en contexte authentique. Il n'y a donc pas de perspective curriculaire à proprement parler, ce qui distingue fortement les dispositifs mis en oeuvre de ceux que peuvent adopter les services d'éducation des adultes des commissions scolaires québécoises. Cette communication fera état des données spécifiques aux pratiques évaluatives déployées par les formatrices et formateurs de deux organismes communautaires, l’École des parents (Sud-ouest de Montréal) et l’École des Parents (Pointe-aux-Trembles) implantés dans deux des quartiers à plus fort indice de défavorisation socioéconomique du territoire de l’Île de Montréal. Les questions de recherche suivantes y seront abordées : Quel est l'impact réel des interventions socioéducatives d’organismes communautaires sur l’intégration scolaire de parents marginalisés ? Quelles sont les caractéristiques de ces 388 interventions au plan des démarches pédagogiques et évaluatives ? À partir des données quantitatives et textuelles recueillies dans le cadre d’une recherche-action en cours (FRQSC 20142017) impliquant des chercheurs des Universités de Montréal et de Sherbrooke ainsi que des intervenants des deux organismes communautaires, nous décrirons d’abord brièvement les finalités de l’intervention, les logiques et les procédures évaluatives déployées par les formateurs et la forme d’arrimage entre formations offertes et exigences d’intégration des adultes bénéficiaires dans le réseau régulier de l’éducation des adultes des commissions scolaires montréalaises. Nous ferons ensuite état des résultats de l’analyse de contenu comparative des instruments soutenant l’évaluation formative ou sommative pratiquée par les deux organismes communautaires au regard des compétences ciblées dans le cadre des formations offertes. Nous présenterons les résultats d’une analyse lexicométrique séquentielle du discours des formateurs et des formés (cohortes 20142015) au regard des logiques et des pratiques évaluatives déployées. Nous soulignerons à cet égard l’avantage du recours aux techniques de rééchantillonnage (bootsrtaping) des éléments discursifs. Nous terminerons cette communication en examinant les pistes d’ajustement en cours de développement au sein des deux organismes partenaires à l’égard de l’amélioration de la stabilité (fidélité) et de la pertinence (validité) des instruments permettant d’assurer l’évaluation des apprentissages dans un contexte de formation non-curriculaire. Nous porterons à cet effet, une attention particulière à l’arrimage souhaité entre les pratiques évaluatives déployées dans le cadre des formations offertes par le communautaire et celles auxquelles les apprenants seront confrontés lors de leur transition vers les services formels de l’éducation aux adultes. 389 A AUTOAVALIAÇÃO E A COAVALIAÇÃO COMO ESTRATÉGIA TERAPÊUTICA NO PROCESSO DE APRENDIZAGEM DO DESENHO (ID 169) RÉ, Sofia, Universidade de Lisboa, (PT) RESUMO Contexto O ensino profissional em Portugal tem vindo a ter grande adesão por parte dos alunos que veem nesta via uma forma de concluir o ensino secundário com sucesso. À revelia da orientação vocacional, muitos deles por vezes ingressam em cursos profissionais da área artística relacionados com os meios digitais, com a perspetiva de que o gosto pelas novas tecnologias seja suficiente como pré-requisito. Em virtude disso, estes alunos nem sempre apresentam a expectável aptidão para o desenho, o que reforça a atitude de desmotivação de muitos deles. Neste âmbito, apresento aqui um caso que se reporta ao ano letivo de 2012/2013, onde lecionei a disciplina de Desenho e Comunicação Visual, a alunos do 12º ano, na escola secundária de Santo André (Barreiro). Problemática Após algumas aulas reparei que, perante as dificuldades com que se deparavam no desenho, estes alunos denunciavam três fatores de bloqueio, que se ativavam em cadeia: a) Revelavam dificuldades em tomar consciência da articulação entre os mecanismos visuais e psicomotores, envolvidos no desenho de observação. Não tinham, por exemplo, a perceção de que o movimento da mão tem de obedecer ao olho, e não ao cérebro, que muitas vezes os induz em erro. b) Frustravam-se com as dificuldades e os insucessos dos desenhos, sobretudo porque se identificavam com a própria produção e tinham dificuldades em aceitar os erros e as orientações da professora. c) Encontravam estratégias de defesa e/ou de evitação: tanto defendendo com um ego artístico as incorreções dos seus trabalhos, como por vezes assumindo uma clara atitude de procrastinação, que não permitia sequer começar os trabalhos. Perante este cenário coloca-se a seguinte questão: como fazer os alunos tomarem consciência das dificuldades, bloqueios e tendências que muitas vezes põem em causa a aprendizagem do desenho? Metodologia e instrumentos Decidi, por isso, introduzir uma aula para apreciação e avaliação intermédia dos quatro desenhos já realizados. Os alunos dispuseram-se todos em redor de uma grande mesa, onde cumpriram um processo de três passos: 390 1º - Cada aluno apresentava, comentava e avaliava os seus próprios desenhos, numa autoavaliação qualitativa. 2º - Esses desenhos eram então alvo de comentário por parte dos restantes colegas, numa coavaliação qualitativa. 3º - No final era atribuída a cada desenho uma classificação concertada entre os restantes colegas, numa coavaliação quantitativa. A minha função, enquanto professora, era a de moderar o grupo e a de registar, por escrito e em tempo real, os comentários e as avaliações. Um papel passivo para a professora que assim dá protagonismo aos alunos. Os instrumentos de recolha de dados utilizados foram os registos escritos pela professora dos principais comentários dos alunos (em auto ou coavaliação) e das classificações atribuídas, bem como a ficha de autoavaliação realizada no final do módulo, que me permitiu aferir algum do impacto que esta estratégia teve no autoconhecimento e na regulação do desempenho dos alunos. Descrição e análise de resultados A análise dos instrumentos de registo de comentários relativos à auto e coavaliação dos desenhos, permitiu verificar os seguintes resultados: 1) Quando comentaram os desenhos de produção própria os alunos verbalizaram pensamentos latentes impeditivos do desenvolvimento da aprendizagem (p.e. “O meu problema é começar…”, ou “Eu não sou artista!”) ou causas para o insucesso do desenho relacionadas sobretudo com os processos (p.e. “andei 40 000 vezes às voltas com a perspetiva….”) revelando uma atividade metacognitiva (Santos, 2002: 4). 2) O comentário sobre os desenhos dos outros facilmente extravasou para o comentário ao desempenho (p.e. “demoras muito”), onde se diagnosticaram causas e prescreveram soluções. 3) Também houve feedback positivo, de incentivo aos bons resultados conseguidos. A observação, por parte da professora, do desenvolvimento dos seguintes exercícios permitiu verificar que houve uma maior preocupação em tomar consciência dos motivos de certas opções técnicas ou das atitudes perante o trabalho. A ficha de autoavaliação dos alunos realizada no final do módulo, permitiu apurar indícios de um aumento do autoconhecimento (“não sabia que conseguia desenhar assim”), de autoconfiança (“aprendi a confiar mais em mim”) e de aplicação de estratégias que, a partir desse autoconhecimento, contornassem problemas de evitação ou procrastinação (“Descobri novas técnicas: não gosto de pintar fundos, por isso, utilizei spray”). Conclusão Partilho a ideia de Régnier quando refere que “desenvolver a capacidade de se auto-avaliar influi na capacidade de aprender” (2002: 9), mas não posso deixar de destacar o papel terapêutico que estas práticas podem ter para o aluno. O termo “terapêutico” justifica-se aqui pela manifestação de um certo mal-estar, associado às três forças de bloqueio que enunciei anteriormente: no desfasamento entre os mecanismos visuais e os psicomotores, que nos faz confundir (p.e.) o desenho de um cavalo com o desenho de um cão; a 391 correspondência das limitações do desenho com as do próprio sujeito; e a procrastinação dos alunos face ao desenho, apenas para não se confrontarem com as suas dificuldades. Este mal-estar existe e é inconsciente para os alunos, pelo menos ao nível das suas raízes. A autoavaliação como atividade metacognitiva permite evidenciar essas causas, de modo que o aluno possa identificar um problema, antecipá-lo e controlá-lo, algo que mais ninguém pode fazer por ele (Nunziati, 1990: 50). A coavaliação tem também o poder de desdramatizar os diagnósticos, porque todos passam pelo lugar de avaliado e avaliador. Por essa razão, os mais duros diagnósticos, e digase também os mais generosos incentivos, realizados pelo grupo de pares são incomensuravelmente mais eficazes do que todos os esforços que possam partir do professor. Se é o aluno que ativa mecanismos de bloqueio, por vezes inconscientemente, então só no pleno exercício da autonomia é que ele os poderá reconhecer e desativar. Ao outro, membro do seu grupo de pares, reserva-se o papel de contraponto neste processo de autoconhecimento do sujeito, que com ele partilha a angústia dos fracassos e o entusiasmo dos sucessos. Referências Nunziati, G.(1990). Pour construire un dispositif d’ évaluation formatrice. Cahiers Pdagogiques, 280, 47-64. Régnier, Jean-Claude. (2002). A auto-avaliação na prática pedagógica. Revista Diálogo Educacional, 3 (6), 1-16. Santos, L.. (2002). Auto-avaliação regulada: porquê, o quê e como?. Lisboa: DEB. 392 L’ÉVALUATION COMME OUTIL DE REMÉDIATION À L’UNIVERSITÉ (ID 170) DE ALMEIDA, Tereza, Aix-Marseille Université: CAER EA 854 (FR) DE GIORGI, Bernard, Aix-Marseille Université : LERMA EA 853 (FR) RÉSUMÉ L’observation critique des méthodes d’évaluation dans l’enseignement supérieur a donné lieu à une recherche appliquée ayant pour objectif l’amélioration des résultats des étudiants en anglais et en portugais. Ces deux filières universitaires sont pourtant bien dissimilaires en termes de structure, d’effectifs et de méthodes pédagogiques, mais elles sont confrontées à un problème équivalent de faiblesse du niveau de langue, notamment dans les domaines de la compréhension et de l’application des règles de grammaire. La recherche d’une méthodologie davantage performante que celle en vigueur s’est appuyée sur l’évaluation formative, qui fait appel à la participation des apprenants, à leur réflexion et, dans certains cas, à la conception de leurs propres outils d’évaluation, dans une perspective constructiviste. L’auto-évaluation et l’évaluation par les pairs deviennent alors des moyens de conscientisation d’un niveau personnel à améliorer par étapes progressives. L’enseignant n’est ainsi que l’accompagnateur de ce processus de mise en contrôle des compétences, apportant des moyens techniques (modèles d’exercices en ligne, grilles d’évaluation par domaines…) et des sources cognitives nécessaires à l’apprentissage (cours, références des manuels…) ; autant de matière première pour l’élaboration conjointe enseignant/apprenant d’une trajectoire évaluative jalonnée par des contrôles réguliers et diversifiés. Cet ensemble d’auto-contrôle et de contrôle mutuel continus prétend – dans le meilleur des cas – faciliter l’accès au savoir et, par conséquent, aux bons résultats de l’étudiant. Dans ces conditions, l’évaluation terminale, forcément sommative, n’est jamais que l’aboutissement d’une méthode de travail appliquée tout au long du semestre – une évaluation qui somme mais n’assomme pas. Cet article est le compte-rendu d’une expérimentation menée conjointement par deux enseignants-chercheurs de l’Université d’Aix-Marseille, plus précisément en cours de langue des départements de portugais et d’anglais. Les résultats de ce travail ne peuvent être que partiels en raison de son cadre restreint, à savoir le premier semestre de l’année universitaire 2015-2016. Toutefois, il a donné lieu à un certain nombre de constats qui encouragent à considérer l’évaluation comme un outil d’amélioration des résultats des étudiants. Contexte général de l’expérimentation Pour décrire le cadre général dans lequel s’est déroulée l’expérimentation, le premier constat que l’on peut faire est que l’université française ne se caractérise pas par un enthousiasme débordant face aux innovations pédagogiques. Contrairement à l’enseignement secondaire, et plus encore à l’enseignement primaire, où la réflexion s’est traduite par des modifications profondes des pratiques pédagogiques, les méthodes à l’université n’ont guère évolué au cours des dernières décennies alors que le public étudiant est en pleine mutation. Les innovations que l’on observe dans le supérieur sont principalement liées aux TICE, qui modifient mécaniquement, par le biais de leur utilisation, les façons de faire, mais il faut bien admettre que leur impact est limité. Ce constat est 393 particulièrement vrai en ce qui concerne l’évaluation, puisque la seule légitime, aux yeux de l’institution, et, de ce fait, aux yeux des équipes enseignantes, est l’évaluation sommative, qui sanctionne et valide ou non un niveau. Dans la plupart des cas, il s’agit d’un examen terminal, ou d’un contrôle continu, qui n’est jamais qu’une évaluation sommative répétée plusieurs fois au cours du semestre. En raison de ces principes et de l’obligation de suivre un programme, cette expérimentation a dû être menée quasi-intégralement « hors les murs », principalement par le biais de la plateforme d’enseignement à distance de l’université (AMéTICE, dérivée de Moodle) et de travaux effectués à la maison. Pour la plupart, il ne s’agissait pas d’activités du groupe classe, au sein duquel se sont déroulés les exercices traditionnellement effectués en TD de langue. Au vu du surcroît de travail occasionné, et du caractère gratuit de cette tâche supplémentaire (les notes ne sont pas prises en compte dans la moyenne du semestre), il a été jugé préférable de ne pas rendre obligatoires ces activités, qui ont donc été organisées sur la base du volontariat. De ce fait, tous les étudiants concernés n’ont pas forcément vu, pour des raisons diverses, l’intérêt de cet investissement, et la participation n’a pas été générale, vérifiant ainsi l’affirmation de Philippe Perrenoud (1991) : « Même à l’université, même dans l’enseignement postobligatoire, on ne peut pas faire comme si tous les apprenants avaient constamment envie d’apprendre, savaient pourquoi ils sont là et voulaient coopérer à leur propre formation. » (p. 68). Cadre théorique Du point de vue théorique, cette expérimentation prône l’apprentissage par l’évaluation formative, dans la fonction potentiellement pédagogique qu’elle peut revêtir ; son efficacité dans un système où prime le caractère sommatif. Dans ce cadre, évaluer doit conduire à l’observation et à l’analyse des résultats pour l’étudiant, qui prend conscience de ses erreurs, et pour l’enseignant, qui peut ainsi lui proposer des moyens de remédiation ciblés, pour de nouvelles réalisations, le but étant de fixer les connaissances et d’améliorer les résultats. Ce processus prépare à l’évaluation sommative institutionnelle, qui classe, et valide un niveau d’étude, voire un diplôme. Dans le meilleur des cas, l’évaluation formative contribue à un apprentissage plus solide et à de meilleurs résultats lors de l’évaluation sommative: Figure 1: Les activités mises en place 394 Pour le portugais, l’expérience a été réalisée dans le cadre d’un TD de langue et de grammaire d’une dizaine d’étudiants de deuxième année de licence. Ce cours était soumis à une évaluation sommative en fin de semestre. Ont alors été mises en place diverses formes d’évaluation formative, à savoir: - une évaluation initiale, lors du premier cours, concernant les acquis du programme de grammaire du semestre précédent ainsi que la représentation que chaque étudiant avait de son propre niveau. - des exercices pendant les cours, au fil des semaines (dictées, exercices de compréhension de texte ou de grammaire…) - des devoirs à la maison écrits : des exercices d’application et des rédactions… ou en ligne : - des exercices d’application sur des points de grammaire traités en cours. En effet, en anglais, comme en portugais, ont été élaborés des exercices à partir du logiciel Hot Potatoes, tels que des Quiz, des exercices à trous et d’appariement. Les exercices de ce type pêchent notamment par leur décontextualisation. Une formation sur ces outils a été nécessaire afin de faciliter la création d’activités davantage attractives et pédagogiquement efficaces ; - le travail de groupe par le biais d’un forum en ligne. Tous les exercices – en anglais comme en portugais – ont été corrigés, soit en auto-correction, soit en correction par les pairs ou par les enseignants, avec traitement des résultats, qui ont été systématiquement communiqués aux étudiants. En ce qui concerne l’anglais, l’expérimentation a porté sur un groupe d’une trentaine d’étudiants de première année en TD de grammaire (parmi 10 groupes fonctionnant en parallèle). A l’issue de l’évaluation initiale, effectuée en classe lors de la première séance, comme en portugais, trois grands types d’activités leur ont été proposés : - une batterie d’exercices en autocorrection, portant sur les points apparaissant dans l’évaluation initiale, et permettant un entraînement spécifique sur ce qui a été insuffisamment maîtrisé ; - un test hebdomadaire en ligne, en temps limité et autorisant un nombre limité de tentatives, sur un point du programme différent chaque semaine (avec, en guise de préparation et de remédiation – si le score au test était jugé insuffisant – les exercices en autocorrection susmentionnés) ; - un travail collectif, par le biais duquel chaque groupe devait concevoir des exercices, les proposer aux autres groupes, et les corriger. Il est à noter que toutes ces activités ont été menées en ligne, sur la plateforme AMéTICE. 395 Participation aux exercices en ligne En anglais, une enquête de fin de semestre révèle que les étudiants ont un jugement positif sur ces exercices : ils les trouvent utiles, ni trop courts, ni trop longs, ni trop faciles, ni trop difficiles, mais les statistiques parlent d’elles-mêmes : la moitié d’entre eux a fait entre 50% et 10% des exercices proposés, alors qu’un peu plus de 10% seulement ont fait quasiment tous les exercices. Exercices en ligne en anglais > 90% > 50% < 50% Figure 2 Les raisons invoquées ne sont pas liées à l’intérêt de ces activités, mais le plus souvent au manque de temps, aux oublis, aux difficultés techniques… En portugais, la motivation des étudiants est révélée par une sollicitation récurrente et précise d’exercices en ligne. Les trois quarts d’entre eux ont fait plus de la moitié des exercices. La participation est bien meilleure qu’en anglais, en raison, probablement, du nombre réduit d’étudiants en portugais, et donc à l’impossibilité de se fondre dans l’anonymat. Pourtant, un redoublant n’a fait aucun exercice et un autre étudiant a refusé de faire les exercices en ligne, alors même qu’il a fait tous les exercices écrits, en cours et à la maison. Il semblerait que l’outil technique rebute encore. Les résultats pâtissent de problèmes techniques qui proviennent du manque de maîtrise de l’outil par l’enseignant et/ou par l’étudiant. S’ajoute à cette difficulté le stress des exercices faits en temps limité, qui ont été supprimés en portugais, alors qu’en anglais les étudiants ont compris leur intérêt pour la préparation à l’examen. Exercices en ligne en portugais > 9O% > 50% < 50% Figure 3 Cela dit, en anglais, on voit apparaître une différence entre les exercices d’entraînement et les tests : tout le monde a fait au moins un test, et environ un quart des étudiants ont fait quasiment tous les tests. Il est possible de voir dans ce choix un calcul très discutable de leur part en termes de stratégie, mais très parlant du point de vue de la motivation : les tests ont un caractère plus formel, plus officiel, qui fait plus écho aux habitudes qui se sont ancrées en eux au fil de leur scolarité, et qui donne à leurs yeux plus de valeur que les exercices d’entraînement. 396 Tests eﬀectués en anglais > 90% > 50% < 50% Figure 4 Analyse du dispositif d’évaluation L’évaluation formative en ligne en portugais a été organisée de la façon suivante: Remédiation de l‘évaluation initiale Un premier exercice en ligne consistait en une remédiation d’urgence car les résultats de l’évaluation initiale faite en cours étaient catastrophiques. En effet, le pourcentage de bonnes réponses était inférieur à la moyenne (41,08 % = 8,3/20) et indiquait une défaillance de connaissance des prérequis. Le résultat de cette remédiation a été probant (63,36% = 12,67/20). Il faut préciser qu’entre l’évaluation initiale et la remédiation, deux éléments ont contribué à cette hausse : - la grille que les étudiants devaient renseigner sur les représentations de leur niveau et qui a montré à quel point ils avaient une surestime de leurs acquis ; - un ensemble de fiches ciblées sur les difficultés mises à la disposition des étudiants ; Les semaines suivantes, des exercices ont été mis en ligne en auto-évaluation. Les exercices autocorrectifs en ligne Les étudiants ont fait de nombreux exercices en ligne entre deux cours hebdomadaires tout au long du semestre. Ils pouvaient évaluer eux-mêmes l’état de leurs connaissances et cela immédiatement. L’autoévaluation proposée par AMéTICE échappe donc à l’effet Pygmalion, car l’étudiant est face à lui-même et ne doit pas subir le fantasme de l’élève modèle que l’enseignant a en tête. L’évaluation, dans ce cadre, n’est pas affectée par les effets de halo, d’intuition ou de contamination décrits par Noizet et Caverni (1978). Ces éléments socio-psychologiques constituent le pré-jugement de l’enseignant, à l’abri duquel se trouve l’étudiant dans le contexte de l’autoévaluation en ligne car c’est la machine, de manière insensible, qui révèle le niveau de l’élève sur un point précis, à un moment donné de son apprentissage. Il existe là moins d’interaction élèveenseignant dans la transmission d’un savoir ; beaucoup plus d’interaction élève-savoir face à un enseignant qui est là pour préparer la situation pédagogique, s’effacer pendant qu’elle se déroule et revenir au moment propice pour discuter des résultats avec les étudiants et proposer des solutions de remédiation aux erreurs ou aux lacunes constatées. 397 Le travail de groupe En portugais, le travail de groupe consistait en une recherche d’emploi virtuelle. Cette activité s’est révélée en partie infructueuse car elle a été proposée trop tard, au moment où les étudiants préparaient leurs examens. Elle a permis toutefois de dégager le commentaire suivant : l’activité stagnait et s’est mise en route au moment de l’intervention de l’enseignante en tant que correcteur sur le forum. Une correction qui, tout en étant personnalisée, a pu profiter à tous, par le biais du forum. Cet exercice a révélé par ailleurs le rôle fondamental de l’enseignant en tant que médiateur. En anglais, le travail de groupe a été organisé de la façon suivante : les groupes ont été constitués en classe, selon le libre choix des étudiants. L’expérience ayant été menée lors des semaines 8, 9 et 10 du semestre, les étudiants se connaissaient un peu, des affinités s’étaient créées, ce qui a facilité la composition des groupes. Ainsi, 5 groupes de 5 à 6 étudiants ont été formés. Ce travail a fait l’objet d’une mise en place et de mises au point en classe, mais la principale partie de l’activité a été effectuée à l’extérieur, avec pour support la plateforme AMéTICE. Le principe était, au-delà même de la classe inversée, un jeu de rôles, en ce sens que, chaque semaine, deux groupes étaient les groupes « maîtres », qui concevaient, distribuaient et corrigeaient les exercices, et les autres étaient les groupes « élèves », qui faisaient et rendaient lesdits exercices. La figure suivante fait apparaître les interactions entre l’enseignant et le groupe maître (pour parvenir à une proposition d’exercice exploitable) d’une part, et entre le groupe maître et les groupes élèves (envoi, renvoi et correction des exercices) d’autre part: Figure 5 Par ailleurs, le travail était organisé sur une semaine, selon le déroulement suivant : jeudi vendredi samedi dimanche lundi mardi mercredi jeudi Semaine type TD : instructions GM met les exercices en ligne GE renvoient les exercices faits au GM GM renvoie les exercices corrigés TD : bilan, commentaires, mises au point Figure 6 398 Cette phase du travail n’a pas été sans difficultés, ce qui ne doit pas surprendre, étant donné le caractère de nouveauté de l’activité pour tous les participants. La première remarque des étudiants a été une objection, selon laquelle ils ne se rencontraient pas à l’extérieur de l’université, et voyaient mal comment ils allaient pouvoir travailler ensemble. Ils ont cependant fini par admettre que s’ils étaient capables de passer des heures par jour sur les réseaux sociaux à échanger des messages sans grand intérêt, ils pouvaient tout aussi bien les utiliser pour échanger des informations relatives au travail demandé. Au final, ils ont utilisé une diversité de moyens pour communiquer entre eux, dont des rencontres physiques, in praesentia, et la soi-disant difficulté s’est ainsi transformée en point positif, puisque la communication a été quelque peu favorisée parmi les membres du groupe. La deuxième difficulté, plus réelle, était due au caractère nouveau de cet exercice. Les étudiants avaient en effet du mal à concevoir des exercices faisables et discriminants, souvent en raison d’une maîtrise imparfaite des notions, et à corriger convenablement. Pour aider les étudiants dans la conception des exercices, l’enseignant a saisi l’opportunité qui lui était donnée du fait du nombre impair de groupes pour constituer un groupe à lui tout seul, ce qui a permis, sinon de fournir un modèle, tout au moins de proposer quelques pistes sur la façon de présenter un exercice, de le mettre en ligne et de donner des consignes. Une navette entre les concepteurs d’exercices et l’enseignant s’est aussi révélée indispensable (voir figure 5 ci-dessus). Cette difficulté n’a pas été surmontée d’emblée, mais à l’évidence, le fonctionnement s’est amélioré au fil des semaines, pour atteindre un niveau très acceptable en fin de semestre. La troisième difficulté est liée à la temporalité. L’organisation hebdomadaire aboutissait à des délais très courts et rendait inconfortable le travail des étudiants, notamment les concepteurs d’exercices. Le fonctionnement aurait certainement été meilleur si les étudiants avaient bénéficié de plus de temps pour effectuer cette tâche. Cela dit, en dépit de ces difficultés, et de l’impossibilité pour l’enseignant de s’assurer que le travail de groupe était un véritable travail collectif9, l’expérience a été vécue de façon positive par la majorité des étudiants. Ainsi: Ils sont majoritaires (69%) à considérer que le travail en groupe est très utile: U˜lité du travail en groupe grande moyenne faible Figure 7 qu’il est agréable (46%), voire très agréable (46%), 9 La seule certitude que l’on peut avoir est qu’un groupe ne fonctionne pas en tant que tel, par exemple, ainsi que cela s’est passé lors de la première semaine, lorsque l’enseignant a reçu deux sujets différents pour le même groupe ! 399 Plaisir du travail en groupe très agréable assez agréable plutôt désagréable Figure 8 et que cela a un sens de jouer au « prof » (77%). Jouer au "prof" a du sens n'a pas de sens Figure 9 Cette inversion des rôles, si elle est bien dosée, offre aux étudiants une perspective différente, et leur permet d’aborder certaines notions sous un autre angle, et ainsi de mieux se les approprier. Réflexions provisoirement conclusives L’impact de la méthode En termes d’impact, le sentiment général révélé par le questionnaire en anglais et les résultats à l’examen de portugais est que cette pédagogie porte ses fruits. En effet, selon le tableau ci-dessous, s’il est vrai que les étudiants en portugais dont les notes étaient supérieures à 10/20 en évaluation initiale on vu leur moyenne baisser de 14 à 13, le niveau général a augmenté de 8 à 11,2 et il a profité surtout aux étudiants qui avaient eu des notes inférieures à la moyenne. Pour ceux-là, la moyenne est passée de 4,4 à 9,3/20. 15 > moyenne 10 tous 5 0 < moyenne évaluation initiale évaluation Iinale Figure 10: Le rôle de l‘enseignant 400 Qu’en est-il du rôle de l’enseignant dans ce système ? Il semblerait que, malgré l’illusion d’autonomie que peut donner le travail en ligne, la présence de l’enseignant soit indispensable. Il est non seulement organisateur et facilitateur, en inscrivant sa présence aux moments stratégiques de l’apprentissage, mais il est aussi force de proposition et doit faire feu de tout bois. En effet, l’intérêt est grand à varier les exercices, les activités, et donc les formes d’évaluation, de façon à ce qu’un étudiant réfractaire à un type d’activité ait la possibilité de s’entraîner autrement, et d’être actif dans son apprentissage au point de prendre conscience de l’état de ses connaissances. S’agissant de l’évaluation, dont la subjectivité est inévitable, il faut, selon Scallon (2015), « recourir à des informations fiables et valides provenant de sources multiples » (p. 118). Cette expérimentation a mis en évidence une avancée dans le domaine métacognitif. En effet, lorsque l’étudiant s’auto-évalue, il est mis en présence de ses résultats et il prend conscience de ses acquis et/ou de ses lacunes et par là-même de ses propres mécanismes dans le processus d’apprentissage. Il dispose ainsi de certains éléments qui lui permettent d’adapter sa manière d’apprendre aux compétences exigées de façon à atteindre avec plus d’efficacité les objectifs prédéfinis par sa formation. C’est là, selon Anne Jorro (2006), la fonction réparatrice de la métacognition, amenée par l’évaluation formative. L’enseignant peut aller jusqu’à pratiquer l’acharnement pédagogique, sans que l’on voie quoi que ce soit de négatif dans ce terme, au contraire. En effet, il semble utile de créer à profusion les conditions pour que le plus grand nombre d’étudiants soit exposé à la connaissance et que chacun fasse lui-même le travail d’appropriation. La motivation des étudiants Se pose enfin la question de la motivation des étudiants, qui constitue un moteur, une des clés de la réussite. Or, la participation des étudiants à cette méthodologie, qui était censée les conduire à de meilleurs résultats, n’a pas été aussi importante qu’il avait été envisagé. Et pourtant, l’autonomie semble convenir à ce public de jeunes adultes suffisamment matures, a priori, pour se prendre en main, pour s’adapter à de nouveaux systèmes et pour utiliser des outils complexes. Peut-être le surplus de travail qu’exige ce dispositif les a-t-il rebutés, notamment ceux d’un certain niveau de connaissance et de vivacité d’esprit, à qui tant de travail supplémentaire semblait inutile. L’ensemble est donc à améliorer pour ceux-là mêmes qui ont vu leur niveau baisser sensiblement. Mais pour la majorité des étudiants, en anglais comme en portugais, le sentiment des enseignants est que la participation – et donc la motivation – sont plus fortes dans un tel dispositif, suffisamment en tous cas pour encourager ses acteurs à poursuivre dans cette voie. Références Jorro, A. (2006). L’éthos de l’évaluateur : entre imaginaires et postures. In G. Figari & L. MottierLopez (eds), Recherche sur l’évaluation en éducation (pp. 67-75). Paris : L’Harmattan. Noizet, G. & Caverni, J.-P. (1978). Psychologie de l’évaluation scolaire. Paris : P.U.F. Perrenoud, P. (1991). Pour une approche pragmatique de l’évaluation formative. Mesure et évaluation en éducation, 13(4), 49-81. Scallon, G. (2015). Des savoirs aux compétences. Exploration en évaluation des apprentissages. Louvain-la-Neuve : De Boeck. 401 O DISPOSITIVO DE AVALIAÇÃO EXTERNA DO PROJETO PILOTO DE ENSINO BILINGUE PRECOCE NO 1º CEB EM PORTUGAL (ID 171) ALMEIDA, Marta, Universidade de Lisboa - Instituto de Educação, (PT) COSTA, Estela, Universidade de Lisboa - Instituto de Educação, (PT) PINHO, Ana Sofia, Universidade de Lisboa - Instituto de Educação, (PT) RESUMO Em Portugal, vem-se assistindo, desde a segunda metade dos anos 70, a rápidas e variadas mudanças no sistema educativo português, ora mais estruturadas através das denominadas reformas estruturais e/ou curriculares, ora através de mudanças mais pontuais, nem sempre acompanhadas da necessária avaliação dos seus méritos e insuficiências, o que tem suscitado fortes críticas por parte de vários setores da sociedade. Muitas das políticas educativas que vêm sendo introduzidas no sistema educativo português são precedidas por um período mais ou menos alargado de testagem e validação, através do desenho de projetos piloto, que visam, de forma geral, definir as condições mais adequadas para a sua implementação, bem como o seu grau de eficácia. Como se pressupõe, o resultado da avaliação de um projeto na sua fase piloto ganha uma enorme importância, devendo permitir a emissão de pareceres que possibilitem a introdução de ajustamentos ao longo da sua execução, bem como a enunciação de recomendações fundamentadas sobre a viabilidade da sua continuidade e alargamento dos mesmos. Tratando-se da avaliação de um projeto piloto, a avaliação assume um papel determinante na produção de juízos de valor, capazes de orientar a tomada de decisão, não podendo a avaliação ser reduzida a um mera descrição de processos e produtos, e implicando a auscultação dos diversos atores em todas as fases. Centrando-nos no projeto “Ensino bilingue precoce no 1º CEB” (EBP), implementado desde 2011/2012 em Portugal, objeto de avaliação externa no seu quarto ano de funcionamento, propomo-nos analisar um conjunto de desafios e constrangimentos sentidos pela equipa de avaliação externa, decorrentes da ausência de um planeamento a priori, capaz de ir além da mera previsão da avaliação externa enquanto etapa do projeto. Como nos diz Guerra (2002, p.175), “A avaliação é uma componente do processo de planeamento. Todos os projetos contêm necessariamente um ‘plano de avaliação’ que se estrutura em função do desenho do projecto e é acompanhado de mecanismos de autocontrolo”. O projeto EBP teve como ponto de partida um estudo de viabilidade que permitiu não só definir os requisitos básicos para a seleção dos Agrupamentos de Escola (AE) a envolver no projeto piloto, estudo esse que funcionou também como diagnóstico estratégico (Azevedo et al., 2011). Incidindo nas condições internas e externas de cada AE, permitiu antecipar constrangimentos e potencialidades, facilitando a tomada de decisão durante a fase de implementação e gestão inicial do EBP. No entanto, apesar do estudo de viabilidade, as restantes etapas de avaliação não foram previstas de forma articulada e complementar. A avaliação externa, mais especificamente, que teve como principais objetivos avaliar a eficácia da implementação do projeto; emitir, a partir dos resultados obtidos, recomendações passíveis de vir a ter reflexo nas políticas públicas sobre a aprendizagem do inglês e na formação de professores 402 bilingues e definir critérios de alargamento do projeto, embora prevista, apenas foi concretizada ao fim de três anos de vigência do EBP. As opções metodológicas adotadas na fase de avaliação externa passaram pelo recurso a um design de estudo de caso (Yin, 1994), abrangendo seis Agrupamentos de Escola participantes desde 2011/2012. Tratou-se, portando de estudos de caso múltiplos, com múltiplas unidades de análise (as turmas). Recorreu-se a um conjunto de metodologias mistas de recolha e análise de dados, através dos quais se procedeu à análise documental, se recolheram dados de caracterização do contexto e dos atores e se analisaram as representações e perceções dos destes últimos relativamente às condições de implementação do projeto, às atitudes face ao ensino bilingue, às metodologias de ensino-aprendizagem usadas, formação recebida e necessidades sentidas. Associou-se também a avaliação das aprendizagens dos alunos envolvidos nos três anos do projeto. A garantida de rigor e validade da informação obtida, bem como da pertinência das recomendações proferidas pela equipa de avaliação que conduziu o estudo implicaram uma análise do próprio dispositivo concebido e implementado. Deste exercício meta-avaliativo resulta a identificação de um conjunto de desafios teórico/metodológicos e processuais decorrentes da operacionalização e condução do processo, subjacentes à ausência de uma política de avaliação integrada e planificada enquanto elemento do projeto piloto. Apesar de ser intenção da entidade promotora do projeto a realização de um estudo de avaliação próximo de um estudo com um design quasi experimental, a ausência de uma definição prévia e articulada das várias tipos e funções de avaliação a utilizar enquanto fases do projeto, não permitiu a definição prévia de um referencial adequado para avaliação das diferentes dimensões (Figari, 1996; 2001), através da determinação de critérios, assim como o estabelecimento de algumas metas e indicadores (Ander-Egg & Aguilar, 1999). Tratando-se de um projeto piloto, apesar da inexistência de um quadro normativo de comparação, por exemplo, ao nível das aprendizagens no âmbito da língua inglesa, há necessidade de estabelecer objetivos e metas a atingir, mesmo que a avaliação venha a colocar a hipótese das próprias metas estarem incorretamente definidas. Numa lógica em que se assume que a avaliação, esta deverá ser capaz de fornecer informação útil e pertinente para a tomada de decisão, não só para descrever resultados mas para os interpretar em função dos contextos, contribuindo para iluminar a ação futura. A inexistência de uma planificação do dispositivo de avaliação externa do projeto aquando da sua implementação poderá ter na sua origem, como sugerem as reuniões de trabalho realizadas entre a entidade proponente e a equipa de avaliação, em pressupostos de ordem ética, e não metodológica, decorrentes da premissa da necessidade de garantir a imparcialidade na etapa de avaliação externa. A análise das limitações e potencialidades do dispositivo de avaliação externa utilizado no estudo que temos vindo a referir, análise essa resultante das reflexões da equipa de avaliação externa e dos documentos finais produzidos (Almeida et al., 2015a; Almeida et al., 2015b), das reuniões com a entidade proponente e das entrevistas semiestruturadas realizadas com as lideranças de topo e intermédias dos Agrupamentos escolares, permitem-nos identificar potencialidades e constrangimentos no dispositivo criado, bem como tecer algumas recomendações ao nível da conceção, implementação e gestão de projetos, devendo a monitorização, avaliação interna e avaliação externa, ser assumidas como parte integrante desse planeamento. 403 Referências Almeida, M.; Costa, E., & Pinho, A.S. (2015a). Estudo de Avaliação sobre a Eficácia da Implementação do Projeto Ensino Bilingue Precoce. Relatório Final. Lisboa: MEC/DGE (no prelo). Almeida, M.; Costa, E., & Pinho, A.S. (2015b). Estudo de Avaliação sobre a Eficácia da Implementação do Projeto Ensino Bilingue Precoce: Estudos de Caso. Lisboa: MEC/DGE (no prelo). Ander-Egg, E. & Aguilar, M. J. (1999). Como elaborar um projecto: guia para desenhar projectos sociais e culturais. Lisboa: Centro Português de Investigação em História e Trabalho Social. Azevedo, R. (Coord.) (2011). Projetos educativos: elaboração, monitorização e avaliação : guião de apoio. Lisboa: Agência Nacional para a Qualificação, I.P. Guerra, I. (2002). Fundamentos e processos de uma sociologia da acção: o planeamento em Ciências Sociais. 2.ª ed. Cascais : Principia. Figari, G. (1996). Avaliar: que referencial? Porto: Porto Editora. Figari, G. (2001). Réinterroger l’Évaluation d’un Point de Vue Social. In G. Figari & M. Achouche (Eds.), L’Activité Evaluative Réinterrogée: regards scolaires et sócioprofissionnels (pp. 235 e ss). Bruxelles: De Boeck Université. Yin, R. (1994). Case study research. Design and methods. London: Sage. 404 AVALIAÇÃO DAS ESTRATÉGIAS DE AUTORREGULAÇÃO NA PRODUÇÃO TEXTUAL ESCRITA DE ESCOLARES (ID 172) BASSO, Fabiane Puntel, PUC-RS, (BR) ABRAHÃO, Maria Helena Menna Barreto, PUC-RS, (BR) RESUMO A aprendizagem autorregulada é a capacidade dos alunos desenvolverem conhecimento, estratégias e comportamentos essenciais para incrementar as aprendizagens, seja no contexto escolar ou nas vivências cotidianas (Zimmrman, 2000). O aluno se autorregula quando participa ativamente, do ponto de vista metacognitivo, motivacional e comportamental, do seu próprio processo de aprendizagem (Zimmerman, 2000) e mais especificamente do processo de construção da escrita textual. Este trabalho faz parte de um projeto maior que busca compreender as formas de aprendizagens autorreguladas a partir de uma metodologia auto(biográfica) de pesquisa. O presente estudo buscou apresentar uma abordagem de avaliação das estratégias autorregulatórias utilizadas na construção da escrita textual, a partir de dados que foram coletados durante as etapas do ateliê biográfico de projeto, baseado nos estudos de Delory-Momberger (2006, 2007). Assim, o objetivo principal deste trabalho foi o de avaliar as estratégias autorregulatórias que escolares do nono ano do Ensino Fundamental utilizam na produção da escrita textual e compreender quais estratégias são utilizadas antes, durante e depois da produção escrita. O cenário foi constituído por uma escola da rede pública estadual, localizada na cidade de Porto Alegre, Rio Grande do Sul, Brasil. Participaram desse estudo dez alunos do 9º ano do Ensino Fundamental. No total foram seis indivíduos do gênero feminino e quatro do gênero masculino. As idades variaram de 14 anos e 4 meses à 16 anos e 8 meses. Os alunos do 9º ano foram escolhidos por se encontrarem no final de um ciclo de aprendizagem, segunda fase do Ensino Fundamental. O ateliê biográfico de projetos foi realizado a partir de seis sessões em grupos de alunos, com duração de 45 minutos cada uma, tratando da temática “aprendizagem autorregulada”, descritos em Basso, Abrahão e Frison (2015). As etapas do ateliê foram realizadas no ambiente escolar, em uma sala de aula, durante o período da disciplina de português. Os encontros foram previamente agendados com a professora de português para se adequar ao planejamento das atividades e não atrapalhar o desenvolvimento da disciplina. Este trabalho descreve a primeira etapa do ateliê, que envolve o trabalho com as estratégias autorregulatoras da escrita, especificamente as sequências que abordaram a construção textual. A primeira etapa consistiu na produção de um texto de estilo narrativo com tema livre. Nessa etapa, o aluno foi convidado a preencher um questionário sobre as estratégias utilizadas antes, durante e após a realização da escrita textual. Para realizar um levantamento das estratégias de autorregulação utilizadas nos três períodos da produção textual, foi adaptado um instrumento de identificação de estratégias elaborado por Carvalho (2013), construído a partir da tipologia de estratégias de Chamot e Kupper (1989) e O’Malley e Chamot (1990). Foram realizadas modificações 405 para adequação ao português brasileiro, de conteúdo (em relação as estratégias utilizadas) e de contexto (em relação aos termos usados na cultura brasileira). O questionário é dividido em três partes. Especificamente para este trabalho, foi instruído que os alunos respondessem as partes do questionário conforme fossem avançando na construção do texto. O propósito deste procedimento foi avaliar o desempenho dos alunos na produção de um texto narrativo e também faciliar a percepção da utilização de diferentes estratégias no momento da prática da escrita. A primeira parte deveria ser preenchida um pouco antes da produção textual, a segunda durante a realização do texto e a terceira após o término de execução da atividade. Em cada uma das partes do questionário foram apresentadas as instruções de preenchimento e as questões relativas ao período avaliado. No total foram 39 questões objetivas e seis questões subjetivas distribuídas nas três partes de execução da atividade. Na primeira parte são 16, na segunda são 13 e na terceira são 10 questões que deveriam ser respondidas de acordo com uma modalidade de escala de frequência (“nunca”; “poucas vezes”; “algumas vezes”; “muitas vezes” e “sempre”) e seis questões subjetivas sobre a utilização de estratégias de autorregulação utilizadas durante a atividade (duas em cada parte da execução do texto). As questões abordaram os aspectos das estratégias autorregulatórias na produção de narrativas escritas e podem ser classificadas de acordo com quatro principais tipos de estratégias: metacognitivas, cognitivas, socioafetivas e outras. Essas estratégias de autorregulação facilitam o processo de aprendizagem da escrita pois são através delas que são processadas, organizadas e recuperadas as informações que devem ser aprendidas (Veiga Simão, 2002). Os resultados identificaram as estratégias mais utilizadas nos três períodos de avaliação, realizadas antes, durante e após a produção textual. As estratégias mais utilizadas pelos alunos antes da produção do texto são as estratégias metacognitivas. Entre elas, o ato de pensar no que escrever é a estratégia mais utilizada pelos alunos (67% deles a utilizam muitas vezes ou sempre), nesse período da construção textual. Durante a execução do texto, observou-se que existem várias estratégias que são realizadas de maneira frequente. Entretanto, as mais utilizadas são: respeitar as instruções dadas e considerar o leitor/receptor a quem se dirige o texto (78% dos alunos as utilizam muitas vezes ou sempre). Após a execução do texto, notou-se que a estratégia mais utilizada pelos alunos (com 78% dos alunos utilizando muitas vezes ou sempre) é a realização de correções que acham que são necessárias, tanto ortográficas como de contexto. A avaliação das estratégias de autorregulação utilizadas pelos escolares permitiu compreender que tipo de estratégias os alunos conhecem e mobilizam e se têm consciência da natureza recursiva e autorregulatória do processo de produção da escrita textual. Com a avaliação destes processos autorregulatórios, é possível estabelecer linhas orientadoras e delinear estratégias formativas que podem ser utilizadas pelos professores em contextos de sala de aula. Referências Basso, F. P.; Abrahão, M. H. M. B.; Frison, L. M. B. (2015) Relações entre a aprendizagem autorregulada e os fatos (auto)biográficos. In: Revista de Estudios e Investigación en Psicología y Educación, Coruña-Espanha. Carvalho, A. C. F. (2013) Estratégias de Aprendizagem na produção escrita em Português Língua Estrangeira: Estudo de caso. Tese de Doutorado. Universidade do Porto, 2013. 406 Chamot, A. U.; KUPPER, L. Learning strategies in foreign languages instruction, Foreign Language Annals, 22(1), 1989, 13-24. Delory-Momberger, C. Formação e Socialização: os ateliês biográficos de projetos. Educação e Pesquisa. São Paulo, v.32, n.2, 2006, p.359-371. Delory-Momberger, C. Histoire de vie, processus de formation et théorie de l´apprentissage. In: Simonet-Tenant, F. Le propre de l´écriture de soi. Paris: Téraèdre, 2007. O’Malley, J. M.; CHAMOT, A. U. Learning strategies in second language acquisition. Cambridge: Cambridge University Press, 1990. Veiga Simão, , A. M. Aprendizagem estratégica. Uma aposta na auto-regulação. Lisboa: Ministério da Educação, 2002. Zimmerman, B. J. Attaining self-regulation: A social cognitive perspective. In: M. Broekaerts; P. Pintrich & M. Zeidner (Ed.). Handbook of self-regulation. New York: Academic Press, 2000, p. 13-39. 407 COMPARAÇÃO DA PRODUÇÃO TEXTUAL ESCRITA DE ADULTOS COM DISLEXIA DE DESENVOLVIMENTO E CONTROLES LEITORES PROFICIENTES (ID 173) BASSO, Fabiane Puntel, PUC-RS (BR) MOOJEN, Sonia, PUC-RS (BR) JOU, Graciela Inchausti, PUC-RS (BR) DE SALLES, Jerusa Fumagalli, PUC-RS (BR) RESUMO Estudos com disléxicos adultos são escassos e focam, principalmente, as habilidades de leitura destes indivíduos. Pouco se sabe sobre a produção textual em disléxicos na idade adulta. No que concerne à dislexia de desenvolvimento, Berninger (2000) define como uma alteração de desenvolvimento que se manifesta de maneiras diferentes no desenvolvimento do indivíduo. Inicialmente caracteriza-se como uma dificuldade em aprender as letras e as correspondências entre letras e sons, mais tarde a dificuldade é na precisão da leitura de palavras e, finalmente, na velocidade de leitura e nas habilidades de produção escrita. O objetivo deste trabalho foi avaliar o nível de complexidade de textos produzidos por adultos com dislexia do desenvolvimento e por um grupo controle. Participaram deste estudo 64 indivíduos adultos, sendo 32 diagnosticados com dislexia do desenvolvimento e 32 do grupo controle. A faixa etária da amostra variou de 18 a 48 anos de idade. O delineamento escolhido foi caso-controle, para cada caso (disléxico) foi selecionado um controle emparelhado por sexo, idade e anos de escolaridade. Para a coleta dos dados, os participantes foram instruídos a redigir um texto autobiográfico que abordasse o tema “minha vida escolar”. Os textos foram analisados pelo programa Coh-Metrix do Português Brasileiro (SCARTON e ALUÍSIO, 2010), adaptado a partir das métricas da ferramenta Coh-Metrix, desenvolvida na Universidade de Memphis. A versão 1.0 do Coh-Metrix-Port utiliza 34 métricas e analisa vários níveis linguísticos (léxico, sintático e discursivo). O índice flesch é a medida estatística considerada padrão quanto ao grau de inteligibilidade do texto. O índice flesh de um texto é sua capacidade de ser compreendido pelo leitor, por sua acessibilidade em termos de material linguístico e também pela facilidade que o leitor encontra de interagir com a informação disponibilizada por esse texto (Aluísio, Scarton e Almeida, 2010). Mesmo considerado um índice superficial, por levar em conta apenas características como o número de palavras em sentenças e o número de letras ou sílabas por palavra, o índice flesch é utilizado por ser a única métrica de inteligibilidade já adaptada para a língua portuguesa (Rodrigues, Freitas e Quental, 2013) e por incorporar o conceito de nível de complexidade textual. A aplicação da fórmula Flesh permite identificar quatro faixas de dificuldades de leitura para a língua Portuguesa: índice entre 75 – 100 (textos equivalentes a nível de escolarização até o quinto ano do Ensino Fundamental); índice entre 50 – 75 (textos equivalentes a nível de escolarização até o nono ano do Ensino Fundamental); índice entre 25 – 50 (textos adequados para alunos cursando o ensino médio ou universitário); e índice entre 0 – 25 (compatíveis a textos produzidos por pesquisadores de áreas acadêmicas específicas). Os dados coletados foram submetidos à análise estatística descritiva, com a finalidade de caracterizar a amostra e a um teste de comparação de médias entre grupos, clinico (disléxicos) e controles. 408 Os resultados evidenciaram que os textos do grupo controle tiveram um escore médio de 40.29 e uma mediana de 41.80, com desvio padrão de 13.11. Os textos do grupo de disléxicos tiveram um escore médio de 41.21 pontos e uma mediana de 46.71, com desvio padrão de 19.11. Considerando os valores das médias e medianas dos índices fleschs dos dois grupos, nota-se que a maioria dos textos dos dois grupos seriam classificados como textos difíceis (índice entre 25 - 50), que seriam adequados para alunos cursando o ensino médio ou universitário. A comparação entre os dois grupos mostrou que houve um pequena diferença nos dois grupos (com pontuação de 46.71 no grupo controle e 41.21 no grupo de disléxicos). Porém, a análise estatística, realizada pelo teste t de Student para amostras independentes para comparação de médias, com nível de significância de 5%, mostram que o p-valor=0,8 é maior que o nível de significância, sugerindo uma aceitação da hipótese nula (H0) e indicando, portanto, que não houve diferença significativa entre os dois grupos, considerando as medidas de índice flesch. Houve diferença significativa entre os grupos controle e disléxicos em três métricas: número de palavras por sentença, sílaba por palavras de conteúdo e incidência de adjetivos. O grupo controle apreentou melhores resultados que o grupo de disléxicos nas três métricas. Os textos do grupo de diléxicos tiveram maior número de palavras por sentença que os textos do grupo controle. A média de palavras por sentença do grupo de disléxicos foi de 9,51 (DP=19,83) e do grupo controle foi de 6,35 (DP=8,50). O resultado da métrica “sílaba por palavras de conteúdo” evidenciou uma média de 2,56 (DP=0,26) no grupo de disléxicos e 8,50 (DP=0,21) no grupo controle. O resultado da métrica “incidência de adjetivos” mostrou que grupo de disléxicos teve uma média de 84,75 (DP=27,44) e o grupo controle de 2,89 (DP=27,56). Essas análises mostram que, embora o índice flesch possa ser tomado inicialmente como uma medida de complexidade do texto, ele não pode ser visto isoladamente na avaliação da escrita textual, sendo fundamental incorporar outros parâmetros na análise comparativa da produção do texto. Avaliar a amplitude das dificuldades e potencialidades é essencial para compreender a produção textual em disléxicos adultos. Os estudos e discussões sobre esse tema buscam colaborar com a inserção de disléxicos em instituições de ensino superior e no mercado de trabalho, que valorizam a escrita textual como uma ferramenta essencial para desenvolver as potencialidades no âmbito profissional. Referências Berniger, V. W. (2000) Dyslexia: The Invisible, Treatable Disorder: The Story Of Einstein's Ninja Turtles. Learning Disability Quarterly, 23 (3), 175-195. Aluísio, S.; Scarton, C. E.; Almeida, D. M. (2009) Análise de Inteligibilidade de textos via ferramentas de Processamento de Língua Natural: adaptando as métricas do Coh-Metrix para o Português. In: The 7th Brazilian Symposium in Information and Human Language Technology (STIL, 2009) (São Carlos, Brasil, 8-11 setembro de 2009). Rodrigues, E. S.; Freitas, C.; Quental, V. (2013) Análise de inteligibilidade textual por meio de ferramentas de processamento automático do português: avaliação da Coleção Literatura para Todos. Letras de Hoje, Porto Alegre, v. 48, n. 1, p. 91-99, jan./mar, Scarton, C.E.; Aluísio, S.M. (2010) Análise da Inteligibilidade de textos via ferramentas de Processamento de Língua Natural: adaptando as métricas do Coh-Metrix para o Português. Linguamática, v2 n1, pp. 45-61, 2010. 409 L’ÉVALUATION DES PRODUCTIONS ÉCRITES AU PRIMAIRE: PIERRE ANGULAIRE DU DÉVELOPPEMENT DE LA COMPÉTENCE SCRIPTURAL (ID 176) DA SILVEIRA, Yvonne, Université du Québec en Abitibi-Témiscamingue (CA) BLASER, Christiane, Université de Sherbrooke (CA) NIZET, Isabelle, Université de Sherbrooke (CA) RÉSUMÉ Les statistiques du ministère des Affaires indiennes et du Nord Canada indiquent que 54,1 % des élèves autochtones présentent au moins une année de retard à la sortie des études primaires comparés à leurs pairs de l’ensemble du Québec. C’est notamment à partir du 3e cycle du primaire qu’un écart de retard scolaire est relevé, lequel ne cesse de se creuser par la suite entre des élèves de commissions scolaires autochtones et celles de l’ensemble du Québec (MELS, 2013). Parmi les nombreux facteurs qui peuvent expliquer ce phénomène, nous nous intéressons à celui qui concerne l’enseignement de l’écrit (lecture et écriture) au primaire. Au Québec, en milieu autochtone, l’enseignement de l’écriture à l’école primaire présente des défis particuliers puisque le français est une langue seconde pour de nombreux élèves bien qu’il soit souvent enseigné comme s’il était la langue première. L’enseignement de l’écrit est basé de façon générale sur deux caractéristiques principales : l’oralité (Hot, 2013) et cela, dans un contexte où la langue de la communauté d’origine et la langue officielle d’enseignement assument des fonctions et des postures différentes, ce qui cause une situation de diglossie (da Silveira, 2013). De plus, le rapport à l’écrit, c'est-à-dire la relation que les élèves entretiennent avec l’écriture dans ses dimensions affective, axiologique, conceptuelle et praxéologique Chartrand et Blaser, 2008; Blaser, Lampron, Simard-Dupuis, 2015) est mal connu. Afin de mieux comprendre cette problématique et de tenter de trouver des pratiques d’enseignement mieux adaptées pour favoriser le développement de l’écriture de ces élèves, une recherche-action (Guay et Prud’Homme, 2011) a été menée en collaboration avec six enseignantes et trois partenaires occupant des fonctions de conseil dans deux communautés autochtones, l’une située en Abitibi-Témiscamingue, l’autre dans la Basse-Côte-Nord. Une quarantaine d’élèves innus et anicinapek répartis dans les 3 cycles du primaire ont été touchés par la recherche. Centrée sur le développement de la compétence à écrire, la recherche visait d’abord à identifier, par l’intermédiaire des enseignantes participantes, le rapport à l’écrit des élèves et leurs principales difficultés en situation d’écriture. Des mesures d’accompagnement ont ensuite été mises sur pied pour soutenir les enseignantes dans l’élaboration et l’expérimentation d’activités d’écriture tenant compte du milieu et des caractéristiques des élèves. Au cours de la recherche, des enseignantes ont modifié leurs pratiques d’enseignement, entre autres en faisant écrire les élèves beaucoup plus souvent et en leur demandant de produire des genres de textes variés, les faisant passer de la rédaction de 5 à 6 textes par an à plus de 20. Ce changement de pratique a eu un impact majeur sur l’évaluation des productions écrites : ne pouvant pas tout corriger sous peine d’être écrasées par la tâche, les enseignantes ont dû revoir leurs pratiques habituelles d’évaluation des écrits. Par exemple, elles ont choisi d’évaluer les élèves à l’oral sur la base d’une production écrite; elles ont aussi fait des choix 410 dans les grilles d’évaluation ministérielles, se centrant sur la correction d’un ou deux aspects de la grille plutôt que sur l’ensemble. Enfin, elles ont fait des rétroactions formatives, souvent sous forme orale. De cette recherche-action, il ressort qu’un accompagnement adéquat auprès d’enseignantes du primaire en milieu autochtone mène à une transformation des pratiques d’enseignement de l’écriture, ce qui a pour effet un changement dans le rapport à l’écrit des élèves sur les plans affectif et praxéologique : selon les observations des enseignantes, les élèves manifestent en effet des sentiments nettement plus positifs vis-à-vis des tâches d’écriture et cela se ressent sur la qualité de leurs écrits. Il ressort aussi que le contexte de diglossie est peu pris en compte par les personnes qui enseignent en milieu autochtone. Dans cette communication, nous donnerons un aperçu du contexte d’enseignement autochtone dans lequel s’est déroulé la recherche-action et décrirons le processus qui a vu émerger les changements de pratique ainsi que les nouvelles modalités d’évaluation adoptées par les enseignantes. Nous discuterons des défis à relever pour que l’évaluation de l’écriture ne soit pas une entrave à un enseignement de l’écriture basé sur la fréquence des pratiques, condition essentielle au développement de la compétence scripturale (Bucheton, 2014; Chartrand, 2005; Simard, Dufays, Dolz, Garcia-Debanc, 2010). Références Bucheton, D. (2014). Refonder l'enseignement de l'écriture : vers des gestes professionnels plus ajustés du primaire au lycée. Paris: Retz. Blaser, C., Lampron, R. et Simard-Dupuis, É. (2015). Le rapport à l'écrit : un outil au service de la formation des futurs enseignants. Lettrure, ABLF Asbl (en ligne)(3), 51-63. Chartrand, S.-G. et Blaser, C. (2008). Du rapport à l’écriture au concept didactique de capacités langagières à écrire et à lire : apports et limites de la notion de rapport à l’écrit. In S.-G. Chartrand et C. Blaser (Dir.), Le rapport à l’écrit : un outil pour enseigner de l’école à l’université (Vol. 12). Namur: Diptyque. Chartrand, S.-G. (2005). L’apport de la didactique du français langue première au développement des capacités d’écriture des élèves et des étudiants. Dans J. Lafont-Terranova et D. Colin (éd.), Didactique de l’écrit. La construction des savoirs et le sujet écrivant (pp. 11-31). Namur : Presses universitaires de Namur. Da Silveira, Y., Maheux, G., Blaser, C., Paul, V., Marca Vadan, L. et Dumas, J. (2015). Compétence à écrire d’élèves autochtones du primaire : premiers résultats d’une recherche-action. Revue de la persévérance et de la réussite scolaires chez les Premiers Peuples, 1, 58-62. Guay, M.-H. et Prud’Homme, L. (2011). La recherche-action. In T. Karsenti et L. Savoie-Zajc (Dir.), La recherche en éducation. Étapes et approches (3e éd., p. 183-211 ). Saint-Laurent: ERPI. Hot, A. (2013). L’enseignement des langues de scolarisation et la réussite à l’école. Un portait du contexte québécois. In G. Maheux & R. Gauthier (Dir.), La formation des enseignants inuit et des Premières Nations. Problématiques et pistes d’action (pp. 61-77). Montréal: Presses de l’Université du Québec. MELS (2013). L’éducation des populations scolaires dans les communautés autochtones du Québec en 2010. Bulletin statistique de l’éducation(42). 411 Simard, C., Dufays, J.-L., Dolz, J. et Garcia-Debanc, C. (2010). Didactique du français langue première. Bruxelles: De Boeck. 412 A MÉTRICA NA EDUCAÇÃO: UMA AVALIAÇÃO DO PROFESSOR E UMA EDUCAÇÃO PÓS-MODERNA (ID 177) OLIVEIRA, Helen Vieira de (BR) RESUMO Avaliamos e somos avaliados em todos os instantes e em todos os campos. Posso avaliar o pão que vou comprar na padaria ou os meus alunos no final no período letivo. O que difere uma avaliação da outra é o propósito ao qual emprego a avaliação. Na primeira situação, utilizo-a para tomar uma decisão, a compra ou não do produto; na segunda, um dos propósitos possíveis é o de verificar o desempenho dos alunos em um determinado conteúdo. Não tenho formação em panificação, tal fato contribui para que a minha avaliação decorra a nível mais informal, no campo mais subjetivo, de gosto. Já o fato de ser professora não me permite realizar tal avaliação com meus alunos, exigindo “abordagens propositadas, rigorosas, sistemáticas e tão independentes e imparciais quanto possível.” (Fernandes, 2013, p. 14). Quando pensamos na escola e o processo de avaliação, logo nos vem à mente três pontos: o professor que avalia o conhecimento do aluno. Ou seja, uma equação professor-alunoconhecimento. No entanto, tal equação é apenas uma das múltiplas que podem ser feitas. Os diferentes tipos de avaliação educacional têm sua importância e necessidade, mas o que deve ficar claro é que nem sempre apresentam os mesmos procedimentos, técnicas, métodos e objetivos. E isso deve ser de conhecimento de todos os sujeitos envolvidos. Este trabalho propõe-se a levantar algumas ideias com relação a avaliação externa e o professor. Até que ponto estes dois elementos do sistema educacional estão ligados ou separados? Em qualquer época ou em qualquer concepção pedagógica, encontramos o processo avaliativo. Um processo que é formalmente organizado e sistematizado no contexto escolar e que se dará segundo objetivos escolares explícitos e/ou implícitos. A avaliação não existe por ela mesma, sendo sempre vinculada a teoria e a prática, a uma proposta de ensino que a sustente. Entendemos que as concepções de escola e de currículo, assim como as questões didáticas, como as avaliações, estão diretamente relacionadas com os paradigmas que dão base ao pensamento e às formas de representar o mundo, são produtos de modelos avaliativos culturais. O conceito de escola, os conteúdos programáticos e a apreciação social que lhes dá estatuto de matéria essencial na formação humana que prevalecem atualmente não são uma construção recente. Há um caráter histórico que não pode ser deixado de lado ao se considerar tais questões, pois compreender o que ocorreu e como ocorreu é jogar luz sobre como as coisas se desenvolveram e se desenvolvem. Muitos fatores podem ser analisados quando se fala em avaliação, porém este trabalho fará um recorte no que se refere à atuação do professor, aos conteúdos por ele selecionados e a sua relação com as polícias de avaliação, principalmente aquelas que têm como base a política meritocrátia. Como tal política pode vir a inviabilizar uma ruptura com paradigmas modernos de educação, mantendo posturas educacionais de tempos passados? Como discorrem Stufflebeam & Shinkfield (1989), há uma dicotomia na avaliação: necessidade e desejo de distanciamento. Tal fato é potencializado quando estamos falando sobre avaliação externa e os professores. Observa-se que parece haver um fosso entre as duas partes. Há uma 413 grande necessidade de aproximá-los, construindo um caminho entre os dois, porém, para isso, devese buscar entender como se deu esta profunda separação. O que leva o distanciamento entre a avaliação externa e os professores? Por que algo que deveria ajudar, sendo considerado um caminho para a percepção e melhoria da educação, acabou por ser tornar algo que se deseje um distanciamento pelos sujeitos educacionais? É de suma importância verificar a real intenção da avaliação, para além do que se está escrito. Pois a forma como se trabalha com a avaliação, principalmente a externa, em certa medida, será o reflexo da intenção subjacente ao que se pretende com a avaliação. Entender essa intenção e a sua relação com o corpo docente, pode ser o diferencial para se construir um fosso ou uma ponte entre a avaliação externa e o professor. Referências Fernandes, D. (2013). Avaliação em Educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Rio de Janeiro: Ensaio: Avaliação e Políticas Públicas em Educação. 21(78), 9-32. Stufflebeam, D; Shinkfield, A. J. (1989). Evaluación sistemática: guía teórica y práctica. Barcelona: Ediciones Paidós. 414 REGARD SUR LES CROYANCES DE FUTURS ENSEIGNANTS QUÉBÉCOIS À L’ÉGARD DE L’ÉVALUATION (ID 179) HÉBERT, Marie-Hélène, Université du Québec à Rimouski (CA) FRENETTE, Eric, Université Laval (CA) D’AMOURS-RAYMOND, Julien, Université Laval (CA) HADCHITI, Roul, Université Laval (CA) FRÉCHETTE, Élyse, Université Laval (CA) RÉSUMÉ Au Québec, le « savoir-évaluer » est l’une des douze compétences professionnelles à développer chez les futurs enseignants (Martinet, Raymond, & Gauthier, 2001). Parce qu’il est reconnu qu’ils « se servent des croyances [...] qu’ils possèdent déjà pour interpréter les nouvelles théories et compétences qu’ils acquièrent au cours de leur formation » (Vause, 2010, p. 17), il paraît légitime d’interroger leurs croyances à l’égard de l’évaluation. Quelles croyances les futurs enseignants possèdent-ils à leur arrivée à l’université ? Sont-elles en adéquation avec les prescriptions ministérielles en la matière (MEQ, 2003; MELS, 2011) ? Comment se heurtent-elles aux contenus qui sont enseignés dans les cours d’évaluation ? Sont-elles au final maintenues ou réfutées, au besoin ? Pour donner réponse à ces questions d’intérêt, un questionnaire a été administré à une centaine de futurs enseignants à deux moments « critiques » de leur parcours scolaire : avant d’entreprendre leur premier cours d’évaluation à l’université et après celui-ci. Dans le questionnaire, dont la démarche de construction a été empruntée à DeVellis (2003), il leur a été demandé de se positionner sur une série de 27 énoncés à l’aide d’une échelle de type Likert (1 : tout à fait en désaccord à 6 : tout à fait en accord). Parmi les futurs enseignants sondés se trouvent 23 étudiants de l’Université du Québec à Rimouski et 66 étudiants de l’Université Laval. Au moment de l’expérimentation, ils en étaient à leur premier cours d’évaluation à l’université. Les cours en question, à l’UQAR et à l’Université Laval, partagent un contenu commun, mais sont dispensés selon deux modalités : en classe (UQAR) et à distance (Université Laval). Des tests de Wilcoxon (tenant compte du caractère ordinal des données) pour échantillons pairés (avec SPSS) ont permis de se prononcer sur l’évolution ou la stabilité des croyances entre le début et la fin de ceux-ci. Globalement, une évolution des croyances a eu lieu pour les 4 items suivants, où des différences significatives (p < ,05) ont été enregistrées: - Je crois que les évaluations devraient être formées de questions à choix multiple ou à réponses courtes. (p = ,038) - ...mesurer les mêmes objets d’apprentissage chez tous les élèves. (p = ,011) - ...s’inspirer de la vie courante des élèves. (p = ,035) - ...prendre la forme de tâches complexes. (p < ,001) À l’inverse, les croyances des futurs enseignants sont demeurées stables pour les items suivants entre le début et la fin des cours d’évaluation (différences non significatives) : 415 - Je crois que les évaluations devraient classer les élèves. - ...prendre en compte les efforts des élèves. - ...permettre des interactions entre l’élève et son enseignant, ou avec ses pairs. - ...être intégrées au processus d’enseignement-apprentissage. - ...identifier ce qu’il faut travailler avec les élèves. - ...conduire à une distribution en forme de cloche. - ...être adaptées aux caractéristiques des élèves. - ...mesurer la maîtrise des savoirs chez les élèves. - ...aider le processus d’enseignement-apprentissage. - ...inciter les élèves à bien se comporter en classe. - ...être fondées sur un cumul de résultats. - ...fournir aux élèves des occasions d’apprendre. - ...renforcer la motivation des élèves. - ...apprécier la mobilisation des acquis des élèves. - ...guider les décisions administratives. - ...se présenter sous la forme d’examens (avec questions nombreuses). - ...favoriser la pratique de l’autoévaluation chez les élèves. - ...avoir un caractère artificiel ou scolaire. - ...nécessiter chez les élèves la construction de réponses élaborées. - ...assurer une bonne couverture du programme d’études. - ...créer de la compétition parmi les élèves. - ...favoriser la réussite du plus grand nombre d’élèves. - ...avoir lieu une fois l’enseignement terminé. En plus de faire le point sur les croyances des 89 futurs enseignants sondés, il s’agira lors de la présente communication d’examiner l’effet sur celles-ci des modalités « en classe » (UQAR) et « à distance » (Université Laval). Leur adéquation (ou non) avec les prescriptions ministérielles d’évaluation (MEQ, 2003; MELS, 2011) sera par ailleurs discutée. Références DeVellis, R. F. (2003). Scale development : theory and applications (2nd ed.). Thousand Oaks, CA : Sage Publications. Martinet, M. A., Raymond, D., & Gauthier, C. (2001). La formation à l’enseignement. Les orientations. Les compétences professionnelles. Québec, Québec: Gouvernement du Québec. Ministère de l’Éducation du Québec (2003). Politique d’évaluation des apprentissages. Formation générale des jeunes. Formation générale des adultes. Formation professionnelle. Québec, Québec : Gouvernement du Québec. 416 Ministère de l’Éducation, du Loisir et du Sport du Québec (2011). Cadres d’évaluation des apprentissages. Québec, Québec : Gouvernement du Québec. Vause, A. (2010). Les croyances et connaissances des enseignants de l’école primaire à propos de l’acte d’enseigner. Éducation & Formation, e-294, 13-19. 417 AS AVALIAÇÕES DO ENSINO PELOS ESTUDANTES: EFEITOS EM CONTEXTOS DIFERENCIADOS (ID 180) BETTENCOURT, Maria Beatriz, Fundação Cesgranrio (BR) EARP, Maria de Lourdes Sá, Fundação Cesgranrio (BR) RESUMO As Avaliações do Ensino feitas pelos Estudantes (AEEs) têm uma utilização crescente nos processos de avaliação das instituições de ensino superior. Elas fazem parte dos dispositivos de regulação dos sistemas de ensino superior, característicos da nova gestão pública (NGP), visando introduzir um autocontrole institucional, mediante a criação de novos mecanismos de retroação (Finger, 1997). Estas avaliações são utilizadas, nomeadamente, para melhorar métodos de ensino, para gestão de carreiras docentes e na construção de sistemas de garantia da qualidade. A presente investigação busca compreender como, no contexto brasileiro, são realizadas as AEEs e utilizados os seus resultados e baseia-se nos estudos realizados sobre a relação entre as AEEs e a aprendizagem dos estudantes, que têm evidenciando que um “bom” ensino, na óptica dos estudantes, favorece a aprendizagem, pois quanto melhor é avaliação do ensino feita pelos estudantes, melhores são os resultados que eles obtêm nos testes finais (D’Appolonia e Abrami, 1997). Também toma como ponto de partida os estudos sobre os efeitos das AEEs na melhoria do ensino (Galbraith et al, 2011, Richardson, 2012, Younès, 2015) e na transformação da cultura avaliativa institucional (Bettencourt, 2005). Convém referir que, no Brasil, os aspectos sociais, culturais e políticos das surveys aos estudantes têm sido pouco pesquisados e que, no contexto institucional, também é pertinente estudar as formas variadas que revestem os processos auto avaliativos, bem como as características diversificadas da sua apropriação institucional. As questões de investigação formuladas nesta pesquisa são: - Que condicionantes influenciam as respostas dos estudantes aos questionários de AE e quais os seus significados? - Como é que as AEE são localmente apropriadas e que efeitos produzem? A metodologia adotada é a do estudo de caso múltiplo, com observação de campo, análise documental e entrevistas a dirigentes e estudantes. Nestas últimas, o entrevistador visa compreender se existem desvios entre o que o estudante respondeu no questionário institucional de AE e aquilo que ele, posteriormente, considera ser a sua opinião e, também, as circunstâncias que influíram nas suas respostas. As entrevistas são semiestruturadas e o guião de entrevista é adaptado a cada questionário institucional. A pesquisa foi desenvolvida, até agora, em oito IES da cidade do Rio de Janeiro - duas públicas e seis privadas. Podemos sintetizar, em relação ao processo de avaliação, as seguintes configurações: 1. Em relação às formas de participação dos estudantes no processo de avaliação, encontrámos somente um caso em que existe partilha de responsabilidades na realização do processo: o caso de uma IES em que alguns estudantes, alunos da disciplina de Métodos de Pesquisa, recolhem os 418 questionários, trabalham os dados e elaboram os relatórios para cada disciplina e curso; contudo, não foram ouvidos quando da elaboração dos questionários. Não encontramos nenhuma situação em que os alunos fossem chamados a partilhar com outros atores os momentos de construção dos critérios de qualidade do ensino ou elaboração dos questionários. Esta é, conforme os casos, da responsabilidade da direção, da coordenação dos cursos ou da Comissão Própria de Avaliação (CPA). 2. Na maioria das IES, a participação dos estudantes limita-se ao preenchimento do questionário. Este pode ser obrigatório (caso de duas IES privadas) ou facultativo. Nas IES em que o preenchimento dos questionários pelos estudantes é obrigatório, as taxas de resposta atingem os 100%, pois o acesso do aluno ao sistema fica condicionado ao envio do questionário preenchido. Nestes casos, o aluno considera que o seu questionário pode ser identificado e são assinaladas diferenças acentuadas entre as respostas dadas nos questionários e aquilo que, posteriormente, expressaram na entrevista. As diferenças traduzem-se numa apreciação menos positiva na entrevista, justificada, pelos entrevistados por: falta de confiança no caracter confidencial das respostas; receio de represálias; não querer penalizar a instituição, ou não querer ser penalizado, mais tarde, pelo mau posicionamento do seu curso nos rankings. Nas IES em que o preenchimento do questionário é facultativo, não foi encontrada grande divergência entre respostas ao questionário e à entrevista. Porém, as taxas de resposta encontramse no patamar de menos de 20%, existindo mesmo um caso em que ela é de 1%. 3. Quanto aos resultados da avaliação, o que a maioria das IES realiza, em termos de divulgação, é a inclusão no site institucional de alguns resultados escolhidos, os melhores, para efeitos de construção da sua imagem. Constata-se, nas oito IES estudadas, que, mesmo quando há alguma divulgação de resultados, eles não são debatidos. Ora, como refere Younès (2015), as condições de comprometimento de estudantes e professores em um processo de diálogo e de formalização da avaliação são determinantes para a produtividade da avaliação. Verificamos que só numa Universidade se realizam sessões de apresentação, nos campi, e que elas registam um número de presenças diminuto (e só de professores). 4. Finalmente, relativamente à introdução de melhorias no ensino em função das avaliações dos estudantes, a maioria das direções refere ter realizado melhorias nas instalações e nos equipamentos. Não foram, até agora, explicitamente sinalizadas situações de utilização das AEEs para efeitos de melhoria das atividades de ensino e aprendizagem. No entendimento dos alunos, as suas avaliações não têm efeitos significativos. Contudo, como a divulgação dos resultados das AEEs é muito insuficiente, eles começam por não os conhecer e não podem ajuizar se as mudanças porventura ocorridas têm ou não relação com as avaliações. As conclusões que agora apresentamos são provisórias, pois a pesquisa abrangerá mais instituições. Em termos globais, verificamos que o contexto nacional de utilização das AEE na avaliação externa e nos rankings acaba influenciando os respondentes aos questionários de AEE, com impacto nos seus resultados. No contexto institucional, tem incidência na fiabilidade do processo a considerável falta de confiança dos estudantes na confidencialidade das AEEs. Também podemos concluir que, embora a AEE seja recente, a sua condução é realizada, frequentemente, de forma rotineira. São usados instrumentos de avaliação,- questionários - porque assim está determinado, mas não são criados os necessários dispositivos de auto regulação das IES. 419 Em nosso entender, a institucionalização de uma cultura de avaliação formativa deveria ser a prioridade das políticas nacionais e institucionais. Referências Bettencourt, B. (2005). L’évaluation des établissements en tant que mode de régulation. Une étude de cas en enseignement collégial. Tese de Doutoramento em Ciências da Educação, opção Administração da Educação. Montréal: Universidade de Montréal. D’Appolonia S. & Abrami P. (1997). Navigating student ratings of instruction, American psychologist, 52 (11), 1198-1208. Finger, M. (1997). “Le New Public Management: État, administration et politique”. Finger, M. et Ruchat, B. (dir.). Pour une nouvelle approche du management public. Réflexions autour de Michel Crozier. Paris : Seli Arslan, Galbraith, C; Merrill, G; Kline, D. (2011). Are Student Evaluations of Teaching Effectiveness Valid for Measuring Student Learning Outcomes in Business Related Classes? A Neural Network and Bayesian Analyses, Research in Higher Education, pp 1-22. Richardson, J. T. E.; Slater, J. et al. (2007). The National Student Survey: Development, findings and implications. Studies in Higher Education, 32(5): 557-580. Romainville, M. (2004) Esquisse d’une didactique http://www.det.fundp.ac.be/spu/ Consultado em 2/10/2015. universitaire. Disponível em: Younès, N. (2015). L'évaluation de l'enseignement par les étudiants : le tournant du partage. Evaluer. Journal International de Recherche en Education et Formation, 1(1), pp. 79-90. 420 A INTEGRAÇÃO DAS TIC NA APRENDIZAGEM E AVALIAÇÃO DA LÍNGUA INGLESA NO ENSINO SUPERIOR EM PORTUGAL (ID 181) CHAGAS, Laura, Instituto Politécnico de Leiria (PT) PEDRO, Neuza, Universidade de Lisboa (PT) Estudo Financiado pela Fundação para a Ciência e Tecnologia Bolsa PD/BI/113594/2015 RESUMO Esta comunicação visa descrever as práticas de lecionação de língua inglesa com recurso à tecnologia, no ensino superior público universitário e politécnico, e a sua relevância decorre da inexistência de trabalhos prévios que incidam sobre esta problemática em Portugal. O problema de investigação subdivide-se em dois e consiste, assim, no seguinte enunciado: ‘Qual o uso que os docentes de língua estrangeira do ensino superior português fazem das TIC e de que forma são trabalhadas as quatro principais competências de comunicação em língua estrangeira (ouvir/falar/ler/escrever) e a avaliação com o recurso à tecnologia? E de que modo a efetiva integração das TIC pode contribuir, na perspetiva dos docentes e estudantes, para a construção de um guia que inclua as melhores práticas do presencial e do regime EaD?’ Recorrendo a um design metodológico de cariz quantitativo procura-se dar resposta à primeira questão enunciada através do recurso a um questionário online, a aplicar aos docentes do ensino superior que lecionem língua inglesa em unidades curriculares obrigatórias dos cursos de licenciatura, numa primeira fase. Posteriormente, serão inquiridos os alunos e entrevistados alguns docentes, de modo a analisarem-se, em maior profundidade, as práticas docentes e os resultados de aprendizagem percecionados, de modo a poder responder-se à segunda questão do problema. Através dos resultados previstos, espera-se contribuir para a sistematização de um conjunto de boas práticas para o ensino da língua inglesa no ensino superior e, em última análise, contribuir para promover melhoria das práticas docentes com recurso à tecnologia. TEXTO Este estudo insere-se no contexto de um projeto de doutoramento que se encontra a ser desenvolvido. Mais concretamente, o mesmo integra uma revisão teórica dos conceitos-chave a ser explorados, apresenta o problema de investigação e os objetivos a que procura responder, define a metodologia e as fases de investigação a seguir e, finalmente, enuncia os resultados previstos. Tomamos como ponto de partida as recomendações europeias mais recentes, que têm remetido para a premência do uso da tecnologia. Mais concretamente, destacamos o documento organizado no âmbito do programa Horizonte 2020, Comunicação da Comissão Europa 2020 – Estratégia para um crescimento inteligente, sustentável e inclusivo (2010), em que foram enunciados os desafios societais que a Europa se propõe atingir neste curto período temporal, sobretudo o ponto que remete para a Inovação, Educação e Sociedade Digital. Além disso, salientamos as oito competências-chave para a Aprendizagem ao Longo da Vida (2011), de que fazem parte a comunicação em línguas estrangeiras, bem como a competência digital. Através do desenvolvimento 421 destas competências, espera-se contribuir para uma cidadania ativa, através da “motivação e satisfação dos trabalhadores e para a qualidade do trabalho” (par. 2). Atendendo a estes pressupostos, pretende-se investigar a forma como estas diretivas têm vindo a ser seguidas, no contexto nacional. Introdução Os principais eixos de investigação deste trabalho assentam em três pontos principais, como sejam: (i) o ensino superior; (ii) a integração das Tecnologias de Informação e Comunicação (TIC); e (iii) língua estrangeira. No primeiro ponto, serão analisadas as práticas docentes no ensino presencial e do Ensino a Distância (EaD), em que se salientam as diretivas europeias que consistem nos desafios societais e o ensino das línguas estrangeiras, designadamente o inglês. No segundo ponto, analisa-se a relevância do papel do docente, a sua formação e recetividade ao uso da tecnologia, em particular no que concerne às abordagens metodológicas selecionadas, bem como as ferramentas Web 2.0 que terão maior preponderância na promoção da proficiência linguística em língua estrangeira. Finalmente, no terceiro ponto, é explorado o conceito de língua estrangeira em duas vertentes, nomeadamente, as competências de comunicação que se pretendem desenvolver (ouvir/falar/ler/escrever) e a avaliação com recurso à tecnologia, seja a nível formativo ou a nível sumativo. Sistematizamos estes referenciais teóricos numa representação gráfica apresentada a seguir (figura 1). Ensino Superior •Desaﬁos Societais e o Ensino das Línguas (Inglês) •Ensino Presencial e EaD Integração das TIC •O papel do Docente •Metodologias TIC e Ferramentas Web 2.0 Língua Estrangeira •Competências de Comunicação •Avaliação Figura 1: Explicitação gráfica da articulação entre os principais eixos temáticos da investigação Contextualizamos este trabalho através da análise do estado da arte de duas temáticas principais, mais concretamente, um respeitante ao uso da tecnologia no ensino de língua estrangeira, aludindo às ferramentas e principais abordagens metodológicas utilizadas, e outro que remete para a utilização da tecnologia nos processos avaliativos. TIC e Ensino de Língua Estrangeira no Ensino Superior: Ferramentas e Metodologias Importa, nesta fase, justificar a necessidade de se abordarem estes temas de investigação em particular. A escolha desta problemática advém, assim, sobretudo das mais recentes diretrizes da Comissão Europeia, que advogam uma estratégia que consiste em privilegiar o uso da tecnologia em 422 contextos educativos. Além disso, é notória uma preocupação com a promoção das línguas estrangeiras que, de acordo com o programa Erasmus + (2014), “desempenham um papel de destaque entre as competências que vão ajudar a preparar melhor as pessoas para o mercado de trabalho e a tirar o maior proveito das oportunidades disponíveis” (p. 13)”. Aliar a tecnologia ao ensino das línguas pode, desta forma, aumentar exponencialmente os contextos de aprendizagem dos estudantes, dentro e fora da sala de aula. Contudo, muitas vezes as plataformas de recursos têm vindo a servir, sobretudo, como repositórios de informação ou servem apenas a apresentação de conteúdos estáticos, como preconiza Martins (2011), que destaca a utilização reduzida da World Wide Web, apesar do seu imenso potencial como recurso de aprendizagem para as línguas. Damos maior preponderância neste estudo à língua inglesa, não só para estreitar o foco do nosso campo de estudo mas pelo facto de se considerar atualmente como lingua franca, que facilita a comunicação não só a nível académico e empresarial, mas também, e sobretudo, a nível global. Para analisar em detalhe a questão da aprendizagem em língua estrangeira, é fundamental ter em conta as diretrizes do Quadro Europeu Comum de Referência para as Línguas, em que se explicitam e descrevem os níveis das várias competências comunicativas neste âmbito, como sejam, (i) compreensão oral, (ii) compreensão escrita, (iii) interação oral, (iv) produção oral e (v) expressão escrita. Todavia, neste trabalho decidiu-se reduzir as duas categorias da oralidade para referir uma só para respeitar as quatro competências enunciadas no documento referente às competências de aprendizagem ao longo da vida, a que se aludiu no ponto anterior. Torna-se relevante, neste âmbito, e para contextualizar o nosso campo teórico, ainda que de forma bastante sucinta, referir um conjunto de ferramentas e abordagens metodológicas com recurso às TIC que têm vindo a ser referidas na literatura como potenciadoras da aprendizagem de línguas estrangeiras. Na literatura, encontram-se inúmeros estudos relativos ao uso de ferramentas Web 2.0 para desenvolvimento de competências de compreensão e expressão oral e escrita. Enunciamos, apenas, algumas daquelas que serão, porventura, mais populares. No caso da compreensão oral, Chang e Chang (2014) referem um estudo que obteve resultados favoráveis na promoção das estratégias metacognitivas desta competência, através de uma atividade de “online videotext self-dictation-generation”, integrada no YouTube. O estudo envolveu 48 estudantes e os dados foram recolhidos de múltiplas formas, através da própria plataforma de aprendizagem, questionários e testes, entre outros. Quanto à expressão oral, um estudo de Farangi, Nejadghanbar, Askary e Ghorbani, (2015) indicou resultados positivos a partir da integração do podcast como ferramenta de aprendizagem. No que respeita à compreensão escrita, importa referir um estudo em que se comparou a atividade de leitura tradicional com o recurso a um software, tendo os resultados sido favoráveis à integração da tecnologia (Marzban, 2010). Finalmente, em relação à expressão escrita, um estudo recente aponta resultados favoráveis na integração do Facebook com o Skype, juntamente com exercícios de role-play, para o desenvolvimento desta competência, além da própria expressão oral (Yen, Hou & Chang, 2015). Já Gikas e Grant (2013), por exemplo, apontam para o uso dos dispositivos móveis e dos social media, aliados às ferramentas Web 2.0, como promotores da satisfação mas também de alguma frustração na aprendizagem, no ensino superior. Com base num levantamento exaustivo de estudos sobre o mobile learning, os autores referem-se ao conceito como (a) mais do que apenas aprendizagem com recurso a dispositivos móveis; mas (b) aprendizagem que é tanto formal como informal e (c) contextualizada e autêntica para o aprendente. Aludimos, ainda, ao conceito de 423 flipped learning, que tem vindo a crescer exponencialmente em contextos educativos, e que Marks (2015) define como: “the use of teacher-created videos and interactive lessons so that instruction that used to occur in class is now accessed at home, in advance of class” (p. 242). Deste contexto de novas iniciativas para o ensino das línguas, advém a necessidade de se investigar a forma como a tecnologia vem sendo integrada pelos docentes de inglês no ensino superior. A Avaliação com recurso à Tecnologia Considerando as iniciativas em que se vai recorrendo à tecnologia, importa analisar o papel que se atribui à mesma nos contextos avaliativos. De acordo com Amante (2011), apesar da alteração de paradigma educativo a que se tem vindo a assistir desde os anos 90, num quarto estádio de teorias de avaliação, em que o aluno assume um papel central no processo de aprendizagem, persistem as práticas mais tradicionais de ensino, isto é, as formas de avaliação não têm acompanhado esta mudança. Refere a autora, neste âmbito, que o e-portefólio se tem revelado como instrumento promissor para responder aos desafios da avaliação digital, apanágio dos novos contextos de avaliação no ensino superior, sobretudo no EaD. Como vantagens deste recurso, a autora salienta a capacidade de reflexão e registo de evolução do percurso de aprendizagem que ele potencia, revelando-se como um meio que estimula a motivação dos estudantes (de mestrado, no caso apresentado no artigo). Esta é uma ideia mais tarde defendida também por Balula (2014), que defende o conceito de avaliação digital como aprendizagem, que deve ser potenciado através de dinâmicas de motivação que permitam uma aprendizagem autêntica; além disso, advoga-se a utilização de estratégias que englobem as componentes de ensino, aprendizagem e avaliação que possam dotar os estudantes de competências que os preparem para o seu futuro profissional. Ainda a nível nacional, referimos um projeto que procurou analisar as mais recentes práticas de avaliação com recurso à tecnologia no Ensino Superior, tendo sido criado um referencial teórico para a qualidade da avaliação digital, que encontra suporte em quatro dimensões principais, designadamente a autenticidade, a consistência, a transparência e a viabilidade (Gomes, Amante & Oliveira, 2012). Os resultados do estudo em causa, na altura ainda em curso, obtidos através de um questionário aos docentes de todas as universidades públicas portuguesas sobre a utilização das tecnologias e serviços digitais para a avaliação (digital), apontam para uma utilização crescente da tecnologia na atividade docente, sem particular enfoque, no entanto, na componente de avaliação, o que de acordo com as autoras, “pode indiciar que na verdade estas são essencialmente usadas como um meio e não como um fim em si mesmo” (p. 27). A nível internacional, destacamos, no âmbito desta problemática, um relatório de Redecker (2013), preparado para a Comissão Europeia, que inclui um referencial de competências-chave para a Aprendizagem ao Longo da Vida, de que faz parte, conforme referido anteriormente, a comunicação em línguas estrangeiras. Para avaliar esta competência em particular, a autora sugere a integração da chamada avaliação assistida por computador ou CBA (Computer-Based Assessment), a autoavaliação e o e-portefólio, além dos ambientes e jogos imersivos. Mais concretamente, são recomendados a CBA para a avaliação sumativa e o e-portefólio para a avaliação formativa e também sumativa em língua estrangeira. Interessa analisar, portanto, o uso que os docentes do ensino superior português fazem destes ou de outros recursos e o papel que consideram que a tecnologia pode ter na avaliação. 424 Problema e Objetivos Considerando a emergência do estudo destas temáticas, é fundamental analisar-se a forma como decorrem as práticas docentes de integração da tecnologia no ensino superior, o papel que o docente de língua inglesa atribui à mesma no exercício das várias competências de compreensão e expressão oral e escrita e na avaliação das mesmas. É pois essencial proceder-se a um levantamento exaustivo das práticas docentes a nível nacional, dado não se terem obtido dados semelhantes até ao momento. Daqui decorre a pertinência do nosso estudo, cujo problema se consubstancia nas duas questões a seguir enunciadas: ‘Qual o uso que os docentes de língua estrangeira do ensino superior português fazem das TIC e de que forma são trabalhadas as quatro principais competências de aquisição da língua (ouvir/falar/ler/escrever) e a avaliação com recurso à tecnologia? E de que modo a efetiva integração das TIC pode contribuir, na perspetiva dos docentes e estudantes, para a sistematização das melhores práticas do presencial e do regime EaD?’ Procura-se responder a este problema, através da prossecução de um conjunto de objetivos, que dividimos em três fases correspondentes aos vários momentos que operacionalizam a metodologia. Assim, numa primeira fase, pretende-se (i) investigar a utilização que os docentes de língua inglesa do ensino presencial fazem da tecnologia; (ii) analisar a forma como a tecnologia é integrada no exercício das várias competências de compressão e expressão oral e escrita, no regime EaD; (iii) identificar o uso que é feito das ferramentas Web 2.0 no ensino do inglês nos dois regimes, bem como a partir do recurso às plataformas de apoio utilizadas; (iv) identificar o perfil do docente, a nível da sua formação em tecnologia, a nível inicial ou contínuo, bem como eventuais dificuldades na utilização da mesma e (v) analisar o papel da tecnologia na avaliação formativa e sumativa da língua inglesa, no ensino superior. Numa segunda fases, propomo-nos a (i) analisar o papel atribuído pelos estudantes à integração da tecnologia na aprendizagem de língua inglesa e no exercício das competências de compreensão e expressão oral e escrita; (ii) avaliar a perspetiva dos estudantes relativamente à (não) integração das TIC nas aulas de língua inglesa e à motivação daí decorrente; (iii) descrever a visão dos estudantes no que respeita à integração das TIC em contextos de avaliação formativa e sumativa; (iv) aferir o modo como os estudantes percecionam o papel da integração tecnologia na promoção da melhoria dos resultados académicos Na terceira fase, propomos-nos a analisar a perspetiva dos docentes em relação aos aspetos supramencionados, pelo que os objetivos serão paralelos aos da segunda fase e consistem em (i) analisar a perspetiva dos docentes em relação à forma como os estudantes percecionam a integração da tecnologia nas aulas de línguas e à motivação que daí decorre e (ii) avaliar a visão dos docentes no que respeita ao papel que os estudantes atribuem à tecnologia, quanto à avaliação e aos resultados académicos. Metodologia Para melhor responder ao problema enunciado, torna-se necessário incluir uma multiplicidade de instrumentos, envolvendo como participantes no estudo não só a comunidade docente, mas também os próprios estudantes analisando a sua perspetiva em relação à integração das TIC e à preponderância que ela pode assumir na aprendizagem e avaliação em língua inglesa. Assim, na primeira fase deste trabalho, os docentes serão inquiridos acerca da sua formação em TIC, recetividade à tecnologia e uso que fazem ou não da mesma, em contextos não só de atividades de ensino de competências associadas a ouvir/falar/ler/escrever, mas também na avaliação 425 formativa e/ou sumativa. Para o efeito, foi criado um novo instrumento para inquirir os docentes acerca das suas práticas. No âmbito de um paradigma quantitativo, de teor descritivo, serão questionados os vários docentes de língua inglesa das instituições portuguesas do ensino universitário e politécnico. A segunda fase do estudo consistirá na aplicação de um questionário aos estudantes, de modo a avaliar-se a sua recetividade quanto ao uso da tecnologia e à motivação daí decorrente na aprendizagem do inglês, sendo que o paradigma de investigação continuará a ser quantitativo. Numa terceira fase, alguns docentes serão entrevistados, no sentido de poder confrontar a sua visão com a manifestada pelos estudantes. Tratar-se-á de um estudo de cariz quantitativo, para triangulação de dados. Na análise de dados, serão distinguidos os resultados dos regimes presencial e a distância, de modo a poder-se sistematizar um conjunto de boas práticas da utilização das TIC no desenvolvimento das competências de compreensão e expressão oral e escrita, bem como na avaliação. Resultados previstos Acreditando no potencial da utilização da tecnologia para responder ao interesse dos estudantes e à otimização dos resultados de aprendizagem que os docentes naturalmente ambicionam, pretende-se identificar um conjunto de ferramentas Web 2.0 e de abordagens metodológicas que contribuam para o desenvolvimento da proficiência linguística dos estudantes, ao nível das competências ouvir/falar/ler/escrever, bem como de contextos avaliativos que sejam autênticos e promovam o verdadeiro envolvimento dos mesmos no seu processo de aprendizagem, estruturando, assim, um conjunto de boas práticas de aprendizagem e avaliação que possam ser úteis aos docentes de língua inglesa do ensino superior. Além disso, pretende-se caracterizar o perfil do docente de inglês do ensino superior em Portugal, tanto a nível do regime presencial como do EaD, o qual revela ainda expressão reduzida no contexto nacional. Tenciona-se identificar o percurso formativo dos participantes a nível inicial e contínuo, bem como eventuais necessidades neste âmbito. Concluindo, procura-se contribuir, através dos resultados encontrados, e em última análise, para a melhoria da qualidade das práticas de ensino e avaliação da língua inglesa no ensino superior. Referências Amante, L. (2011). A avaliação das aprendizagens em contexto online: o E-Portefólio como instrumento alternativo. In Paulo Dias & António Osório (Orgs.) Aprendizagem (In)Formal na Web Social. (pp. 221-236). Centro de competência da Universidade do Minho, Braga, 2011. Balula, A. J. (2014). Avaliação digital como aprendizagem. Educação, Formação & Tecnologias, 7(1), 80-88. Chang, C., & Chang, C. K. (2014). Developing students' listening metacognitive strategies using online videotext self-dictation-generation learning activity. The EuroCALL Review, 22(1), 3-19. Competências essenciais para a aprendizagem ao longo da vida. (2011). Bruxelas: Comissão Europeia. Retirado de http://eur-lex.europa.eu/legalcontent/PT/TXT/HTML/?uri=URISERV:c11090&from=EN 426 Comunicação da Comissão Europa 2020. Estratégia para um crescimento inteligente, sustentável e inclusivo. (2010). Bruxelas: Comissão Europeia. Retirado de http://eurlex.europa.eu/LexUriServ/LexUriServ.do?uri=COM:2010:2020:FIN:PT:PDF Conselho da Europa. (2001). Quadro europeu comum de referência para as línguas. Aprendizagem, ensino e avaliação. Lisboa: Edições Asa. Erasmus+ (2014). Guia do Programa. Comissão Europeia. Retirado de http://ec.europa.eu/programmes/erasmus-plus/documents/erasmus-plus-programme-guide_pt.pdf Farangi, M. R., Nejadghanbar, H., Askary, F., & Ghorbani, A. (2015). The Effects of Podcasting on EFL Upper-Intermediate Learners’ Speaking Skills. Gikas, J., & Grant, M. M. (2013). Mobile computing devices in higher education: Student perspectives on learning with cellphones, smartphones & social media. The Internet and Higher Education, 19, 18-26. Retirado de http://www.sciencedirect.com/science/article/pii/S1096751613000262 Gomes, M. J. G. J., Amante, L., & Oliveira, I. (2012). Avaliação digital no ensino superior em Portugal: primeiros resultados. Linhas, 13(2), 10-28. Marks, D. B. (2015). Flipping The Classroom: Turning An Instructional Methods Course Upside Down. Journal of College Teaching & Learning (Online), 12(4), 241. Martins, H. (2011). A aprendizagem online de Inglês como língua estrangeira, com base em tecnologias assíncronas e síncronas [Tese de Doutoramento em Ciências da Educação]. Lisboa: Universidade Nova de Lisboa. Retirado de http://hdl.handle.net/10362/7989 Marzban, A. (2011). Improvement of reading comprehension through computer-assisted language learning in Iranian intermediate EFL students. Procedia Computer Science, 3, 3-10. Redecker, C. (2013). The use of ICT for the assessment of key competencies. Luxembourg: Publications Office of the European Union. Retirado de ftp://sjrcsvqpx101p.jrc.es/pub/EURdoc/JRC76971.pdf Yen, Y. C., Hou, H. T., & Chang, K. E. (2015). Applying role-playing strategy to enhance learners’ writing and speaking skills in EFL courses using Facebook and Skype as learning tools: a case study in Taiwan. Computer Assisted Language Learning, 28(5), 383-406. 427 O PROCESSO DE AVALIAÇÃO NO CONTEXTO DA AUTORREGULAÇÃO DA APRENDIZAGEM (ID184) BASSO, Fabiane Puntel, PUCRS (BR) FRISON, Lourdes Maria Bragagnolo, UFPel (BR) ABRAHÃO, Maria Helena Menna Barreto (BR) RESUMO A avaliação no contexto da aprendizagem autorregulada é um tema que vem ganhando destaque atualmente, uma vez que integra vários aspectos imprescindíveis à aprendizagem no contexto educativo. Para que o sujeito consiga alcançar um bom desempenho na escola é necessário o desenvolvimento de competências que permita a monitorização com eficiência das estratégias de aprendizagem adotadas (Pereira, 2012). Alguns autores (Zimmerman, 2001; Rosário, 2004; Frison e Veiga Simão, 2011) tem estudado a autorregulação da aprendizagem e evidenciam a relevância desse construto para a educação e para os processos de ensino-aprendizagem, mostrando que se trata de um fenômeno multifacetado que desempenha um papel importante no sucesso escolar dos alunos. A aprendizagem autorregulada é a capacidade dos alunos desenvolverem conhecimento, estratégias e comportamentos essenciais para incrementar as aprendizagens, seja no contexto escolar ou nas vivências cotidianas. O aluno se autorregula quando participa ativamente, do ponto de vista metacognitivo, motivacional e comportamental, do seu próprio processo de aprendizagem. Assim, ao buscar compreender a autorregulação da aprendizagem, é importante analisar os fatores, as fases e os componentes motivacionais, cognitivos, comportamentais, emocionais, sociais implícitos nessa teoria, fatores esses importantes a serem considerados nas avaliações (Frison, 2006). É nesta perspectiva que nos últimos dez anos as pesquisas relacionadas a aprendizagem autorregulada vem se aprofundando, a função reguladora do processo avaliativo começa a ganhar forças, e os saberes não são os únicos objetivos da avaliação. Desta maneira, é destacada a relevância de compreender e de apreender conhecimentos para saber aplicá-los em situação da vida real. Esse trabalho buscou analisar o processo de avaliação pedagógica como forma de acompanhar a capacidade do aluno de controlar e desenvolver seus conhecimentos. Foi utilizada uma metodologia de pesquisa bibliográfica de caráter exploratório e descritivo. As fontes analisadas foram artigos científicos publicados nas bases eletrônicas do Scielo, Lilacs e Periódicos Capes. Foram pesquisadas publicações, principalmente as de língua portuguesa, com a finalidade de compreender como está sendo visto esse processo de avaliação no contexto brasileiro. Os artigos pesquisados foram publicados a partir do ano de 2005 e tratam dos processos de avaliação relacionados a teoria da aprendizagem autorregulada. As palavras-chave utilizadas de forma combinada com os operadores booleanos OR e AND foram: aprendizagem autorregulada, avaliação, estratégia, autorregulação. A coleta de dados ocorreu no período de novembro de 2014 a agosto de 2015. As pesquisas analisadas ressaltam que a avaliação deve tornar-se um espaço de diálogo, em que o compartilhamento de saberes, de experiências, a clarificação e a negociação dos critérios de avaliação asseguram o rigor e a objetividade do processo avaliativo, contribuindo para uma prática didático-pedagógica mais eficiente. A avaliação no âmbido da autorregulação está associada ao desenvolvimento pessoal, social, profissional e acadêmico das pessoas, sendo também uma questão 428 de desenvolvimento curricular da maior relevância. Isto porque o construto da autorregulação implica o desenvolvimento de competências que permitem o monitoramento do indivíduo nos procedimentos para autotestar suas possibilidades, autoavaliar e autocorrigir-se. Os resultados evidenciaram que grande parte dos trabalhos salientam a necessidade de coerência entre avaliação, metodologia e estratégias utilizadas, fazendo coincidir as propostas avaliativas com as atividades de aprendizagem. A avaliação, desta forma, deve passar a ser parte integrante dos processos de ensino e da aprendizagem e assumir seu papel de autorregulação. Referências Frison, L. M. B. (2009) Avaliação e autorregulação da aprendizagem. In. Revista de gestão e avaliação educacional, v. 1. N. 1. Frison, L. M. B.; Veiga Simão (2011), A. M. Abordagem (auto) biográfica - narrativas de formação e de autorregulação da aprendizagem reveladas em portifólios reflexivos. Educação, v. 34, n. 2, p. 2011, 198-206, Pereira, H. M. P. (2012) Abordagens à aprendizagem e auto-regulação da aprendizagem na “história” de alunos de 9º ano de escolaridade. Dissertação de Mestrado. Universidade de Lisboa, Portugal, 2012. Rosário, P. (2004). Estudar o estudar: As (Des)venturas do Testas. Porto: Porto Editora. Zimmerman, B. J. (2001). Theories of self-regulated learning and academic achievement: An overview and analysis. In B. J. Zimmerman & D. H. Schunk (Eds.), Self-regulated learning and academic achievement: Theoretical perspectives. Mahwah, NJ: Lawrence Erlbaum, p. 1-38, 2001. 429 MOBILITÉ INTERNATIONALE ET DÉMARCHE D’APPRENTISSAGE DANS LE CADRE D’UN MASTER: UN PARCOURS DE CONSTRUCTION DE SOI? (ID 185) LAFONT, Pascal, Université Paris Est Créteil - Faculté des Sciences de l'Education (FR) PARIAT, Marcel, Université Paris Est Créteil - Faculté des Sciences de l'Education (FR) RÉSUMÉ Dans un contexte d’internationalisation de l’enseignement supérieur, notamment porté par des injonctions communautaires , mais également par «la nécessité de faire face à des nouveaux défis en ce qui concerne ses missions : formation à la recherche, formation professionnalisante, réduction des inégalités, développement culturel » (Elliott, Murphy, Payeur, Duvel, 2011, p.11), si les étudiants français, tout comme leurs homologues allemands, sont parmi les européens les plus mobiles, les données statistiques tendent à démontrer que la plus grande proportion de mobilité étudiante depuis la France vers un pays d’Europe est, pour l’essentiel, effectuée par des étudiants qui sont en dehors de tout programme européen (Fabre, 2005), comme le sont les étudiants de notre population d’enquête. Le parcours individuel n’a de sens que compris dans son contexte sociohistorique, d’autant plus que les étudiants (n=84) de notre échantillon d’étude conjuguent bien des rôles qu’un individu peut jouer dans une société. Il leur faut donc construire le sens de leur propre parcours tout en s’appropriant des connaissances, alors que leur place dans la société dépend en partie d’une part, des conditions économiques, sociales et culturelles très inégalement réparties et d’autre part, pour les étudiants d’origine étrangère plus particulièrement du poids du contexte historique et culturel qu’ils ont connu. Alors si l’offre d’enseignement que constitue le Master « Expertise, Ingénierie, Projets Internationaux » (EIPI) s’avère structurante c’est parce qu’elle concrétise une articulation entre parcours universitaire, mobilité internationale et parcours de réalisation de soi, vecteurs d’acquisition de savoirs, de savoirs faire, de savoirs être, et de construction identitaire. L’approche méthodologique repose sur l’exploitation d’un questionnaire, sur l’analyse comparative entre les éléments de réponse et les lettres de candidature et de motivation, ainsi que sur la lecture plurielle des effets structurants du parcours grâce à une dizaine d’entretiens semidirectifs dont la moitié réalisée 3 ans après la formation. Le mode de traitement retenu dans cette recherche prend appui sur une démarche méthodologique qui associe une dimension biographique du mode de restitution des savoirs au sens où elle désigne, non pas la réalité factuelle du vécu mais le champ de représentations et de constructions selon lesquelles les êtres humains perçoivent leur existence (Delory-Monberger, 2005), ce qui réduit les risques de biais. Aussi, l’interprétation des données tient-elle compte de l’analyse des contextes de production de savoirs, renvoyant ainsi à trois temporalités distinctes qui se réfèrent aux conditions ayant motivé l’engagement en formation au sein du parcours international, celles à l’origine du projet personnel et professionnel, et l’usage que le sujet d’enquête souhaite faire de son Master international à l’issue de son parcours, révélant ainsi son inscription dans un processus transactionnel non seulement personnel mais aussi social. Nous nous intéressons à l’étude des formes d’engagement au sein d’un parcours de formation de plus en plus sollicité en raison de son caractère international et de la transversalité de ses contenus issue d’un tronc commun de savoirs et de connaissances. A la recherche d’un équilibre entre 430 élaboration d’«un avenir en construction» et moyens qu’ils mobilisent pour atteindre des objectifs conjointement assignés par les exigences institutionnelles et celles issues de leurs aspirations, les étudiants sont inscrits dans un processus d’élaboration identitaire professionnelle et sociale (Dubar, 2000). N’est-ce pas pour cela qu’il convient de rechercher des modalités de formation alternatives, dont la finalité est de favoriser de nouvelles formes de mise en œuvre de la mobilité internationale ? En ce sens, la perspective transformatrice de l’apprentissage proposée par Mezirow (1991, 2000, 2001 ; Mezirow et Taylor 2009) ne permet-elle pas d’intégrer et de confronter les expériences des apprenants et de leurs enseignants dans une perspective de changement à la fois individuel et collectif, c'est-à-dire d’articuler des dimensions auto-formatrices, co-formatrices, et transformatrices de cet apprentissage. Notre objectif est donc d’interroger le processus pédagogique de construction d’une nouvelle forme de professionnalisation et des effets produits quant à l’élaboration d’une identité professionnelle et sociale de ces étudiants. Il s’agit donc d’appréhender en premier lieu les motivations les conduisant à s’inscrire dans un parcours qui, a priori, semble correspondre à leurs intentions, puis dans un second temps d’analyser la démarche de l’équipe pédagogique associant «mise en situation» et apprentissage méthodologique d’une posture comparatiste (Lallement et Spurk, 2003), dont la finalité est d’amener les étudiants à mieux se connaître et se faire reconnaître pour se réaliser (Charlot, 1997). Enfin, dans un dernier temps, nous mettrons au jour les modalités de construction d’une correspondance entre projet personnel, professionnel (Boutinet, 2001), et pédagogique fondé sur le « voyage », vecteur d’une mue tant individuelle que collective (Pariat, 2000), en même temps que sur une démarche de co-construction de connaissance tant individuelle que collective. Références Boutinet, J-P. (1990). Anthropologie du projet. Paris : PUF. Charlot, B. (1999). Le rapport au savoir en milieu populaire. Une recherche dans les lycées professionnels de banlieue. Paris: Anthropos. Delory-Monberger Ch. (2009). Un autre regard: l’approche biographique en formation. In JM. Barbier et al (Sous la Dir.). Encyclopédie de la formation (pp. 103-111). Paris: PUF. Elliot, I., Murphy, M., Payeur, A. & Duval, R. (Dir.) (2011). Mutations de l'enseignement supérieur et internationalisation. Bruxelles: De Boeck. Fabre J. (2005). Mobilité internationale des étudiants: les Français vont principalement dans les pays limitrophes, note d’information du MENSR, 05.01. Lafont, P. & Madriaga, C. (Coord.) (2014). REDFORD Internacional: Red internacional Educación Formación y Desarrollo - 20 años de experiencia, intercambios y cooperación entre América Latina, Central, Caribe – Europa. Barranquilla: Edición de la Universidad del Norte. Lallement, M. & Spurk, J. (2003). Stratégies de la comparaison internationale. Paris: CNRS Editions. Mezirow, J. (1991). Transformative dimensions of adult learning. San Francisco : Jossey-Bass. Mezirow, J. (2001). Penser son expérience. Une voie vers l’autoformation. Lyon : Chronique Sociale. 431 Mezirow, J. (dir.). (2000). Learning as transformation. Critical perspectives on a theory in progress. San Francisco : Jossey-Bass. Mezirow, J., & Taylor, E. W. (2009). Transformative learning in practice. Insights from community, workplace and higher education. San Francisco : Jossey-Bass. Pariat, M. & Allouche-Benayoun, J. (2000). 432 La fonction formateur. Paris: Dunod. CERTIFICAR OS SABERES DO TRABALHO: UMA ANÁLISE DO DISPOSITIVO DE RECONHECIMENTO DE SABERES E CERTIFICAÇÃO PROFISSIONAL NO BRASIL (ID 186) LIMA, Natalia, Universidade Federal de Minas Gerais (BR) CUNHA, Daisy, Universidade Federal de Minas Gerais (BR) RESUMO Verificamos atualmente o crescimento de discussões que enfatizam a necessidade de criação de estratégias que valorizem as aprendizagens realizadas pelos sujeitos ao longo de sua vida. Nesse entendimento, há uma ampliação do tempo e do espaço educativo para além das formas institucionalizadas de educação e reconhece-se que a educação se estende à diferentes contextos sociais, tal como o trabalho, atividades comunitárias e a vida familiar, que, por sua vez, constituemse como lócus de produção de saberes. Assim sendo, a aprendizagem não está mais delimitada ao tempo de escolarização formal, considerando-se e exigindo-se que ela aconteça continuamente no decorrer da vida do indivíduo. Emergem, nesse contexto, demandas por iniciativas que busquem desenvolver metodologias que viabilizem o reconhecimento social de aprendizagens construídas na/pela experiência. Nesse sentido, constata-se, no decorrer das últimas 3 décadas, que diferentes países vêm elaborando sistemas voltados para a avaliação e o reconhecimento de saberes construídos na/pela experiência. Diante desse quadro, esse trabalho tem como objetivo analisar como o governo brasileiro vem elaborando e implementando políticas públicas que procuram avaliar e certificar os saberes dos trabalhadores, independentemente de sua inserção em rotas de formação profissional institucionalizadas. As iniciativas governamentais nesse sentido podem ser rastreadas ao começo da década de 70, através da implantação do projeto formulado pelo Centro Interamericano de Investigação e Documentação sobre Formação Profissional (CINTERFOR-OIT). Desde então, surgiram no Brasil vários programas voltados para a certificação profissional de saberes e competências. Estes foram implementados por diversos agentes sociais (ONGs, sindicatos, empresas, etc.), sendo que os principais organismos de certificação estão vinculados ao Instituto Nacional de Metrologia, Normalização e Qualidade Industrial – INMETRO. Mais recentemente, tendo em vista as demandas dos movimentos sociais que clamam por estratégias que viabilizem o reconhecimento de seus saberes e, também, levando em consideração a constante modernização dos meios de produção, que trazem consigo a exigência de uma formação ao longo da vida, o governo brasileiro criou a Rede Nacional de Certificação Profissional e Formação Inicial e Continuada (Rede CERTIFIC). A Rede CERTIFIC é uma política pública interministerial que conjuga ações dos Ministérios da Educação e do Trabalho e Emprego, tendo como objetivo principal desenvolver programas que promovam o reconhecimento e a certificação dos saberes de jovens e adultos desenvolvidos em suas trajetórias de vida e trabalho, para fins de prosseguimento de estudos ou exercício profissional. A partir do ano de 2009, a Rede CERTIFIC começou a ser implementada nos Institutos Federais de Educação, Ciência e Tecnologia (IFETs) e procura certificar trabalhadores inseridos em funções que requerem baixo grau de qualificação para ingresso, tais como pedreiros, pescadores, auxiliar de cozinha, entre outros. 433 Ao analisarmos a avaliação na Rede CERTIFIC, constatamos que ela é dividida em 4 etapas: a) entrevista individual, na qual o candidato deve apresentar oralmente as atividades realizadas durante sua atividade de trabalho e os conhecimentos mobilizados para execução destas; b) dinâmica em grupo, na qual os trabalhadores discutem com seus pares aspectos relacionados às suas atribuições, condições de trabalho, qualificação necessária, equipamentos utilizados, etc.; c) preparação para o desempenho sócio-profissional, constituído por uma série de atividades (palestras, visitas técnicas, etc.) cujo objetivo é aferir o domínio de conhecimentos sócioculturais e científicos associados à profissão; d) avaliação do desempenho profissional, etapa final do processo, na qual o trabalhador deverá demonstrar, através de atividades práticas, realizadas em laboratório ou no ambiente de trabalho, seus saberes profissionais. A avaliação dos candidatos à certificação profissional é realizada por uma equipe multidisciplinar, composta por pedagogo, psicólogo, assistente social e profissional especialista na área avaliada e membros da instituição certificadora. Cabe a estes profissionais acompanhar os candidatos em todas as etapas avaliativas e relatar, individualmente, aspectos que contribuirão para atribuição ou não da certificação profissional ao trabalhador. Todos os elementos constitutivos da avaliação realizada por esta equipe devem ser objeto de análise e constam no memorial descritivo entregue ao trabalhador no final do processo de certificação profissional. O documento utilizado como referência para avaliação dos conhecimentos e habilidades dos trabalhadores é o Perfil Profissional Certificável, elaborado por professores dos Institutos Federais de Educação, Ciência e Tecnologia, que atuam como coordenadores dos setores profissionais atendidos pela Rede CERTIFIC. As atribuições expressas nos documentos foram definidas de acordo com os dispostos nas normas regulamentadoras de cada profissão e na Classificação Brasileira de Ocupações – CBO, levando em conta as matrizes tecnológicas de cada área, pautadas nos eixos de orientação da Educação Profissional e Tecnológica Brasileira. Os Perfis Profissionais Certificáveis apresentam as atribuições mínimas de cada ocupação, relacionando-as com atitudes e conhecimentos científicos e tecnológicos considerados necessários para a execução de cada tarefa. Algumas profissões apresentam dois Perfis Profissionais distintos, destinados a trabalhadores que concluíram a Educação Básica ou o Ensino Fundamental, sendo este o nível mínimo de ensino para emissão do documento de certificação profissional. A obtenção da certificação profissional está condicionada ao atendimento de todos os critérios estabelecidos nos Perfis, inclusive à escolarização mínima estabelecida de acordo com cada ocupação. Desta forma, caso o trabalhador apresente saberes plenos para execução das atividades de trabalho em sua área de ocupação, mas não possua o nível de escolaridade requerido no Perfil, ele não poderá ser certificado, e fará jus somente a um atestado profissional. Diante do exposto, o acompanhamento da implantação da Rede CERTIFIC realizado até o momento, indica que os programas da Rede objetivam, além da certificação profissional, a (re)inserção do trabalhador na escola para aumento de sua escolaridade. Este fato contrasta com as políticas de certificação anteriormente instituídas pelo Ministério do Trabalho, uma vez que estas estavam voltadas para atendimento da demanda do mercado de trabalho, não fomentado medidas para aumento de escolaridade. Além disso, pode-se constatar que a avaliação dos trabalhadores enfatiza os conhecimentos ligados às regulamentações profissionais e aos currículos escolares, deixando em segundo plano os saberes dos trabalhadores construídos na/pela experiência de trabalho. 434 AVALIAR PARA APRENDER: UM ESTUDO SOBRE CONCEÇÕES E PRÁTICAS DE AVALIAÇÃO COM ESTUDANTES E DOCENTES DO ENSINO SUPERIOR (ID 187) SANTOS, Patrícia, Universidade do Minho (PT) FLORES, Maria Assunção, Universidade do Minho (PT) RESUMO O Processo de Bolonha, que caracteriza o atual quadro renovado no Ensino Superior ao nível da reestruturação dos cursos e dos curricula, teve implicações no design curricular e, consequentemente, nas metodologias de ensino, de aprendizagem e de avaliação. Este “novo” paradigma educacional reconhece ao aluno um papel central assente na autonomia, no trabalho partilhado, na aprendizagem por projetos (Flores & Veiga Simão, 2007), suscitando mudanças nas conceções de ensino (Reimann & Wilson, 2012). Esta mudança implica a valorização do caráter transdisciplinar do conhecimento, da inovação pedagógica e do ensino centrado no aluno como condição fundamental para a excelência pedagógica no Ensino Superior (Esteves, 2008), em oposição às lógicas de ensino mais tradicionais. Neste contexto, a abordagem Assessment for Learning (AfL), que recorre à avaliação e a mecanismos contínuos de feedback entre professor e aluno para ajustamento das estratégias de ensino e das atividades de aprendizagem (McDowell, Sambell, & Davison, 2009; Reimann & Wilson, 2012), tem sido apontada como base para a inovação pedagógica no Ensino Superior, proporcionando experiências significativas e formativas mais positivas como: envolvimento ativo dos estudantes, maior apoio do professor, design curricular flexível, oportunidades de diálogo pelo feedback formal e informal, aprendizagem entre pares, oportunidades de investigação, teste de competências, questionamento, aprendizagem autorregulada e autónoma (Black, Harrison, Lee, Marshall, & Wiliam, 2002, 2005; McDowell, Wakelin, Montgomery, & King, 2011). Alguns estudos demonstram ainda que a relação de feedback entre professor e aluno favorece a aprendizagem autorregulada e autónoma, fulcral no desempenho académico e determinante no modo como os professores organizam as avaliações e apoiam a aprendizagem (Nicol & Macfarlane-Dick, 2006; Cassidy, 2011). O desenvolvimento e a avaliação de abordagens AfL pode passar (Carless, 2005, p. 42): a) pelo enfoque no feedback para informar os estudantes das suas forças e fraquezas e como ultrapassar estas últimas; b) pela criação de oportunidades para realizar a avaliação de forma colaborativa com os estudantes ou para permitir que os estudantes levem a cabo a avaliação em grupo e a autoavaliação; pela partilha com os estudantes dos objetivos de aprendizagem, para que estes reconheçam os padrões em função dos quais estão a trabalhar; pelo uso das avaliações que promovam o pensamento crítico, a criatividade e compreensão, em detrimento da lógica da memorização. Neste sentido, a literatura recente aponta para a necessidade de desenvolvimento e avaliação de abordagens AfL no Ensino Superior (McDowell, Wakelin, Montgomery, & King, 2011), na medida em que colocam a aprendizagem dos alunos como prioridade (Black, Harrison, Lee, Marshall, & Wiliam, 2002), indo para além da avaliação com propósitos de certificação e de prestação de contas (Hargreaves, 2005). 435 Deste modo, torna-se fundamental estudar o papel dos alunos e o seu envolvimento no processo avaliativo, tendo em conta que as práticas de avaliação podem ou não ser responsáveis por um conjunto de aprendizagens verdadeiramente significativas, poderosas e transformadoras (MacLellan, 2001). A presente comunicação resulta de um projeto de doutoramento em curso em Ciências da Educação, financiado pela Fundação para a Ciência e a Tecnologia – FCT (SFRH/BD/94152/2013). Partindo do estudo das conceções e práticas de estudantes e docentes de duas universidades públicas portuguesas, o projeto procura promover a qualidade e a inovação no Ensino Superior na ótica da abordagem AfL. Concretamente, o projeto visa a) conhecer as conceções e práticas de alunos e docentes em relação ao ensino, à aprendizagem e à avaliação no Ensino Superior; b) refletir sobre as potencialidades e as implicações da abordagem AfL no processo de ensino e de aprendizagem e nos resultados académicos no Ensino Superior; c) desenvolver um dispositivo de formação e intervenção pedagógica junto de alunos e docentes do Ensino Superior para introdução de práticas de AfL; d) avaliar o impacto da abordagem AfL ao nível das conceções e práticas de ensino, aprendizagem e avaliação dos alunos e docentes do Ensino Superior; e) contribuir para a formação pedagógica de docentes no Ensino Superior, numa perspetiva de desenvolvimento profissional, segundo lógicas de co-formação em articulação com a prática pedagógica; f) contribuir para a melhoria da qualidade e da inovação do ensino e da aprendizagem no contexto do Ensino Superior. Trata-se de um estudo misto constituído por três fases de investigação: uma primeira fase contemplou a realização de grupos focais exploratórios com vista à construção e posterior aplicação de um inquérito por questionário (segunda fase). A última fase contempla um estudo mais focalizado com o desenvolvimento de um projeto de intervenção, em articulação com estudantes e docentes, para a introdução de práticas AfL no Ensino Superior, numa lógica de co-formação e teste de estratégias e materiais. Nesta comunicação apresentamos os resultados da primeira fase de recolha de dados. De dezembro de 2014 a julho de 2015 foram realizados 39 grupos focais exploratórios com estudantes (n=234) e 13 com docentes (n=65) de uma universidade pública portuguesa que frequentam e lecionam, respetivamente, o 1.º, 2.º e 3.º anos de licenciaturas/mestrados integrados de domínios científicos como a Engenharia, as Ciências Exatas e as Ciências Sociais. Mais concretamente, apresentamos dados relativos às conceções e práticas dos estudantes e docentes relativas ao ensino, à aprendizagem e à avaliação; aos métodos de ensino e de avaliação; às estratégias de aprendizagem; à relação pedagógica aluno/professor; ao feedback e, ainda, à relação entre avaliação e aprendizagem no Ensino Superior. Os resultados foram tratados e analisados com recurso à análise de conteúdo e serão apresentados tendo como referencial teórico a abordagem AfL. Referências Black, P., Harrison, C., Lee, C., Marshall, B., & Wiliam, D. (2002). Working inside the black box: Assessment for learning in the classroom. London, UK: King’s College London School of Education. Black, P., Harrison, C., Lee, C., Marshall, B., & Wiliam, D. (2005). Assessment for Learning. Putting it into practice. England: Open University Press. 436 Carless, D. (2005). Prospects for the implementation of assessment for learning. Assessment in Education: Principles, Policy & Practice, 12(1), 39-54. Cassidy, S. (2011). Self-regulated learning in higher education: identifying key component processes. Studies in Higher Education, 36(8), 989-1000. Esteves, M. (2008). Para a excelência pedagógica do ensino superior. Sísifo. Revista de Ciências da Educação, 07, 101-110. Flores, M. A., & Veiga Simão, A. M. (2007). Competências desenvolvidas no contexto do Ensino Superior: a perspetiva dos diplomados. In V Jornadas de Redes de Investigación en Docencia Universitaria. Alicante, Espanha, 4-5 junho. Hargreaves, E. (2005). Assessment for learning? Thinking outside the (black) box. Cambridge Journal of Education, 35(2), 213-224. MacLellan, E. (2001). Assessment for Learning: The differing perceptions of tutors and students. Assessment & Evaluation in Higher Education, 26(4), 307-318. McDowell, L., Sambell, K., & Davison, G. (2009). Assessment for learning: A brief history and review of terminology. In C. Rust (Ed.), Improving student learning through the curriculum (pp. 56– 64). Oxford, UK: Oxford Centre for Staff and Learning Development. McDowell, L., Wakelin, D., Montgomery, C., & King, S. (2011). Does assessment for learning make a difference? The development of a questionnaire to explore the student response. Assessment & Evaluation in Higher Education, 36(7), 749-765. Nicol, D. J., & Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning: a model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199-218. Reimann, N., & Wilson, A. (2012). Academic development in ‘assessment for learning’: the value of a concept and communities of assessment practice. International Journal for Academic Development, 17(1), 71-83. 437 O MAPA CONCETUAL COMO INSTRUMENTO DE AVALIAÇÃO DIGITAL – UM ESTUDO REALIZADO NO ENSINO SUPERIOR (ID 188) OLIVEIRA, Ricardo, Universidade Aberta – LE@D (PT) OLIVEIRA, Isolina, Universidade Aberta – LE@D (PT) RESUMO As novas culturas de aprendizagem forçam o uso de novas estratégias de avaliação digital, assentes na autenticidade, consistência, transparência e praticabilidade (Tinoca, Oliveira & Pereira 2013). Com base em estudos já realizados no âmbito da avaliação digital, o presente estudo pretende averiguar de que modo o mapa concetual pode ser utilizado como um instrumento na avaliação de estudantes no ensino superior. O mapa de conceitos pode ser utilizado como estratégia de ensino-aprendizagem e/ou como instrumento de avaliação. Auxilia o estudante a tornar explícitos os conceitos-chave e a evidenciar as ligações entre novos conhecimentos e os anteriormente apropriados, constituindo-se como um elemento de negociação de significados e interpretação de conceitos entre o estudante e o professor. Ao professor fornece informação útil na tomada de decisão relativamente à melhoria da aprendizagem do estudante bem como no aperfeiçoamento das suas práticas educativas. O estudo apresentado foi desenvolvido em 2014/2015 numa unidade curricular de um curso de licenciatura da Universidade Aberta de Portugal. Foram analisadas as produções dos estudantes, as interações nos fóruns online e as respostas a um questionário sobre as perceções dos estudantes acerca do design de avaliação proposto. Os resultados evidenciam o reconhecimento do caráter formativo do design de avaliação proposto e sublinham a potencialidade do mapa concetual como instrumento de avaliação digital. Quadro concetual Este estudo tem como base o modelo teórico proposto por Tinoca, Oliveira e Pereira (2013) sobre avaliação digital alternativa no Ensino Superior, o qual se baseia numa perspetiva edumétrica. Este modelo propõe que o desenho curricular das unidades curriculares contemplem o desenvolvimento de uma avaliação de natureza sustentável, assente na autenticidade, consistência, transparência e praticabilidade. A autenticidade remete para o grau de semelhança entre o que é avaliado e o que se requer nos contextos da vida profissional; a consistência relacionada com as questões de validade e fiabilidade implica o uso de formas múltiplas de avaliar, diferentes contextos e avaliadores, bem como a adequação das estratégias de avaliação utilizadas; a transparência aponta para a importância de tornar visível e compreensível o design de avaliação para os intervenientes; a praticabilidade está ligada à exequibilidade do design. Neste modelo, as quatro dimensões atrás referidas estão articuladas representando diversos graus de influência recíproca. Enfatizam-se estratégias que incluam atividade individual e colaborativa no âmbito das tarefas de avaliação e façam uma boa utilização das possibilidades de feedback, de forma a potenciar a motivação para a aprendizagem durante o próprio processo de avaliação. 438 A pertinência desta investigação prende-se com a utilização do mapa concetual (MC), em conjunto com outros instrumentos de avaliação digital alternativa. Perante este cenário, foram formuladas as seguintes questões de investigação: - Que perceções têm os estudantes sobre o design de avaliação proposto na unidade curricular (UC) em estudo? - De que modo pode ser utilização o mapa concetual, como instrumento de avaliação digital, na avaliação dos estudantes? Que potencialidades e constrangimentos se colocam no seu uso, sobretudo num cenário de aprendizagem online? Deste modo, foram enunciados para o presente estudo os seguintes objetivos: i) analisar a perceção dos estudantes sobre o design de avaliação proposto na UC em estudo e, em particular, sobre a utilização do MC como instrumento de avaliação digital e ii) indicar potencialidades e constrangimentos a esta utilização em ambientes de aprendizagem online. Procedimentos metodológicos O estudo insere-se no projeto sobre avaliação digital alternativa no Ensino Superior desenvolvido no LE@D - Universidade Aberta de Portugal. Foi desenvolvido numa unidade curricular do terceiro ano da Licenciatura em Educação da Universidade Aberta (UAb), que decorreu no ano letivo 2014/2015 e centrou-se na utilização do mapa concetual como instrumento de avaliação e modos de concretização em contexto online. O design de avaliação na UC enquadra-se num cenário curricular apoiado numa abordagem por competências. Entre outras formas de avaliação, e de acordo com o modelo pedagógico virtual da UAb foi proposta a realização de dois trabalhos digitais, a submeter na plataforma moodle. Num desses trabalhos os estudantes utilizavam uma ferramenta digital na criação de um MC, em que a primeira etapa correspondia à semana de experimentação de três ferramentas digitais apresentadas e a escolha de uma que fosse considerada mais amigável; as dúvidas podiam ser esclarecidas num fórum criado para esse efeito. Na segunda etapa os estudantes elaboravam os MC com a ferramenta tecnológica selecionada, podendo colocar dúvidas ou questões no referido fórum. Do ponto de vista metodológico o estudo assume-se como um estudo de caso sustentado por uma abordagem mista (Mercer, Littleton & Wegerif, 2009). Foram recolhidos dados através da análise das produções dos estudantes - os mapas concetuais -, das interações nos fóruns online e das respostas a um questionário online em que os estudantes se manifestavam sobre o design de avaliação proposto, com destaque para a utilização do mapa concetual como instrumento de avaliação. Procedeu-se a uma análise de conteúdo das produções dos estudantes e das interações nos fóruns e os dados do questionário foram submetidos a um tratamento estatístico do tipo descritivo. Análise dos resultados O questionário, constituído por 45 questões de resposta fechada e 1 questão de resposta aberta, utilizando uma escala de likert de quatro pontos, foi respondido por 61,4% dos estudantes. A questão de resposta aberta pretendeu obter, da parte dos estudantes, comentários acerca do funcionamento da UC e indicações de melhoria acerca do design e dos temas tratados. A análise de 439 conteúdo desta questão permite evidenciar que os estudantes consideraram como aspetos positivos: i) Ao nível da UC – interesse do tema; abertura de novos horizontes para a temática; possibilidade de trabalhar com novos instrumentos de avaliação; organização dos temas; transferência real para o quotidiano; possibilidade de utilizar ferramentas digitais. ii) Ao nível da tutoria – disponibilidade; acompanhamento; feedback construtivo e rápido; orientações vantajosas. iii) Ao nível da utilização do mapa concetual – trabalho desafiante, útil, muito produtivo; destacam também o contributo para a autoconfiança e a oportunidade de escolher a ferramenta digital. Para além destes aspetos positivos, os estudantes apresentam algumas sugestões para a reformulação da UC, tais como: introdução de temas menos teóricos, tempo para realização das provas presenciais e propostas de resolução das atividades formativas mais elaboradas. No que diz respeito ao design de avaliação 51,9% dos estudantes concordam totalmente e 37% concordam com a afirmação de que não tiveram dificuldades na utilização das tecnologias digitais necessárias à realização das tarefas de avaliação. Sobre a ferramenta digital utilizada na elaboração do mapa concetual 59,3% concordam totalmente e 33,3% concordam que contribuiu para a aquisição e avaliação de competências. No que refere ao modo como se introduziu a sua utilização, 77,8% concordam totalmente e 22,2% concordam que as orientações disponibilizadas foram úteis e eficazes. Em relação à oportunidade de poderem optar por uma ferramenta digital na realização do MC, 66,7% dos estudantes concordam totalmente e 33,3% concordam. Os comentários dos estudantes sobre o desenvolvimento da UC enfatizam os recursos disponibilizados, a adequação dos conteúdos aos objetivos bem como às competências a desenvolver bem como a forma como está organizada. Referem, ainda, que a utilização da ferramenta digital na elaboração do mapa concetual e o modo como foi introduzida permitiu abrir “novos horizontes” que se revelou útil, desafiante e interessante. Referindo-se ao papel dos docentes salientam o feedback, orientação, disponibilidade, apoio e incentivo. Sugeriram melhorias nas atividades formativas, um dos elementos fulcrais no estudo dos estudantes, ao nível das propostas de resolução que deveriam ser mais explícitas. A Tabela I mostra a distribuição dos estudantes por cada uma das ferramentas digitais propostas bem como outras situações. Ferramenta digital escolhida N.º de estudantes GoConqr (I) 16 Mindmeister (II) 10 Mindomo (III) 06 Outras situações Não realizou o mapa concetual (IV) 06 Criou o mapa concetual em Word 01 Tabela I : Escolha dos estudantes para a criação do mapa concetual (I) https://www.goconqr.com/pt. (II) https://www.mindmeister.com/pt. (III) https://www.mindomo.com/pt/. 440 (IV) Estes estudantes alegaram falta de tempo para se dedicarem devidamente à exploração da ferramenta digital e posterior realização do mapa concetual. No fórum destinado ao esclarecimento de questões de ordem técnica, relativamente ao uso das ferramentas digitais, os estudantes marcaram presença com intervenções que nos mereceram especial atenção e que passamos a apresentar sumariamente na Tabela II. Ferramenta digital GoConqr Mindmeister Mindomo Vantagens Obstáculos - Atrativa (design moderno). - Gratuita. - Amigável (fácil utilização). - Dificuldade na criação das ligações entre os conceitos. - Partilha facilitada. - Atrativa (design moderno). - Gratuita. - Disponível para várias plataformas. - Amigável (fácil utilização). - Limite de 3 mapas (versão gratuita). - Dificuldade na partilha. - Associa um histórico na construção do mapa. - Atrativa (design moderno). - Gratuita. - Amigável (fácil utilização). - Poderá exigir mudança de browser para aceder. - Dificuldade em desenhar caixas diferentes das retangulares. Tabela II : Análise das ferramentas por parte dos estudantes na criação do mapa concetual Considerações finais A análise às respostas ao questionário apontam para uma perceção positiva sobre o design de avaliação proposto, bem como sobre a forma como foi concretizado através do diálogo proporcionado pelo docente. Os estudantes relacionam o seu sucesso com a qualidade dos recursos, a forma como a UC está organizada, nomeadamente as orientações precisas e pertinentes e o acompanhamento e disponibilidade do docente. No que concerne à utilização do MC foi sublinhada a possibilidade de optarem pela ferramenta mais amigável na elaboração do MC e o acompanhamento do docente. O MC é, ainda, pouco utilizado como instrumento avaliativo, particularmente, pelo constrangimento relacionado com a manipulação da ferramenta por parte de estudantes menos experientes, fator agravado pela falta de tempo e/ou disponibilidade. Contudo, a sua utilização torna-se vantajosa quer como estratégia de ensino-aprendizagem quer como instrumento de avaliação, exigindo dos docentes investimento no design de avaliação digital e no acompanhamento dos estudantes através de comentários úteis e descritivos. Referências Mercer, N., Littleton, K. & Wegerif, R. (2009). Methods for Studying the processes of Interaction and Collaborative Activity in Computer-Based Educational Activities. In K. Kumpulainen, C. E. HmeloSilver and M. César (Eds.), Investigating Classroom Interaction (pp. 27-42). Rotterdam: Sense Publishers. 441 Tinoca, L., Oliveira, I. & Pereira, A. (2013). A conceptual framework for e-assessment in Higher Education – authenticity, consistency, transparency and praticability. In Siran Mukerji and Purnedu Tripathi (Eds.). Handbook of Research on Transnational Higher Education Management. IGI Global. 442 APRENDIZAGEM E AVALIAÇÃO DA APRENDIZAGEM NA UNIVERSIDADE: A LIÇÃO DO PENSAMENTO COMPLEXO E DA GESTÃO DE COMPETÊNCIAS (ID 189) PARREIRA, Artur, CPES-ULHT (PT) LORGA, Ana, CPES-ULHT (PT) BETENCOURT, Beatriz, Cesgranrio (BR) RESUMO O estudo teve como propósito explorar novos modelos ensino e avaliação da aprendizagem, conjugando instrumentos e práticas utilizadas em contexto empresarial e em contexto escolar universitário. Seu suporte conceptual é o modelo de aprendizagem de Bloom e seus desenvolvimentos (Anderson et al. 2001); o modelo de gestão de competências (Katz,1974) no que se refere ao objeto da avaliação; e o paradigma da complexidade, que remete para uma aprendizagem baseada em problemas e um processo de avaliação que integra o protagonismo do aluno, e o aproveitamento da diversidade, nos diversos planos e níveis de avaliação dessa aprendizagem. O instrumento elaborado e testado nesta pesquisa avalia os três tipos de competências nos diferentes níveis. Fases da pesquisa para sua construção e validação: elaboração do instrumento pelo coordenador da equipe; debate com os membros da equipe de pesquisa e outros especialistas de modos juvenis de aprendizagem: aplicação do modelo de avaliação em contexto universitário. Os resultados permitiram aos autores apresentar conclusões positivas e exequíveis sobre a validade científica da metodologia estudada e seu interesse para uma prática pedagógica inovadora. Considera-se que estas práticas são fator de construção de uma cultura de autoavaliação, congruente com as propostas de Bloom e com o paradigma da complexidade aplicado a sistemas de aprendizagem. TEXTO O artigo presente é uma reflexão sobre a temática da articulação entre ensino, aprendizagem e avaliação dos resultados, guiada pela metodologia da gestão de processo (Hammer,2007; Fischer, 2004 ). Esta metodologia afasta-se da agregação das atividades em funções e em estruturas e encara-as como sequências de um processo com início e fim, todas elas articuladas para atingir um objetivo final, os resultados a que se há-de chegar. Na filosofia da gestão por processos, esses resultados visam a satisfação dos clientes e da sociedade que o sistema - neste caso o sistema de ensino-aprendizagem - serve: os estudantes, suas famílias e a sociedade em que se inserem. O artigo aborda, primeiro, o processo de aprendizagem , com base em três ideias: níveis de complexidade de Bloom (2005); aprendizagem baseada em problemas ( Mennin, 2007); resultados definidos como competências (Ceitil, 2006). Em segundo lugar, apresenta-se o modelo integrado do processo, desde a definição dos objetivos de aprendizagem até à avaliação dos resultados (Mele, Pels e Polese, 2010). O estudo teve como base pesquisas feitas sobre o tema, com dados coletados por questionário, debates com professores e uma experiência realizada com alunos da UFF. 443 A aprendizagem e seus níveis Bloom e seus seguidores criaram a célebre hierarquia dos níveis de complexidade dos objetivos da aprendizagem, apresentada a seguir, na elaboração de Anderson et al. (2001), e na qual podemos distinguir dois focos: - o aumento da complexidade cognitiva, a maior exigência em termos de compreensão da realidade; - a passagem do cognitivo à ação, ou seja, a passagem do simples entendimento ao conceito de competência. A complexidade aumenta da base para o topo, do lembrar para o entender e deste para os seguintes, até ao nível criar; a partir do nível aplicar, a habilidade deixa de se confinar ao entendimento e passa a ser expressamente definida como uso, ou seja, claramente como competência do agir; esta competência vai subindo de complexidade, até à capacidade de reorganizar, avaliar e criar novas realidades (Fig.1) Criar: organizar elementos para fazer aparecer uma nova realidade ou ideia Avaliar: habilidade julgar o valor do conhecimento com base em critérios qualitativos e quantitativos Sintetizar: habilidade de agregar as partes em uma nova totalidade Analisar: habilidade de subdividir o conteúdo e reagrupá-lo, entender a relação entre as partes Aplicar: habilidade de usar o conhecimento em novas situações específicas Entender: habilidade de estabelecer conexão entre o conhecimento novo e o que já se tem Lembrar: habilidade de buscar informações aprendidas, trazê-las à consciência Fonte: adaptado de Anderson et al. (2001) Fig.1: Níveis de complexidade na aprendizagem A ideia de complexidade, atualmente o paradigma mais sólido para entender os níveis de racionalidade da ação (Le Moigne, 1999), serve de base a uma concepção de aprendizagem focada no conceito de competência. Esta é definida como um uso do conhecimento sobre a realidade, para utilizar eficazmente este saber, num contexto concreto (Perrenoud et al., 2002). 444 As competências serão os objetivos de aprendizagem a atingir. Os objetivos de aprendizagem não terão como foco apenas o conhecimento, visarão sempre a capacidade de ação sobre o real. É neste ponto que se propõe um modelo de gestão do processo de aprendizagem baseado no conceito de tripla competência de Katz (1974): para um profissional se poder considerar competente, não basta o domínio de competências técnicas, é necessário suficiente competência interpessoal (humana) e conceptual ou estratégica. Com efeito, são inúmeros os exemplos empresariais de falhas técnicas resultantes de níveis insuficientes de competências interpessoais ou estratégicas. Katz (1974, p.7) afirma que “a aptidão humana é de uma importância tão vital em tudo o que um indivíduo faz que se torna mais fácil dar exemplos da sua insuficiência que o contrário” e dá um exemplo: Numa importante sociedade de bens de equipamento, o controller foi chamado a substituir o diretor de produção, vítima de doença grave. Não tinha a menor experiência técnica de produção, mas conhecia bem toda a gente... pôs a funcionar uma equipa de consultores... delegou boa parte das funções nos quadros superiores e dedicou-se às tarefas de coordenação. O resultado foi uma grande redução de custos e a subida da produtividade; e o clima da empresa ficou o melhor de sempre. Os dirigentes apostaram que a capacidade deste homem de trabalhar com os outros era o mais importante... e ganharam a aposta (Katz, 1974, p.9). Isto apoia a ideia de que os objetivos de aprendizagem devem incluir estes três tipos de competências, embora cada uma seja trabalhada apenas ao nível requerido pela situação. No esquema de Bloom, a competência técnica está bem explícita nos níveis lembrar, entender e aplicar; nos níveis seguintes - de analisar até criar - é a competência estratégica que ganha visibilidade; o que o esquema não contempla expressamente é a competência interpessoal. Sabese, no entanto que ao nível da avaliação e da criação a competência interpessoal é um instrumento decisivo de dinamização dos processos10. Definir os objetivos de aprendizagem em termos de competências aconselha a adoção de um modelo de aprendizagem baseada em problemas, já que as competências se desenvolvem para resolver problemas. Consequentemente, este modelo de ensino-aprendizagem (ABP, PBL na sigla inglesa) é o outro componente do que se propõe neste artigo. Resumindo, é um modelo centrado na compreensão dos fenómenos e acontecimentos da experiência vivida, percebidos como problemas complexos; os temas podem ser tratados na turma por mais de um professor, 10 Para uma visão simples mas precisa no essencial, as três competências podem definir-se assim (Parreira,2014): - competência técnica: fazer bem feito, de acordo com as normas de qualidade, o que tem de se fazer; - competência interpessoal: criar relações positivas e verdadeiras; - competência estratégica: tomar decisões eficazes e oportunas, saber conceptualizar as situações e elaborar projetos. 445 dependendo do seu nível de complexidade; a informação é procurada em fontes diversas; o nível de precisão e aprofundamento é definido entre alunos e professores; há aproveitamento sistemático das redes informacionais, com incentivo à exploração da informação, para explicar e resolver problemas; atenta-se na diversidade de matérias para cobrir competências transversais11; aposta-se no protagonismo do aluno e na construção de sua autonomia, incluindo a auto-avaliação; esta tende a ser não-hierarquizante: a ordenação só é feita quando há um objetivo pontual de seleção. É um modelo praticado extensamente nas organizações; é também praticado em algumas disciplinas (projetos) e áreas disciplinares em escolas preocupadas com a inovação pedagógica (o exemplo mais conhecido vem da educação na Finlândia (Borochovicius, E. e Tortella, J.C.B., 2014). A pesquisa empírica A primeira parte da pesquisa realizada como suporte deste artigo foi dedicada à comparação entre um modelo de ensino mais tradicional e um modelo de aprendizagem baseada em problemas. Amostra A tabela 1 resume a amostra de sujeitos que participaram no estudo. N= 51 Idade % Sexo % 2230 3140 41-50 43,1 F 76,5 27,5 M 23,5 51-60 i>60 Total 13,7 02,0 100,0 13,7 Escolaridade Licenciatura Mestrado % Doutoramento 5,8 2,0 92,2 Profissão % % 33,3 Área de estudo Engenharia Professor Estudante 66,7 Saúde 13,7 Direito 3,9 C.Sociais Letras 100,0 100,0 11,8 58,8 11,8 100,0 Tabela 1: Caracterização da amostra do estudo Fonte: pesquisa dos autores (2015) Procedimentos Foi apresentado aos sujeitos um quadro com as características de cada modelo (quadro 1); os modelos foram avaliados por meio de uma escala de intervalos, de tipo Likert, respondendo à questão: qual dos modelos ( A ou B) lhe parece mais favorável a desenvolver atitudes e competências próprias de uma sociedade do conhecimento? Escala: E - Extremamente favorável M - Muito favorável B - Bastante favorável Md - Medianamente favorável P - Pouco favorável N - Nada favorável 11 Competências transversais é um termo usado para designar competências que são aplicáveis em situações diversas e não apenas a situações especializadas. 446 A prática educacional guia-se principalmente pelo modelo 1A- Ensina bem o que cada disciplina contém para o aluno ficar a saber a fundo esse conteúdo e se especializar nesse assunto 1B – Coloca um fenómeno da experiência da vida, para o aluno o saber explicar nos seus vários aspectos, com base no estudo conjugado de várias disciplinas que se aplicam a ele. 2A - Foca o desempenho individual na assimilação dos conteúdos e na demonstração de que o aluno os domina 2B- Foca o desempenho individual e grupal na compreensão multidisciplinar dos fenómenos e problemas envolvidos e na demonstração de que o aluno os sabe enfrentar e resolver 3A – Utiliza métodos ativos no ensino, estudo de casos e exercícios práticos e resolução de problemas, e até com recurso a tecnologias de simulação 3B - Utiliza métodos ativos no ensino, como em A, mas colocando o foco na visão interdisciplinar dos problemas e na descoberta de soluções para eles 4A – Dá relevo à autoridade do saber, fomenta nos alunos a noção de que o professor é o modelo a seguir e só depois o aluno poderá ter ideias próprias 4B – Dá relevo a posturas mais igualitárias, a autoridade do professor não tem a máxima importância ; da-se maior valor a sua capacidade de se aproximar dos alunos e ter uma atitude de partilha e ajuda à aprendizagem. 5A - Espera dos alunos principalmente uma atitude de valorização do que é ensinado, respeito rígido pelas normas estabelecidas e seu cumprimento cuidadoso 5B – Fomenta a autonomia dos alunos nas opções de estudo e nos métodosde trabalho, dá-lhes protagonismo no contexto das aulas, liberdade para fazerem propostas e tentarem ser criativos 6A - A vida segue o que Darwin descobriu: a vitória é sempre dos mais preparados, é fundamental estudar para vencer a competição que nos é imposta. 6B – A competição centra-se na consecução dos objetivos e não na derrota do outro; o clima mais saudável é ajudar e ser ajudado a atingir os objetivos propostos. 7A – O domínio das tecnologias é o instrumento do nosso poder sobre as coisas: o estudo esforçado é a via para ter acesso a esse domínio da tecnologia; 7B - A tecnologia é apenas um instrumento ao serviço da qualidade da vida; tem de se desenvolver nos alunos a ideia firme de que dominar tecnologias é importante, mas que devem sempre as pessoas a controlar a tecnologia e não o contrário. 8A – A avaliação dos alunos é uma competência do professor, que os classifica e hierarquiza de acordo com seu desempenho em testes ou outras provas desenhadas para a disciplina. 8B – A avaliação é uma competência conjunta professor / alunos, para mensurar o nível alcançado nas competências visadas pelo estudo. A hierarquização dos alunos só se faz, quando é necessária para fins de seleção. Quadro 1: Dois modelos educacionais em comparação Fonte: elaboração dos autores (2015) 447 Os resultados da avaliação de alunos e professores são apresentados na tabela 1. Caracterísitcas dos Modelos 1A 1B (ABP) 2A 2B Interdisciplinaridade 3A 3B (Métodos ativos) 4A (informação, não 4B poder) 5A (protagonismo, 5B autonomia do aluno) 6A 6B (Solidariedade) 7A 7B (Valor das pessoas) 8A (Autoavaliação 8B assistida) Médias 6,84 7,99 6,13 8,57 7,69 8,29 4,39 7,74 5,65 8,25 5,48 7,64 5,48 8,04 4,86 7,75 Desvio padrão ,30940 ,26339 ,19652 ,35790 ,30463 ,20966 ,43007 ,31548 ,42137 ,23407 ,39347 ,33480 ,37721 ,31968 ,40043 ,34899 Distância entre médias 1,15 % de 9,52 (distância máxima 12 na escala) 12,0% 2,44 25,7% 0,60 0,63% 3,35 35,2% 2,60 27,2% 2,16 22,7% 2,56 26,5% 2,89 30,3% Tabela 1: Médias das apreciações dos modelos de ensino-aprendizagem As diferenças entre as apreciações dos dois modelos são bem visíveis; mas, para verificar se esta diferença de médias é estatisticamente significativa, aplicou-se o teste t de comparação de médias, cujo resultado confirmou a diferença encontrada (tabela 2). Test Value = 0 t df Sig. (2-tailed) Mean Difference 95% Confidence Interval of the Difference Lower Upper 1A 22,138 50 ,000 6,84961 6,2282 7,4711 1B 30,370 50 ,000 7,99922 7,4702 8,5283 2B 43,615 50 ,000 8,57137 8,1766 8,9661 2A 17,128 50 ,000 6,13000 5,4111 6,8489 3A 25,233 50 ,000 7,68667 7,0748 8,2985 3B 39,530 50 ,000 8,28784 7,8667 8,7090 4A 10,218 50 ,000 4,39451 3,5307 5,2583 4B 24,538 50 ,000 7,74137 7,1077 8,3750 7A 14,519 50 ,000 5,47686 4,7192 6,2345 7B 25,163 50 ,000 8,04392 7,4018 8,6860 8B 22,194 50 ,000 7,74529 7,0443 8,4463 8A 12,146 50 ,000 4,86373 4,0594 5,6680 Tabela 2: Teste de comparação de médias: nível de significância das diferenças 12 O ponto zero da escala é, para esta população, 0,26 (correspondente a nada favorável); o ponto máximo é 9,78 (correspondente a extremamente favorável). 9,52 é a distância entre estes dois valores, a máxima possível nesta escala (Parreira e Lorga da Silva, 2015). 448 O valor das diferenças, em termos de extensão da escala, torna os resultados ainda mais visíveis (Tabela 1): - A diferença percebida entre os dois modelos é de 12% na característica foco em disciplinas ou em problemas; atinge 25,7%, na questão da interdisciplinaridade; na opção pela informação versus poder, a diferença chega a 35,2%; na valorização das pessoas face à tecnologia atinge 26,5%; no tema da avaliação da aprendizagem, a auto-avaliação assistida tem uma diferença favorável de 30,3%. É digno de nota o facto de a percepção dos alunos e professores ser similar. Nesta parte da pesquisa, retiramos uma primeira convicção: o modelo de aprendizagem baseada em problemas (ABP), com foco na aquisição de competências mais que na assimilação de conteúdos, é percebido como mais favorável a contextos que apostam numa organização social baseada no conhecimento. Nesse modelo, o professor torna-se um líder desenvolvedor e não um mero transmissor de informações (Hargreaves, 2003). Na sequência destes resultados, foram realizadas mais duas pesquisas, expressamente centradas em práticas do modelo acima proposto: - apreciação do processo de avaliação incorporado no modelo ABP/competências; - resposta dos alunos a uma abordagem centrada nos seus problemas e hábitos de vida. Segunda parte da pesquisa: o processo de definição de objetivos e avaliação da aprendizagem Procedimento metodológico Foi apresentado aos professores um quadro explicativo do modo de organizar o ensino e a avaliação da aprendizagem, de acordo com o modelo acima defendido. Os professores analisaram o esquema apresentado, debateram ideias com o condutor do estudo e apreciaram o interesse do modelo, numa escala semelhante à utilizada na pesquisa anterior. O modelo foi introduzido pelo coordenador da pesquisa e lido pelos professores (grupos de três a cinco); foram colocadas perguntas e questões de debate. Houve uma concordância geral, com duas ou três observações que se registaram. MODELO APRESENTADO PARA DEBATE 1. Aprendizagem de competências e avaliação multinível da aprendizagem, de acordo com o paradigma da complexidade Apresenta-se um esquema de desenvolvimento de competências, de acordo com o modelo de aprendizagem baseada em problemas (ABP) e o modelo de gestão de competências, na perspectiva do paradigma da complexidade: Sistema Diagnose. Segundo o modelo, todo o programa formativo visa desenvolver três tipos de competências: a. Técnicas, saber fazer, executar de acordo com as indicações de uma prática excelente. b. Interpessoais, criar relações positivas e verdadeiras, exprimir as emoções de forma positiva. c. Conceptuais, estratégicas, visão do conjunto e decisão eficaz. 449 Todos os programas formativos visam desenvolver as três competências , embora o foco principal do curso possa ser um dos tipos. Questão 1. Considera interessante orientar a aprendizagem de acordo com esta ideia? 2. Diagnóstico de necessidades de competências a desenvolver A aprendizagem e avaliação das competências a desenvolver seguem a linha proposta no Sistema Diagnose: Diagnosticar as competências a desenvolver: trabalho conjunto de professor e alunos, com base num questionário de registo de necessidades de aprendizagem, focado no problemas a estudar. Os resultados do questionário e seu debate permitem definir os objetivos de aprendizagem por competências. Exemplo de questionário de diagnóstico, para construção de uma disciplina sobre emoções (atenção: isto é só um exemplo para concretizar; não é para responder aqui): Em que medida é útil desenvolver as competências indicadas, para a qualidade da minha ação e vida pessoal? Escala: E - Extremamente M - Muito B - Bastante Md – Medianamente P - Pouco N - Nada E M B Md P 1. Ser capaz de identificar as emoções que realmente sente 2. Ser capaz de perceber as emoções dos outros 3. Ter facilidade em exprimir emoções positivas 4. Saber fazer críticas pela positiva 5. Saber dar elogios de forma adequada 6. Saber dizer não de forma positiva para o outro 7. Reagir positivamente às expressões emocionais dos outros 8. Saber ajudar os interlocutores a regular suas emoções Questão 2. Considera interessante fazer um diagnóstico das necessidades de aprendizagem de competências, para elaboração do programa (como no exemplo apresentado) ? 3. Definir objetivos em termos de competências Exemplo de objetivos (que poderiam resultar do diagnóstico de necessidades): No final da disciplina ser capaz de demonstrar as seguintes competências: 450 N 1. Identificar suas próprias emoções, em diferentes situações (padrão mínimo - 90% de acertos); 2. Identificar as emoções dos outros em diferentes situações (padrão mínimo - 70% de acertos); 3. Exprimir suas emoções de forma adequada em situação (padrão mínimo : 60% de acertos) 4. Saber explicar os conceitos relacionados com com os diferentes tipos de emoções e de motivação. O debate com os alunos valida o diagnóstico das competências e os objetivos a atingir com a disciplina. Exemplo de métodos pedagógicos a usar para atingir os objetivos: 1. Desenvolver competências conceptuais Exploração e debate de textos-base fornecidos pelo professor; exploração e debate de textos complementares (até quatro autores indicados pelo professor ou propostos pelo aluno) abertura para outros textos. 2. Desenvolver competências interpessoais - Estudo de casos escritos e filmes em que são expressas as diferentes emoções. - Exercícios de identificação de emoções, tendo os alunos como atores. - Treino de expressão das emoções, em diversos contextos; treino da adequação das expressões emocionais. 3. Desenvolver a competência de regular as emoções em contexto Estudo de casos reais, para análise e identificação dos fatores de regulação e desregulação; Elaboração de processos de intervenção de regulação emocional própria e dos outros. Questão 3. Considera interessante definir os objetivos de aprendizagem em termos de competências demonstráveis e guiar por eles os métodos de aprendizagem? AVALIAÇÃO MULTINÍVEL DA APRENDIZAGEM No modelo apresentado, a avaliação é articulada com a aprendizagem e deve abranger os três níveis de regulação: operacional, tático e estratégico (Kirkpatrick e Kirkpatrick, 2006). Nível operacional: Avaliação reativa do agrado do curso: escala satisfação de tipo likert. Autoavaliação assistida somativa (em equipe pelo professor e o aluno, tendo em conta apreciações dos colegas) Exemplo em competências conceptuais: elaboração de um texto; apresentação do tema. Exemplo em competências interpessoais: Identificação das emoções em relatos e casos vivenciais. Exemplo em competências estratégicas: nível de qualidade da resposta demonstrado no 451 equacionamento e solução de problemas; demonstração de abertura de espírito nas análises e debates. Nível de proficiência no desempenho nas competências: pelo menos 60%, de acordo com indicadores e critérios definidos pelo grupo, com o professor. Avaliação pelo aluno e o professor, tendo em conta apreciações dos colegas. No caso de divergência insanável, o professor será o responsável pela decisão final. Avaliação a nível tático, exemplos: Avaliação da transferência das competências para contexto não pedagógico (equipe de avaliação: professor e aluno, com informações colhidas no contexto); avaliação da qualidade da disciplina (alunos, professor, coordenador pedagógico); avaliação do desenvolvimento organizacional em cada tipo de competência(alunos, professor, coordenador pedagógico). Avaliação a nível estratégico: medição do nível a que se situa a reputação de qualidade da disciplina; contributo da disciplina para a reputação da Escola. Nível mínimo a atingir: 70%. (Equipe de avaliação: Professor, Coordenadores científico e pedagógico, Direção da Escola) Questão 4. Considera a proposta de autoavaliação assistida interessante como método de avaliação, de acordo com o recomendado pelo paradigma da complexidade? Questão 5. Considera que a avaliação deve abranger os três níveis descritos acima? Fonte: Sistema Diagnose (Parreira, Lourenço e Valverde, 1989; 2015) As respostas foram dadas na escala que acompanhava este texto. Os participantes podiam trocar impressões e debater as ideias expressas. A tabela 3 apresenta as apreciações feitas. N= 1.Tripla 2. Competências 3. Diagnóstico de 4.Auto-avaliação competência como objetivo necessidades assistida 5.Avaliação multinível 56 56 56 56 56 Média 8,6771 8,9786 8,8779 8,8021 8,7429 Mediana 8,2000 9,6100 8,9050 8,2000 9,2300 Desvio padrão 1,00004 ,91247 ,91507 Tabela 3: Apreciações do Modlo APB/Competências pelos professores Fonte: investigação dos autores ,87956 1,00657 Observando os valores médios das avaliações feitas, é forçoso concluir que os professores consideram muito interessante a adoção do esquema organizativo proposto (valores da escala na nota da p.7 ): um ensino-aprendizagem baseado em problemas e competências; uma avaliação dos resultados de aprendizagem integrada com os métodos de ensino e abrangendo os três níveis do sistema educativo. 452 Terceira parte: pesquisa sobre a utilização de ferramentas de redes de comunicação Esta parte dá continuidade a pesquisas anteriores (Lehmann & Souza,2014), em que o facebook foi identificado como importante recurso tecnológico utilizado pelos estudantes. Essa experiência nos fez estudar a utilização desse meio, para aproximar a pesquisa do modelo mencionado: estudo baseado em problemas e favorecimento do protagonismo dos alunos. Metodologia do estudo Os procedimentos obedeceram à metodologia de pesquisa-ação: observação e registo dos dados, análise e avaliação pela equipe, estabelecimento de resultados. A amostra é constituída por 86 alunos, sendo metade do sexo feminino e todos dentro da faixa etária 22-35 anos. Distribuição por áreas disciplinares: - Matemática 46 - História - 32 - Biologia - 4 - Educação física - 4 Objetivos da pesquisa Primeiro: saber se as tecnologias utilizadas na disciplina contribuíram para a aprendizagem. Segundo: tecnologias. conhecer a opinião dos alunos quanto às habilidades adquiridas com o uso da Terceiro: conhecer a avaliação feita pelos alunos da utilização das tecnologias, enquanto facilitadoras ou promotoras da aprendizagem. Desenvolvimento da experiência Foram criados grupos no facebook, administrados pela monitora da disciplina. Os alunos tinham liberdade de postagem, tanto no plano quantitativo como no qualitativo; postagens abusivas em relação à ética seriam o ponto limite. Os alunos aderiram espontaneamente. Inicialmente, o facebook foi utilizado para comunicações sobre a operacionalização da disciplina, sem caráter de obrigatoriedade. À medida que o grupo se estruturou, aderindo às demandas dos alunos, se descobriram mais possibilidades de uso e os participantes se familiarizaram com a estratégia seguida, a utilização da ferramenta tornou-se mais intensa, entrando na fase seguinte. A rede passou a ser usada para divulgar material, como arquivos do programa, textos de livros, imagens, links de revistas, filmes, sites, cronograma dos trabalhos. O facebook se tornou uma efetiva estratégia complementar de ensino e aprendizagem (Lévy, 1996). 453 Observação e análise Utilizou-se a observação participante, para análise de toda a dinâmica integrada ao facebook e demais instrumentos usados no período. O registo incluiu dados como número de alunos, postagens dos alunos, monitora e professora, período de maior acesso e tipos de conteúdo. Para efeitos de análise, foi realizado no final do semestre um levantamento de opiniões, através de um questionário que buscou avaliar as habilidades e potencialidades adquiridas, bem como a validade de utilização do recurso. Resultados As tabelas seguintes apresentam as apreciações feitas pelos estudantes em relação à experiência pedagógica de utilização de ferramentas de comunicação eletrônica no processo de aprendizagem. A tabela 3 contém a sua avaliação enquanto potenciadoras da aprendizagem. Categorias n % Potenciam a aprendizagem 79 91,9% Não potenciam aprendizagem 7 8,1% Total de respondentes 86 Tabela 3: Apreciações feitas pelos alunos da turma por área de estudos A esmagadora maioria dos alunos envolvidos na experiência considerou que essas ferramentas são bons auxiliares da aprendizagem. Seria interessante verificar o porquê das sete respostas negativas, para entender que significado efetivo comportam, mas tal não foi possível, já que a ficha de apreciação foi aplicada no final, e os alunos deixaram de estar acessíveis. Na tabela 4, discriminam-se os aspectos qualitativos da positividade das ferramentas, referidos pelos 91,9% de alunos que assim as consideraram. Esses aspectos positivos foram agrupados em categorias, elaboradas a partir do material produzido, na ótica da teoria enraizada (Denzin e Lincoln, 2005). A categoria promotores de habilidades é a mais referenciada, seguindo-se imediatamente a categoria facilitadores. São dados interessantes, até por mostrarem o conteúdo do que a generalidade dos alunos designou de potenciadores da aprendizagem: ou como facilitadores, ou como desenvolvedores de habilidades. Tabela 4 Resultados da utilização dos instrumentos de rede virtuais Categorias n % Facilitadores 22 33,85% Promotores de habilidades 35 53,85% Relacionados com melhoria de escrita, da comunicação e de entendimento; com praticidade, capacidade de autodidatismo e instantaneidade dos processos. Habilidade de simultaneidade de ações; de utilizar para aprendizagem; de raciocínio mais apurado; facilidade de comunicar ideias; melhor entendimento espacial; melhor auto- 454 organização, desenvolvimento de habilidades motoras finas Fatores de cautela na utilização Economia de recursos Totais 4 6,15% 4 6,15% 65 100% Criticidade e boa seleção e em relação aos conteúdos disponíveis na internet; cautela na utilização da tecnologia para não causar dependência, para não confundir o que é saber com o modo de saber; não cair em distração, não perder o essencial por causa do acessório Economia de tempo, de deslocações; de gasto em recursos materiais (papel ; espaço de aula), de energia. Comparando dois modelos - os que utilizam as ferramentas de rede e os que não utilizam verificamos que a utilização das ferramentas potencia as aprendizagens, nomeadamente em termos de conectividade. Pode concluir-se que uma tal condição aumenta a validade do ensino, pois se ajusta melhor à realidade dos alunos. Esta utilização das ferramentas aproxima-se do modelo ABP ( aprendizagem baseada em problemas,): um modelo centrado na compreensão dos fenómenos e acontecimentos da experiência vivida percebidos como problemas complexos (Mennin, 2007); informação procurada em fontes diversas; aproveitamento sistemático das redes informacionais; aposta no protagonismo do aluno e na construção de sua autonomia, incluindo a auto-avaliação (Coutinho e Lisboa, 2011). O estudo mostra igualmente a coincidência com as características de uma sociedade do conhecimento, apontadas por professores e alunos: a presença significativa da conectividade, a utilização das tecnologias, a flexibilidade e interdisciplinalidade. Considera-se, assim, que familiarizar os professores com estas ferramentas contribuirá para que eles possam ser agentes de uma pedagogia mais eficaz e ajustada aos requisitos daquelas sociedades. Referências Anderson, L. W. et. al. (2001) A taxonomy for learning, teaching and assessing: a revision of Bloom’s Taxonomy of Educational Objectives. Nova York: Addison Wesley Longman. Bloom B. S. et al. (2005) Taxonomy of educational objectives. New York: David Mckay. Borochovicius, E. e Tortella, J.C.B. (2014) Aprendizagem Baseada em Problemas: um método de ensino-aprendizagem e suas práticas educativas. Ensaio, Vol. 22, n. 83, 263-293. Ceitil, M. (2009). Gestão e Desenvolvimento de Competências. Lisboa: Edições Sílabo. Coutinho, Clara e Lisboa, Eliana (2011). Sociedade da Informação e da Aprendizagem: Desafios para a Educação no Séc. XXI. Revista de Educação, vol. XVIII, nº 1, p. 5 – 22, Denzin, N.K., & Lincoln, Y.S. (2005). Introduction: The discipline and practice of qualitativeresearch. In N.K. Denzin & Y.S. Lincoln (Eds.), The sage handbook of qualitative research (2nd ed.). Thousand Oaks, CA: Sage. Fisher, David M. (2004).The Business Process Maturity Model: A Practical Approach for Identifying Opportunities for Optimization. BPTrends, Disponível em: < http://www.bptrends.com/the-business-process-maturity-model-a-practical-approachforidentifying-opportunities-for-optimization/>. Acesso em: 21/06/2015 455 Hammer, M. (2007) The Process Audit. Havard Business Review. Havard Business School Publishing Coorporation. Hargreaves, A. (2003). O Ensino na Sociedade do Conhecimento: a educação na era da insegurança. Porto: Porto Editora. Katz, R. (1974) Skills of an Effective Administrator. Harvard Business Review (HBR Classic). Kirkpatrick, D. L. e Kirkpatrick, J.D. (2006). Evaluating Training Programs (3ª ed.). San Francisco, CA: Berrett-Koehler Publishers. Lehamann, L. ; Souza, B. (2014) . AS TICs Potencializando as ações do monitor: formação profissional. Atas Digitais do III Congresso Internacional das TIC na Educação. v. 1. p. 968-971LisboaPortugal: © 2014, Instituto da Educação da Universidade de Lisboa,. Le Moigne (1999) Inteligência da Complexidade, in: Pena, A. (1999) O pensar Complexo. Rio de Janeiro: Garamond. Pierre (1996). O que é o virtual? São Paulo: Editora Mele, Cristina, Pels, Jacqueline e Polese, Francesco (2010) A Brief Review of Systems Theories and Their Managerial Applications Service Science 2(1/2), pp. 126 - 135, © 2010 SSG Mennin, S. (2007) Small-group problem-based learning as a complex adaptive system. Teaching and Teacher Education 23, 303–313 Parreira, A. (2014) Em busca de uma tecnologia da Liderança: Modelo Multiplex Revista da Universidade Vale do Rio Verde, Três Corações, v. 12, n. 2, p. 852-863. Parreira, A., Lourenço R., e Valverde, C. (1989), Diagnose, Sistema integrado de Diagnóstico de Necessidades e de Avaliação da Formação. Porto: Ed. ARS-Consultores. Parreira e Lorga da Silva, (2015) A Study of an Interval Scale for a Motivation Test. Atas do Congresso SMTDA, 14 Junho, Lisboa, Portugal. Perrenoud, Ph., Gather Thurler, M., De Macedo, L., Machado, N.J. e Allessandrini, C.D. (2002). As Competências para Ensinar no Século XXI. A Formação dos Professores e o Désafio da Avaliação. Porto Alegre : Artmed 456 L’ARCHI-ÉLÈVE COMME OUTIL D’AIDE À LA DÉCISION DE FINIR UNE SEQUENCE (ID 190) RONVEAUX, Christophe, FAPSE Université de Genève (CH) RÉSUMÉ La question de l’évaluation des apprentissages dans une situation didactique peut se traiter depuis l’angle de la décision de l’enseignant de finir une tâche ou une séquence. Sur quel(s) critère(s) administratif, didactique, pédagogique décide-t-il que c’est terminé, qu’une tâche a permis aux élèves de transformer la procédure en connaissance, qu’une activité a conduit le collectif vers l’objectif de la leçon, que les objets à enseigner ont été effectivement enseignés et appris ? Le passage des savoirs à enseigner vers les savoirs enseignés implique, pour l’enseignant, de prendre la mesure auprès des élèves des responsabilités qu’ils ont endossé dans la tâche, de réguler les différents temps d’avancement des savoirs, de marquer la fin du temps didactique et le début d’un autre. Or, tous les élèves ne font pas le lien entre les connaissances rencontrées et les savoirs planifiés par l’enseignant et nommé par les plans d’études. Quelques travaux en didactique des mathématiques ont montré comment les situations didactiques, du fait de leur ambigüité, débouchent sur des « malentendus » (Laparra & Margolinas, 2008). Le travail de coordination du temps didactique en est rendu plus difficile. C’est cette coordination et les prises de décision qu’elle implique, que nous voudrions décrire et expliquer dans cette contribution. Nous faisons l’hypothèse, avec d’autres (Leroy, 2005 ; Clivaz, 2014), que les "distances aux performances attendues" (Maurice & Murillo, 2010), décrites plus haut, dépendent davantage des informations prises dans le cours de l’activité pour piloter la leçon que le manque à savoir dans la discipline ou l’ambigüité de la situation didactique. Ces informations sont condensées et schématisées pour être rendues rapidement opérationnelles dans la gestion du temps didactique dans une image plus ou moins abstraite, c'est l’archi-élève. Le présent travail s’inscrit dans les recherches sur le « steering group » initiées par Bromme (1960/1989), puis Dähllof & Lundgren (1970) (cf. la recension de Crahay & Wanlin, 2012). Les régulations et ajustements dans la coordination du temps didactique, en particulier au moment de finir et d’institutionnaliser, s’élaborent à partir d’un étalon confectionné sur un collectif d’élèves complexe à cerner. S’agit-il d’un élève singulier, identifié pour ses capacités à accomplir la transformation, d’un collectif d’élèves triés sur le volet ? Notre approche didactique par l’objet enseigné de distingue cependant de ces description de la pensée enseignante. Nous nous intéressons à l’enseignant impliqué dans son travail de mise en relation de l’objet enseigné avec l’élève. Nous décrivons l’archi-élève comme une représentation schématique abstraite d'aide à la décision du travail de l'enseignant dans l’exercice de la lecture de textes réputés littéraires. Nous exploitons le corpus GRAFELIT, qui comprend trois fois vingt séquences d’enseignement sur deux textes contrastés. La situation d’enseignement, laissée au libre-choix de l’enseignant, se structure sur deux textes, qui, eux, sont imposés. La fable de La Fontaine, Le loup et l’agneau, est accompagnée de nombreux apprêts didactiques (exercices, guide de lecture, propositions didactiques). Ces ressources jouent un rôle sur la prévisibilité de la situation problème de lecture. La nouvelle de Lovay, par contraste, n’est soutenue par aucune ressource didactique. Elle comprend de nombreux lieux problématiques qui rendent sa lecture plus incertaine. La prise d’information pour 457 déterminer la clôture de la leçon risque d’être contrastée elle aussi. Nous comparons ce contraste sur trois niveaux scolaires : la 8e primaire harmos (11 ans), la 11e du cycle (14 ans) et la 2e année du post-obligatoire (17 ans). Nous attendons une variation plus importante de l’archi-élève dans l’effet du texte. Hors des ressources élaborées par la tradition didactique, le texte peut se déployer davantage et forcer le dispositif. Le geste de coordination sera plus flou, plus propice au développement de compétences langagières impliquant l’élève et moins orienté vers les savoirs référentiels sur le monde. L’archiélève à partir duquel l’enseignant conduira la fin de sa leçon sera plus complexe et moins prévisible que l’archi-élève recomposé dans la séquence sur La Fontaine. La détermination des niveaux scolaires devrait avoir peu d’effet ou être neutralisée. Références Bromme R. (1989). The "collective student" as the cognitive reference point of teachers’ thinking about their students in the classroom. In J. Lowyck & C. M. Clark (dir.), Teacher thinking and professional action: studia paedagogica n°9 (pp. 209-222). Leuven : Leuven university Press. Clivaz, S. (2014). Des mathématiques pour enseigner ? Quelle influence les connaissances des enseignants ont-elles sur leur enseignement à l’école primaire ?. Grenoble : La pensée sauvage. Dahllöf, U. & Lundgren, U. O. (1970). Macro- and micro- approaches combined for curriculum process analysis : a swedish educational field project. Report from the institute of education, 10. Goteborg : University of Goteborg. Leroy, D. (2005). Un cas d’analyse didactique comparée : les aides-éducateurs et les professeurs des écoles. Revue française de pédagogie, vol. 151-1, 91-109. Laparra, M. & Margolinas, Cl. (2008). Les premiers apprentissages de l’écrit : doxa et malentendus des écrits authentiques. Les didactiques et leur rapport à l’enseignement et à la formation. Bordeaux. Maurice, J.- J. & Murillo, A. (2010). La distance à la performance attendue : un indicateur des choix de l’enseignant en fonction du potentiel de chaque élève. Revue française de Pédagogie, 162, 67-79. Wanlin, Ph. & Crahay, M. (2012). La pensée des enseignants pendant l’interaction en classe. Une revue de la littérature anglophone. Éducation et didactique, 6-1, 9-46. 458 LA DIMENSION MÉTACOGNITIVE DANS LE DISPOSITIF D'ÉVALUATION DE LA COMPRÉHENSION DE TEXTES : ALIGNEMENT CURRICULAIRE ET PROPOSITIONS DIDACTIQUES (ID 192) HAROUN, Zineb, Université des Frères Mentouri Constantine (DZ) RÉSUMÉ La dimension métacognitive intervient en compréhension de textes sous forme de processus (Giasson, 2012), de stratégies (Deschênes, 1991), de connaissances (Deschênes, 1994) et de compétences (Turcotte, 1994 ; Goigoux & Cèbe, 2009) dans une perspective d'évaluation, de régulation et d'autorégulation. En d'autres termes, cette dimension englobe des savoirs procéduraux et des savoirs déclaratifs (Fijalkow, 1995 ; Falardeau & Gagné, 2012) qui constituent en même temps les composantes de la compétence en compréhension de l'écrit et sont présents dans le parcours interprétatif pour des fins de gestion, de contrôle et de recouvrement d'informations relatives au lecteur, aux stratégies et aux tâches (Deschênes, 1994). Le rôle indéniable de cette dimension dans le maintien de la compréhension fait d'elle un objet d'apprentissage mis de l'avant par l'enseignement explicite des stratégies de compréhension (Falardeau & Gagné, 2012). Cette explicitation opère selon plusieurs étapes (ibid.) qui placent la métacognition en amont de l’ensemble des actions afin de superviser le déroulement du parcours interprétatif et d’y remédier selon le besoin. Donc, elle est au cœur de « l’action stratégique » (ibid.) dans la mesure où elle permet au lecteur, en plus de l’évaluation et du jugement de son travail interprétatif, de se rendre compte des dysfonctionnements en cours de lecture. Elle l’aide aussi à effectuer le choix de la stratégie adéquate à la situation-problème à laquelle il est confronté ainsi qu’à sa mise en œuvre (Almasi, 2003 ; Nokes & Dole, 2004, cités par Falardeau & Gagné, ibid, p. 96.). Ainsi, le caractère rétroactif et régulateur de cette dimension en plus de sa présence tout au long du parcours interprétatif lui assigne une fonction formative (Scriven, 1967, Bloom, 1971), voire une fonction formatrice de l'évaluation (Nunziati, 1990) au vu de la dimension sociale de l'enseignement explicite qui a tendance, à faire partager, non seulement les stratégies cognitives et métacognitives de la compréhension de textes, mais à faire également intérioriser les critères de leur évaluation. Au regard des rôles attribués à la dimension métacognitive en enseignement et en évaluation, elle est interrogée dans le cadre du dispositif (Montandon, 2002) d'évaluation de la compréhension de l'écrit en 5e année primaire dans le but d'un alignement curriculaire (Gautier & al., 2013) au moyen d'une approche comparative entre les pratiques prescrites et les pratiques effectives de l'évaluation de la compréhension de l'écrit. L'aboutissement de cet ajustement est de parvenir à faire des propositions didactiques qui prendraient en charge la dimension métacognitive en évaluation. L'analyse de contenu des instructions officielles à partir de l’entrée du dispositif « les fondements de l'évaluation » admet une nouvelle évaluation, qui prend en charge simultanément celle des connaissances et celle des processus (MEN, 2009a). Cette nouvelle vision des pratiques évaluatives, qui prône une double démarche, veut « amener l'élève à prendre conscience de ses stratégies d'apprentissage, à en estimer l'efficacité et à envisager la régulation qu'il doit opérer à son niveau » (MEN, ibid., p.67). Pour ce faire, les pratiques évaluatives doivent donner « un rôle actif à 459 l'apprenant dans l'évaluation de ses processus et de ses stratégies d'apprentissage, développant ainsi son autonomie et ses capacités métacognitives ». (ibid., p.68). En plus de cette prise de conscience par les élèves de leurs propres démarches à des fins d'auto-évaluation et d'autorégulation, elles sont préconisées comme objet d'évaluation des épreuves. Dans ce sens, le Guide méthodologique de l'évaluation pédagogique (ibid., 2009d) recommande, en plus de la dimension cognitive des compétences, l'évaluation de la dimension métacognitive à partir des espaces de médiation tels que le projet-pédagogique, la situation- problème, et l’auto-évaluation qui misent sur la transparence des critères. Il stipule également son intégration dans les épreuves d'évaluation afin de pouvoir se prononcer sur le degré de maîtrise de la compétence évaluée. Dans ce sens, il insiste sur le fait que le jugement de ce degré de maîtrise doit se faire « exclusivement à partir des produits de l’élève lors de la situation d’évaluation de fin de cycle ainsi que les stratégies utilisées et la démarche suivie lors de cette situation » (MEN, 2009d, p.185). Néanmoins, cette reconnaissance de la composante métacognitive de la compétence en compréhension de l'écrit en tant qu'objet évaluable est dépourvue d'une progression en termes de critères d'évaluation et d'une prise en considération au niveau des modèles d'épreuves proposés par le ministère ainsi qu'au niveau des épreuves d'évaluation de classe. Au regard de ces quelques résultats et d'autres résultats de l'analyse des pratiques prescrites et des pratiques effectives de l'évaluation de la compréhension de l'écrit, un alignement curriculaire en ce qui concerne la progression en évaluation est proposé dans une perspective de congruence entre le curriculum prescrit et le curriculum effectif. Cet alignement touche également les pratiques effectives sous forme de propositions didactiques qui tiennent compte de la progression suggérée et des insuffisances relevées au niveau des épreuves d'évaluations, qu’elles soient du ministère ou de la classe. L'ensemble de ces propositions sera présenté lors de notre communication. _________________________________________________________ 1-Référentiel général des programmes (MEN, 2009a), Programme de français de 5e année primaire (MEN, 2009b), Document d’accompagnement du nouveau programme de français de 5e année primaire (MEN, 2009c), le Guide méthodologique en évaluation pédagogique (MEN, 2009d) et les modèles d'épreuves proposés par le ministère de l'Éducation nationale. Références Cèbe, S. & Goigoux, R. 2009. Lector et lectrix apprendre à comprendre des textes narratifs. Paris : Retz. Deschênes, A-J. (1994), «Les connaissances initiales du lecteur et l’évaluation de la compréhension», dans, Boyer, J-Y, Dionne, J-P, Raymond, P., Évaluer le savoir- lire, Montréal: Les Éditions logiques. p.103-139. Falardeau, É. & Gagné, J-C. (2012). «L’enseignement explicite des stratégies de lecture : des pratiques fondées par la recherche ». Enjeux. 83, p.91-120. Fijalkow, J.(1995). « Savoir-lire : didactique déclarative, procédurale, contextuelle ». In. Spirale. Revue de Recherches en Éducation . 15, p. 121-146. Gautiers & al. (2013). Enseignement explicite et réussite des élèves. La gestion des apprentissages. Bruxelles : de boeck 460 Giasson, J. (2012) La lecture. Apprentissage et difficultés. Bruxelles : De Boeck. Ministère de l’Education Nationale. (2009a). Référentiel général des programmes. ONPS. Ministère de l’Education Nationale. (2009b). Document d’accompagnement au nouveau programme de française 5e année primaire. ONPS. Ministère de l’Education Nationale. (2009c). Programme de français. 5e année primaire. ONPS. Ministère de l’Education Nationale. (2009d). Le Guide méthodologique en évaluation pédagogique. ONPS. Montandon, C.(2002). Approches systémiques des dispositifs pédagogiques. Enjeux et méthodes. Paris: l'Harmattan. Nunziati, (1990). " Pour construire un dispositif d'évaluation formatrice. Cahiers pédagogiques: Apprendre, 280, p.48-64. Turcotte, A-G. (1994). « Compétences et perception du lecteur évalué de façon authentique», In. LIDIL. L’évaluation de la lecture. Approches didactiques et enjeux sociaux, 10, p.13-37. Scriven, M. (1967). The methodology of evaluation. In R. W. Tyler, R. M. Gagne, & M. Scriven (Eds.), Perspectives of curriculum evaluation., Chicago: Rand-McNally, p. 39-83 461 AVALIAÇÃO, APRENDIZAGEM E OS DESAFIOS DA PRÁTICA PEDAGÓGICA NO ENSINO FUNDAMENTAL (ID 193) SILVA, Erbio dos Santos, IE/ULISBOA – PDSE/CAPES (PT-BR) SANTOS, Terezinha F.A.M., PPGED/UFPA (BR) SOUZA, Edinilza, PPGED/UFPA (BR) RESUMO O texto em questão é resultado de uma pesquisa empírica, realizada a partir da disciplina de Estágio Supervisionado no curso de Pedagogia da Faculdade de Castanhal, a qual observou a prática pedagógica em turmas do 5º ano (2º Ciclo do Ensino Fundamental) em três escolas da região metropolitana de Belém, sendo duas no município de Castanhal e uma em Santa Izabel no Estado do Pará. O objetivo desse estudo foi mostrar como os professores têm desenvolvido sua prática pedagógica, bem como os desafios que estes enfrentam no contexto das mudanças no Ensino Fundamental. A pesquisa foi realizada no primeiro semestre de 2015 e contou com a participação de nove alunas estagiárias. Para realizar a observação, construí-se um roteiro, o qual continha cinco questões relacionadas ao título desse trabalho. Nesta perspectiva, o texto sustenta-se no debate de autores como Hoffmann (1993), Luckesi (2005), Fernandes (2005; 2006), Kramer (2007), que contribuem com conceitos de avaliação e problematizam forma e conteúdo nas relações da prática pedagógica. Assim como, Leal, Albuquerque e Morais (2007), e Freitas (2010) que efetivamente revelam a importância do planejamento e a necessidade da aprendizagem não ser um fator isolado, mas articulado. Estruturalmente, o texto está dividido em três tópicos discursivos, além da introdução e considerações finais. Entre os resultados obtidos com a pesquisa, pode-se destacar que embora a política nacional demande múltiplos usos instrumentais para a avaliação, que deve ter, sobretudo, o princípio formativo, a escola ainda adota práticas avaliativas classificatórias, ignorando os princípios da LDB 9394/96 (Lei da Educação Nacional) e das Resoluções 04 e 07 ambas de 2010 do Conselho Nacional de Educação. Introdução O texto procura em três tópicos refletir sobre a avaliação, perpassando pelos conceitos e especificidades das contribuições da concepção diagnóstica, mediadora e formativa alternativa. Assim, no primeiro tópico faz um debate conceitual usando Hoffmann (1993), Luckesi (2004) e Fernandes (2006). Na sequência passa a debater a prática pedagógica estabelecendo um paralelo analítico com a opção conceitual da avaliação formativa delimitada no primeiro tópico, assim usa a legislação brasileira e autores como Kramer (2007) e Freitas (2010) para associar a avaliação à prática pedagógica comprometida com uma educação significativa. Nesta direção avançamos ao terceiro tópico onde discorremos sobre a pesquisa. Sendo assim, o subdividimos em dois, o primeiro trata do contexto e o segundo das revelações. Por fim fechamos o 462 texto com algumas considerações sobre o papel da Avaliação Formativa no contexto da prática pedagógica no Ensino Fundamental. Avaliação: Múltiplos conceitos diálogos e debate permanente A Avaliação constitui uma temática historicamente muito debatida no Brasil. No Estado do Pará, na primeira década de 2000, no Baixo Tocantins-Pará, mais de 65% dos TCC a tinham como foco de estudo, isso se atribuía a três fatores, a saber: 1. Percepções empíricas no Estágio Supervisionado mostravam que os professores continuavam ver a avaliação de forma reduzida como uma ferramenta classificatória; 2. A herança negativa que a avaliação classificatória deixou na vida escolar dos acadêmicos, conflitadas com o percurso formativo na universidade; e 3. O desejo de mudança aliado às tendências e obrigatoriedades apontadas na legislação brasileira. Frente a esse cenário a avaliação deixa de ser coadjuvante e passa a protagonista no campo educacional. Tanto no debate teórico como empírico a avaliação ganhou voz e vez em trabalhos de pesquisadores no mundo todo, entre eles destacamos aqueles que subsidiam este texto, Hoffmann (1993), Luckesi (2004) e Fernandes (2006). As pesquisas realizadas por esses autores são concretizadas por conhecimento de causa sobre as práticas docentes de avaliação. Hoffmann (1993), por exemplo, nos apresenta resultados de pesquisas realizadas com educadores da Rede Educacional no Rio Grande do Sul e revela as fragilidades nas formulações e nos princípios da avaliação, ressalvando que precisamos de critérios e de objetivos claros para realizarmos uma avaliação compromissada com a aprendizagem significativa do aluno. Luckesi (2004) problematiza a necessidade de conhecer o aluno, sua história e sua linha formulativa. Questiona a incoerência no trabalho docente desarticulado, onde o papel do planejamento e do projeto educativo são ignorados, não havendo uma unidade da ação docente com o projeto político pedagógico da escola. A reflexão de Luckesi leva a refletir os porquês do insucesso no ensino-aprendizagem, haja vista que os alunos são hábeis em cálculo e comunicação em seu cotidiano, mas não conseguem demonstrar isso na escola. Por exemplo, o contato com a linguagem começa muito cedo dentro de casa e é tipicamente deturpado, ou melhor, de uso coloquial, como os pais tem baixa ou nenhuma escolarização (nos referimos aos alunos de escolas públicas, geralmente vistos como aqueles que não aprendem) é comum que as crianças/alunos aprendam a se comunicar com relativas limitações de linguagem. Contudo, não se pode negar que ressalvadas as proporções cada um desses usos, sejam eles formais ou coloquiais têm sempre um espaço na gramática normativa no conjunto das classes de palavras ou na análise sintática. No que refere-se ao cálculo, não é diferente, pois em operações do cotidiano, os estudantes mostram habilidades ao ajudar seus pais nos negócios, vendendo coxinhas, bombons etc. sendo assim, passam troco, registram as vendas, compram matéria-prima e cotidianamente conseguem operar adequadamente a maioria dos processos comerciais. A teoria de Luckesi (2004) remete ao uso diagnóstico da avaliação, a qual não pode e nem deve ser classificatória, pois não é excludente e sim o contrário. Os alunos todos os dias apresentam 463 inúmeras oportunidades para receber feedback, ou mediações de aprendizagem. Mas, para o autor, elas necessitam ser planejadas, permitindo qualificar a aprendizagem destes. O ato de avaliar a aprendizagem implica em acompanhamento e reorientação permanente da aprendizagem. Ela se realiza através de um ato rigoroso e diagnóstico na reorientação da aprendizagem tendo em vista a obtenção dos melhores resultados possíveis, frente aos objetivos que se tenha à frente […] a avaliação exige um ritual de procedimento, que inclui desde o estabelecimento de momentos no tempo, construção, aplicação e contestação dos resultados expressos nos instrumentos; devolução e reorientação das aprendizagens ainda não efetuadas (Luckesi, 2004, p. 01) Logo se o conteúdo a ser ensinado tem relação com o ato de se comunicar, não podemos ignorar o que já faz os meninos e meninas em todos os momentos de suas vidas, pois ainda que sem a formalidade exigida na sociedade do conhecimento, eles trocam e recebe informações. Seja por meio da transmissão de um recado, na escrita de um bilhete, na elaboração de uma carta ou mesmo no atendimento de um consumidor ou cliente no negócio de seus pais. O fato é que não se pode eliminar essa condição histórica do conhecimento e da vida do educando, que já desenvolve tarefas orientadas, em qualquer lugar de seu cotidiano. Se o educando não consegue realizar uma comunicação formal ou mesmo usar algoritmos e elaborar redações na escola há algo de errado, logo para Luckesi a avaliação diagnóstica pode apontar os porquês que ajudarão o professor a saber o quê fazer para garantir a reorientação ou mesmo como diz Hoffmann (1993) mediar a aprendizagem. O fundamental é que o aluno não fique solto e desorientado sem saber os significados concretos do quê fez, faz ou precisa fazer para corrigir dificuldades na representação de sua aprendizagem. O ato de examinar “[…] é classificatório e seletivo, e por isso mesmo, excludente, já que não se destina a construção do melhor resultado possível, e sim a classificação estática o que é examinado […]” (Luckesi, 2004, p. 84). Portanto, examinar e avaliar se constituem em situações opostas as vezes realizadas de forma inconsciente pelos docentes que por não compreenderem a importância e significado da avaliação a restringem como instrumento classificatório, contribuindo com a reprodução do conhecimento e condicionando ao insucesso escolar. Ao responder, Luckesi nos revela a necessidade de uma avaliação que qualifica os dados relevantes sobre a aprendizagem do aluno. Neste sentido, o que efetivamente faz o professor é um diagnóstico do processo de aprendizagem do educando, de tal forma que poderá subsidiar sua toma de decisão, a qual a partir de então é coerente. A práxis educativa deixa de ser aleatória e corriqueira, passa a ter sentidos específicos, daí falarmos tanto em conhecer a realidade do aluno e promover um processo educativo que seja significativo (Freire, 1996; Zabala, 2004). A Avaliação Diagnóstica ajuda a compreender o estágio cognitivo e o panorama da vida do aluno, sua situação real à aprendizagem, de tal forma que ao conhecer essa realidade fica mais fácil sugerir alternativas adequadas à aprendizagem do aluno. O que em Fernandes (2005; 2006) ficará muito mais evidente, uma vez que ao tecer a crítica às formas conservadoras em que os sistemas de ensino têm mantido suas práticas tende a afastar e não contribuir com a aprendizagem. 464 Fernandes sugere a Avaliação Formativa Alternativa, após um exaustivo estudo teórico das escolas francófonas e anglossônicas, pois diz haver uma fragilidade no processo empírico de levantamento de dados no contexto escolar, o qual situa-se na falta de compreensão do quê significa a avaliação, a qual define como […] um processo desenvolvido por e com seres humanos para seres humanos, que envolve valores morais e éticos, juízos de valor e problemas de natureza sociocognitiva, sociocultural, antropológica, psicológica e também política. No entanto, também parece que, não sendo matéria exacta, pode e deve basear-se em sólidas e significativas evidências e, neste sentido, não será uma simples questão de convicção, crença ou persuasão. (p. 32) Vejam, Fernandes faz uma consideração extremamente relevante, o reconhecimento da condição humana na avaliação. Parece óbvio, mas não é, pois quando falamos dos seres humanos há um outro nível de exigência, que precisa considerar variáveis tipicamente ignoradas pelo modelo clássico da avaliação tradicional, a qual se preocupa apenas com os resultados, ignorando assim o processo, ou seja, os percursos e a condição em que os indivíduos usou, tal como destacado na citação acima. Ao destacar a inexatidão da avaliação o autor atribui importante papel às evidências que precisam ser seguidas e registradas de forma coerente e compromissada com o propósito ora colocado, isso nos remete ao debate que Stake (2002) faz quando discute o papel do avaliador. Fernandes (2006) está portanto, nos indicando que falta rigor teórico e político, no sentido de desenvolvimento da avaliação para tanto aponta três problemas que precisam ser observados no percurso da construção teórica da avaliação formativa, a saber: […] a) a compreensão dos processos de desenvolvimento do currículo nas salas de aula e a sua relação com os processos de avaliação; b) a compreensão dos papéis de alunos e professores nos processos de ensino, aprendizagem e avaliação; e c) a compreensão dos contextos, dinâmicas e ambientes de ensino, aprendizagem e avaliação nas salas de aula. (p. 36) O apontamento do autor revela que há um todo a ser observado, afinal embora destaque três problemas eles remetem-se a um todo que acerca o processo de ensino-aprendizagem, interno e externo nas relações que o educando estabelece com o conhecimento. Poderíamos a partir do pensamento de Fernandes dizer que há fatores pedagógicos (ensino-aprendizagem, ambientes de ensino e avaliação), relacionais (aluno-aluno, professor-aluno) e sociais (Contextos), os quais dialogam permanentemente constituindo os problemas enfocados pelo autor. É importante lembrar, porém que estamos falando de avaliação das aprendizagens, logo essa modalidade é instituída para espaços educativos formais. Sendo assim esse debate foca a sala de aula, que ao nosso entendimento é nesse momento o locus da avaliação, que subsidia-se por interações que permitem a produção de conhecimento a partir da relação professor-alunoconhecimento. A avaliação formativa alternativa (AFA) baseia-se em novas visões acerca da natureza das interacções sociais que se estabelecem nas salas de aula entre os alunos e entre os professores e os alunos. É um processo pedagógico e interactivo, muito associado à didáctica, integrado no ensino e na aprendizagem, cuja principal função é a de conseguir que os alunos aprendam melhor, isto é, com significado e compreensão. Nestas condições, a AFA pressupõe uma partilha de responsabilidades em matéria de ensino, avaliação e aprendizagens e, consequentemente, uma redefinição dos papéis dos alunos e dos professores. (Fernandes, 2006, p. 32) 465 Ao fazer tal afirmação Fernandes corrobora com Leal, Albuquerque e Morais (2007) que chamam a atenção para a relevância do planejamento e do compromisso docente com a formação das crianças ao apontar que há uma pressuposição de partilha das responsabilidades, o autor indica três variáveis importantes, tradicionalmente estudadas na didática, o ensino (elemento formativo), a avaliação (mecanismo de regulação) e a aprendizagem (consequência). Porém sua prerrogativa não dialoga com a perspectiva tradicional e sim com uma nova cuja mediação e interação são fundamentais, considerando que não há portanto uma hierarquia sobre as variáveis, mas um rito internacional, que permite apropriação significativa do conhecimento, que se dá de forma dinâmica em um processo contínuo de reflexões e elaborações sobre os dispositivos curriculares e sociais, permitindo descobertas que aponta um caminho alternativo às aprendizagens. Portanto a avaliação formativa é importantíssima para construir a mudança no processo educativo, sobretudo em sala de aula, mas é necessário compreender que ela não é […] a panaceia para os males dos sistemas educativos, é com certeza um processo pedagógico essencial para apoiar milhões de crianças e jovens que, ano após ano, experimentam a frustração, o desânimo, o abandono escolar e mesmo a exclusão social. É por isso que temos forçosamente que desbravar e aprofundar a ideia de avaliar para aprender se quisermos enfrentar as questões mais prementes e urgentes da educação contemporânea […] (Fernandes, 2006, p. 43) Hoffmann, Luckesi e Fernandes nos mostram que a avaliação não opera sozinha, ela é resultado de uma articulação, entre o princípio educativo e a práxis pedagógica, daí Leal, Albuquerque e Morais (2007) considerarem que o fazer docente e o planejamento são determinantes no desenvolvimento de uma avaliação comprometida com a aprendizagem. Contudo, esse apontamento só tem sentido na medida em que se observa o currículo escolar, o que para essas autoras é determinante na forma de ser do educando. Freitas (2010) considera que o currículo e o planejamento são preponderantes na escola, a qual deve conceber e assumir o currículo em um processo amplo da formação humana. Sendo assim, o papel social da escola articula vida prática, cotidiano, ciência, cultura, pesquisa e formulação de conhecimento. Neste direção retomamos os sentidos e significados da avaliação ao compreender os contextos e os sujeitos e apontar caminhos ao feedback, através de mediações que em conjunto contribuem à consolidação da aprendizagem por meio da AFA. A prática pedagógica: exclusão X inclusão, cenário educativo incerto É preciso assegurar um ensino pautado por uma prática pedagógica que permita a realização de atividades variadas, as quais […] possibilitem práticas discursivas de diferentes gêneros textuais, orais e escritos, de usos, finalidades e intenções diversos (Corsino, 2007, p. 61). A afirmativa de Corsino mostra que a prática pedagógica precisa ser diversa e portanto inclusiva. Tornar a dinâmica educativa diversificada é dar oportunidade aos alunos de se verem no exercício reflexivo do conhecimento. Logo se o educando acredita que tem potencial já pode enfrentar as práticas excludentes que tradicionalmente assolam o espaço escolar. O segundo ciclo é uma etapa 466 posterior, então o aluno já terá pelo menos três anos de ensino regular contínuo para poder chegar até ele. Mas experiências negativas sempre vão afastá-los de possibilidades criativas, conflituantes que desconstruam e possibilitam criação e/ou apropriação de conhecimento. Não podemos negar a historicidade que os alunos trazem consigo para o espaço escolar, logo fazse necessário romper com o estereótipo da educação tradicional que difundiu a ideia de os alunos eram tábulas rasas e que portanto chegavam em vazio na escola. Essa perspectiva já é vencida, mas infelizmente acaba por coexistir, mesmo que por práticas isoladas de professores que não concordam com o processo de mudança que tem marcado a educação brasileira, sobretudo nos últimos vinte anos desde a aprovação da LDB 9394/96. O fato é que a prática pedagógica é concebida e exercida sob nova perspectiva, assim… Na escola e na vida, encontramos a multiplicidade de sujeitos e de modos de viver, pensar e ser. Mas encontramos também características e marcas que nos identificam como seres humanos, pertencentes a um período histórico, a uma região geográfica e a tantos outros agrupamentos que se entrelaçam. E por que isso acontece? Porque somos sujeitos culturais, não somos sujeitos errantes: criamos vínculos, sentimentos, mundos, literatura, teorias, moda, receitas culinárias, filosofia, brincadeiras, jogos, arte, máquinas – tudo nos enreda e nos diz que […] construímos história e histórias, cultura e culturas que nos enraízam, nos envolvem e nos identificam. (Goulart, 2007, p. 86). O texto de Goulart dialoga diretamente com Fernandes (2006) e indiretamente com os demais autores mencionados até aqui. Ao reconhecer o papel humano no processo educativo revela um produtivo debate sobre a importância dos contextos à aprendizagem humana e portanto promove o diálogo aberto com o conceito de avaliação assumido neste texto. Tantas coisas enfocadas deixam clara a necessidade de articulação entre currículo, avaliação e planejamento no contexto escolar, o qual deve focar-se na necessidade de aprendizagem dos educandos, possibilitando assim, que não se pense a avaliação de forma isolada, fechada, desarticulada dos outros processos que acercam o ensino-aprendizagem. Portanto, é fundamental relacionar as concepções teóricas, a legislação e uma práxis transformadora capaz de educar para a liberdade. A Resolução CEB/CNE nº 04/2010 estabelece as diretrizes para Educação Básica e um conjunto de onze incisos no art. 4º, que detalham os princípios educativos para o Ensino Fundamental, dos quais queremos destacar os quatro primeiros, a saber: I - igualdade de condições para o acesso, inclusão, permanência e sucesso na escola; II - liberdade de aprender, ensinar, pesquisar e divulgar a cultura, o pensamento, a arte e o saber; III - pluralismo de ideias e de concepções pedagógicas; IV - respeito à liberdade e aos direitos […] (Brasil, 2010a, p. 1 - 2) Efetivamente a maioria dos trabalhadores em educação ainda julga que a escola deve moldar o jeito de ser dos alunos, agindo assim de forma reprodutivista. A referência das escolas brasileiras 467 ainda é centrada no modelo gerencial (Santos, 2014), onde a figura do chefe, dono da verdade é determinante e a liberdade está condicionando ao seu desejo regulador, ou seja, mesmo em pleno século XXI com um marco legal avançado, que prima pela democratização e garantias de direito no espaço educativo, a escola continua sendo um espaço conservador e arbitrário. A leitura que temos é que tal realidade ocorre porque falta uma definição institucional das escolas quanto ao projeto educativo. Sendo necessário aos sistemas de ensino e suas respectivas escolas cumprirem a legislação vigente. Neste sentido, os profissionais das escolas e da rede educacional devem assumir adequadamente seus papéis, até aqui negligenciado é o que afirmam pesquisadores como Vasconcellos (1999; 2002) e Kramer (2007). Pois uma parte significativa das escolas brasileira só apresentam o PPP em casos de financiamento, porque é uma exigência da LDB 9394/96 e consequentemente os editais dos sistemas são também obrigados a exigi-los. Contudo, há professores que não têm a menor ideia do quê significar ter ou seguir um PPP. Dada a importância do projeto político pedagógico, as Resoluções 04 e 07/2010 ratificam sua importância, bem como o papel dos trabalhadores em educação na articulação, participação e envolvimento na elaboração e uso deste no cotidiano das escolas, sobretudo pelos princípios que devem carregar para o cotidiano escolar. A Resolução CEB/CNE nº 07/2010, por exemplo define três princípios como fundamentais, os Éticos, Políticos e Estéticos. Uma herança da pedagogia de resistência de Paulo Freire (1996) esses três princípio fundem-se na formação de sujeitos conscientes em processo pleno de duas formações, algo ignorado não apenas pelas escolas pesquisadas, mas por um conjunto muito grande de escolas brasileiras, inclusive as do Estado do Pará. Art. 6º Os sistemas de ensino e as escolas adotarão, como norteadores das políticas educativas e das ações pedagógicas, os seguintes princípios: I – Éticos: de justiça, solidariedade, liberdade e autonomia; de respeito à dignidade da pessoa humana e de compromisso com a promoção do bem de todos, contribuindo para combater e eliminar quaisquer manifestações de preconceito de origem, raça, sexo, cor, idade e quaisquer outras formas de discriminação. II – Políticos: de reconhecimento dos direitos e deveres de cidadania, de respeito ao bem comum e à preservação do regime democrático e dos recursos ambientais; da busca da equidade no acesso à educação, à saúde, ao trabalho, aos bens culturais e outros benefícios; da exigência de diversidade de tratamento para assegurar a igualdade de direitos entre os alunos que apresentam diferentes necessidades; da redução da pobreza e das desigualdades sociais e regionais. III – Estéticos: do cultivo da sensibilidade juntamente com o da racionalidade; do enriquecimento das formas de expressão e do exercício da criatividade; da valorização das diferentes manifestações culturais, especialmente a da cultura brasileira; da construção de identidades plurais e solidárias. (Brasil, 2010b, p. 02 – Grifo nosso) Para além do ideal filosófico previsto por Freire (1985; 1987; 1996), o art. 6º atribui não apenas às escolas, mas ao Sistema de Ensino. Sendo assim, passa a ser regra da política nacional para todas as escolas no território brasileiro. Contudo, como foi observado não basta ser lei, embora tê-la como regulação formal seja um avanço. É porém, necessário criar uma cultura de formação para a liberdade, o que nos falta ainda efetivamente. Segundo Freire (1985) ainda vivemos a consciência ingênua e necessitamos fazer a travessia, perpassando em ambiente transitório de mudança para atingirmos a consciência crítica e com ela a liberdade e autonomia que não é dada, mas construía na relação dialética com a sociedade nos espaços de convivência humana (igrejas, comunidades, escola 468 ou outros grupos do qual o indivíduo faça parte) é nesta direção que analisamos o contexto da pesquisa objeto desse texto. Prática pedagógica: contradições e desafios no fazer docente Contexto da Pesquisa A pesquisa foi realizada no primeiro semestre de 2015 e contou com a participação de nove alunas estagiárias do curso de Licenciatura em Pedagogia da Faculdade de Castanhal, nordeste do Estado do Pará, no norte do Brasil. A pesquisa ouviu 18 profissionais. Sendo 9 professores, e 9 gestores (sendo 3 diretores e 6 coordenadores pedagógicos). A pesquisa assumiu a abordagem qualitativa por entender que precisamos dar sentido analítico às informações coletadas, de tal forma a expressar os reais motivos expressos nos números, e nas informações levantadas em campo, afinal não falam por si só. Como técnicas de pesquisa utilizamos a observação, a qual nos permitiu ter maior clareza sobre os fatos informados nos relatórios das escolas e seu alinhamento com as exigências legais em vigor. A observação construiu-se num roteiro com cinco questões relacionadas ao título desse trabalho. Para tanto, a pesquisa buscou desvelar à prática docente no Ensino Fundamental a partir do contexto da lei 11.114/05 e dos apontamentos das Diretrizes Curriculares Nacionais para o Ensino Fundamental, regulamentada pela Resolução CEB/CNE nº 07/10, em especial pela base do art. 32, onde em seu inciso I afirma que a avaliação deverá “[...] assumir um caráter processual, formativo e participativo, ser contínua, cumulativa e diagnóstica [...]” (Brasil, 2010b, p. 9). O conteúdo desse inciso nos remete exatamente ao debate teórico apresentado pelos autores que escolhemos para dar sustentação teórica ao texto, pois no debate da avaliação da aprendizagem esses autores são especialistas e conhecem com profundidade o ambiente educativo. Revelações da Pesquisa Do universo de professores investigamos/observados apenas 22,22% conseguem desenvolver ações adequadas, ou aproximadas do que se exige na legislação para o 5º ano do Ensino Fundamental. As práticas adotadas mostram a despreocupação com a legislação e o uso de métodos e técnicas que não privilegiam a aprendizagem, apenas o ensino. Neste sentido fica claro que se o planejamento, aliás a ausência dele torna o trabalho docente inviável a partir do princípio educativo colocado nas Resoluções CEB/CNE nº 04 e 07 ambas de 2010. Compreendemos que tal realidade ocorre porque falta uma definição institucional da escola quanto ao seu projeto educativo, o que ficou claro quando solicitamos os projetos políticos pedagógicos (PPP) das escolas e apenas 33% delas o tivesse, e ainda mais de 87% dos professores não o seguem. Depreendemos então que falta compromisso e conhecimento da legislação e da importância da articulação entre os profissionais das escolas no cumprimento de seus papéis, uma vez que seguir o PPP é uma exigência da LDB 9394/96 que é ratificada pelas duas resoluções citadas acima (04 e 07/10), além do quê deveria ser um princípio da formação de cada trabalhador em educação. Toda escola precisa de um projeto político pedagógico e sobretudo acreditar nele. Mas a equipe de profissionais tem que assumi-lo e só o faz quando se sente coparticipe deste, o que não vimos 469 nas escolas pesquisadas, pois aproximadamente 78% dos investigados não acreditam no PPP, isso evidentemente fragiliza o processo educativo e consequentemente as relações profissionais e pedagógicas na escola. É verdade que os professores precisam ser ativos nesse percurso, mas na medida em que a equipe gestora não acredita no projeto educativo, certamente os professores também não o farão, afinal não terão base de apoio. Um exemplo consequente disso tem relação com a experiencia conservadora da educação tradicional, a qual apontava de forma mais imediata e objetiva os resultados, embora a maioria discordasse da forma com a qual chegava-se a eles. Fator que marca essa herança é revelado pela pesquisa, pois para aproximadamente 83% dos investigados a gestão compartilhada só traz mais trabalho e insegurança. Elemento cristalizado em comentários do tipo: “Ninguém sabe quem resolve….” (P1/E1), “A tomada de decisão é morosa…” (P3/E3), “Há um jogo de poder desnecessário!” (P1/E2). As falas são muito sintéticas e expressam no mínimo o descomprometimento em refletir o quê significa ter uma gestão democrática e lutar por um projeto educativo exequível. Questionados sobre a importância do ensino-aprendizagem e dos métodos que adotavam no desenvolvimento das aulas no segundo ciclo, bem como da importância que tinha a avaliação para tal, eles em sua maioria, ou seja 89% disseram que isso era irrelevante, que muita coisa vem sendo feito para ajudar os alunos a permanecerem na escola, mas sem aprender. Acham que deveriam ajudar os professores. Acrescentaram que avaliar não é difícil, “difícil é cumprir um monte de obrigações sem sentido criado por documentos do sistema que não refletem a realidade da salas de aula” (P2/E3). Ou melhor acreditam que o ensino diretivo permite “ter certeza do quê o aluno aprendeu”. Neste sentido mostram claramente a preocupação apenas com a cognição. Embora essa não seja exatamente a fala de todos, ela dialoga semelhantemente com aproximadamente 78% dos professores e 67% dos gestores. Os dados são preocupantes, pois não refletem apenas o descomprometimento com o paradigma de educação instituído no marco legal e histórico que dá novos rumos à educação brasileira, mas sobretudo, porque se constitui em uma negação do resultado de pesquisas e esforços de movimento dos educadores progressistas na consolidação de uma educação significativa, includente, onde a prática pedagógica, a avaliação e o planejamento estão em constante debate com o currículo e a aprendizagem. Em resumo, o panorama das escolas investigadas em Castanhal e Santa Izabel no Pará é ruim frente ao desejo de uma educação compromissada com a avaliação formativa e portanto com uma prática pedagógica que favorece a aprendizagem. Sendo emergente a necessidade de mudança a elas. Considerações Finais A política nacional de educação no Brasil tem apresentado um conjunto vasto de mudanças a partir de um novo marco legal, bem como de novas matrizes teóricas fundidas no seio dos movimentos de educação, nas pesquisas científicas realizadas em escolas e ainda na emergência dos novos tempos. Contudo, a resistência é grande, a final se de um lado há avanços no sistema, por 470 outro, falta apoio (técnico e pedagógico) e financiamento adequado para apoiar as iniciativas escolares. A avaliação vem representando um importante campo teórico para compreender as aprendizagens. Porém, a herança da educação behaviorista nas escolas ainda é muito forte, logo qualificar a avaliação é absolutamente necessário, pois ela ocupa múltiplas e determinantes funções que ajudam a consolidá-la como um fundamento à educação. Neste sentido cremos que a avaliação deve ser formativa e que portanto, perpassa por um processo onde diagnosticar, conhecer e mediar são elementos constitutivos fundamentais à sua consolidação, o quê desafia pesquisadores e universidades a emergirem sobre os sistemas de ensino para além dos exames nacionais, os quais cumprem um papel político às relações geoeconômicas do Estado, mas que efetivamente não dão as respostas devidas ao processo de ensino-aprendizagem significativo. A escola, com seus profissionais se vê fora dos processos sociais (políticoeconômicos), mas ela é estratégica a ele, por isso não deve nem pode isolar-se. Precisa ter clareza de seu princípio educativo, o qual deve ser cunhado na avaliação formativo, adotando práticas diversificadas e includentes. Sendo capaz de enfrentar a avaliação classificatória, que é presente e se constitui como excludente ao avanço dos alunos. A pesquisa aponta que é necessário que as escolas pesquisadas revejam seus conceitos de educação, avaliação e prática pedagógica. De tal forma a romper com o modelo tradicional. Do contrário continuará sendo reprodutora não só de um modelo de avaliação conservador, mas de uma escola reprodutivista que condiciona os alunos a serem peças da engrenagem do capitalismo, que entra nas escolas de forma ideológica e alienante, inclusive pela atitude inconsciente e apolítica dos trabalhadores em educação, em especial daqueles que estão em sala todos os dias, os professores. Referências Abma, Tineke A.; Stake, R. E. Responsive Evaluation: Core Ideas and Evolution Article first published online: 12/03/2002. Brasil. (2010a). Resolução 04/10: Diretrizes Curriculares Nacionais da Educação Básica. Brasília/DF: CNE/CEB. ______. (2010b). Resolução 07/10: Diretrizes Curriculares Nacionais para o Ensino Fundamental. Brasília/DF: CNE/CEB. ______. (2009). Lei de Diretrizes e Bases da Educação Nacional – LDB 9394/96. Brasília/DF: MEC. Corsino, P. (2007). As Crianças de Seis Anos e as Áreas do Conhecimento. In Brasil. (2007). Ensino fundamental de nove anos: orientações para a inclusão da criança de seis anos de idade. Brasília/DF: SEB/MEC. (pp 57 – 68). Freire, P. (1985). Educação como Prática da Liberdade. São Paulo/SP: Ática. (8ª ed.). __________. (1987). Pedagogia do Oprimido. Editora Paz e Terra. (29ª edição). __________. (1996). Pedagogia da Autonomia: Saberes Necessários à Prática Educativa. Ed. Paz e Terra. Freitas, L. C. de. Crítica da organização do trabalho pedagógico e da didática. (10ª ed.). 471 Goulart, C. A Organização do Trabalho Pedagógico: Alfabetização e Letramento Como Eixos Orientadores. In Brasil. (2007). Ensino fundamental de nove anos: orientações para a inclusão da criança de seis anos de idade. Brasília/DF: SEB/MEC. (pp 85 – 96). Hoffmann, J. (1993). Avaliação Mediadora: uma prática em construção, da pré-escola à universidade. Porto Alegre/RS: Educação e Realidade. Kramer, S. et al. (2007). Com a pré-escola nas mãos. São Paulo: Ática. (12ª ed.) Krueger, R. A. (1988). Focus Group: A Practical Guide for Applied Research. Sage, California. Luckesi, C. C. (2004). Avaliação da aprendizagem na escola: reelaborando conceitos e recriando a prática. Salvador/BA: Malabares Comunicação e Eventos. Vasconcellos, C. S. (1999). Ciclos de Formação: um horizonte libertador para a escola no 3o milênio. In Revista de Educação da AEC (111). Brasília/DF: AEC. ________. (2002). Avaliação: Concepção Dialética-Libertadora do Processo de Avaliação Escolar. São Paulo/SP: Libertad. (13ª ed.). Zabala, A. (2004). A Prática Educativa: Como 472 Ensinar. Porto Alegre/SP: Artmed. AVALIAÇÃO NO ENSINO SUPERIOR: UM ESTUDO COM DOCENTES UNIVERSITÁRIOS (ID 194) PEREIRA, Diana, Universidade do Minho (PT) FLORES, Maria Assunção, Universidade do Minho (PT) Introdução A implementação do Processo de Bolonha na maioria das universidades europeias resultou em mudanças estruturais quer na organização dos currículos, quer na organização dos graus de ensino com implicações no processo de ensino, de aprendizagem e de avaliação. O objetivo desta comunicação é analisar as perceções dos docentes universitários acerca da avaliação no ensino superior e, em particular, as mudanças que ocorreram nas práticas de avaliação após a implementação do Processo de Bolonha. A investigação neste domínio sugere que a avaliação e a aprendizagem estão interligadas uma vez que influenciam a aprendizagem do aluno e que o modo como os alunos aprendem depende de como eles pensam que vão ser avaliados (Scouller, 1998; Gibbs, 1999). A avaliação influencia, quer positivamente quer negativamente, a aprendizagem dos alunos (Brown, Bull e Pendlebury, 1997; Biggs, 2003; Boud e Falchikov, 2007) uma vez que a abordagem do aluno em relação à aprendizagem pode ser influenciada pelos métodos de avaliação utilizados (Marton e Säljö, 1997). Assim, as práticas de avaliação utilizadas pelos professores universitários influenciam a qualidade da aprendizagem e os resultados académicos (Fernandes, Flores, e Lima 2012; Flores et al. 2014). Deste modo, os professores necessitam de ser criativos incluindo nas suas práticas uma diversidade de métodos de avaliação (Brown, Race e Rust, 2004; Wen e Tsai, 2006). A literatura revela também que os métodos de avaliação não tradicionais permitem uma avaliação mais eficaz da aprendizagem (Birenbaum e Feldman, 1998; Struyven, Dochy e Janssens, 2005) e incentivam o aluno a desenvolver competências de autonomia, sentido de responsabilidade e de reflexão (Sambell e McDoweel, 1998). Os métodos de avaliação centrados no aluno (Webber, 2012) melhoram o desenvolvimento das competências necessárias para a vida profissional, porque a finalidade da avaliação é garantir que os critérios de sucesso da educação e do processo de formação são os mesmos utilizados na prática (Segers e Dochy, 2001). Além disso, o papel formativo da avaliação é importante para a aprendizagem, pois através do feedback professores e alunos sabem como o processo de aprendizagem está a decorrer (Brown, Bull e Pendlebury, 1997; Biggs, 2003). Metodologia Este trabalho insere-se num projeto mais vasto de investigação no contexto de um Doutoramento em Ciências da Educação, financiado pela Fundação para a Ciência e Tecnologia (SFRH / BD / 76175/2011). Os participantes deste estudo são professores a lecionar no 3º ano de licenciatura em cinco universidades públicas portuguesas. No total, 57 professores universitários participaram do estudo; 53% são do sexo masculino e 47% são professores do sexo feminino. A idade dos participantes situa-se entre 30 e 68 anos de idade. A maioria (58%) são professores auxiliares e os anos de experiência docente no ensino superior variam entre 2 e 44 anos. A maioria dos professores leciona há 29 anos. Dos 57 professores, 32 lecionam na área das Ciências Sociais e Humanas, 10 nas Ciências da Vida e da Saúde, 9 em Ciências Naturais e do Ambiente e 6 em Ciências Exatas e Engenharia. Neste estudo selecionamos as 4 áreas do saber contempladas pela Fundação 473 para a Ciência e Tecnologia: Ciências Humanas e Sociais (CHS), Ciências da Vida e da Saúde (CVS), Ciências Naturais e do Ambiente (CNA) e Ciências Exatas e Engenharia (CEE). Diferentes licenciaturas/mestrados integrados foram selecionados em cada área: CHS: (Ciências da Educação, Educação Básica, Economia e Direito); CVS: (Enfermagem, Medicina, Farmácia); CNA: (Biologia, Geologia) e CEE: (Engenharia Mecânica, Engenharia Informática, Bioquímica, Matemática). Os professores foram convidados a participar numa entrevista realizada presencialmente. Alguns professores apresentaram constrangimentos de tempo e preferiram participar enviando as suas respostas via e-mail. O consentimento informado e a confidencialidade foram respeitados nas entrevistas. Um protocolo de investigação foi enviado para cada Universidade, Instituto/Escola e departamento, a fim de pedir permissão para a realização do estudo. Os dados foram recolhidos entre outubro de 2012 e junho 2013 em 5 Universidades Públicas Portuguesas. O protocolo de entrevista foi validado com os professores a lecionar numa universidade pública entre março e maio de 2012. Resultados Alguns professores afirmam que alteraram as suas práticas de avaliação após a implementação do Processo de Bolonha. As razões apontadas são a necessidade de aproximar o trabalho na sala de aula ao futuro contexto de trabalho do aluno promovendo o desenvolvimento de competências transversais. Os docentes destacaram ainda a preocupação em promover uma avaliação contínua com recurso ao feedback no sentido de estimular e envolver os alunos no processo de aprendizagem. Por outro lado, alguns docentes afirmam que alteraram as práticas de avaliação após Bolonha em virtude de uma imposição institucional. Contudo, alguns docentes afirmam que não alteraram as suas práticas em virtude da falta de disponibilidade para o processo de avaliação e do seu ceticismo em relação a essa mudança. No entanto, os professores admitem que os testes escritos são o método mais frequentemente utilizado para avaliar os alunos. O trabalho prático em grupo e apresentações orais destacam-se também como métodos mais utilizados. Para além disso, os professores universitários consideram os testes o método de avaliação mais eficaz e mais justo, a par do trabalho de grupo e individual. Os professores declaram também que mudaram as suas práticas de ensino em função dos métodos de avaliação. Estas alterações estão principalmente relacionadas com a necessidade de adaptar as suas práticas de ensino às necessidades e escolhas dos estudantes. A maioria dos professores concorda que a avaliação deve incidir não só sobre as competências técnicas, mas também sobre as competências transversais e a avaliação. Na sua opinião, o tipo de avaliação que incentiva a aplicação do conhecimento adquirido em contextos reais é o trabalho prático, a resolução de problemas, projetos, simulações, trabalho de grupo e laboratorial. Estas e outras questões serão discutidas neste artigo. Referências Biggs, J. 2003. Teaching for Quality Learning at University. Buckingham: SHRE and Open University Press. Birenbaum, M., and R. A. Feldman. 1998. Relationships between learning patterns and attitudes towards two assessment formats. Educational Research 40 (1): 90-97. Boud, D., and N. Falchikov. 2007. Rethinking assessment in higher education: learning for the long term. Routledge: New York. 474 Brown, G., J. Bull, and M. Pendlebury. 1997. Assessing student learning in higher education. London: Routledge. Brown, S., P. Race and C. Rust. 2004. Using and experiencing assessment. In Assessment for learning in higher education, ed. P. Knight, 75-85. Birmingham: SEDA. Fernandes, S., M.A. Flores and R.M Lima. 2012. Students’ views of assessment in project-led engineering education: findings from a case study in Portugal. Assessment & Evaluation in Higher Education 37 (2):163-178. Flores, M.A., A.M. Veiga Simão, A. Barros and D. Pereira. 2014. Perceptions of effectiveness, fairness and feedback of assessment methods: a study in higher education. Studies in Higher Education, DOI: 10.1080/03075079.2014.881348. Gibbs, G. 1999. Using assessment strategically to change the way students learn. In Assessment Matters in Higher Education: Choosing and using diverse approaches, eds. S.Brown and A. Glasner, 41-53. Buckingham: SHRE and Open University Press. Marton, F., and R. Saljo. 1997. Approaches to learning. In The experience of learning. Implications for teaching and studying in higher education, eds. F.Marton, D.Hounsell and N. Entwistle, 39-58. Edinburgh: Scottish Academic Press. Sambell, K., and L. McDowell. 1998. The values of self and peer assessment to the developing lifelong learner. In Improving Student Learning: Improving Students as Learners, ed. C. Rust, 56-66. Oxford:Oxford Center for Staff and Learning Development. Scouller, K.M. 1998. The influence of assessment method on students’ learning approaches: Multiple choice question examinations versus assignment essay. Higher Education 35 (4):453-472. Segers, M., and F. Dochy. 2001. New assessment forms in problem based learning: the value-added of the students‘ perspective. Studies in Higher Education 26 (3): 327-343. Struyven, K., F. Dochy, and S. Janssens. 2005 Students’ perceptions about evaluation and assessment in higher education: a review. Assessment & Evaluation in Higher Education 30 (4): 331– 347. Webber, K. 2012. The Use of Learner-Centered Assessment in US Colleges and Universities. Research in Higher Education 53 (2): 201-228. Wen, M. L., and C.C. Tsai. 2006. University students’ perceptions of and attitudes toward (online) peer assessment. Higher Education 51 (1): 27-44. 475 A DIMENSÃO OPERACIONAL DO PROJETO PEDAGÓGICO DO CURSO DE MATEMÁTICA: AVALIAÇÃO DA POLÍTICA DE FORMAÇÃO DE PROFESSORES E A QUALIDADE DA EDUCAÇÃO (ID 195) CORREA, Vanisse Simone Alves, UFPR (BR) ZAINKO, Maria Amélia Sabbag, UFPR (BR) RESUMO Este trabalho apresenta os resultados de uma pesquisa que tem como um dos objetivos analisar o Projeto Pedagógico do Curso – PPC de Matemática de três instituições de ensino superior do estado do Paraná, Brasil. Buscamos, nesse trabalho, apontar os aspectos referentes à dimensão operacional do PPC de três instituições públicas (denominadas A, B e C). Essa dimensão refere-se aos aspectos operacionais ou como colocar em prática as concepções, princípios e fundamentos pensados para o curso. Elencamos os seguintes elementos: cursos/etapas formativas ofertadas, características da aprendizagem, perfil do egresso, estrutura educacional, diretrizes curriculares, diretrizes metodológicas. O aporte teórico desta pesquisa fundamenta-se em vários autores, entre eles Eyng (2002), Gatti (2010) e Nacarato (2006). A fonte principal desta pesquisa constituiu-se nos PPCs dos cursos de Matemática (em duas habilitações): licenciatura e bacharelado. No que se refere ao item “cursos/ etapas formativas ofertadas”, o curso da instituição A oferta: Licenciatura em Matemática (diurna), Licenciatura em Matemática (noturna) ambos com carga horária de 2825 horas, Licenciatura com Bacharelado com carga horária de 3425 horas. No PPC da instituição B, também é ofertada licenciatura e bacharelado. O estudante de licenciatura deverá cumprir um total de 2.852 horas relativas ao currículo pleno proposto incluindo as Atividades Acadêmicas Complementares. Possibilita ao estudante que ingressou na Habilitação Licenciatura, realizar a matrícula para a 2ª série, optar por cursar o Bacharelado em concomitância. O bacharelado possui uma carga horária de 2690 horas, com duração de 4 anos. O estudante que cursar bacharelado e licenciatura em concomitância deverá cumprir uma carga horária de 3725 horas, mais 200 horas de atividades acadêmicas complementares. O curso da instituição C também oferece licenciatura com uma carga horária de 3419 horas e o bacharelado com 3035 horas, com duração de quatro anos. Nos três cursos em análise a carga horária mínima de 2800 horas prevista nas diretrizes curriculares, é atendida. O estudante segundo informações do projeto pedagógico, pode cursar a licenciatura ou bacharelado, e ainda ambas habilitações em concomitância. No que tange as características da aprendizagem, o PPC da instituição A organizou os conhecimentos em 4 eixos: conhecimentos de matemática, conhecimentos das ciências afins, conhecimento da educação matemática, conhecimentos das ciências da educação. A integração entre os quatro eixos de conhecimento do curso é contemplada nas dimensões do ensino, de docência e da pesquisa (p.39– 43). No PPC da instituição B, é prevista a participação dos estudantes em atividades de pesquisa, ensino e extensão visando uma formação teórico-prática. A idéia de uma formação interativa e multidimensional é defendida nas diretrizes do curso. No PPC da instituição C, a primeira série do 476 curso é comum às duas habilitações sendo que, ao final desta, o aluno poderá optar por uma ou ambas. Caso não haja manifestação por parte do aluno será entendido que ele fez a opção somente pela Licenciatura em Matemática. As características da aprendizagem são bem especificas em cada projeto, todos seguem as diretrizes gerais para os cursos de matemática (licenciatura e bacharelado), mas enfatizam aspectos diferenciados. Quanto ao perfil do egresso, o quadro a seguir facilita a visualização. Destaca-se a necessidade de uma formação técnica (“sólida formação em Matemática)” nas três instituições. Perfil do Egresso PPC A: Sólida formação em conteúdos específicos da matemática e sua construção histórica; Conhecimentos de metodologias e materiais de apoio ao ensino, Visão crítica da matemática; Capacidade de expressar-se com clareza, precisão e objetividade; PPC B: Sólida formação na área da matemática e em educação matemática; Visão de seu papel social de educador e capacidade de se inserir em diversas realidades; PPC C: Sólida formação em matemática; rigor lógico; Capacidade de ler e entender tópicos avançados de matemática; Conhecer seu papel social de educador e capacidade de se inserir em diversas realidades. Fonte: Projeto Pedagógico dos cursos em análise Quanto à estrutura educacional, no PPC A além da infra-estrutura da instituição também há laboratórios de informática equipados com softwares específicos para matemática e programação; laboratórios de ensino de Matemática; Programas de Ensino Tutorial – PET; Biblioteca de Ciência de Tecnologia. No PPC B, não é contemplado esse aspecto. No PPC C, o curso de matemática conta grupos de pesquisa, cursos e projetos de extensão e laboratório de ensino de matemática. No que se refere às diretrizes curriculares, observa-se que os três cursos organizam a matriz curricular no modelo de disciplinas. A concepção superficial e ausente de currículo é confirmada nas diretrizes, pois não se identificam elementos que propiciem o trabalho interdisciplinar ou a articulação das disciplinas. As diretrizes metodológicas, que se dá na efetivação das concepções e fundamentos descritos é um ponto critico. As informações e orientações presentes nos projetos se restringem muitas vezes à exposição das disciplinas com suas respectivas ementas, sem tratar dos aspectos metodológicos. As instituições dão mais ênfase ao bacharelado do que à licenciatura. Isso é o reflexo de décadas de desvalorização profissional do professor. Esse é um fator que pode desencorajar as novas gerações a buscarem a carreira docente. O estudo concluiu que a formação de professores de Matemática ainda necessita ser melhor organizada. Nenhuma das três instituições pesquisadas apresentou todos os quesitos necessários da constituição operacional. Os resultados apontam entre outras coisas, para uma formação deficiente 477 (ênfase ao Bacharelado), ao descolamento da teoria com a prática e ao esvaziamento e ausência das definições das linhas teóricas das instituições. Torna-se urgente necessário realizar a reformulação dos PPCs para atender às demandas sociais, investir na formação de professores e melhorar a qualidade da educação básica. 478 AVALIAÇÃO DE POLÍTICA DE ACELERAÇÃO DA APRENDIZAGEM NA EDUCAÇÃO BÁSICA (ID 196) SOUSA, Raimundo, Universidade Federal do Pará (BR) DOS SANTOS, Terezinha Fátima Andrade Monteiro, Universidade Federal do Pará (BR) RESUMO Este artigo analisa um dos programas resultantes da parceria entre o público e o privado na educação municipal: o programa de correção de fluxo escolar do Instituto Ayrton Senna que foi implantado nas escolas de Ensino Fundamental da Secretaria Municipal (SEMED) de Educação de Altamira-PA, enfocando, principalmente, o atendimento e os resultados. As altas taxas de distorção idade/série e elevados índices de repetência na rede pública municipal contribuíram para que fosse firmado Termo de Parceria entre a Prefeitura de Altamira e o IAS em janeiro de 2001. Um dos programas que possibilitou a implementação de uma gestão educacional coordenada por consultorias externas à SEMED foi o programa de Correção de Fluxo Escolar. Esta política era desenvolvida através de dois projetos: o Acelera Brasil e o Se Liga. A implementação desses programas por um período de 10 (dez) anos revela o progressivo recrudescimento da atividade privada sobre o público nas últimas décadas, em municípios brasileiros. No Brasil, existem inúmeras experiências desta relação público-privada na educação, diversas organizações e institutos privados enlaçam o setor público para implementação de projetos que estão pautados nos interesses privados, mas que se apresentam com um suposto antídoto da gestão de eficiência e de qualidade que o público não tem. Assim, o público é execrado, mas pode financiar, e o privado tem a “fórmula do sucesso”. Trabalhos de Lopes (2013), Braga (2013), Pojo (2014), Gutierres (2010) e Mileo (2014) apresentam e analisam as ações de privado atuando na gestão da educação de municípios paraenses. Destaca-se, pois, o caso do maior município brasileiro – Altamira -, que num período de mais de dez anos, a educação pública municipal submeteu-se à tutela de uma das mais importantes instituições privadas do Brasil que atuam na educação básica, o Instituto Ayrton Senna. Dentre os vários programas implementados, é importante relevar um dos mais antigos, que é o Programa de Aceleração da Aprendizagem denominado de Acelera Brasil. A Correção de Fluxo Escolar do IAS é pautada em dois programas: o Acelera Brasil e o Se Liga. O Acelera Brasil foi o primeiro projeto em educação formal do IAS, criado em 1997 e implantado em vários municípios do Brasil que tinham um baixo índice de aproveitamento escolar e alto índice de distorção idade/série. O Se Liga surgiu em 2001 como estratégia político-pedagógica para atender alunos não alfabetizados das séries iniciais do ensino fundamental. Foi implantado em Altamira em 2003. Assim, a Secretaria Municipal de Educação de Altamira adotou os dois referidos programas, que funcionaram ininterruptamente até 2012, quando sob novo governo municipal, foi rompida a parceria entre a Prefeitura e o IAS. Os programas, parecem, não ter solucionado o problema da correção de fluxo escolar, no período em que foi implementado. A meta era chegar a 5%. Dente os fatores, está o percentual de atendimento no universo de alunos em distorção idade/série que nunca correspondeu a totalidade de alunos defasados na relação idade/série. Salienta-se que com a implementação de programa de correção de fluxo escolar na rede pública municipal de ensino de Altamira a partir da parceria entre a Prefeitura e o IAS, algumas implicações para a gestão educacional podem ser elencadas. A primeira, é que o município passou a desenvolver sistematicamente política específica para corrigir o fluxo 479 escolar no período de 2002 a 2012, o que possibilitou anualmente a formação de professores para atuarem nos programas Acelera Brasil e Se Liga. A segunda, é que a gestão do programa se fundamentou principalmente em resultados, materializando-se principalmente uma gestão de rígido controle com acompanhamento de planilhas e relatórios. A terceira, é a responsabilização dos resultados entre todos – professores e coordenadores - que compõem o programa, inclusive o secretário de educação e executivo municipal. Outra questão foi a redução da autonomia docente que se deu principalmente pela introdução de sistemáticas de acompanhamento e rotina de aula pré-estabelecida com material exclusivo e ensino programado. Por último, são as avaliações elaboradas e implementadas por consultoria externa e ajustamento dos professores aos princípios do programa. O ajustamento era importante porque possibilitava ao professor permanecer nos programas, a cada ano. 480 AVALIAÇÃO DA APRENDIZAGEM: ARTICULAÇÕES E PERSPECTIVAS COM O MUNDO DO TRABALHO (ID 197) SILVA, Erbio dos Santos, IE/Ulisboa; PDSE/Capes (BR) DOS SANTOS, Terezinha Fátima Andrade Monteiro, PPGED/UFPA (BR) MAGALHÃES, Alcidema, PPGED/UFPA (BR) PARLANDIN, Antonio Luiz, PPGED/UFPA (BR) RESUMO O texto em questão é uma síntese dos acúmulos do GTAV – Grupo de Trabalho de Avaliação do movimento que constituiu as Diretrizes Operacionais para Avaliação na Rede de Educação Profissional e Tecnológica no Pará (REEPT/PA) realizado entre 2011 e 2014. O GTAV contou com a colaboração de professores e gestores de quatro microrregiões, a saber: Nordeste paraense, Tocantina, Metropolitana e Marajoara. A opção metodológica foi o grupo focal (Krueger, 1998) que debateu três indicadores: percursos formativos, apropriação do conhecimento e integração que serviram à compreensão das articulações e perspectivas frente ao mundo do trabalho. O texto reúne reflexões desde os aspectos legais como a LDB 9394/96, Decreto Lei 5154/04 até chegar à consolidação da Resolução CEB/CNE Nº 06/12. Tecendo uma análise praxiológica sobre a experiência inovadora da avaliação no Ensino Médio Integrado, revelando quê posturas de uma avaliação formativa são tão mais interessantes e significativas à formação profissional plena diferente da avaliação classificatória. Fundamenta-se em Luckesi (1992), Hoffmann (1994), Saul (1999), Fernandes (2005) e Araújo (2013) de tal forma a mostrar que o mundo do trabalho e a educação se articulam num fazer educativo integrado. O texto mostra a articulação e fragilidades da SEDUC/PA com a Política Nacional, bem como os esforços que tentam garantir o regime de colaboração com o Ministério da Educação. Analisa a relevância da avaliação na REPT/PA na garantia da permanência com sucesso dos alunos da rede. Assim, foca o objetivo da aprendizagem na apropriação dos saber científico e tecnológico, na cultura e nas relações sociais, de tal forma a integrar o conhecimento e combater a reprovação e o fracasso escolar. Entre os resultados o texto mostra que a avaliação da aprendizagem é mais significativa na medida em que articula-se a realidade, conscientiza e amplia a compreensão do estudante frente ao mundo contemporâneo. Avaliação - A Educação Profissional no Pará entre o marco legal e o operacional O movimento pelas diretrizes operacionais da Educação Profissional no Pará começa em abril de 2011, logo após da renovação da equipe de trabalho da coordenação de Educação Profissional (COEP). Na ocasião, o grupo era mantido por pesquisadores advindos em sua maioria da universidade federal do Pará e de profissionais que haviam composto equipes técnicas do SENAC/PA e da Escola de Governo (2004 – 2006). Sendo assim, a referida coordenação tinha uma equipe que conhecia bem a Educação Profissional e os processos educativos no Pará. 481 O fator determinante, porém se deu quando ao tentar organizar o processo de seleção das escolas da Rede Estadual de Educação Profissional e Tecnológica13 (REPTE/PA) a equipe percebeu, por meio da cuonsulta em relatório dos anos anteriores que havia um elevado índice de insucesso dos alunos das escolass em questão. Então uma pergunta estruturante pairou: - Por que os alunos das Escolas tecnológicas14 apresentam tanta baixa na avaliação15 até em 2007 e entre 2008 e 2010 houve uma melhora significativa? Muitas hipóteses surgiram a partir dos próprios relatórios, mas elas não eram suficientes, pois havia diferenças entre os resultados das escolas16, então se no mapa geral havia essa mudança significativa na rede, não ocorria o mesmo com algumas escolas, como era o caso da E1 e E3 que mantinham resultados oscilantes, sem configurar uma identidade institucional regular. Enquanto que nas escolas E8 e E10 mostravam-se bem regular com seus resultados. Frente ao cenário que identificamos buscamos as escolas por meio da equipe de gestão para obter maiores informações sobre o panorama identificado em seus relatórios. Contudo, não tivemos a felicidades e clarificação adequada, uma vez que grande parte dos gestores havia mudado de escola e/ou de função. Sendo assim, precisavamos consultar os professores e alunos. Foi então que ao coletar informações esparças que pensamos em desenvolver uma ação que pudesse ser mais sistemática e exitosa, procurando, inclusive a atender o princípio educativo já anunciado nas diretrizes curriculares nacionais para Educação Básica (DCNEB) propostas pelo Ministério da Educação (MEC), motivo pelo qual pensamos no projeto das Diretrizes Operacionais da Educação Profissional no Pará (DOEP/PA). O primeiro rascunho do projeto da DOEP/PA foi feito por Erbio Silva17 à epoca, Especialista em Educação e técnico de Referência da SEDUC/PA junto ao Programa Brasil Profissionalizado 18 . Contudo, foi Sandra Suely Gomes19 quem aprimorou a proposta que apresentaram à equipe para então consolidar o projeto final. O projeto sofreu algumas emendas e logo foi encaminhado ao secretário que não exitou em aprovar a proposta, afinal, para além de conseguir estudar a Educação Profissional no Estado como um todo o projeto trabalhava na perspectiva da melhoria da qualidade do ensino, o qual tinha na democratização do processo educativo a aproximação de alunos, professores, gestão escolar e sociedade (em suas diversas representações, fosse com o setor produtivo local ou mesmo através das organizações sociais de cada área de abrangência das EETEPAs) . Assim, o projeto da DOEP/PA representava uma inovação para gestão educacional que ora assumia a SEDUC/PA, que embora fosse governada pela direita (cujo governador era o socialdemocrata - PSDB20), a equipe da COEP era em sua maioria, mais de 85% de profissionais envolvidos 13 Conjunto de 18 Escolas Estaduais de Educação Profissional e Tecnológica distribuidas em quatro microrregiões do Pará, a saber: Nordeste, Tocantina, Metropolitana e Marajoara, três dele estavam região metropolitana de Belém. 14 Denominação simplificada para Escolas Estaduais de Educação Profissional e Tecnológicas, a qual é muito ultiizada por Especialistas em Educação da REEPT/PA. 15 Refere-se a avaliação das aprendizagens (Fernandes, 2005). 16 Ao longo do texto elas serão identificadas por “E” acompanhadas de um numeral. 17 Na época tinha acabado de defender dissertação de Mestrado sobre a Educação Profissional na Amazônia, além de ser membro do grupo de Estudos e Pesquisa de Educação e Trabalho na Amazônia da Universidade Federal do Pará. 18 Programa do Governo Federal instituído pelo Decreto lei 6302/2007, que objetiva a ampliação e fortalecimento da Educação Profissional pública em todo o território nacional. 19 Mestre em Educação com pesquisas concentradas na área de Profissionalização e sindicalismo no Brasil e no Pará; Membro do Grupo de Estudos e Pesquisa de Educação e Trabalho na Amazônia da Universidade Federal do Pará. 20 Partido da Social-Democracia brasileira. 482 e/ou militantes de esquerda concursados que já atuavam na seecretaria de educação, alguns desde a gestão anterior (Governo de esquerda do Partido dos Trabalhadores – PT). O projeto conglomerava entre outras coisas a realização do Fórum de Educação Profissional (iniciado no segundo semestre de 2011) e a realização de sete grupos de trabalho (GT’s de Matriz Curricular, Iniciação Científica Mobilidade e Registro Acadêmica, Projeto Político Pedagógico, Formação Continuada, Avaliação e Estágio – Gomes, 2011) para debater e encaminhar propostas que deveriam constituir um documento orientador (Diretrizes Operacionais) à REEPTE no Pará. O movimento então se materializou por meio da articulação das 18 escolas as quais deveriam enviar representantes para compor os grupos de trabalho (GT) nos diversos encontros que formulariam a proposta das diretrizes operacionais de educação profissional no Pará. Todos os grupos tiveram sua importância, mas esse texto tratará exclusivamente com detalhes do GTAV – Grupo de Trabalho de Avaliação, do qual passamos a detalhar a partir de então. GTAV – Grupo de Trabalho de Avaliação Como materialização do movimento que constituiu as DOEP/PA, o GTAV reuniu entre 2011 e 2014 profissionais da rede estadual de educação profissional e tecnológica para debater a práxis educativa em avaliação já desenvolvida nas EETEPAs, bem como procurando identificar as experiencias exitosas e aquelas que contribuiram ao insucesso dos alunos na Rede em questão. O caminhos operacional do modelo de avaliação desejado não era o quê a rede adotava como um todo. Sendo necessário esse movimento para criar uma cultura avaliativa que primasse pela qualidade, ou seja, a avaliação precisava expressar muito mais que a verificação cognitiva e sim apontar o quadro diagnostico da situação do aluno ao chegar na escola e a partir dai saber que caminhos deveria adotar contribuindo com a mediação do conhecimento, capaz de levá-lo a reconhecer com autonomia de que forma a escola estava formando o aluno como um profissional. Percebe-se portanto que o conceito de avaliação ora trabalhado perpassa por vários tipos conceituais elaborados por pesquisadores como Luckesi (1992) que apresenta o conceito de Avaliação Diagnóstica (AD), a qual tem como fundamento básico conhecer o aluno, sua cultura, que conhecimentos trás consigo para a turma em que estudará e ainda quê limitações esse apresenta. Bem, segundo essa perspectiva só é possivel atribuir juizos de valor, após conhecer o juizo de qualidade, ou seja, sem saber quais as apropriações o educando realmente tem não se pode desafiálo com conhecimentos que ele não os alcançará. Portanto, as medidas relacionadas à cognição tem historicidade que não pode nem deve ser ignoradas e nesse sentido a AD será importantíssima no sentido de identificar limites e possibilidades de aprendizagem. Outra concepção adotada nesse percurso é o definido por Hoffmann (1993) como Avaliação Mediadora (AM). Para a autora, mais do quê classificar e atribuir rótulos aos alunos ou enumerar seus erros é compreender o quê significa o erro. Sendo assim sob a perspectiva dialógica (Freire, 1989) o docente deve promover a aproximação com o educando através do diálogo, procurando assim compreender o que ele entendeu e/ou como explica sua leitura sobre as representações do suposto erro. Nesta direção, Hoffmann (1993; 1994) comentar ser necessário mediar, ou seja, criar alternativas para que o aluno, em contexto, compreenda a partir de sua realidade tais conceitos, podendo assim sair de uma consciencia ingenua do conhecimento e passando a ter maturidade sobre ele. Hoffmann nesse sentido dialoga com Vygotsky (1996), pois a ideia de mediação conceitualmente desenvolvida por ela mostra a importância da zona de desenvolvimento proximal 483 (ZDP), logo a relação entre o educando e uma pessoa mais experiente sempre poderá ajudá-lo a aprimorar seu conhecimento. Na sequência, outros três autores são utilizados na formulação desse texto são eles Saul (1999) com a Avaliação Emancipatória (AE), Fernandes (2005) com o conceito de Avaliação Formativa (AF), os quais ajudam na compreensão do conceito de Avaliação Formativa, que trabalhamos no momento da concepção do GTAV, que dialoga com o debate de Fernandes, mas apresenta especificidade que o mesmo não trata; e por fim Araújo (2013) que nos apresenta o debate mais específico do Ensino Médio Integrado (EMI), o qual carrega toda a essencia da proposta do GTAV o qual pretendia desde o inicio alinhar-se aos principios legais cunhados no documento base do EMI publicado pelo MEC em 2007. Percurso metodológico do GTAV O GTAV contou com a participação de representantes de todas as microregiões paraense onde há EETEPA’s. O grupo de trabalho contou com representantes da gestão21 (Direção e Coordenação Pedagógica22). Sendo assim, tinhamos oito participantes em cada encontro estadual do GT que deveria trazer acumulos dos debates locais, realizados nas escolas. A partir dai deveriamos dar encaminhamentos e formular um documento sobre a avaliação (Concepção, instrumentos e Procedimentos) para posterior consulta e parecer de todos os servidores da REEPTE/PA, os quais dariam sua contribuição online até a constituição do Fórum estadual para então, sistematizarmos e formular o texto final que se transformaria na Resolução estadual das Diretrizes Operacionais à REEPTE. O percurso de construção se deu através da pesquisa qualitativa por meio do grupo focal (Krueger, 1998), constituído por professores e gestores da REEPT, os quais discutiram três indicadores: percursos formativos, apropriação do conhecimento e integração. Esse debate serviu ao nivelamento e compreensão das articulações e perspectivas da formação aliada ao mundo do trabalho. Tendo a avaliação não apenas como um instrumento, mas como um fator prepoderante do processo formativo que serve ao processo pleno de apropriação e emancipação dos sujeitos do processo educativo, em especial ao aluno. O grupo focal constituia a primeira (realizada na escola) e segunda23 (realizada na SEDUC/PA) etapa do GTAV, a terceira na consulta pública (online) e a quarta e última no Fórum Estadual, o qual recebria ao mesmo tempo os representantes para debates específicos (onde cada GT teria uma conferência sobre a temática e posteriormente sessão para apresentação, debate e encaminhamentos setorial das propostas) e por fim a plenária ampla, de caráter deliberativo. A Avaliação e os aspectos legais da Educação Profissional A realização do movimento das DOEP/PA fundamenta-se em dispositivos legais como a Lei de Diretrizes e Bases da Educação Nacional (LDB) 9394/96, a qual já apontava a necessidade da avaliação não ser apenas quantitativa, nem tampouco de privilegiar esse aspecto em detrimento do 21 Cf Vasconcellos (2006). Idem. 23 Toda vez que nos referimos a essa etapa não significa dizer que foi feita na SEDUC, mas que ela foi a responsável direta em alocar espaço fora das escolas para realização desses momentos, que como diz o projeto deveria constituir-se em cinco encontros (Gomes, 2011). 22 484 qualitativo. Para tanto, define na alinea “a”, inciso V do art. 24 da referida lei que “[…] avaliação contínua e cumulativa do desempenho do aluno, com prevalência dos aspectos qualitativos sobre os quantitativos e dos resultados ao longo do período sobre os de eventuais provas finais […]” (Brasil, 2009, p. 10). A legislação brasileira perpassa ainda pelo Decreto Lei 5154/2004 (reestrutura a Educação Profissional, em concepção e forma de oferta). Desse decreto, o que nos interessa é a concepção de ensino integradoque dialoga com a “[…] a educação politécnica24, compreendendo-a como uma educação unitária e universal destinada à superação da dualidade entre cultura geral e cultura técnica […]” (Brasil, 2007, p. 23), contribuindo com a apropriação dos conhecimentos científicos e de diferentes técnicas do processo moderno de produção. Assim, o processo de ensino-aprendizagem funde educação e trabalho garantindo a formação plena do sujeito, na perspectiva omnilateral, logo sai das condições aparentes e superficiais para tratar da essência e das questões relevantes para vida social desse homem, na qual o trabalho é um elemento fundante para a construção do sujeito. Buscamos ainda elementos que ratificam os aspectos até aqui colocados em documentos dos Conselhos Estadual/PA e Nacional de Educação, a saber: Resolução CEB/CEE nº 01/2010; Resolução CEB/CNE Nº 06/2012; e Parecer25 CEB/CNE Nº 11/2012. A Resolução CEB/CEE nº 01/2010 faz um apanhado de todos os processos legais no Pará e corrobora com elementos da educação nacional, permitindo fluidez e novos acúmulos da Educação Profissional. Desta forma, reintera, em seu art. 7º por meio das alíneas “a e b” do inciso V (PARÁ, 2010), o princípio da continuidade e da prevalência dos aspectos qualitativos sobre os quantitativos, sobretudo considerando o projeto educativo das escolas, os quais devem seguir o currículo da base nacional comum, garantindo a diversidade26 sem prejuizo à aprendizagem. Já a Resolução CEB/CNE Nº 06/2012 é mais específica sobre a formação técnica, logo, procura corrigir e ratificar os pontos frágeis da Educação Profissional a nível nacional, apontando um eixo normativo à sua execução e debate. Sendo assim, recomenda a garantia de critérios e procedimentos por meio dos planos de curso e do projeto político pedagógico - PPP (inciso VII do art. 20; e VI e X do art. 22). Por fim, o Parecer27 CEB/CNE Nº 11/2012 argumenta no Título III, em seu Capítulo I, ao tratar da Avaliação e Aproveitamento, qual deve ser o próposito da avaliação. Sendo assim, afirma Art. 34 A avaliação da aprendizagem dos estudantes visa à sua progressão para o alcance do perfil profissional de conclusão, sendo contínua e cumulativa, com prevalência dos aspectos qualitativos sobre os quantitativos, bem como dos resultados ao longo do processo sobre os de eventuais provas finais. (Brasil, 2011, p. 66) Não diferente na essência dos anteriores o parecer retoma a ideia de qualidade no processo avaliativo, para nós algo o que só pode ser atendido na medida em que a avaliação é Formativa e 24 Aqui se entende educação politécnica como equivalente à educação tecnológica […] educação voltada para a superação da dicotomia entre trabalho manual e trabalho intelectual cultura geral e cultura técnica […] (Frigotto, Ciavatta e Ramos, Apud BRASIL, 2007, p. 23). 25 Esse parecer representa o posicionamento da Secretaria Nacional de Educação Tecnológica ligada ao Ministério da Educação a respeito das Diretrizes Curriculares Nacional de Ensino Médio e Educação Profissional (DCNEMEP). 26 Base diversificada prevista na LDB 9394/96 (cf Brasil, 2009). 27 Representa o posicionamento da Secretaria Nacional de Educação Tecnológica ligada ao MEC a respeito das DCNEMEP. 485 para tal precisa passar pelo percurso descrito anteriormente, o qual funde os pensamentos de Luckesi (1992), Hoffmann (1993), Saul (1999) e Fernandes (2005). Então é nesse sentido que a inovação faz-se necessária, ou seja, a escola precisa apresentar alternativas que contribuam a essa formação politécnica, que considere o conhecimento teóricoprático mediante sua aplicação no trabalho e na vida social dos sujeitos, os quais usam de forma consciente aquilo que acumularam como alternativa competente para serem sujeitos históricos de seu tempo, o quê emerge uma práxis avaliativa inovadora, a qual não é coerente com o modelo dominate de escola que temos na contemporaneidade, mas que é possível para um projeto educativo cuja base praxiológica é omnilateral. Práxis inovadora e ensino médio integrado: a avaliação no debate local e nacional Quando o movimento sobre o debate da avaliação e dos procedimentos adotados pela educação profissional no Pará começou, ainda em 2011 como ideia e depois em 2012 como processo contínuo de democratização das escolas tecnológica criando uma alternativa para um projeto coletivo a essa modalidade de educação, não tinhamos certezas, mas muitas hipotese sobre fatores que contribuiam para o sucesso ou insucesso. Mas o projeto das DOEP/PA nos permitiu não apenas conhecer, mas aprimorar o que dava certo na REEPTE. Ficou muito evidente, depois de dois encontros de discussão, debates e encaminhamentos, que não havia uma identidade na REEPTE e que o projeto educativo era uma junção justa posta que satisfazia momentaneamente interesses específicos. Sendo assim, as escolas que apresentavam o melhor modelo avaliativo eram as mais novas, ou seja, as que tinham menos tempo de atuação e que suas equipes não haviam assumidos vícios do sistema público precarizado. No processo conseguimos perceber que estas escolas (E8 e E10) apresentavam um panorama mais institucional porque seus PPP e planos de curso tinham maior uniformidade e, portanto, eram mais coerentes não apenas com os documentos da política nacional, mas sobretudo da área tecnológica a qual representavam, logo o processo formativo promovia o dialogo mais efetivo entre educação e trabalho, de tal forma que na perspectiva do decreto 5154/04 elas tinham plena referencia, logo a avaliação adotada por essas escolas acompanhava o ritmo e princípio dos documentos publicados pelo MEC e Conselhos Estadual e Nacional de Educação, bem como os Conselhos Específicos de área (CEA). Já no caso das outras escolas (E1 e E3) elas atendiam bem ao CEA, mas ignoravam os documentos estruturantes da política nacional e estadual de educação básica e profissional. Nesta direção falhavam porque acreditavam que o importante era apenas formar para o trabalho, logo dicotomozavam a formação técnica e condicionavam a instrumentação o processo formativo que ora desenvolviam. Não podemos negar que os relatórios, premios e resultados em seleção nas universidades e em postos de trabalho mostravam que as escolas E1 e E3 tinham um bom perfil instrumental. Contudo, se a seleção mudasse o padrão, considerando outros aspectos que não os técnicos instrumentais esses alunos não teriam o mesmo desempenho. 486 Experiência Inovadora na Avaliação no Ensino Médio Integrado no Pará […] o ensino médio integrado à educação profissional, enfatizando a educação científica e humanística, por meio da articulação entre formação geral e educação profissional, considerando a realidade concreta no contexto dos arranjos produtivos e das vocações sociais, culturais e econômicas locais e regionais […] (Brasil, 2007, p. 04). Partindo do pressuposto de que a formação no Ensino Médio Integrado28 é plena e, portanto, considera não apenas a educação científica, mas também humanística. Desta forma, entre as experiências inovadoras apresentadas nas sessões do grupo focal estava o uso de práticas de teatro, da iniciação à pesquisa, a autoavaliação e o portifólio, além da articulação interdisciplinar do trabalho docente, o qual ao invés de solicitar várias provas e/ou trabalhos isolados constituia-se em ações avaliativas conjuntas de professores de diferentes disciplinas, os quais usavam a pedagogia de projetos como referência instrumental e por dentro deles seguiam o PPP da escola e os planos de curso. O ponto de partida dessas experiências inovadoras era o princípio educativo cunhado na formação integral, cuja base teórica está na omnilateralidade. Assim, a avaliação não era vista como fim no Ensino Médio Integrado e sim como elemento contínuo do processo. Para tanto, os professores estabeleciam como as etapas deveriam ocorrer, bem como os alunos deveriam desempenhar seus papéis para atingirem as competências profissionais de cada curso previsto nos planos (Araújo, 2013). Diferente de E1 e E3 que não adotavam práticas diferenciadas em seu processo formativo as escolas E8 e E10 garantiam não apenas a permanência e aprendizagem dos alunos, mas um nível de satisfação e envolvimento com a escola muito mais efetivo, de tal maneira que nessas duas últimas os alunos tinham disposição para ficar além do horário ora previsto para o desenvolvimento de práticas educativas regulares. Logo, os projetos apontaram caminhos de novas ações que promoviam a cultura como fator transversal e integrador permanente, não apenas do curso, mas de vários eixos tecnológicos29. Com destaque também à integração de professores que no permanente diálogo fortaleciam a proposta e a praxis educativa da escola. O conjunto de ações relatado no grupo focal deixou claro que as escolas que os adotavam tinham um desempenho mais identitário e convergente com a ideia de escola unitária. Sendo assim, a avaliação era observada, registrada e verificada. Logo os professores tinham seus instrumentos (fichas de acompanhamento individual, ficha de competências e/ou exigências para o trabalho específico, Portifólio e testes de conhecimento), os diversos instrumentos eram usados em momentos específicos do planejamento, sempre na perspectiva de atender a proposta prevista no plano de curso e/ou no PPP da escola. Ao revelar tais posturas adotadas em algumas escolas da REEPTE/PA os profissionais permitiram perceber que não basta discursar sobre a inovação, é preciso assumi-la como referência praxiológica, portanto adotando-a no planejamento em qualquer uma de suas instâncias, mas, sobretudo, tendo clareza dos conceitos que envolvem essa decisão que não é apenas pedagógica e sim política, portanto atitudinal (Freire, 1996; Frigotto, 1996). 28 29 Definido pelo Decreto 5154/04. Agrupamento estruturante por campo profissional (cf. Brasil, 2012). 487 A Avaliação Formativa, não é mera consequência, mas essência a ser perseguida no processo permanente de formação capaz de levar o educando a desenvover habilidades e competências que favoreçam sua profissionalização, unindo fundamentalmente os conceitos de educação e trabalho como bases indissociáveis e, portanto, antológicas na formação profissional (Saviani, 2007). O mais relevante, contudo, é que a perspectiva de avaliação adotada pelas escolas E8 e E10 servira de referência ao debate, bem como base aos encaminhamentos da nova maneira de conceber e desenvolver a avaliação na REEPTE. O que levou a SEDUC/PA apresentar uma proposta com orientações chave para o processo avaliativo, não era, porém uma obrigação, mas um caminho identitário em conformidade com a política nacional de Educação Profissional. Diretrizes operacionais para avaliação na rede de Educação Professional e Tecnológica: entre concecpções e práticas Ao discutir as diretrizes operacionais, como já dissemos anteriormente o GTAV trabalho sob três indicadores: percursos formativos, apropriação do conhecimento e integração. Sendo assim, as propostas que pretendiam, sobretudo, garantir o direito da permanência dos alunos com sucesso no processo de ensino-aprendizagem contribuindo com a profissionalização e ao mesmo tempo à formação cidadã. […] As EETEPAS deverão prevê em seus Planos de Cursos a realização de trabalhos acadêmicos, em sala e extra-sala de aula, com o objetivo de desenvolvimento da criticidade, da produção do conhecimento e da apropriação de conceitos e processos que se relacionam diretamente à práxis profissional de seu curso e eixo tecnológico, garantindo a concretização do perfil formativo, elencado na Proposta Político Pedagógica, detalhado em cada Plano de Curso. (Santos, Cardoso, Góes, 2013, p. 03 - Grifo nosso) Os autores mostram que a preocupação com a profissionalização precisa articular-se com trabalhos que em seu percurso constutivo já exigem um nível de apropriação e criticidade aplicada. Sendoa assim, a atividade não é uma mera execução pedagógica, mas um espaço contínuo da práxis educativa que desafia o educando, na medida em que o organiza a se ver no contexto real seja ele do trabalho ou social. Nesta direção, a avaliação diagnóstica funciona na caracterização do educando e na construção de desafios que daí em diante possibilitasse mediações emergidas do debate entre seus pares e com os professores nas diversas disciplinas. Sendo, portanto, um ponto chave de encontro e difusão reflexiva, na medida em que os envolvem torna o processo educativo mais claro e significativo. Procurando apontar os caminhos de forma cada vez maiss clara o documento síntese do GTAV define e exemplifica o que seria o Trabalho Acadêmico, assim definido como Qualquer atividade com intuito de promover o Ensino-aprendizagem do curso, por meio das disciplinas e/ou projetos que deem materialidade aos objetivos do curso, os quais podem se apresentar nos seguintes formatos: Seminário, Resenha, Estudo de Caso, Workshop, Artigos Acadêmicos, Fichamentos, Portfólios, Testes de Conhecimento e outras formas pactuadas junto à gestão da escola em seus fóruns deliberativos (Conselho Escolar ou de Classe). (Idem, Idem, p. 04) 488 A partir do exposto o grupo de trabalho legitima à REEPTE medidas exitosas já adotadas por algumas escolas de forma isolada e que agora poderão ser iniciativa da rede. Assim aponta também como medida à apropriação do conhecimento que as […] situação da aprendizagem em que se encontra o aluno poderá ser feita, observando a formação integral […] perpassam pelo desenvolvimento de habilidades Básicas e Específicas (remetidas a cada curso – Aspecto Cognitivo), bem como sua postura e/ou relações (Aspecto Social), tangenciadas em suas atitudes interpessoais (Aspecto Afetivo-emotivo). De tal forma a contribuir com a formação plena do sujeito, mediada pela ciência, cultura, tecnologia e criticidade, de tal maneira a torná-lo um profissional pleno. (Ibidem, Ibidem, p. 04) Percebe-se, portanto, que o ato avaliativo deverá considerá um conjunto de aspecto que ajudam a acompanhar o desenvolvimento do educando e sobretdo apontando um caminho avaliativo compartilhado, entre aluno e professores. Pois além da autoavaliação (realizada especificamente pelo aluno) há a avaliação compartilhada, onde os professores, após definirem o projeto a ser desenvolvido estabelecem as competências a serem alcançadas com o mesmo. O percurso formativo torna-se então integrador, na medida em que as ações desenvolvidas em cada projeto realizado em grupo há criterização individual e coletiva, bem como habilidades e competências que vão se formando no cotidiano do curso com o foco na sociedade, na articulação entre educação e mundo do trabalho. Sendo assim, critérios como: Frequência; Participação; e Próatividade (iniciativa) são elementos observado e analisados com muita coerência, uma vez que passam a ser fatores das relações do trabalho aplicado. Desta forma, o aluno toma consciência que as exigências não são coisas dos adultos para os adolescentes, mas de corresponsabilidade na formação de sujeitos históricos e sociais. Por fim, um último diferencial a institucionalização “[…] da Avaliação Semestral de Aprendizagem Profissional (ASAP) ao final de cada fase, procurando atender as expectativas de aprendizagem previstas para a fase, adequando-as à forma de oferta da Educação Profissional.” (Ibidem, Ibidem, p. 05). Essa diretriz acaba por ser um caminho interessante porque seu ideal é consolidar os registros avaliativos feitos ao longo do semestre de tal forma a apresentar um parecer aos professores do semestre seguinte como os alunos se encontram, desenhando assim um mapas de limites e possibilidades da formação até então atingida. O debate acerca do mundo do trabalho pode assim potencializar educação e trabalho de forma dialética, articulando os dois num fazer educativo integrado (Araújo, 2013). A integração do conhecimento combate a reprovação e o insucesso escolar. Considerações Finais A avaliação da aprendizagem na perspectiva formativa torna-se significativa na medida em que articula ciência, cultura, tecnologia e vida social, uma vez que a partir de um processo formativo emancipatório amplia a compreensão do estudante frente ao mundo contemporâneo. 489 O texto mostra que educação e trabalho caminham junto e que a experiência integradora envolve, mobiliza e promove o interesse mais presente do educando em seu processo formativo. Neste sentido a avaliação da aprendizagem deixa o estereótipo do “bicho-papão” apregoado pela avaliação classificatória e abre caminho a apropriação de novas concepções e processo que no interior das escolas fazem da educação profissional no Pará um caminho revelador de jovens de sucesso, capazes de enfrentar os desafios e a complexidade da ciência e tecnologia que se apresenta a eles cotidianamente. O resultado do movimento que constitui o GTAV fez com que experiencias isoladas passassem a ser integradoras ao mesmo tempo em que se ampliou, também se fortaleceu de forma institucional. Sendo assim, a apropriação do da Avaliação Formativa e das matrizes que a constituem permite as escolas da REEPT/PA aprofundar conhecimentos com solidez e concreticidade, combatendo assim, o distanciamento entre professores e alunos, ensino e aprendizagem. Na medida em que os aproxima torna possível uma escola significativa, contextual e necessária. Referências Araujo, R. M. L. Práticas Pedagógicas e Ensino Integrado. Goiânia-GO: ANPEd. (36ª Reunião Nacional da ANPEd – 29 de setembro a 02 de outubro de 2013). Brasil. (2004). Decreto Lei 5.154/04: Reestruturação da Educação Profissional. Brasília/DF: CNE/CEB. _________. (2007). Educação Profissional Técnica de Nível Médio Integrada Ao Ensino Médio. Brasília/DF: SETEC/MEC. _________. (2007). Decreto 6302/07: Cria o Programa Brasil Profissionalizado. Brasília/DF: CNE/CEB. _________. (2012). Resolução 06/12: Diretrizes Curriculares Nacionais da Educação Profissional. Brasília/DF: CNE/CEB. Cardoso, V.; Silva, E. S.; Góes, J. (Orgs.) et all (2013). Diretrizes Operacionais Para Avaliação na Rede de Educação Profissional E Tecnológica No Pará. Belém/PA: GTAV/COEP – SEDUC/PA. (relatório do GTAV – DOEP/PA) Gomes, S. S. (2011). Projeto: Reformulação da Proposta Curricular da Rede de Escolas de Educação Profissional e Tecnológica do Estado do Pará. Belém/PA: COEP/SEDUC/PA. Krueger, R. A. (1988). Focus Group: A Practical Guide for Applied Research. Sage, California. Luckesi, C. C. (1992). Planejamento e Avaliação na Escola: articulação e necessária determinação ideológica. In: Avaliação da Aprendizagem Escolar. São Paulo: Cortez. Placco, V. M. N. de S.; Ameida, L. R. de. (2008). O Coordenador Pedagógico e os Desafios da Educação. São Paulo: Ed. Loyola. Saviani, D. (2007). Trabalho e Educação: Fundamentos Ontológicos e Históricos. Rio de Janeiro/RJ: RBE. (Revista Brasileira de Educação v. 12 n. 34 jan./abr – pp. 152 - 165). Vasconcellos, C. (2006). Coordenação do Trabalho Pedagógico: do Projeto Político-Pedagógico ao Cotidiano da Sala de Aula. São Paulo: Libertard. (16ª ed.) 490 Vigoskii, L. S. (1996). Obras escogidas: psicología infantil. Madri, Visor Dist. (Tomo IV. Trad. Lydia Kuper). 491 O USO DA FOTOGRAFIA COMO FERRAMENTA DE ENSINO E APRENDIZAGEM: UMA ABORDAGEM E AVALIAÇÃO INOVADORAS (ID 198) HARACEMIV, Sonia, Universidade Federal do Pará (BR) LIVISKI, Izabel, Universidade Federal do Pará (BR) CORRÊA, Vanisse, Universidade Federal do Pará (BR) RESUMO A nossa proposta do uso da fotografia como uma ferramenta diferenciada de ensinoaprendizagem, não se restringe a uma área específica do conhecimento, mas é uma tecnologia que pode ser utilizada em todas as áreas de ensino, assim como a avaliação inovadora a ela associada. No contexto das tecnologias educacionais, a fotografia e o uso da imagem se constituem em uma excelente ferramenta de aprendizagem. Alguns autores têm apontado a importância do ensino das artes visuais no processo pedagógico como responsável pela ampliação do mundo expressivo, cognitivo e perceptivo do estudante e a leitura de imagens nesse processo desenvolve a habilidade de ver, julgar e interpretar uma imagem dentro de seu contexto histórico, social, político e cultural (Paula, 2010). Assim, a prática da fotografia envolve um conjunto de atividades com o intuito de mudar o foco do simples “olhar” para o realmente “ver”, permitindo criar abordagens inovadoras dos conteúdos de cada disciplina, acompanhada da atividade de aprender a ler essas imagens. Como suporte para o entendimento da imagem e da perspectiva que se buscava foi proposta a leitura da obra “A câmara clara” de Roland Barthes (1984). O que se pretendia era fazer fotografias com uma totalidade de mente e coração, técnica e sensibilidade, a partir de um olhar muito aberto e atento à sua realidade, fotografias com “alma”, humanizadas pelo olhar do fotógrafo e observador da realidade. As câmeras utilizadas foram as digitais, acompanhando a evolução tecnológica, e o conceito norteador na concepção das fotografias foi a perspectiva apontada por Barthes (1984). Nesse sentido, foram realizadas experiências pedagógicas em nossa cidade (Curitiba-Pr.) no Brasil, com a participação de 20 professores de escolas públicas para o que se denominou de “alfabetização visual” em um curso oferecido gratuitamente no total de 40 horas, nas dependências da Universidade Federal do Paraná. Nesse curso, os professores tomaram contato com a teoria e a prática da fotografia, e também com a leitura de imagens seguindo a metodologia triangular proposta por Ana Mae Barbosa (2007), que articula a produção, a leitura e a contextualização das imagens. Os encontros incluíam a saída a campo nas ruas e praças da cidade, a fim de testar esse “outro olhar”, buscando ao mesmo tempo ampliar e ressignificar novas perspectivas para o uso das imagens. Em um segundo momento, os professores voltaram às suas escolas e utilizaram esses conhecimentos junto aos seus alunos. Nesta prática, o tema adotado foi a relação entre sociedade e natureza, e a fotografia foi utilizada como uma nova forma de refletir sobre essa questão no contexto de suas disciplinas específicas. Para a avaliação do trabalho, foram produzidos portfólios de cada professor e seus estudantes, resultando em uma exposição itinerante dentro do circuito escolar. Essa experiência também foi inovadora, no sentido de que em conjunto, professores e estudantes fizeram suas avaliações e ‘leituras’ pessoais do processo de realização do trabalho e dos seus resultados. Seguindo a concepção de Freire (1989) “de que a afirmação ‘quem sabe, ensina a quem não sabe’ se recupere de seu caráter autoritário, é preciso que quem sabe, saiba sobretudo 492 que ninguém ache tudo e que ninguém tudo ignora. O educador, como quem sabe, precisa reconhecer, primeiro, nos educandos em processo de saber mais, os sujeitos, com ele, deste processo e não pacientes acomodados; segundo, reconhecer que o conhecimento não é um dado aí, algo imobilizado, concluído, terminado, a ser transferido por quem o adquiriu a quem ainda não o possui.” Dentro dessa proposta, professores e alunos interagiram em todas as etapas, e as imagens e narrativas que constituem este trabalho formam um rico material, onde os deslocamentos do “olhar” e do “ver” estão sempre presentes. 493 MÉTHODOLOGIES ET OUTILS POUR L’ANALYSE VIDÉO DE PRATIQUES D’ÉVALUATION FORMATIVE EN CLASSE. UN PROJET DE RECHERCHE INTERNATIONAL (ID 199) VANNINI, Ira, Università di Bologna (IT) JEANNIN, Laurent, Université de Cergy-Pontoise – Paris (FR) SALVIESBERG, Miriam, SUPSI – Locarno (CH) SBARAGLI, Silvia, SUPSI – Locarno (CH) RÉSUMÉ Cadre théorique Selon des recherches internationales (OSCE/OCDE, 2012; 2015; Eurydice, 2012), la crise dans l’enseignement des mathématiques est très diffus, en particulier dans l’école secondaire. Parmi les variables qui affectent les résultats des étudiants, un bon enseignement (Fenstermarcher, Richardson, 2005) est essentiel. En effet, de nombreuses études montrent que l’utilisation de plusieurs méthodes d’enseignement a un impact considérable sur la réussite des étudiants (Kane et al., 2011; Hattie & Anderman, 2013). Dans la perspective de multiplier les techniques d’enseignement, l’approche par l’évaluation formative et le feedback a été choisie (Hattie & Tymperley, 2007; Hattie, 2009; 2012). L’évaluation formative - qui surveille, réglemente, soutient et promeut le processus d’apprentissage de chaque élève - est la stratégie clé (Bloom, 1968; Black & Wiliam, 1998; Weeden et al., 2002; Guskey et al., 2005) pour assurer de bonnes compétences pour les étudiants, selon les principes de qualité et d’égalité (Crahay, 2013). Par conséquent, afin d’établir un diagnostique exhaustif des pratiques dans le but de proposer la formation la plus adaptée, le consortium de chercheurs questionnent les pratiques des enseignants dans leur pays et leurs contextes. La méthode utilisée est en trois étapes -1) analyse des croyances, représentations et sens commun, - 2) analyse des comportements en situation réelle -3) parcours de formation adaptée et analyse de son influence. Cette méthode a pour objectif de connaître en détail les croyances, représentations et les pratiques des enseignants à propos de l’évaluation des apprentissages afin de comprendre leurs besoins formatifs spécifiques et de concevoir des interventions adéquates de formation en service en conservant la reproductibilité de la méthode tout en prenant en compte l’aspect culturel de chaque pays engagé. En particulier, pour ce qui concerne les pratiques d’évaluations, l’observation en classe, et surtout l’utilisation de l’enregistrement vidéo (Casabianca et al., 2013), est un moyen efficace pour analyser ces pratiques de classe et pour localiser les difficultés dans la mise en œuvre des pratiques de l’évaluation formative. De même, la recherche montre l’importance de l’analyse vidéo comme un outil pour la formation des enseignants (Meyer, 2012; Ertmer, Conklin, Lewandowski, 2002) dans le but de servir de médiateur entre la réflexivité et la pratique (Rossi et al, 2015). 494 Questions et objectifs de la recherche L’objectif principal du Projet FAMT&L est de promouvoir l’utilisation de l’évaluation formative dans la salle de classe, en particulier dans l’enseignement des mathématiques, avec des élèves âgés de 11 à 16 ans. Le cadre théorique souligne l’importance des enquêtes et des études basées sur les observations en situation réelle de classe pour comprendre ce qui fonde les gestes professionnels et situation et leur régulations en fonction des événements de classe, afin de concevoir des interventions efficaces pour la formation des enseignants. La principale question de recherche est : comment les enseignants de mathématiques pensent et agissent dans des situations d’évaluation dans la salle de classe ? Quant aux croyances sur l’évaluations, nous avons développé une enquête sur les attitudes des enseignants et des étudiants que nous ne traiterons pas ici (voir Michael-Chrysanthou, Gagatsis, Vannini, , Jeannin 2014). D’autre coté, pour ce qui concerne l’observation des pratiques d’évaluation en classe, le but de cette communication est d’analyser combien et comment les pratiques d’évaluation en classe diffèrent des lignes directrices théoriques et méthodologiques de la recherche en éducation. Grâce à la vidéo-analyse, et avec l’utilisation d’une grille d’observation, nous soulignons comment les enseignants: - recueillent des informations sur le processus d’apprentissage des élèves; - corrigent les erreurs des étudiants; - utilisent les évaluations pour appuyer l’apprentissage avec le feedback. Méthodologie et instruments Nous avons effectué une recherche basée à partir d’une matrice d’indicateurs permettant d’indexer suivant plusieurs axes des événements en situation de classe à partir d’enregistrement numérique. Au cours de la première phase (étude exploratoire), nous avons mené des études de cas, avec l’aide de vidéo, au but d’expérimenter et valider l’outil d’observation (une grille d’analyse structurée). Dans la deuxième phase, actuellement en cours, nous réalisons des observations systématiques sur un plus grand échantillon de séquences vidéo des enseignants dans les cinq pays du projet (Chypre, France, Hollande, Italie, Suisse). D’un point de vue écologique (Bronfenbrenner, 1979), cette grille structurée permet de rassembler les différents indicateurs permettant aux chercheurs de reconstruire les pratiques d’évaluation des professeurs de mathématiques, regroupés en cinq macro-catégories: - les contenus de mathématiques (contenus et capacités, objet de l’apprentissage); - les moments de l’évaluation (avant, pendant ou après une activité spécifique d’apprentissage); - la disposition de la salle de classe pendant l’évaluation (avec tous les élèves de la classe ou avec des groupes d’élèves ou avec chaque élève); - typologie d’outil pour la collecte de données sur les compétences des élèves (écrite, orale, observation comportementale, ...); 495 - les phases de l’évaluation formative (présentation de l’activité d’évaluation; collecte de l’information; correction des erreurs; rétroaction avec de «formative feedback»). Les analyses statistiques descriptives et de corrélation permettent de définir les profils de pratiques d’évaluation en classe. Résultats de la recherché La recherche de corrélations entre les croyances des enseignants et la première phase de la recherche observationnelle sont achevée. Les résultats ont permis de comprendre quelles sont les représentations des enseignants sur l’évaluation formative en situation de pratique en classe. Ils montrent une attitude envers l’utilisation des pratiques traditionnelles de l’évaluation sommative et une difficulté à percevoir l’évaluation formative comme un outil utile pour améliorer l’enseignement et l’apprentissage. Les difficultés à concevoir l’efficacité de l’évaluation formative ont également été trouvés lorsque nous avons analysés les vidéos des premiers cas et croisés nos résultats entre pays. Beaucoup d’observations naturel des professeurs de mathématiques en classe, analysée à travers des vidéos, montrent une utilisation de l’évaluation: • spécifiquement destinée à l’évaluation sommative, afin de donner des notes; • peu analytique et avec peu des critères; les cas observés en milieu naturel montrent que les enseignants n’utilisent pas ou très peu des critères pour récolter les informations et détecter les difficultés sur les apprentissages des élèves. Les premiers résultats, mis en évidence par l’observation systématique des vidéos, nous permettent de comprendre certaines caractéristiques des pratiques d’évaluation formative et de concevoir des interventions spécifiques pour la formation des enseignants. L’analyse systématique des vidéos avec les enseignants dans la formation peut solliciter la pensée réflexive et critique chez les enseignants eux-mêmes et sur leurs pratiques d’évaluation et donc être un outil efficace pour favoriser leur développement professionnel. En conclusion, nous retenons que la construction et l’utilisation de la grille d’analyse des vidéos permet la collecte d’informations sur les pratiques d’évaluation nécessaire à la mise en œuvre d’un plan de formation adapté. De plus, ce travail contribue à l’archivage et à la catégorisation de séquences vidéo qui peuvent être utilisés efficacement dans les futurs plans de formation comme catalogue de gestes professionnels. Apports et perspectives Les enseignants en service peuvent notamment bénéficier des résultats de la recherche en participant à des stages de perfectionnement en utilisant l’analyse de vidéos. En effet, à la fin de la recherche observationnelle, et ce, sur un échantillon vaste et international, nous aurons un répertoire vidéo de gestes professionnels disponibles via Internet, utile pour à la fois continuer à récolter et comparer des pratiques d’évaluation et mettre en œuvre des plans de formation spécifiques aux développements des compétences des enseignants : • pour les enseignants experts; 496 • parcours "formels", où les enseignants sont guidés en utilisant la vidéo; • parcours dans lesquels les enseignants peuvent décider d’être filmé pour activer un processus de réflexion critique sur leurs méthodes d’enseignement et d’évaluation. Quoi qu’il en soit, afin d’améliorer leur professionnalisme, chaque plan de formation des enseignants sera basé sur les modalités d’alternance (Vanhulle et al., 2007; Rossi, 2015), afin de promouvoir la relation récursive entre la théorie et les pratiques et encourager la pensée réflexive chez les praticiens. Références Black, P. & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education, 5 (1), 7-74. Bloom, B. S. (1968). Learning for mastery. Evaluation Comment, 1 (2), 1-12. Casabianca, J. M., McCaffrey, D. F., Gitomer, D. H., Bell, C. A., Hamre, B. K., & Pianta, R. C. (2013). Effect of observation mode on measures of secondary mathematics teaching. Educational and Psychological Measurement, 73 (5), 757-783. Crahay, M., & Issaieva, E. (2013). Conceptions de l’évaluation et principes de justice chez des enseignants primaires en Fédération Wallonie-Bruxelles. Actes du colloque ADMEE 2013, Fribourg. Consulté en septembre 2015 dans:http://www.admee2013.ch/ADMEE-2013/7_files/CrahayIssaieva-Marbaise-ADMEE-2013.pdf Ertmer, P.A., Conklin, D., & Lewandowski, J. (2002). Using exemplary models to increase preservice teachers’ ideas and confidence for technology integration. Consulté en septembre 2015 dans: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.585.195&rep=rep1&type=pdf Eurydice (2012). Developing key competences at school in Europe: Challenges and opportunities for Policy. Brussels: Education, Audiovisual and Culture Executive Agency. Consulté le 15 septembre 2015 dans : http://www.indire.it/lucabas/lkmw_file/eurydice/key_competences_finale_EN.pdf . Fenstermacher, D.G. & Richardson, V. (2005). On making determinations of quality in teaching. “Teachers college Record”, 107(1), 186-213. Guskey, T. R. (2005). Formative classroom assessment and Benjamin S. Bloom: Theory, research and implications. Paper presenté au Annual Meeting of the AERA (American Educational Research Association), Montreal, Canada, 2005. Consulté le 15 septembre 2015 dans: http://files.eric.ed.gov/fulltext/ED490412.pdf Hattie, J. (2009). Visible learning. A synthesis of over 800 meta-analysis relating to achievement. London-New York: Routledge. Hattie, J. & Tymperley, H. (2007). The power of feedback. Review of Educational Research, 77 (1), 81-112. Kane, T., Taylor, E. S., Tyler, J. H. & Wooten, A. L. (2011). Identifying effective classroom practices using student achievement data. The Journal of human resources, 46 (3), 587-613. Meyer, F. (2012). Les vidéos d’exemples de pratique pour susciter le changement. Revue internationale de pédagogie de l’enseignement supérieur, 28 (2), 1-19. 497 Michael – Chrysanthou, P., Gagatsis, A. & Vannini, I. (2014). Formative assessment in mathematics: a theoretical model. Acta Didactica Universitatis Comenianae – Mathematics. OECD. (2012). PISA 2012: What Student know and can do. Student performance in mathematics, reading and science. Consulté le 30 septembre 2015 dans: http://www.oecd.org/pisa/keyfindings/pisa-2012-results.htm. OECD (2015). Mathematics performance (PISA) (indicators). Consulté le 30 septembre 2015 dans: https://data.oecd.org/pisa/mathematics-performance-pisa.htm Rossi P.G., Fedeli, L., Biondi, S., Magnoler, P., Bramucci, A. & Lancioni, C. (2015), The use of video recorded classes to develop teacher professionalism: the experimentation of a curriculum. Je-LKS – Journal of e-Learning and Knowledge Society, 11 (2), 111-127. Weeden, P., Winter, J. & Broadfoot, P. (2002). Assessment. What’s in it for schools. London: Routledge. Trad. It. Scalera, V. (2009). Valutazione per l’apprendimento nella scuola. Strategie per incrementare la qualità dell’offerta formativa. Trento: Erickson. 498 LE TEST FCI POUR ÉVALUER LES APPRENTISSAGES EN MÉCANIQUE (ID 200) Droui, Mohamed, Faculté des sciences de l’éducation, Mohammed V University (MA) RÉSUMÉ Depuis plus de quarante, les chercheurs en en didactique des sciences étudient la présence des conceptions erronées chez les apprenants. Ces travaux ont mis en évidence que les élèves ne sont pas des tables rases (tabula rasa); ils arrivent en classe avec des idées plus ou moins organisées. Ces idées constituent pour eux un système explicatif, c’est- à dire qu’ils possèdent déjà des explications sur les phénomènes naturels même si ces phénomènes ne leur ont jamais été enseignés (diSessa, 2006; Wandersee et al, 1994 ; Lemmer, 2012). Elles servent comme une plateforme à partir de laquelle les élèves interprètent le monde qui les entoure. Ainsi, il est très important pour les enseignants des sciences de diagnostiquer les conceptions préalables chez les étudiants à propos d’un sujet particulier avant l’apprentissage des nouveaux concepts. En enseignement de la mécanique, on constate fréquemment des conceptions telles qu’un objet, abandonné à lui-même, tend toujours vers le repos ou qu’un objet plus lourd tombe plus rapidement. Ces conceptions pourraient poser chez les élèves de nombreuses difficultés, voire des obstacles, à l’apprentissage des lois de Newton. L’objectif de ce travail est de diagnostiquer, chez des étudiants marocains au niveau préuniversitaire, les conceptions naïves à propos de la force et du mouvement. Cette étude tente également d’évaluer l’apprentissage des deux concepts fondamentaux de la mécanique newtonienne : la force et le mouvement. En prenant en compte les résultats des travaux de recherches menées sur les conceptions naïves en mécanique newtonienne, Hestenes et al. (1992) ont dressé une liste des catégories des conceptions naïves présentes chez les élèves, issues des opinions émises par des élèves lors des entrevues. Cette recension d’un nombre restreint de conceptions préalables a permis la création du questionnaire à choix multiple: le test Force Concept Inventory (FCI). Puisque la disposition de l’une ou de l’autre conception est assez largement répandue, l’analyse des réponses fournies à ce type de questionnaire permet d’identifier les conceptions qu’une population donnée a de la physique newtonienne. Nous utilisons ce test comme outil de diagnostic des conceptions naïves chez nos élèves. L’échantillon de la présente recherche comporte 249 étudiants marocains au niveau préuniversitaire issus de la filière : sciences expérimentales, âgés de 17 ans à 19 ans. Traditionnellement, les recherches en didactique ont tenté d’identifier ces conceptions naïves par des entrevues, par l’analyse de productions écrites des élèves, par l’analyse de séquences vidéo et par la passation de questionnaires ouverts. Ces méthodes plus qualitatives souffrent toutefois de la lourdeur des analyses qui génèrent une abondance de données ce qui limite la représentativité des informations recueillies vu le nombre nécessairement restreints de sujets. Pour remédier à ces difficultés, des questionnaires à choix multiples, permettant de faire des recherches en éducation contrôlées à grande échelle, ont été conçus. Nous utiliserons comme instrument de mesure un test largement diffusé dans l’enseignement de la physique aux États-Unis, le test Force Concept Inventory (FCI) développé par Hestenes et al(1992). 499 Il constitue, à l’heure actuelle, un des outils les plus utilisés pour évaluer la compréhension par les élèves des concepts de base de la mécanique newtonienne dans les cours de physique. Selon ces auteurs, il est possible d’utiliser ce test comme outil de diagnostic pour identifier et classer des conceptions préalables aussi bien qu'un instrument pour évaluer l'apprentissage de la mécanique classique. Le test est considéré comme un bon indicateur pour jauger le degré de compréhension chez les élèves des concepts de base de la mécanique newtonienne (Hestenes et al., 1992). Le score d’un élève au test FCI est considéré par les auteurs comme une mesure de sa compréhension qualitative de la mécanique. Les auteurs indiquent qu'un score inférieur à 60 %, signifie qu'un élève n'a pas effectué la transition vers la pensée dans le paradigme newtonien, tandis qu'un score de 85 % signifie que l'élève est un penseur newtonien. Les auteurs suggèrent qu'un score de 60 % au test FCI constitue un seuil conceptuel pour développer une résolution efficace de problèmes en physique. Dans sa version révisée par Halloun et al. (1995), le test FCI est composé de 30 questions à choix multiples qui permettent de voir si les élèves sont capables de distinguer une réponse newtonienne correcte des réponses issues du sens commun (common sense beliefs). Le test contient les questions conceptuelles traitant six catégories : la cinématique, les trois lois de Newton, le principe de superposition et les types de forces. Pour évaluer la compréhension conceptuelle des notions de la force et du mouvement, nous avons analysé et comparé les scores obtenus au test FCI. Nous présentons tout d’abord les résultats globaux. Ensuite, nous analysons les résultats dimension par dimension puis question par question. Les résultats indiquent que le score moyen enregistré pour le test FCI est environ de 25 %. Le résultat reste très loin des attentes si on considère qu'un score de 60 % est un seuil minimal pour comprendre la pensée newtonienne. Cela signifie qu’une grande majorité des élèves n'a pas atteint le niveau de penseur newtonien. Ce résultat est en accord avec la recherche menée par Hestenes et al (1992). Le score global du test dans leur étude au niveau secondaire et au niveau collégial a changé entre 34% et 52%. Les résultats de cette recherche ont révélé que les participants tiennent très fermement les conceptions naïves relatives à l'impetus, aux paires des actions et réactions et à propos de la " force active". Références diSessa, A. A. (1982diSessa, A. A. (2006). A history of conceptual change research: Threads and fault lines. In R. K. Sawyer (Ed.), Cambridge Handbook of the Learning Sciences (pp. 265-281). Cambridge, UK: Cambridge University Pres. Halloun, I.A. Hestenes, D. (1985). Common sense concepts about motion. American. Journal of Physics, 53, 1056–1065. Halloun, R. R. Hake, E. P. Mosca, and D. Hestenes. (1995). Force Concept Inventory, http://modeling.asu.edu/R&E/Research.html (password protected), revised 1995. Hestenes, D., Wells, M. Swackhamer, G. (1992). Force concept inventory. The Physics Teacher, 30(3), 141–158. 500 Lemmer, M. (2012). Nature, Cause and Effect of Students’ Intuitive Conceptions Regarding Changes in Velocity, International Journal of Science Education, DOI:10.1080/09500693.2011.647110 Wandersee, J. H., Mintzes, J. J., & Novak, J. D. (1994), Research on alternative conceptions in science, dans Handbook of research on science teaching and learning sous la direction de D. L. Gabel, New York, Macmillan, 1994, pp. 177-210. 501 VERS UN MODÈLE D’ANALYSE DU POTENTIEL DE SOUTIEN À L’AUTORÉGULATION DES APPRENTISSAGES DE DISPOSITIFS D’ASSESSMENT FOR LEARNING: EXEMPLES D’APPLICATIONS DANS UN PROJET D’AIDE À LA RÉUSSITE EN 1ER BACHELIER À L’UNIVERSITÉ DE LIÈGE (ID 201) LEDUC, Laurent, IFRES - Université de Liège (BE) MOHR, Audrey, IFRES - Université de Liège (BE) MARICHAL, Eléonore, Université de Liège (BE) DUCHÂTEAU, Dominique, Université de Liège (BE) RÉSUMÉ La présente communication s’articule autour des présentations de deux applications à visées différentes, dans le cadre d’un projet d’aide à la réussite mis en œuvre dans des cours de 1ère année de trois facultés à l’Université de Liège, d’un outil développé pour questionner le potentiel de soutien à l’autorégulation des apprentissages d’activités pédagogiques associées aux pratiques de l’Assessment for Learning. Fruit d’une collaboration entre le Centre de Didactique Supérieure (CDS) de l’Institut de Formation et de Recherche en Enseignement Supérieur (IFRES) et le Service Guide Etude (SGE) de l’Administration de l’Enseignement et des Etudiants à l’Université de Liège (ULg), le projet « Feedbacks 1er Bac » vise à promouvoir et optimiser les pratiques d’enseignement-apprentissage dont celles de feedbacks formatifs - de nature à susciter et soutenir l’autorégulation des étudiants de 1ère année en faculté de Science appliquée, en faculté de Droit, Sciences politiques et Criminologie, et en faculté de Sciences. La qualité des feedbacks formatifs et les pratiques d’évaluation de nature à soutenir l’apprentissage, régulièrement citées aux premiers rangs des clés ou conditions de succès en 1ère année (Tinto, 2005 ; Bovill, Morss & Bullez, 2008) ont donc été choisies comme porte d’entrée thématique d’un dispositif intégré d’accompagnement individuel et collectif des enseignants partenaires à la planification et la mise en œuvre de développements pédagogiques propres à soutenir l’engagement et l’autorégulation des apprenants (Leduc et al., 2014). Au regard des travaux de Nicol (à l’origine de ses 12 principes d’une bonne pratique du feedback et de l’évaluation au service de l’amélioration de la qualité de l’expérience d’apprentissage des étudiants en 1ère année, 2009, 2007, 2006) et de Krausse (2006) soulignant la nécessité pour les étudiants primants d’assumer un rôle actif et une responsabilité accrue dans leurs apprentissages et leur évaluation, la démarche d’accompagnement des enseignants s’est naturellement ancrée dans les théories de l’Assessment for Learning (Black & William, 1998 ; Brown, 2004 ; Stiggins, 2008 ; William, 2011), opérant un changement significatif dans la manière dont l’évaluation des apprentissages est appréhendée en considération notamment de facteurs contextuels. Au terme de trois ans de fonctionnement, un bilan provisoire des outputs du projet permet de dénombrer une trentaine de développements pédagogiques mis en place par les enseignants accompagnés dans les deux facultés de Sciences appliquées (2013-2014) et de Droit, Sciences politiques et Criminologie (2014-2015). En première analyse, cette production se distingue par la diversité des activités introduites dans les cours concernés (tests formatifs divers et simulations 502 d’examens ; devoirs facultatifs ou obligatoire offrant des opportunités de feedbacks ; outils réflexifs et d’autoévaluation ; activités de bilans et de remédiations ; confrontations à des check-lists et exemples de bonnes prestations ; dispositifs en ligne ou hybrides ; modalités particulières de questions-réponses avec l’équipe enseignante ; formules contextualisées de soutien aux méthodes de travail…) et par l’ampleur variable de ces initiatives (ponctuelles, répétées ou continues ; ex nihilo ou modifications de structures existantes ; uni ou pluri-tâches…), l’une et l’autre étant bien sûr fonctions des besoins, priorités et contraintes respectives des titulaires associés. Afin de « donner assez d’espace aux enseignants pour customiser les techniques d’Assessment for Learning en fonction des besoins des étudiants, de la matière et du style d’enseignement » (Thompson & Wiliam, 2008, p. 10), mais également afin de nous permettre de caractériser plus avant les initiatives obtenues au regard de l’objectif initial de soutien à l’autorégulation, nous avons défini, à partir de la littérature sur le sujet et des modèles des Five Key Strategies (Thompson and William, 2008) et du Process of Assessment for Learning (Jones, 2005), six catégories interconnectées de stratégies et techniques associées à l’Assessment for Learning : La communication des objectifs d’apprentissage et attentes de départ (plan de cours et contrat pédagogique) ; La formulation de questions / consignes explicites visant l’obtention d’une performance observable de l’étudiant ; La transmission de référents à l’évaluation (critères, indicateurs, réponses types, marches à suivre dans l’établissement d’une production …) ; Le jugement (la correction) de la performance : allo-évaluation (équipe enseignante ou pairs) ou auto-évaluation ; - L’émission de feedbacks sur la performance de l’étudiant. - La mise en œuvre de modalités de remédiation et l’utilisation de ressources didactiques. Tant pour répondre aux besoins des enseignants de disposer d’une vision panoramique et synthétique des divers types de techniques d’Assessment for Learning que pour y positionner les développements pédagogiques nés du projet et envisager leur potentiel d’autorégulation, nous avons adopté une approche systémique de ces différentes catégories et les avons réorganisées sous la forme d’un continuum distinguant les dimensions processus (méthodes de travail) et produits (disciplinaires) de l’apprentissage, et permettant de cibler les différents modes de régulation rétroactive, proactive et interactive - définis par Allal (1988) en parallèle des trois questions centrales de la définition de l’Assessment for Learning proposée par Broadfoot et al. (2002, pp. 2-3) : « the process of seeking and interpreting evidence for use by learners and their teachers to decide where the learners are in their learning , where they need to go and how best to get there ». Cette communication vise donc, dans un premier temps, à aborder les fondements théoriques de l’outil proposé et à adopter, sur base d’exemples de positionnements d’activités conçues dans le cadre du projet, un point de vue critique tant sur ce corpus que sur la qualité du modèle à en évaluer la portée en termes de soutien à l’autorégulation des étudiants de 1ère année. Au-delà, la communication se penchera, à partir d’exemples provenant d’une seconde application de l’outil à un ensemble cette fois préexistant d’activités pédagogiques également affiliées aux pratiques d’Assessment for Learning dans une troisième Faculté, sur la pertinence de son utilisation comme outil pilote d’évaluation du potentiel de soutien à l’autorégulation de tels 503 dispositifs d’enseignement en vue d’établir, à partir d’un examen de leur amplitude (et donc de leurs limites) sur le continuum, un diagnostic de nature à identifier des aménagements prioritaires pour tendre vers leur régulation optimale. Références Allal, L. (1988). Vers un élargissement de la pédagogie de la maîtrise : processus de regulation interactive, retroactive et proactive. IN M. Huberman (dir.), Assurer la réussite des apprentissages scolaires. Les propositions de la pédagogie de maitrise (88-126); Paris : Dalachaux et Niestlé Black P, Wiliam D. (1998). Assessment and classroom learning. Assessment in education, vol 5, No 1 pp7-73. Bovill, C., Morss, K. and Bulley, C. (2008) Curriculum design for the first year. First year enhancement theme report. Glasgow: QAA (Scotland). Broadfoot, P.M., Daugherty, R., Gardner, J., Harlen, W., James, M., Stobart, G. (2002). Assessment for Learning : 10 principles. Cambridges, UK: University of Cambridge School of Education. Brown, S. (2004)-2005. Assessment for Learning. Learning and Teaching in Higher Education, Issue 1. Jones, C. (2005). Assessment for Learning. Learning and Skills Development Agency, London. Krause, K-L., (2006). On Being Strategic About the First Year, Keynote Address. In Queensland University of Technology First Year Forum, Brisbane. Leduc, L., Mohr, A., Dozot, C., Deum, M., Jaspar, S. (Février 2014). Accompagner des enseignants dans le développement individuel et collectif de pratiques de feedbacks propres à optimiser l’apprentissage des étudiants de 1ère année d’une même Faculté. Lignes de force d’un dispositif mis en œuvre à l’Université de Liège en Sciences appliquées. 26ème Colloque de l’ADMEE-Europe, Marrakech. Nicol, D. & Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning : A model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199-218. Nicol, D. (2007). Principles of good assessment and feedback : theory and practice. From the REAP International Online Conference on Assessment Design for Learner Responsibility, 29th-31st May 2007. Nicol, D. (2009). Assessment for learner self-regulation : Enhancing achievement in the first year using learning technologies. Assessment & Evaluation in Higher Education, 34, 335-352. Sambell, K., McDowell, L. & Montgomery, C. (2013). Assessment for Learning in Higher Education. New York : Routledge. Stiggins, R.J. (2008). Assessment Manifesto: A Call for the Development of Balance Assessment Systems. A position paper published by the ETS Assessment Training Institue, Portland, Oregon. Tinto, V. (1993). Leaving College: Rethinking the Causes and Cures of Student Attrition (second edition), Chicago: University of Chicago Press. Tinto, V (2005) Epilogue: Moving from theory to action, in Seidman, A (ed) College student retention: formula for student success, pp 317-333, Westport: American Council on Education and Praeger Publishers 504 Thompson M, Wiliam D. (2008). Tight but Loose: A Conceptual Framework for Scaling Up School Reforms E. Caroline Wylie, Editor Williams, D. (2011). What is Assessment for Learning? Studies in Educational Evaluation 37, 3-14. 505 AVALIAÇÃO DE IMPACTOS COMO CONTRIBUTO À REFORMATAÇÃO DE POLÍTICAS (ID 202) ARCOVERDE, Ana Cristina Brito, Universidade Federal de Pernambuco, Universidade de Coimbra (BR-PT) Bolsista CAPES, Proc. Nº 99999.002837/2015-3 ALBUQUERQUE, Cristina Maria Pinto, Universidade de Coimbra (PT) Introdução Este artigo tem como objetivo apresentar e defender que a avaliação de impactos pode oferecer contributo importante para a construção e, ou reformatação de políticas, e para a política de educação, em particular. A Avaliação de impactos oportuniza o levantamento e a produção de conhecimentos sobre a situação dos resultados da educação materializada, portanto, ex-ante, e capta os efeitos da política executada, previstos ou não, produzindo informações ex-post, e sugerindo reformatações ou ajustes de percurso de acordo com a perspectiva de educação desejada e a ser construída. Avaliação de impactos é modalidade de avaliação, que se preocupa e realiza investigação, produz conhecimento sobre os efeitos de uma ação ou política orientada por critérios de qualidade, eficiência, eficácia e, ou efetividade. Entende-se por impacto o resultado direto dos efeitos da ação, que pode ser tanto físico, quanto subjetivo, como imaterial. “O impacto é justamente o resultado dos efeitos observados em um programa, projeto ou política junto à população usufrutuária, utente, ou mais amplamente junto à sociedade”. (ARCOVERDE, 2011, p. 36). A matriz teórica a subsidiar a avaliação de impactos, supera as matrizes positivista e fenomenológica, e considera a totalidade da realidade a ser conhecida, e sua historicidade como categorias imprescindíveis para a avaliação 360 graus de políticas; leva em conta, sobretudo, o contexto do qual a política emerge e no qual as políticas são desenvolvidas; entende a política com caráter contraditório, e provocador de mudanças, por conta justamente da diversidade de sujeitos e interesses nela envolvidos. As políticas, e a de educação em especial, não constituem apenas a intervenção do Estado, ou seja: não se restringem ao Estado em ação, há que se considerar a correlação de forças e os interesses em presença no processo de sua produção, em suas temporalidades particulares, portanto são construídas sob diferentes olhares e variadas perspectivas teóricas. As perspectivas teóricas, conforme Gadotti, “indicam uma certa direção ou, pelo menos, um horizonte em direção ao qual se caminha ou se pode caminhar. Elas designam "expectativas" e anseios que podem ser captados, capturados, sistematizados e colocados em evidência” (2000, p.2). Torna-se, portanto, imprescindível realizar avaliação dos impactos das políticas até então desenvolvidas para imprimir novos horizontes à educação transformadora. Múltiplos olhares e diferentes perspectivas de educação e de avaliação No caso da educação, existem inúmeras perspectivas teóricas acumuladas ao longo das temporalidades específicas, e dentre elas realçamos a tradicional, nova, internacionalizada, tecnológica, total ou unitária, e a popular. Cada perspectiva tem seus fundamentos e desenvolve ou 506 incorpora modalidade de avaliação como dimensão da política de forma própria e coerente com a perspectiva defendida ou adotada. Assim, a perspectiva tradicional de educação, foi construída na antiguidade, e em meio à sociedade de classes de base escravocrata. Nessa temporalidade específica, a educação era destinada tão somente à uma pequena minoria de privilegiados, e concebida como processo de desenvolvimento individual, sendo avaliada pela capacidade de memorização e rendimento quantitativo e, ou repetitivo que os mestres repassavam em relação ao desempenho pessoal de cada aluno. Não se registram preocupações com a socialização da educação, nem com o processo de avaliação para além do ensino-aprendizado pessoal de cada aluno per si. Apesar de ter “declinado com o movimento renascentista, essa perspectiva sobrevive em meio à extensão média de escolaridade trazida com a educação burguesa”. (Gadotti, 2000, p.3) Outra perspectiva é a de educação nova, e que conforme Gadotti “surge de forma mais clara a partir da obra de Rousseau, desenvolveu-se nos últimos dois séculos e trouxe consigo numerosas conquistas, sobretudo no campo das ciências da educação e das metodologias de ensino. Conforme o autor, o conceito de "aprender fazendo" de John Dewey e as técnicas Freinet são citadas como aquisições definitivas na história da pedagogia”, (2000, p.4). Mas tal como a tradicional possui concepção de educação individualizada, e, consequentemente, avaliada apenas na dimensão pessoal e quantitativa. Com o deslocamento do enfoque individual para o social, político e ideológico nas perspectivas de educação produzidas durante o século XX, a educação se transforma, com diferenciações intra e entre regiões e países, em institucional, permanente e social. Para Gadotti “há ideias universalmente difundidas, e entre elas a de que não há idade para se educar, de que a educação se estende pela vida e que ela não é neutra” (2000, p.3). O que por extensão abre perspectivas para uma avaliação para além do resultado da aprendizagem individual e, logo, para uma aprendizagem mais social e ampla. Uma terceira perspectiva de educação é a internacionalizada que tem em agências internacionais sua defesa e promoção, estabelecendo previamente, além de um modelo de educação nacionalizado, os parâmetros de sua avaliação. Essa perspectiva de educação internacionalizada foi construída com base nas ideias pretéritas de Ferrière, ainda no século XIX, que defendia a disseminação de sistemas nacionais de educação por meio de planos que reduzissem custos e aumentassem os benefícios, eliminando o analfabetismo e universalizando o ensino fundamental, mas também desenvolvendo um sistema de avaliação quantitativa baseada na relação custo-benefício. Essa perspectiva, realça Gadotti (2000), conferiu grande uniformidade aos sistemas de ensino por meio da adoção de uma estrutura básica semelhante, e vigorou até o final do século passado quando o fenômeno da globalização renovou a ideia de uma educação igual para todos, tomando como enquadramento o currículo comum. Educação tecnológica como perspectiva de educação desenvolveu-se em simultâneo com a evolução das novas tecnologias, a comunicação de massa e a difusão do conhecimento, mas ainda não está plenamente materializada no ensino. O destaque dessa modalidade de educação é o ensino e aprendizagem à distância por meio da internet, em expansão nesses anos do século XXI. A linguagem escrita e a cultura do papel convivem com uma nova linguagem a televisiva, a da informática e computacional, e sua cultura digital. A avaliação nessa perspectiva de educação 507 tecnológica é construída a partir do acesso aos e por meios digitais, e centrada, muito mais, no que eles facilitam e, ou proporcionam com mais rapidez a aprendizagem e o ensino não presenciais. Para exemplificar, indicamos o atual sistema de avaliação por testes aplicados aos alunos denominado PISA, utilizado amplamente na OCDE para fins de ranqueamento entre países, e adaptado ao campo educacional (Guimarães, 2014; apud Souza, 2015, p. 85). Sob sua influência temos os sistemas de avaliação SAEB e o ENEM aplicados, atualmente, no Brasil. Alerta, no entanto, Gadotti que “os sistemas educacionais ainda não conseguiram avaliar suficientemente o impacto da comunicação audiovisual e da informática, seja para informar, seja para limitar ou controlar as mentes...Os que defendem a informatização da educação sustentam que é preciso mudar profundamente os métodos de ensino para reservar ao cérebro humano o que lhe é peculiar, ou seja: a capacidade de pensar, em vez de desenvolver a memória” (2002, p.4). O que constitui, ainda, um grande desafio. A perspectiva de educação total ou unitária, mais recentemente defendida, é bastante complexa e considerada por Gadotti ainda pouco consistente. Tem dentre os seus defensores intelectuais, como, Morin, Durand, e Castoriadis, que, partindo da crítica à razão produtivista e da racionalização modernas, propõem uma lógica do vivente, e uma pedagogia da unidade dos contrários levando em conta a cultura contemporânea, como um sinal dos tempos, e em busca de uma direção de futuro. Sustentam, cada autor à sua maneira, “um princípio unificador do saber, do conhecimento em torno do ser humano, valorizando o cotidiano, o vivido, o pessoal, a singularidade, o entorno, o acaso e outras categorias, como: decisão, projeto, ruído, ambiguidade, finitude, escolha, síntese, vínculo e totalidade”, (Gadotti, 2002, p.5). Apostam na utopia para resgatar a totalidade do real, então, perdida, restaurando a totalidade do sujeito, valorizando suas iniciativa e criatividade, o plano micro, a complementaridade, a convergência e a complexidade da vida. Essas não são ideias novas permeando perspectivas de educação, reafirma aquele autor, e até se aproximam das ideias defendias por intelectuais do passado, mas, sobretudo, do presente como é o caso do educador Paulo Feire, que se utiliza de categorias como o sentido do outro e a curiosidade, também presentes na perspectiva de educação total ou unitária. Essa perspectiva de educação, no entanto, não tem experiências desenvolvidas, nem resultados concretos, e permanece muito mais no plano teórico e no das ideias, sem ainda ter desenvolvido uma modalidade ou realizado avaliação. E nesse caso, pode ser considerada, à luz de Gadotti, como “necessariamente reducionista”, (2002, p.5). Finalmente, na perspectiva de educação popular, criada por Paulo Freire nos anos sessenta do século XX, a conscientização é sua categoria fundante, acrescida da categoria organização, que emergiu das práticas e das reflexões sobre a prática. É que, afirma Gadotti, “não basta estar consciente é preciso organizar-se para poder transformar” (2002, p.5). Os seus seguidores desenvolveram essa perspectiva em duas direções: no espaço público governamental e no espaço não governamental. No primeiro espaço, introduziram e disseminaram a educação pública popular, e no espaço não governamental e em projetos alternativos trabalham com a educação popular comunitária e ambiental. Se de um lado, a educação popular, ganhou vitalidade e expandiu-se no espaço e políticas públicas, no Brasil e até no exterior, por outro permanece, ainda, não plenamente institucionalizada, mas disseminada em múltiplas experiências de pequeno porte. Mesmo sem unidade, a diversidade de práticas em diferentes espaços e projetos educativos, tornou a perspectiva de educação popular amplamente incorporada ao pensamento pedagógico universal e vem orientando a atuação e a pedagogia, não somente de educadores, mas de outros profissionais em atuações orientadas para a 508 tomada de consciência, para a mudança, para a transformação social. Essa perspectiva vem se constituindo num campo fértil para práticas de educação popular que trabalham com valores alternativos de produção e consumo, que permitem novas vivências sociais e políticas já com resultados consolidados. Gadotti realça, ainda, como contribuição dessa perspectiva re-conceituada, a reforma dos sistemas de escolarização pública, a vinculação da educação popular com o poder local e a economia popular, mas, sobretudo, sua contribuição à pedagogia crítica universal com a noção de aprender a partir do conhecimento do sujeito, de ensinar a partir de palavras e temas geradores, da educação como ato de conhecimento e de transformação social, e da politicidade da educação. (2000, p.5). Apesar de não ter desenvolvido uma perspectiva de avaliação, Souza (2013), defende que a relação dialógica entre educador e educando que aprendem em conjunto são elementos para se pensar na avaliação da aprendizagem como instrumento auxiliar do educador que busca fazer da educação uma prática emancipatória para seus alunos e para a sociedade. A perspectiva de educação popular se contrapõe, portanto, às tendências das políticas educacionais recentes que centralizam o processo ensino-aprendizagem nas medidas disponibilizadas pela avaliação quantitativa. Se aproxima, portanto, da avaliação qualitativa dos impactos que permite conhecer o passado, o presente e perspectivar o futuro. Apesar de todas essas perspectivas de educação, os produtos das avaliações propostas e que são realizadas, seja nas dimensões do ensino-aprendizagem, do projeto político pedagógico ou mesmo da política, sinalizam, ainda, para o insucesso dos resultados escolares dos alunos, das dificuldades de materialização e alcance dos projetos, e, sobretudo, dos limites à universalização da educação como direito de todos, porquanto restritas em termos de acesso às classes sociais e à avaliação limitada ao quantitativo, meritocrático, gerencial. Não é demais fechar esse item com a afirmação de Gadotti (2002, p.5): no presente século, a educação encontra-se “numa dupla encruzilhada: de um lado, o desempenho do sistema escolar não tem dado conta da universalização da educação básica de qualidade; de outro, as novas matrizes teóricas não apresentam ainda a consistência global necessária para indicar caminhos realmente seguros numa época de profundas e rápidas transformações. Educação com bem, direito público e questão de soberania Nunca é demais reafirmar que a educação é um bem de usufruto comum precioso e direito público universal reconhecido e expresso, consensualmente, em quase todas as constituições dos Estados democráticos ocidentais. No caso do Brasil, a Constituição da República Federativa de 1988, deixa claro, em seus artigos 205, que a educação é “ direito de todos e dever do Estado e da família”, no 206 especifica os princípios de base, e no artigo 208 detalha a efetivação do Direito à Educação. (CF, 1988). Outro exemplo é o da Constituição da República Portuguesa na qual a educação está expressamente inscrita como direito de todos, artigos 43, 73 e 74, (Almeida, 2015). Ou ainda na constituição da República Francesa artigo 34, e, sobretudo, no seu preâmbulo que ratifica o preâmbulo da constituição de 27 de outubro de 1946, nº 13, que garante às crianças e adultos igualdade de acesso à educação, formação profissional e à cultura, de competência do Estado, pública gratuita e laica em todos os níveis. Além da educação ser um bem comum e direito público, é consenso atualmente que o desenvolvimento e, acrescento eu, a soberania de um país está determinada pela qualidade da 509 educação. Independentemente da concepção que a educação for tomada na construção da política educacional de um país, a avaliação deve superar os limites da meritocracia, do meramente burocrático e avançar para as mudanças que pode provocar. Ora, as avaliações do mérito das ações ou da política, em que pese suas relevâncias, não captam as mudanças por elas provocadas. O levantamento do mérito diz do sucesso ou insucesso do aluno ou do professor, ou até das ações ou políticas, e não buscam conhecer seus efeitos. Os efeitos provocados, de forma intencional ou não, pelas políticas e pela educação, sejam eles objetivos, substantivos e, ou subjetivos (da consciência) implicam mudanças da, e na realidade, e que podem ser captadas por meio da construção de uma estrutura de indicadores de avaliação de impactos. Essa tarefa é urgente e indispensável para superar os limites que os sistemas, as políticas, os resultados e as perspectivas de educação vivenciam em vários países, como no Brasil e em Portugal. Para tanto, sugerimos alguns elementos para serem desde já considerados na construção dos indicadores de avaliação de mudanças, e que podem ser elencados, a saber e explorar: a) a perspectiva de educação executada e a defendida, e a que se quer construir; b) questões orientadoras sobre a concepção de educação, c) conhecimento dos contextos da política executada e a ser construída; d) identificação e conhecimento dos projetos societários em disputa; e) informações sobre a população adequadas aos propósitos da avaliação que se deseja realizar; f) conhecimento de outras políticas públicas implementadas; g) perguntas inteligíveis para os agentes executores da avaliação e dos interlocutores ou participantes a serem envolvidos na avaliação; h) clareza das dimensões objetiva, substantiva e subjetiva das mudanças; i) que possa ser atualizada periodicamente, a custos razoáveis; j) que seja amplamente desagregável em termos geográficos, sociodemográficos e socioeconômicos; e que, k) goze de certa historicidade para possibilitar comparações no tempo. (ARCOVERDE, 2013; adaptação de WHO, 1996; JANNUZZI, 2001, apud JANNUZZI, 2002). E por que defendemos a avaliação de impactos como contributo à reformatação de políticas como a da educação? Contributos da avaliação de impactos para a reformatação de políticas, particularizando a de educação A avaliação de impactos pode fornecer contributo importante e orientação para a reformatação de políticas, e da política de educação em especial. Toda política é fruto de um processo de construção e resulta da tomada de decisão, que então é incorporada na agenda pública. No âmbito das políticas, salientamos que as avaliações são realizadas no intuito de fornecer informações e conhecimentos para subsidiar a tomada de decisão, e se constituem enquanto instrumental de gestão para o aperfeiçoamento da ação pública ou da intervenção do Estado que deve garantir de forma universalizada educação pública de qualidade. A construção do projeto de educação do futuro 510 para toda a sociedade requer a presença do conhecimento, (Gadotti, 2000). Conhecimento esse, necessário e suficiente, e que pode ser produzido com e a partir da avaliação de impactos anteriores, em processo, e, sobretudo, os posteriores. Mas, para tanto, a avaliação deve ser construída com o conhecimento da realidade social, dos efeitos já produzidos até então, com a maior participação possível dos interessados, enfim com indicadores de qualidade para poder superar os limites da meritocracia e do gerencialismo, e avançar para as mudanças que requer e pode provocar a educação. Salientamos no âmbito da política pública brasileira tendência ao uso das seguintes formas da avaliação: instrumental, conceitual e para fins de conhecimento. Chaves define que “o uso instrumental é direcionado para a tomada de decisão em relação ao planejamento da política, à estruturação dos programas relacionados, e à gestão. [...] O uso conceitual é utilizado no âmbito da gestão para medir processos e impactos do programa que implementa, e compreender a lógica de sua estruturação e execução. O uso da avaliação para fins de conhecimento influencia a agenda governamental e demais instituições, na medida em que aponta indicadores que passam a servir de parâmetro para a ação, e de conhecimento do objeto da avaliação, dimensionando em quadros mais amplos, que ultrapassam os limites dos programas e das políticas instituídas. (CHAVES, 2014, p. 79). Desse modo, é possível construir e socializar um projeto de futuro para a educação transformadora da realidade presente, numa perspectiva de totalidade com base no conhecimento produzido (Gadotti, 2000). A política e o projeto de educação baseados na transmissão de conhecimentos disciplinares ou interdisciplinares aferidos unicamente por meio de critérios quantitativos ou de mérito são restritos, e não contribuem para a construção de um projeto de educação voltado para o futuro, para a transformação da realidade social, e nesse caso, defendemos que a avaliação de impactos pode, olhando para o passado, oferecer conhecimentos e pistas como contributos para a construção de um projeto de educação transformadora do presente voltado para o devir. A proposta para avaliar impactos de uma política, e para a de educação em particular, baseia-se no fato de que as modalidades de avaliação até então em execução, seja na prática pedagógica, seja componente do projeto político pedagógico escolar ou profissional, seja, ainda, na gestão da unidade ou no modelo de gestão, ou mesmo nos sistemas de educação, em geral, limitam-se ao caráter excludente, meritocrático ou burocrático de avaliação na perspectiva gerencialista, ou seja: aquela preocupada com a alocação de recursos, auditorias, controle, gestão, produtos e resultados, enfim com o mercado, e com o lucro para poucos que a privatização do ensino pode gerar. A educação, à exemplo do Brasil e Portugal, tem história longa. Além da avaliação ter sido amplamente utilizada para mensurar o sucesso ou insucesso do aluno ou do processo-ensinoaprendizagem, se expandiu para integrar projetos político-pedagógicos vinculados à determinadas concepções e defesas de novas perspectivas de educação, dando ênfase, sobretudo às baseadas na participação e socialização da política. A avaliação expande-se, ainda, quando passa a integrar ou ser requerida pelos sistemas de educação em todos os países motivada pela necessidade de qualificação e qualificar a unidade executora da política a ser referenciada nos rankings da educação, entendendo tal ranking como pressuposto de desenvolvimento de um país. Em todos os casos e experiências de avaliação, é de se registrar acurada preocupação teórico, metodológica, e técnica com precisar os melhores indicadores de qualidade, eficiência e eficácia a serem utilizados na e da implementação da política, atribuindo-se ao final um valor numérico, ou 511 mesmo de qualidade a ser realçada pelo sucesso atingido ou a ser perseguido. Em geral, as avaliações realizadas restringem-se ao processo, e são, por isso mesmo, avaliações de processo. A despeito das avaliações, bem-intencionadas, e já realizadas, dos e na educação, a educação não tem se beneficiado delas, e não têm obtido resultados satisfatórios em muitos países, como nos casos exemplares do Brasil e Portugal, que afixam indicadores de escolaridade pouco satisfatórios, ou não tem realizado a universalização desse direito. Os resultados das avaliações efetuadas vêm contribuindo pouco ou sendo utilizadas para superar as dificuldades e os desafios na implementação ou execução da política de educação. Ao nosso ver os resultados ou conhecimentos das avaliações ou não tem subsidiado reformulações substanciosas de políticas, ou são incompatíveis com a perspectiva de educação construída, ou não têm oferecido ou sugerido ajustes, e, ou reformatações qualitativas necessárias à política. A avaliação de impactos ou mudanças pode dar seu contributo no sentido da perspectiva da educação transformadora da realidade e do sujeito. No âmbito da gestão, salientamos que as avaliações são realizadas no intuito de fornecer informações para a tomada de decisão, e se constituem enquanto ferramenta de gestão para o aperfeiçoamento da ação dos governos. Tal propósito Weiss (apud Silva, 2014, p. 30) denomina de “informação para o processo decisório, em diferentes níveis; e aprendizado organizacional”. Acerca da diversidade dos estudos de avaliação o NEPP/UNICAMP (1999) entende que: Geralmente, no governo, esses estudos estão diretamente ligados a questão da efetividade, eficiência, accountability, e mais amplamente com o desempenho da gestão pública. Constituem-se em poderosos instrumentais para gestores, formuladores e implementadores de programas e políticas públicas (p. 132). Torna-se, portanto, imprescindível aos estudos afixar preocupação com a qualidade das políticas e com a avaliação qualitativa dos efeitos das mesmas para subsidiar as políticas públicas transformadoras. De acordo com Chaves (2014), no âmbito da política pública brasileira podemos identificar como tendência três formas de usos da avaliação, quais sejam: instrumental, conceitual e para fins de conhecimento. A autora afirma que: O uso instrumental é direcionado para a tomada de decisão em relação ao planejamento da política, à estruturação dos programas relacionados e à gestão. [...] O uso conceitual é utilizado no âmbito da gestão para medir processos e impactos do programa que implementa e compreender a lógica de sua estruturação e execução. O uso da avaliação para fins de conhecimento influencia a agenda governamental e demais instituições, na medida em que aponta indicadores que passam a servir de parâmetro para a ação e de conhecimento do objeto da avaliação, dimensionando em quadros mais amplos, que ultrapassam os limites dos programas e das políticas instituídas. (CHAVES, 2014, p. 79). Silva (2014) enfatiza que o momento da implementação dos programas sociais ocupa lugar central nos processos avaliativos de ferramenta da gestão pública, para a explicação dos sucessos e insucessos da ação governamental, no alcance dos objetivos propostos em seus programas. Com isto, ressalta a necessidade de estruturação de sistemas de monitoramento e avaliação das ações do governo nos seus diversos níveis, uma vez que “[...] a capacidade de monitorar, corrigir ações e superar obstáculos que, por definição, são gerados ao longo desse processo, pode ser a condição suficiente para atingir resultados e 512 transformar a realidade na direção estabelecida pela agenda governamental” (SILVA, 2014, p. 25), ou por cada política específica. Neste sentido, em termos operacionais, a autora indica um conjunto de atividades fundamentais para que seja iniciada a estruturação dos referidos sistemas de monitoramento e avaliação da implementação de programas e projetos sociais, quais sejam: Escolha do desenho do sistema de monitoramento e avaliação; Caracterização do programa; Elaboração dos instrumentos e preparação da pesquisa de campo; Formato para análise e sistematização dos dados. Chaves (2014) realça também que “Estudos de avaliação são sempre pesquisas aplicadas, cujos resultados auxiliam gestores e formuladores das políticas sociais a planejar e tomar decisões para o aprimoramento dos programas. (p. 91). Para ela, além do aspecto processual dos programas e de seus resultados, a avaliação enquanto estratégia de gestão deve se debruçar sobre a sua relevância e os impactos por eles produzidos. Neste sentido afirma que: Na perspectiva governamental, a avaliação como prática instrumental, conceitual e de conhecimento implica na medição do impacto e funcionamento de suas ações, programas e serviços, através da coleta e processamento de dados estatísticos, realizada por meio de ferramentas informacionais e de acompanhamento do desenvolvimento dessas ações, mediante o monitoramento. A realização da prática da avaliação através de estudos específicos possibilita analisar aspectos como relevância, eficiência, efetividade, resultados, impactos ou a sustentabilidade de ações e programas. (Ibid., p. 91). Sob outro ângulo de análise, a mesma autora (2014) problematiza as implicações negativas da inserção da avaliação enquanto estratégia de gestão das políticas públicas – e, por conseguinte, dos programas sociais públicos – por ser esta uma medida da agenda do capitalismo contemporâneo. Ao tempo em que também discute as possibilidades de ganhos no que se refere ao potencial das avaliações para o fortalecimento do controle social sobre as ações governamentais e para a participação social no âmbito da gestão de políticas e programas sociais públicos. Como estratégia governamental e de prestação de contas das ações governamentais é possível afirmar que a inclusão da avaliação como etapa obrigatória da ação governamental possibilita uma maior transparência das ações e um maior comprometimento do Estado com as políticas sociais. (Ibid., p. 75). A este respeito Carvalho (1998) compreende que além de ser fundamental a avaliação de processos e de impactos para a realimentação das ações, para avaliar as opções políticas e reorientar novas decisões, o papel da avaliação é também, e principalmente, de publicizar informações e ampliar os espaços de participação dos sujeitos no processo das políticas públicas. A cultura da avaliação terá de se introduzir no campo social democratizando informações, decisões e facilitando a participação cidadã na formulação, implementação e desenvolvimento de políticas e projetos (CARVALHO, 1998, p. 93). Enquanto campo de produção de conhecimento sobre a realidade social, enfatizamos que toda avaliação tem como pressuposto um arcabouço teórico-metodológico e requer o rigor próprio das pesquisas científicas. Isto porque no âmbito das políticas públicas, a avaliação diz respeito aos 513 [...] métodos e técnicas da pesquisa social que darão sentido à busca de subsídios para afirmar da contribuição ou não das mesmas para a melhoria das condições de vida da população em geral e para a intervenção do Estado na realização da “res” pública (ARCOVERDE, 2009, p. 3). E fortalecer o controle social pela população. Sendo assim, os processos avaliativos são dotados de uma diversidade de métodos, técnicas e abordagens, e se fundamentam em diferentes perspectivas teórico-metodológicas, com suas respectivas visões sociais de mundo, a partir das quais procuram explicar como se dá a formulação e execução das políticas públicas, bem como analisar os resultados e impactos obtidos. Neste sentido, concorda-se com Boschetti (2006, p. 02) ao afirmar que: [...] não é possível discutir metodologias de avaliação apenas do ponto de vista dos modelos, tipos, formas, técnicas e procedimentos avaliativos. Estes devem ser inseridos e compreendidos a partir das teorias e abordagens que explicitam a histórica e contraditória relação entre Estado e sociedade civil no capitalismo. Sendo assim, ressaltam-se a avaliação de processos ou do funcionamento da política para que as diretrizes, metas e meios empregados na ação proporcionem subsídios à expectativa da educação pretendida; e a de impactos que tem como critério avaliar a efetividade em termos qualitativos e quantitativos, os efeitos e os impactos produzidos pela ação estatal sobre as condições de vida de uma população. Entende-se por efeito “todo comportamento ou acontecimento que sofreu influência de algum aspecto do programa” (SILVA, 2000, pp. 74,75) e o impacto é o resultado direto dos efeitos da ação, que pode ser tanto físico quanto subjetivo. “O impacto é justamente o resultado dos efeitos observados em um programa, projeto ou política”. (ARCOVERDE, 2011, p. 36); No sentido da conexão das modalidades de avaliação, Arcoverde (2011, p. 36) afirma “que os modelos de avaliação de processo e de impactos podem, na prática da pesquisa avaliativa, serem utilizados de modo articulado, combinando análise de processo e de impactos em decorrência da realização de um determinado programa”. Com relação aos critérios de avaliação, podemos citar, em termos gerais: eficiência, eficácia, efetividade, e, principalmente, o da qualidade. Silva (2008) entende por eficiência a relação entre os custos e os resultados do programa, a eficácia relaciona o alcance das metas com os objetivos pretendidos com a ação, e a efetividade está ligada à relação entre resultados e objetivos, mas a qualidade tem a ver com a capacidade e consistência do conteúdo da proposta ao atendimento das necessidades da população, (Arcoverde, 2011). Importa-nos ainda fazer menção a um aspecto essencial do procedimento metodológico dos processos avaliativos, o qual se refere à clareza na definição dos indicadores, sobretudo, os qualitativos. Isto porque é preciso que seja dado significado concreto ao que se referem os termos eficácia, eficiência, efetividade e qualidade com relação à determinada política ou programa que se pretende avaliar. Para tanto, é fundamental a escolha dos indicadores sociais próprios à temática da política ou programa avaliado. Todo indicador social expressa um conceito determinado em relação à realidade estudada e traz em si uma concepção de mundo e da política focalizada. “Um indicador consistente deve estar referido a um modelo teórico ou a um modelo de intervenção social mais geral, em que estejam explicitadas as variáveis e categorias analíticas relevantes e o encadeamento causal ou lógico que as relacionam”. (Jannuzzi, 2002, p. 56). 514 Para a avaliação de políticas e programas sociais interessa especialmente os indicadores específicos para os três aspectos relevantes ou fases do processo das políticas, a saber: formulação, implementação e resultados/impactos, e que são construídos de conformidade com a perspectiva teórico-metodológica da política, e da avaliação, no caso da educação ao logo da vida. Dentre as perspectivas teórico-metodológicas que fundamentam as pesquisas avaliativas das políticas, acompanhamos Lima (2011), ao se referir ao histórico-dialético de matriz marxista. Tal matriz considera a historicidade como categoria imprescindível para a avaliação de políticas públicas, pois leva em conta o contexto em que as políticas são desenvolvidas. Em uma perspectiva de totalidade, considera na análise a articulação entre os momentos constituintes das políticas públicas (concepção, implementação, resultados), a diversidade de sujeitos e interesses nelas envolvidos, bem como os conflitos e contradições dessas relações. Os métodos quantitativos e qualitativos não são considerados excludentes entre si, pelo contrário, se busca fazer um uso combinado entre eles e não se defende a neutralidade científica na produção de conhecimento. Segundo Arcoverde (2013) a definição do caminho metodológico para realização de um estudo avaliativo, é determinada pela natureza do questionamento que o avaliador propõe investigar. Em geral, a questão posta à realidade para ser desvelada por meio da investigação determina o procedimento metodológico a ser utilizado para dar conta da apreensão do real. Ou seja, não existe pesquisa neutra, mas dirigida pela questão que, da articulação teoria/realidade, é construída. Pesquisa avaliativa tem e segue, portanto, as mesmas regras de cientificidade das ciências sociais. (p. 181). A avaliação onde a questão orientadora tem como foco para análise o resultado do efeito de uma política, programa ou projeto, pressupõe diferenciar “efeitos” e “impactos” produzidos pela ação estatal. Souza (2014) aponta quatorze critérios e parâmetros que diferenciam efeito e impacto, quais sejam: amplitude, tempo, valoração, importância, origem, direcionamento, materialização, expectativas, faixa de impacto, desdobramento, escala, rebatimento, dimensão e medição. Acerca do critério “amplitude”, então central na distinção entre os conceitos, afirma que: [...] os efeitos envolvem os resultados dos produtos, relacionam-se mais especificamente com o projeto e o impacto implica o programa como um todo e daí representar o conjunto dos efeitos e a sua consequência. Os efeitos prendem-se à clientela ou população alvo ou destinatária, como é também chamada, e o impacto, por sua vez, remete para outros grupos além do grupo destinatário das ações e pode afetar o conjunto da população e sua qualidade de vida e o meio social e institucional. Agregue-se, ainda, que os efeitos remetem para os resultados intermediários e para um objetivo específico, enquanto o impacto relaciona-se aos objetivos finais do programa e é o último elo da cadeia causal. (SOUZA, 2014, p. 102). Além da clareza no que consistem os impactos de uma ação do Estado, é importante também considerar a dinamicidade e as contradições que conformam a realidade social. O que implica cuidados ao estabelecer relações de interdependência entre determinada mudança e a ação avaliada, conforme alerta Arcoverde (2013, p. 190) ao afirmar que: A realidade social é síntese de múltiplas interações, relações e determinações, apreendê-la constituiu-se um desafio para os que pretendem com pesquisa avaliar impactos e atribuir a 515 mudança exclusivamente a uma política, programa ou projeto social. A pesquisa, a avaliativa em especial, é uma aproximação sempre relativa da realidade social. Portanto, a avaliação de mudanças efetivas e/ou significativas provocadas por uma política pública enquanto processo e ação do Estado na vida das pessoas usuárias (ROCHA, 2000 apud ARCOVERDE, 2013, p. 190), bem como nas relações que estas estabelecem nos diversos contextos sociais em que estão inseridas, deve considerar a complexidade da realidade social, as suas mediações e determinações fundamentais, a diversidade de variáveis contextuais que interagem com e na realidade estudada. Dessa forma a avaliação de impactos terá condições de realizar o propósito a que se propõe, qual seja: “analisar os procedimentos e os resultados obtidos, tendo em vista captar as mudanças produzidas e/ou operadas nos distintos planos de uma política e nas suas execuções”. (ARCOVERDE, 2013, P.190), para direcioná-la, no caso, à educação transformadora. Referências Arcoverde, A. C. B. (2013). Como avaliar impactos. Pp. 181-205. In: Metodologias qualitativas de pesquisa em Serviço Social. Ana Cristina Brito Arcoverde (Organizadora). Recife: Editora Universitária da UFPE. Arcoverde, A. C. B. (2011). Avaliação dos impactos sociais e econômicos dos empreendimentos solidários em Pernambuco. In: Arcoverde, A.C.B. (Org.) Avaliação de políticas, programas e projetos sociais: modelos e experiências de avaliação. Recife: Editora Universitária da UFPE. Constituição da República Francesa. (1958). Disponível em http://www.conseilconstitutionnel.fr/conseil-constitutionnel/root/bank_mm/portugais/constitution_portugais.pdf. Acesso em 06.01.2016. Carvalho, M do C. A. de A. (1998). Avaliação participativa: a escolha metodológica, In: Rico, E. M. et al. (Org). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, IEE. Chaves, H. L. A. (2014). Avaliação e políticas públicas: Entre a estratégia governamental e a agenda do capitalismo contemporâneo. In: ARCOVERDE. A. C. B. (Org.). Avaliação de políticas públicas em múltiplos olhares e diferentes práxis. Recife: Ed. Universitária da UFPE, 2014. Freire, P. (1996). Pedagogia da autonomia: saberes necessários à prática educativa. São Paulo: Paz e Terra. Gadotti, M. (2000). Perspectivas atuais da educação. Porto Alegre, Ed. Artes Médicas. Gadotti, M. (2000). Perspectivas atuais da educação, In: São Paulo em Perspectiva. On-line version ISSN 1806-9452, São Paulo, perspectiva, vol.14 n.2, abril/junho. Disponível em http://dx.doi.org/10.1590/S0102-88392000000200002 . Acesso em 03.01,2016. Gomes, A. M.G, (2002). Política de avaliação da educação superior: controle e massificação. In: Educ. Soc., Campinas, v. 23, n. 80, p.p 275-298. Disponível em <http://www.cedes.unicamp.br> Acesso em 03.01.2016. Jannuzzi, P. de M. (2002) Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais. Pp. 51-72. In: Revista de Administração Pública. Rio de Janeiro, vol. 36, nº 01, jan. / fev. 516 Lima V. F. S. de A. (2011). Tendências da avaliação no âmbito das políticas públicas: desafios e perspectivas. Pp. 53-61, In: Arcoverde, A.C.B. (Org.) Avaliação de políticas, programas e projetos sociais: modelos e experiências de avaliação. Recife: Editora Universitária da UFPE. Oliveira, R. P. de. O direito à educação na Constituição de 1988 e seu rebatimento pelo Sistema de Justiça. Disponível em http://egov.ufsc.br/portal/sites/default/files/anexos/30315-31270-1PB.pdf Acesso em 06.01.2016. Souza, E. C. da S. S. (2013) Avaliação e a pedagogia de Paulo Freire, Disponível em http://ednacristinadasilvasouza.jusbrasil.com.br/artigos/112145595/avaliacao-e-a-pedagogia-depaulo-freire. Acesso em 05.01.2015. Souza, L. M. de. (2015). O lugar da avaliação de políticas públicas no capitalismo organizado: o Estado supranacional e a avaliação, pp. 75-92, In: Avaliação e políticas públicas no capitalismo globalizado: para que e para quem? /Organizadora: Ana Cristina Brito Arcoverde. – Recife: Editora UFPE. 517 NOTER (L’ENSEIGNEMENT DE) L’ART: ENTRE LIBERTE DE CREATION ET EXIGENCIES INSTITUTIONNELLES. DANS LE CADRE D’UNE FORMATION À VISÉE CERTIFICATIVE D’ENSEIGNANTS EN ARTS VISUELS DU SECONDAIRE SUPÉRIEUR, COMMENT CONCILIER PROCESSUS DE CRÉATION PERSONNEL ET LA (ID 204) PAPADIMITROU, Pascalia, ENSAV-La Cambre (Ecole nationale supérieure des arts visuels), (BE) WARMOES, Catherine, ENSAV-La Cambre (Ecole nationale supérieure des arts visuels) (BE) Résumé En Fédération Wallonie-Bruxelles, depuis 2003, les écoles supérieures d’art organisent une agrégation de l’enseignement secondaire supérieur (AESS). Ce programme (30 crédits) est accessible à des détenteurs d’un master de l’enseignement supérieur artistique. Depuis 2008, elle peut s’intégrer au programme du master à finalité didactique (formation pédagogique - 30 crédits et formation artistique - 30 crédits). A l’ENSAV-La Cambre, les étudiants du master en finalité didactique et les étudiants de l’agrégation se retrouvent ensemble pour les 30 crédits de la formation pédagogique. Partant du constat que l’activité pédagogique est avant tout une pratique, le programme de l’agrégation y est ancré dans une dialectique permanente entre pratique, analyse et théorie. Il comprend, outre les cours et les stages, cinq journées complètes de séminaires thématiques associant des personnalités extérieures spécialisées. Ces choix mettent en lumière ce que Brichaux (2001) pointe comme une nécessité : dépasser la juxtaposition des disciplines académiques pour mieux définir « un savoir en action », une sorte de « savoir y faire » spécifique aux artistes, qui implique la professionnalisation. Ils mettent également en lumière une tension ontologique qui traverse cette formation : artiste-enseignant ou enseignantartiste ? En termes d’identité professionnelle, la question reste centrale aux yeux des artistes qui s’y engagent et des formateurs qui y interviennent. Une pratique d’enseignement n’est vraiment formative que si elle est l’objet d’une analyse et d’une réflexion, dont on peut attendre qu’elle accrédite, entre autres, une évolution vers la professionnalisation, qu’elle aide à vivre un métier impossible et qu’elle donne les moyens de travailler sur soi (Perrenoud, 1998). Dès lors, comment la formation peut initier et développer des savoirs, savoir-faire et savoir-être, doublés d’une pratique réflexive dans le domaine de l’enseignement de l’art ? Comment cet artiste, futur enseignant, futur praticien réflexif peut-il faire siennes des connaissances théoriques, des expériences et s’outiller pour « savoir y faire » ? D’autant plus que l’apprentissage se réalise moins dans l’activité que dans la réflexion a posteriori (Pastré, 2005). En termes de choix de formation, cette conception met l’accent sur les actions du sujet, sur son fonctionnement cognitif interne et sur un processus d’évolution personnel plus que sur les contenus (Romainville, 1998). 518 Et comme le précise Gaillot (2006) « Ce qu’il nous faut évaluer (alors), c’est (l’étudiant) comme individu porteur de potentiel, en chemin vers l’autonomie, sur un terrain, qui ne tolère aucun modèle de référence. » C’est cette dimension et la manière dont elle s’intègre dans une logique de formation et ses exigences institutionnelles que nous questionnons ici. Le cours de Construction des Apprentissages est proposé dès le début de la formation et accompagne les premières expériences de terrain. Deux enseignantes y interviennent : une dessinatrice, professeur de dessin dans le supérieur artistique et dans le secondaire supérieur et une psychopédagogue, également photographe. C’est un « espace-laboratoire » dans la formation. A raison de 30h, les étudiants y expérimentent et commentent des situations d’enseignement en essayant d’expliciter le sens des interventions, en formulant des hypothèses, en essayant d’identifier les résistances et en accompagnant l’autre dans une prise de conscience et une compréhension de ce qui se passe. Chaque étudiant est invité à être actif dans des modules qui renvoient aux premières expériences vécues sur le terrain. Des situations authentiques, des jeux de rôles et des interactions permettent de partager les expériences, les émotions et les représentations. Les professeurs soutiennent ces activités par une aide à la conceptualisation, dans une démarche de co-construction de sens en convoquant les ressources de chacun, pour ensuite formaliser et référencer. La dernière séance du cours se tient sur une journée complète. Elle marque la fin des premiers stages (20h d’observation) et clôture le cours. Chacun doit rapporter au groupe sous la forme d’une œuvre et avec le langage plastique qui est le sien, ses premières expériences de formation et la découverte du métier. L’évaluation est formative. Les enseignantes rencontrent à nouveau en fin d’année, chaque étudiant pour l’examen. L’ évaluation est alors certificative. L’étudiant y présente son œuvre et sa réflexion qu’il a continué à peaufiner (ou modifier) au fil de ses expériences de stages et de formation. L’examen est « ouvert » et sans avoir tout le groupe, plusieurs étudiants peuvent assister à l’examen de leur condisciple. La réflexion autour de ce dispositif pointe une série de tensions et d’enjeux pratiques et théoriques : - comment, en voulant faire de l’évaluation un outil d’apprentissage essentiel, ne pas transformer une attitude créatrice vivante, animée par le désir de faire, en exercice scolaire desséchant et stérile, vidé de sa dynamique interne ? En d’autres mots, pour respecter ici un des principes essentiels de la didactique des arts visuels : comment trouver un juste équilibre entre «affranchir et encadrer » ? (Gaillot, 2006) ; - une profession n’est pas qu’une construction sociale. Elle est aussi une construction subjective (Paradeise, 2003). Notre dispositif invite à “ce rendez-vous avec soi-même, à la reconnaissance de soi par soi “ (Allal, Jorro, Lopez, 2010), au “devenir soi” (Paquay, 2001) et à la capacité de se positionner en “homme pluriel” (Lahire in Jorro, 2010). A fortiori, aves ces artistes en tension avec l’identité enseignante ; - des prescrits peuvent empêcher la parole authentique d’advenir (Perrenoud, 2010), tant dans le discours oral que dans l’écrit (Rousseau, 2007) et / ou peuvent entrer en congruence ou en conflit avec le projet que poursuit le sujet pour lui-même (Wittorski, 2008). Chez les artistes, leur langage 519 plastique est leur langage. Comment lui permettre de (continuer à) exister et à être médium alors qu’on n’est plus / pas dans une formation artistique ? En arts visuels, l'évaluation se posant en termes différents selon qu'elle porte sur le comportement, la démarche et la réalisation de l'étudiant, comment intégrer cela dans cette formation pédagogique ? Dans un contexte de professionnalisation, il apparaît intéressant de questionner la cohérence de nos pratiques. Pour ce faire, nous confrontons la perception des étudiants qui ont connu le dispositif à celles des formateurs. Cette confrontation, en cours, cherche à cibler les tensions dans notre dispositif et à les analyser plus finement. Références Belair, L. & Van Nieuwenhoven C. (2010). Le portfolio, un outil de consignation ou d’évaluation authentique ? In L. Paquay, C. Van Nieuwenhoven, & P. Wouters (dir.). L’évaluation, levier du développement professionnel ? (pp.161-175). Bruxelles : De Boeck. Blin, J.-F. (1997). Représentations, pratique et identité professionnelle. Paris : L’Harmattan Boudinet, G. (2006). Art, éducation, postmodernité. - Les valeurs éducatives de l'art à l'époque actuelle, L'Harmattan. Bourdieu, P.et al. (2001), Penser l'art à l'école, Arles : Actes Sud Bourgeois, E. (2010). “Evaluation et développement professionnel” . Un couple impossible ? In L. Paquay, C. Van Nieuwenhoven, & P. Wouters (dir.). L’évaluation, levier du développement professionnel ? (pp.265-270). Bruxelles : De Boeck. Brichaux, J. (2001). L’éducateur spécialisé en question(s). La professionnalisation de l’activité socio-éducative. Ramonville : Eres. Campanalle, F., Dejemeppe, X., Vanhulle, S. & Saussez, F. (2010). Dispositifs d’auto-évaluation socialisée en formation : une contrainte pervertissante ou une opportunité transformatrice ? In L. Paquay, C. Van Nieuwenhoven, & P. Wouters (dir.). L’évaluation, levier du développement professionnel ? (pp.193-205). Bruxelles : De Boeck. Danetis, D. (2007). Pratiques artistiques et pratiques de recherches, L'Harmattan. De Ketele, J.-M. (1986). L’évaluation : l’évaluation du savoir être. Approche descriptive ou prescriptive ? Bruxelles : De Boeck. De Ketele, J.-M., Perisset Bagnoud, D., Kaddouri, M. & Wittorski, R. (2010). Une évaluation tendue entre efficacité et transformation identitaire. In L. Paquay, C. Van Nieuwenhoven, & P. Wouters (dir.). L’évaluation, levier du développement professionnel ? (pp.49-65). Bruxelles : De Boeck. Donnay, J. & Charlier, E. (2006). Apprendre par l’analyse des pratiques : initiation au compagnonnage réflexif. Sherbrooke : Edition du CRP. Douar, F. (dir.) (2005). Peut-on enseigner l'art ?, ENSBA. Gaberan, P. (2003). La relation éducative. Un outil professionnel pour un projet humaniste. Ramonville : Eres. Gaillot, B.-A. (1997), Arts plastiques, éléments d’une didactique critique. Paris : PUF 520 Grisé, S. & Trottier, D. (1997). Un modèle pour l’enseignement des attitudes. In Pédagogie collégiale. Vol. 10 n°4. Mai 1997(pp.10-16) Jonnaert, P. (2002), Compétences et socioconstructivisme. Bruxelles : De Boeck Jorro, A. (2010). Le développement professionnel des acteurs : une nouvelle fonction de l’évaluation ? In L. Paquay, C. Van Nieuwenhoven, & P. Wouters (dir.). L’évaluation, levier du développement professionnel ? (pp.253-264). Bruxelles : De Boeck. Kerlan A. (2004). L'art pour éduquer ? La tentation esthétique., PUL. Lagoutte, D. (2002). Enseigner les arts visuels, Hachette, 2002 Mavridorakis, V. et Kihm, C. (2014). Transmettre l’art – Figures et méthodes – Quelle histoire ? , Les Presses du Réel, 2014 Morisette, D. & Gringras, M. (1989). Enseigner des attitudes ? Planifier, intervenir, évaluer. Bruxelles : De Boeck. Perrenoud, Ph. (2010). Et si l’évaluation institutionnelle paralysait le développement professionnel ? In L. Paquay, C. Van Nieuwenhoven, & P. Wouters (dir.). L’évaluation, levier du développement professionnel ? (pp.37-47). Bruxelles : De Boeck. Rogers, C. (1971). Liberté pour apprendre. Paris : Dunod. Romainville, M., Frenay M., Noël, B. & Parmentier P. (1998). L’étudiant-apprenant, grille de lecture pour l’enseignant universitaire. Bruxelles : De Boeck. Suzer, E. (1999). Objectiver les compétences d’intéraction, critique sociale du savoir être. La logique de la compétence. Education permanente. N° 140. Albi. Tardif, J. & Dubois, B. (2010). Construire des dispositifs en vue de l’évaluation du développement des compétences. Comment ? In L. Paquay, C. Van Nieuwenhoven, & P. Wouters (dir.). L’évaluation, levier du développement professionnel ? (pp.113-146). Bruxelles : De Boeck. Van Nieuwenhoven, C. & Labeeu, M. (2009). L’accompagnement par le superviseur lors de l’entretien à chaud dans un curriculum à visée réflexive. REF, Nantes, 17-18 juin. Villeneuve, L. (1994). L’encadrement du stage supervisé. Saint-Martin. Montréal : Québec. Wittorski, R. (2009). A propos de la professionnalisation. In J.-M. Barbier, E. Bourgeois, G. Chapelle & J.-C. Ruano-Borbalan (dir.) Encyclopédie de l’éducation et de la formation (pp.782-793). Paris : PUF. 521 OS INSTRUMENTOS DE AVALIAÇÃO INSTITUCIONAL DA CAPACITAÇÃO DESTINADAS A SERVIDORES PÚBLICOS BRASILEIROS: UM ESTUDO SOBRE A REALIDADE DA UNIVERSIDADE (ID 205) FERREIRA, Rubens da Costa, Universidade Federal do Pará (BR) DA SILVA, Gilmar Pereira, Universidade Federal do Pará (BR) RESUMO Este texto apresenta elementos de uma pesquisa cuja proposta é analisar como se configura o processo de formação dos servidores técnico-administrativos da UFPA/Campus de Cametá no que tange aos cursos de capacitação desenvolvidos pelo CAPACIT/UFPA, analisando, inicialmente, os documentos que regem a política nacional de formação de servidores técnico-administrativos, bem como os documentos que regem a formação desses sujeitos no âmbito da UFPA, evidenciando, para tanto, os principais instrumentos e procedimentos de avaliação institucional utilizados pela UFPA como parâmetros de medição não apenas da possível eficácia das ações de formação, mas também a aferição das ações práticas próprias que advem do processo de formação destinado pela instituição. O resumo expandido apresenta a introdução, os procedimentos metodológicos, Os instrumentos de avaliação institucional utilizados pela UFPA e as considerações finais. Utilizamos o método histórico dialético, a abordagem qualitativa e a pesquisa documental para analisarmos os documentos que regem a política nacional de qualificação técnica-administrativa, bem como os documentos, no âmbito da UFPA, que tratam da qualificação desses sujeitos, cuja análise nos permitiu constatar que os instrumentos de avaliação instituicionais, mesmo não se apresentando de uma forma institucionalmente explícita, estão relacionados diretamente à busca da eficiência e eficácia das atividades que são desenvolvidas pelos servidores, cujos resultados interferem diretamente, dentre outras coisas, nas formas de promoção na carreira. Introdução A prestação de serviços na esfera pública no Brasil é motivo constante de avaliação em termos de qualidade a seus usuários, motivo pelo qual as ações do Estado partem do entendimento de que há uma constante necessidade de aprimoramento na prestação desses serviços. Esses princípios de ajustamento ao modelo de administração pública gerencial delegam e norteiam a efetivação desses serviços no sentido da busca constante de resultados dentro de uma perspectiva de eficiência e eficácia. Dentro desta perspectiva, o processo de capacitação consiste então no exercício próprio de treinamento para o desenvolvimento das ações do cotidiano laboral, caracterizado pelo processo de qualificação para o trabalho, relacionado intimamente com a noção de desenvolvimento de competências. Porém, para o Estado, cabe a implementação não apenas do processo próprio de treinamento, mas também dos instrumentos necessários à avaliação da eficácia e eficiência desse “investimento”. 522 Procedimentos Metodológicos A análise exposta neste texto faz parte da pesquisa que procura analisar o processo de formação instituído pela Universidade Federal do Pará e destinado aos servidores técnico-administrativos lotados no Campus de Cametá, via ações formativas do Centro de Capacitação da UFPA – CAPACIT. A pesquisa utiliza o materialismo histórico dialético como método de análise, por considerar de fundamental importância o entendimento da relação das coisas para a construção do entendimento da realidade como um todo. Utilizamos uma metodologia de pesquisa de base qualitativa no que dispõe Triviños (1992), Gonçalves (2007) e Gamboa (2003), pois esta abordagem tem como proposta utilizar o meio social como fonte imprescindível de dados, pondo o pesquisado como principal instrumento. A técnica utilizada foi a pesquisa documental da legislação que rege a política nacional de qualificação técnica-administrativa, do Plano Anual de Capacitação 2014 do CAPACIT/UFPA (PAC) e do Plano de Desenvolvimento Institucional da UFPA 2011-2015 (PDI). Os instrumentos de avaliação institucional utilizados pela UFPA As ações de formação desenvolvidas pelas organizações são sucedidas de procedimentos de medidas de sua efetividade, muitas vezes mensurados pelo nível de desenvolvimento que a instituição como um todo alcançou, como uma necessidade de justificar o investimento canalizado para aquela finalidade. Na Universidade Federal do Pará, percebemos que os instrumentos de medidas dessas ações de formação se apresentam de forma bastante genérica se considerarmos os documentos que norteiam a política de capacitação na instituição. Esses documentos apenas indicam o crescimento e fortalecimento institucional que as formações tendem a possibilitar, sem mostrar que parâmetros serão utilizados para se medir esse crescimento e qual a relação que a capacitação específica teve com esse crescimento. Um dos únicos instrumentos de medidas do desempenho do servidor na instituição é correspondente a utilização, por parte da chefia imediata e do próprio servidor, do sistema anual de desempenho, como exigência da Lei Nº 11.091, de 12 de janeiro de 2005 que estabelece em seu Artigo 24 que as instituições deverão criar “Programa de Avaliação de Desempenho”, mas sem considerar, pelo menos de forma direta, qual a relação da formação com o desempenho aferido. Assim, percebemos que mesmo não tendo um instrumento próprio, concreto e objetivo de avaliação, a instituição acaba por orientar e condicionar a participação dos servidores em ações de formação como uma estratégia, explícita em seus documentos como Plano de Desenvolvimento Institucional e Plano Anual de Capacitação, de ajuste das atividades laborais aos objetivos estratégicos da instituição, em termos de crescimento acadêmico, social e político. Considerações Finais Percebemos que a instituição de procedimentos de medidas de efetividade das ações de formação se constituem como uma realidade e, digamos, uma necessidade constante para que outras estratégias, que por ventura forem necessárias, possam ser tomadas a partir dos resultados dessa mensuração, na medida em que “as ações de TD&E promovidas pelas organizações são caracterizadas pela intencionalidade de produzir um conjunto de efeito” (Freitas et. al, 2006, p. 499). 523 Na UFPA, a partir da análise dos documentos que norteiam a política nacional de qualificação e dos documentos que regem a qualificação em âmbito institucional, pudemos constatar que essa medida se relaciona ao parâmetro “desempenho” no trabalho. Assim, instrumentos não explícitos de medidas da efetividade como o Programa de Avaliação de Desempenho representam os principais instrumentos de avaliação da ação prática técnicaadministrativa, uma vez que se relaciona a possibilidade que o servidor tem em progredir na carreira, a partir de procedimento avaliativo realizado por sua chefia imediata que leva em consideração, dentre outras coisas, a eficiência e eficácia de sua atuação. Vale descatar também que identificamos outras ferramentas, igualmente implícitas, que a UFPA utiliza no controle das ações institucionais que são os Planos de Desenvolvimentos das Unidades e seu Plano de Desenvolvimento Institucional, cujo controle pode se dar no atingimento ou não dos objetivos e metas neles estipuladas. Referências Abbad, Gardênia da Silva; Freitas, Isa Aparecida de; Pilati, Ronaldo. (2006). Contexto de trabalho, desempenho competente e necessidades em TD&E In: Borges-Andrade, Jairo E; Abbad, Gardênia da Silva; Mourão, Luciana (et al.). Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: fundamentos para a gestão de pessoas. Porto Alegre: Artmed. Abrucio, Fernando Luiz (1997). O impacto do modelo gerencial na Administração Pública: Um breve estudo sobre a experiência internacional recente. Brasília: Caderno ENAP Nº 10. Araujo, Ronaldo Marcos de Lima (2001) Desenvolvimento de Competências Profissionais: as incoerências de um discurso. Minas Gerais: UFMG, 2001 (tese de Doutorado). __________. Decreto Nº 5.707, de 23 de fevereiro de 2006. http://www.planalto.gov.br/ccivil_03/_Ato2004-2006/2006/Decreto/D5707.htm 13/06/2014. Disponível Acesso em: em: __________. Decreto Nº 5.824, de 29 de junho de 2006. http://www.planalto.gov.br/ccivil_03/_Ato2004-2006/2006/Decreto/D5824.htm 13/06/2014. Disponível Acesso em: em: __________. Decreto Nº 5.825, de 29 de junho de 2006. http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2006/decreto/d5825.htm 13/06/2014. Disponível Acesso em: em: __________. Lei Nº 11.091, de 12 de janeiro de 2005. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2005/lei/l11091.htm Acesso em: 13/06/2014. Gamboa, Silvio Ancisar Sánchez. (2003) Pesquisa Qualitativa: superando tecnicismos e falsos dualismos. Contrapontos - volume 3 - n. 3 - p. 393-405 - Itajaí, set./dez. Gonçalves, Elisa Pereira (2007). Conversas sobre iniciação à pesquisa científica. Campinas - SP: Editora Alínea, 2007. Kuenzer, A. Z. (2011) Pedagogia da fábrica: as relações de produção e a educação do trabalhador. São Paulo: Cortez. Machado, Lucídia R. S. (1996) Qualificação do Trabalho e Relações Sociais. In: Gestão do Trabalho e Formação do Trabalhador. Belo Horizonte – MG. 524 Marx, Karl; Engels, Friedrich. (1998) A Ideologia Alemã. Tradução: Luis Cláudio de Castro e Costa. São Paulo, Martins Fontes. Ramos, M. N. (2001) Pedagogia das competências: autonomia ou adaptação? São Paulo: Cortez. Silva, Gilmar Pereira da (2005). Trabalho, Educação e Desenvolvimento: o Norte da Educação da CUT na Amazônia. Natal: UFRN, (tese de Doutorado). Triviños, Augusto Nibaldo Silva (1987) Introdução à pesquisa em ciências sociais: a pesquisa qualitativa em educação. São Paulo: Atlas. Universidade Federal do Pará. Plano de Desenvolvimento Institucional da UFPA (PDI 2011-2015). Disponível em: http://www.portal.ufpa.br/docs/pdi_aprovado_final.pdf. Acesso em: 29/01/2014. __________. Estatuto da Universidade Federal do Pará. Disponível em: http://ufpa.br/sege/boletim_interno/downloads/estatuto/estatuto.pdf. Acesso em: 30/01/2014. __________. Regimento Geral da Universidade Federal do Pará. Disponível em: http://www.ufpa.br/sege/boletim_interno/downloads/regimentos/regimento_geral.pdf Acesso em: 30/01/2014. __________. Plano Anual de Capacitação – PAC 2014. Disponível http://progep.ufpa.br/progep/images/docs/PAC-2014.pdf Acesso em: 11/06/2014. 525 em: AS REFORMAS EDUCACIONAIS DOS ANOS 1990 E A CENTRALIDADE DAS POLÍTICAS DE AVALIAÇÃO: CHOQUE DE GESTÃO E POLÍTICAS GERENCIALISTAS NO ESTADO DE MINAS GERAIS – BRASIL (207) JORGE, Tiago, Universidade Federal de Minas Gerais (BR) RESUMO No presente artigo pretende-se discutir a centralidade das políticas de avaliação presentes nas políticas de Choque de Gestão implantadas no estado de Minas Gerais, Brasil, a partir de 2003. Busca-se analisar os impactos das reformas da década de 1990 sobre a política educacional no estado, uma vez que este se apresentou como precursor de tais reformas nos Brasil. Nas duas últimas décadas, o uso de sistemas educacionais baseados no desempenho tem se tornado cada vez mais frequente, e as políticas de avaliação ganham um foco central. As políticas de gestão no estado de Minas Gerais, a partir de 2003, foram formuladas através do Plano Mineiro de Desenvolvimento Integrado (PMDI), implementado por meio de um documento que apresenta as estratégias a serem executadas a longo prazo pelo governo e tem suas metas e prioridades em acordo com o Plano Plurianual de Ação Estratégica (PPAG). O referido documento serviu de base para a atuação do Governo do Estado e para o direcionamento de suas políticas, mantendo seus princípios mesmo ao passar por uma reformulação em 2007, sob a forma da Lei 17.007/2007. O PMDI de 2007 parte do pressuposto que o Choque de Gestão foi exitoso em seu objetivo de desenvolver a concepção de um estado que gasta menos com a máquina, e cada vez mais com o cidadão. Esta perspectiva acaba por reforçar a diretriz de construir um estado voltado para a busca por Resultados e metas. Segundo o PMDI (2007-2023), as modificações introduzidas pelo Estado para Resultados, marcadas pelos procedimentos conhecidos como “Choque de gestão”, ganharam destaque ao aplicar generalizadamente o conceito de accountability, o que reforça discussão aqui apresentada. Além da avaliação externa, merece destaque a Avaliação de Desempenho Individual (ADI), que institui mecanismos de premiação e punição, com base em um sistema de bonificação em que os resultados alcançados pelas escolas nas avaliações externas estaduais aparecem como critério importante para definição dos bônus. No caso da discussão teórica, Minas Gerais também apresenta um grau de riqueza muito elevado para este estudo uma vez que, no início dos anos 1980, um grupo de intelectuais considerados progressistas assumiu a Secretaria de Educação de Minas Gerais (SEE-MG). Um fato que merece destaque é a realização do Congresso Mineiro de Educação, que teve grande importância para as reformas educacionais que se iniciaram nos anos 1990. As bases da discussão presentes no pensamento do Congresso estão relacionadas a obras do campo da educação que questionam as teorias reprodutivistas. Essa corrente de pensamento tem como base a ideia de que a escola é uma instituição de poder, sendo possível direcionar sua atuação no sentido de se construir uma escola democrática, em que seja garantido ao aluno de camadas populares não somente o acesso, mas sua permanência na instituição e seu contato com um saber sistematizado como instrumento de luta pela cidadania. Entre os autores que compartilham dessa visão, destaca-se 526 Saviani (1995). Para ele, as instituições educacionais teriam como função ordenar e sistematizar as relações entre o homem e seu meio, o que seria uma forma de criar condições para o desenvolvimento de novas gerações. A função da escola seria, portanto, fornecer à população elementos para sua participação crítica na sociedade. O autor concorda com a perspectiva de outros pensadores, de que a escola é um instrumento de reprodução das relações na sociedade capitalista, reproduzindo necessariamente a dominação e exploração de classe. O que ele destaca, todavia, é que é possível superar essa função, uma vez que os educadores podem exercer um poder real como forma de luta, mesmo que este poder seja limitado. A escola, portanto, mesmo sendo uma instituição determinada por uma sociedade fundamentada no modo de produção capitalista e dividida em classes com interesses antagônicos, pode ser um instrumento de luta da classe trabalhadora, ao garantir aos trabalhadores o acesso ao conhecimento historicamente acumulado pelo homem. O Congresso Mineiro de Educação surge como uma forma de fomentar esta discussão, sendo um grande evento que buscava, por meio da participação, resgatar as demandas originadas dos movimentos sociais. Estas mudanças, porém, foram interrompidas com a saída desses intelectuais do governo, que se deu em 1986. Todavia, observa-se influências das discussões propostas no Congresso Mineiro de Educação nas reformas educacionais que ocorreram nos anos 1990, embora com uma perspectiva diferente daquela defendida por esse grupo na época. Tanto em relação às orientações dos organismos internacionais quanto pelo ambiente de reformas que se iniciava em âmbito nacional, o governo de Minas Gerais encontrou um ambiente muito propício para o desenvolvimento de suas ações. A gestão por resultados é citada como uma estratégia prioritária para se alcançar os objetivos e metas educacionais, sendo os resultados do desempenho dos alunos nos sistemas de avaliação utilizados como indicadores da atuação dos professores e diretores da rede pública estadual, o que demonstra o forte viés gerencialista presente no modelo de gestão do estado. Os argumentos utilizados para a adoção destas estratégias estão focados na busca por maior eficácia e eficiência na prestação de serviços, com vistas à melhoria nos níveis de produtividade. Os programas e projetos desenvolvidos na área educacional do estado refletem uma lógica de prestação de contas das escolas e profissionais da educação, o que caracteriza o estado regulador e avaliador. Nesse sentido, a reforma administrativa realizada pelo governo de Minas Gerais, principalmente no programa intitulado reforma de segunda geração, mostra em suas diretrizes um aprofundamento da atuação do estado como regulador, com adoção de mecanismos de gestão pública gerencial, em que se busca um alinhamento dos funcionários e instituições aos objetivos do programa de governo. O alcance dos objetivos era buscado por meio de bonificações para as metas alcançadas e sanções no caso de não alcance, podendo chegar inclusive à perda de cargo, no caso de diretores de escola, e não recebimento do Prêmio de Produtividade para a equipe. De maneira geral, o plano de governo acaba por absorver elementos das reivindicações mais progressistas, como maior autonomia, embora esta venha vinculada a instrumentos de controle e aumento das atribuições para os docentes. 527 EVALUATION FORMATIVE DE LA MAITRISE DES COMPÉTENCES D'ENSEIGNER LES SCIENCES EXPÉRIMENTALES (ID 208) KHYATI, Abderrahim, Université Hassan II Casablanca, (MA) BOUMAHMAZA, Mohamed, Université Hassan II Casablanca, (MA) TALBI, Mohammed, Université Hassan II Casablanca, (MA) RÉSUMÉ Dans l'enseignement des sciences expérimentales du cycle secondaire, les étudiants des filières niveau master - aux métiers d'enseignement à l'ENS de Casablanca, éprouvent des difficultés à maîtriser les compétences d'enseignement, à savoir entre autres, qu'enseigner, c'est maîtriser les contenus à enseigner; c'est, communiquer en ayant les qualités d'empathie; c'est, rendre les apprentissages significatifs et signifiants; c'est, changer sa conception de l'apprendre; c'est, gérer des dispositifs; et c'est faire vivre des valeurs. Or, faute d'un enseignement antérieur basé sur les principes du socio-constructivisme et du l'hypothético-déductivistes, convenables à l'enseignement et à ses dimensions, nos étudiants manquent de culture comportementale et d'attitudes scientifiques, que devraient permettre les programmes officiels, après leur enseignement. Car ces programmes disparates et mosaïques sont transposés en manuels scolaires sans référence à l'épistémologie contemporaine qui permettrait lors de leur traduction en leçons, de fonder les contenus et les démarches scientifiques en classe. A ces effets de transposition (effets dogmatiques de reformulation), s'ajoutent les effets d'une seconde transposition dogmatique, d'actes didactiques formalisés dans une approche psychopédagogique non pertinente aux conditions de l'appropriation des savoirs comme outils de raisonner sur le réel complexe. En conséquence, on se trouve avec des étudiants qui ont besoin d'une formation qui leur permettrait de répondre à leurs besoins en compétences d'enseignement. Dans cette formation, notre hypothèse, est que la construction d'une grille d'évaluation formative et systématique à composantes les dimensions et sous-dimensions des compétences précitées, permet au formateur en situations-problèmes, d'identifier la nature des difficultés (erreurs et obstacles), de mesurer les écarts à leur maîtrise, et de gérer des dispositifs ajustables en fonction de la nature des écarts. L'identification de ces difficultés est envisagée selon la conception méthodologique d'une grille conceptuelle dont les éléments sont validés à partir d'un corpus didactique, pédagogique et épistémologique fondé et pertinent. Les concepts, variables et indicateurs de cette grille sont construits à partir des éléments des dimensions et sous dimensions des compétences. Ces compétences constituent notre référentiel de formation scientifique. Elles nécessitent la formulation de problèmes scientifiques à partir de problèmes fonctionnels visant une construction conceptuelle fondée sur l'imagination, la manifestation, la référence, la compréhension, la mobilisation d'acquis pertinents, le raisonnement, faire des calculs, et la réalisation de procédures expérimentales. Les indicateurs échelonnés sur une échelle de valeurs, sont les équivalents empiriques des variables des compétences en question. Ainsi la maîtrise des contenus repose sur le repérage des concepts, sous-concepts de la discipline et de leurs relations associés à des représentations conceptuelles souples et valides ainsi, qu'à des schèmes, formes de pensées 528 organisant l'action conceptuellement, et facilitent l'apprentissage. La communication est plutôt dialogique au lieu d'être dialogale, son support les outils linguistiques et les outils scientifiques. On associe à cette compétence, la qualité du raisonnement: raisonner, argumenter, pratiquer une démarche scientifique, qui devrait être basé sur des conceptions non erronées, fondées sur des problèmes significatifs générateurs de motivation de questionnement et de tâtonnement. en plus, d'autres dimensions sont à évaluer: la recherche de l'information utile, son extraction et son organisation; et la réalisation d'actions, telles que réaliser, calculer et appliquer des consignes. Alors que changer sa conception de l'apprendre, revient à évaluer les représentations des étudiants, à penser les trois processus du contrat didactique et pédagogique, et leurs contraintes, à savoir, le processus d'éduquer et de former; le processus d'apprendre; et le processus d'enseigner autour de situations problèmes. En outre, l'élaboration de notre grille est fondée sur un référentiel de compétences dont les composantes sont des indicateurs mesurables. Elle est aussi validée par la nature de ses composantes respectant les contraintes épistémologiques contemporaines et les logiques d'appropriation des savoirs. L'expérimentation de cette grille nous a permis d'identifier les représentations de nos étudiants sur les métiers d'enseignement par rapport à notre référentiel de compétences. En effet, la majorité (130/150) d'entre eux se représente le métier comme composé de contenus à faire passer directement aux élèves et d'une façon claire sans perte de temps. Selon eux, l'élève a le statut d'exécutant, il doit apprendre par cœur le cours et de répondre aux attentes de l'enseignant. La situation problème dont ils ignorent les caractéristiques leur semblent non opératoire, et une perte de temps, car, pour eux, les programmes sont chargés et ils doivent les faire entièrement. Ils pensent que le cheminement dans le cours est linéaire selon des séquences pédagogiques commandées par l'enseignant. Le tâtonnement, l'imagination et l'interaction ne sont pas permises, car ces étudiants se représentent les objets des sciences expérimentales comme des objets mathématiques, ils se construisent par inférence déductive sans lien avec le réel sensible et intelligible. Certains de ces étudiants pensent même que l'élève apprend par le passage obligé par l'enseignant qui reste disponible à poser les suites de questions aux élèves et fournie aussitôt les réponses sans situer l'élève dans le contexte de situations problèmes. Les expériences sont faites pour montrer et pas pour tester, démonter ou prouver. Malgré leur formation en sciences expérimentales, ils sont très influencés par la logique mathématiques, au point où, ils apparaissent comme de petits génies dans la résolutions des équations canoniques des sciences sans faire appel aux logiques épistémologiques nécessaires à la problématisation. L'identification des représentations de nos étudiants en formation, nous a poussé à les ressourcer en matériel didactique et pédagogique se rapportant à l'étude des représentations sous différents angles d'attaques et dans différentes situations d'apprentissage. L'analyse par les étudiants de ces ressources, et la médiation du formateur ont permis la progression dans les conceptions des métiers de l'enseignement, et à la construction des concepts des disciplines et de leurs relations. En stage bloqué, dans les établissements de l'enseignement secondaire qualifiant (lycées), les étudiants ont expérimentées leurs représentations validées en des pratiques enseignantes en mobilisant plus ou moins les compétences de notre référentiel qu'ils ont pu améliorer relativement par réflexivité. 529 La durée de la formation en évaluation et en didactique des disciplines scientifiques reste insuffisante par rapport aux autres matières de la formation de la filière. Au lycée, nos étudiants subissent l'effet des contraintes de la surcharge des classes associées aux contraintes des comportements des maîtres d'application ayant eux aussi des représentations qui laissent à désirer. Dans cette communication, nous présenterons, la grille d'évaluation relative aux compétences précités, et ses composantes critériées selon les paradigmes de l'assessment: mesurer, tester selon des tests standarisés; apprécier les productions complexes en situations-problèmes;et observer les comportements, indicateurs de caractéristiques associés à aux attitudes et à la motivation (Scallon, 2004). Références Astolfi, J-P. , Develay ,M. (2002). Compétences d'enseignement de PC. Didactique des sciences. Que sais_je. Paris. Colet, N-R.(2002). Enseignement universitaire et interdisciplinarité. De Boeck Université. Hempel, C. (1996). Éléments d'épistémologie. Amand Colin. Traduction française. Paris. Khyati, A. (2005). Former des enseignants professionnels. Revue pédagogique de APQC. Québec. Khyati, A. & Boumahmaza, M. (2009). Électrolyse et interprétation de l'ordre des réactions aux électrodes. Khyati, A. & Boumahmaza, M., Talbi, M. & Boumazreg, R. (2015). Évaluation des apprentissages des sciences expérimentales selon le modèle pédagogique par investigation-structuration. Actes du colloque de l'ADMEE 2015. Liège. Belgique. Khyati, A., Talbi, M. & Boumahmaza, M. (2013).Former à l'évaluation des apprentissages en physique chimie. Actes du 25éme colloque de l'ADMEE. Physique Chimie. Programmes Du Second (2010). Hachette éducation. livre. Les compétences développées par l'élève. pp 6-7. Paris. Scallon, G. (2004). l'évaluation des apprentissages dans une approche par compétences. PED. De Boeck. Bruxelles. 530 DOUBLE CONFRONTATION DES AUTOÉVALUATIONS DU FONCTIONNEMENT DU GROUPE-PROJET … AU SERVICE DE L’APPRENTISSAGE DU TRAVAIL EN ÉQUIPE CHEZ LES ÉTUDIANTS DE L’ENSEIGNEMENT SUPÉRIEUR (ID 212) JANS, Véronique, Université de Liège (BE) MANFREDINI, Tiber, Université de Liège (BE) Notre communication s’inscrit dans le cadre d’une recherche-intervention que nous menons à l’Université de Liège et qui vise le développement des Soft Skills (ou compétences psycho-sociales) chez les étudiants de l’enseignement supérieur. Parmi les compétences psycho-sociales qui retiennent notre attention, celles liées à la conduite du travail en équipe sont largement plébiscitées par les enseignants et les facultés partenaires. La présente communication analyse un type particulier de débriefing proposé aux groupes d’étudiants en projet, à savoir une activité de double confrontation de leurs autoévaluations (intragroupe, tout d’abord ; avec des observateurs extérieurs, ensuite) du fonctionnement de leur groupe-projet, à partir d’une grille de critères construite sur base de la littérature et de nos expériences de terrain. Introduction « Thinking is for doing » … Doing should also be for thinking. Notre communication s’inscrit dans le cadre d’une recherche-intervention visant le développement des Soft Skills (ou compétences psycho-sociales) chez les étudiants de l’enseignement supérieur. Cette recherche est menée par le service de Psychologie Sociale des Groupes et des Organisations de l’Université de Liège (ULg, Belgique, professeur J.-Fr. Leroy) et son mandat consiste notamment à recenser, développer, tester et mettre en commun des dispositifs pédagogiques visant le développement de telles compétences chez les étudiants. Focus sur le développement de la capacité à travailler (mener un projet) en équipe Parmi les compétences psychosociales qui retiennent notre attention, celles liées à la conduite du projet en équipe sont largement plébiscitées par les enseignants et les facultés partenaires, car elles concernent à la fois une modalité de formation vécue à répétition par leurs étudiants et une future situation professionnelle pour la plupart de ceux-ci. Choix méthodologiques Notre cadre conceptuel et axiologique (Manfredini et al, 2012) justifie une approche intégrée des dimensions scientifico-technique et psycho-sociale du travail en équipe. Dans cette optique, envisager un processus de formation qui déploie cette intégration des deux dimensions a pour enjeu de ne pas se contenter d’enseigner deux choses distinctes – ce qui de l’avis de nombreux experts (Surlemont, 2010) s’avère bien insuffisant et même artificiel pour ne pas dire absurde – mais a pour 531 enjeu d’enseigner autrement, en veillant à articuler les différentes dimensions au sein de situations complexes expérimentées par les étudiants. Nous avons choisi de nous inscrire dans une démarche pédagogique active qui procède notamment par l'apprentissage par projet, entre autres méthodes pédagogiques. La méthodologie mise en œuvre s’inscrit dans le cadre des projets menés par les étudiants durant leur cursus de formation. Elle repose sur des séances collectives réflexives, permettant le lien avec le projet professionnel des étudiants ainsi qu’avec une éthique professionnelle. Ces séances de débriefing et de formalisation (parfois théorique) des expériences vécues par les étudiants (largement plébiscitées par Meirieu, in Truong, 2011) sont construites et animées par notre équipe d’intervenants psycho-sociaux. Notre dispositif suppose une posture particulière pour l'animateur. Concrètement, nous devons veiller à: 1) instaurer rapidement un climat propice à l'échange en suscitant une participation active physique et verbale (installer le lieu, échanger quelques mots via le tour des prénoms et nos quelques questions initiales, …) qui construit notre espace de travail ; 2) soutenir, relancer et articuler la pensée collective ; 3) distinguer le moment de pensée réflexive qui pose un diagnostic et celle d'élaboration de pistes d'action ; 4) bien cadrer et tenter de faire vivre ce moment de travail comme ayant sa finalité aussi en luimême et non uniquement comme outil d'efficacité car c'est aussi dans la qualité d'expérience vécue hic et nunc par les participants que réside la garantie de son intégration, de sa recréation et de sa durabilité. Objectifs d’apprentissage Nos objectifs d’apprentissage relatifs à la conduite de projet en équipe, à l’intention des étudiants, sont définis de la manière suivante : 1) Percevoir et décoder la dynamique groupale (phase de diagnostic) : sa position, son rôle, ses enjeux dans le groupe de travail ; la position, les rôles, les enjeux des autres dans le groupe de travail ; le contexte dans lequel ces dynamiques prennent place. 2) Identifier et mettre en œuvre le processus de travail adapté en fonction des objectifs, des ressources et du contexte : 3) définir les objectifs de l’équipe et clarifier la cible commune 4) structurer l’équipe et définir les responsabilités et les objectifs des personnes 5) assurer l’animation de l’équipe 6) rechercher, organiser et utiliser l’information nécessaire à l’atteinte des objectifs 7) choisir les modes de prise de décisions et de résolution de problèmes adéquats 8) évaluer régulièrement les interactions dans le groupe et procéder aux régulations nécessaires. 532 Activité de double confrontation des autoévaluations du fonctionnement de groupe-projet L’objet de la présente communication concerne un type particulier de débriefing proposé aux groupes d’étudiants en projet. Il s’agit d’une activité de double confrontation de leurs autoévaluations (intragroupe, tout d’abord ; avec des observateurs extérieurs, ensuite) du fonctionnement de leur groupe-projet. Pour ce faire, une grille de critères, construite sur base de la littérature relative à la dynamique des groupes ainsi que de nos expériences de terrain, est utilisée par chaque étudiant individuellement pour estimer, sur une échelle de 0 à 10 (colonne 2), le degré d’atteinte de chaque critère proposé (colonne 1), et justifier sa cote par des exemples concrets vécus durant le projet (colonne 4). Critères d’auto-évaluation du fonctionnement du groupe Vision claire et partagée par chacun de ce que nous avons à faire dans le projet Contribution de chacun à l’avancée du projet, responsabilité collective envers le projet Répartition équilibrée des tâches entre nous, en fonction des compétences, aspirations et disponibilités de chacun Procédure collective de travail bien définie, avec une répartition adéquate des moments de travail collectifs et des moments de travail individuels, une gestion du temps appropriée au projet et aux impératifs de chacun, un respect du planning Utilisation adéquate et efficace des moyens de communication entre nous et avec l’extérieur Rôles clairement définis dans le groupe et tenus de façon satisfaisante Ambiance de travail conviviale, bonne entente entre les membres du groupe Ecoute et prise en compte des avis de chacun, soutien mutuel en cas de besoin Acceptation et prise en compte des commentaires formulés par les enseignants sur notre travail Autre ? Cote (entre 0 et 10) Justification (avec éléments concrets) Grille d’autoévaluation de la conduite d’un projet en équipe ; Equipe Soft Skills – PSGO (Université de Liège) Le groupe-projet réalise ensuite collectivement la tâche d’autoévaluation de son fonctionnement selon les mêmes critères (colonne 3) ; chacun participant est ensuite invité à calculer les écarts entre sa propre autoévaluation et celle du groupe (premier temps de confrontation intragroupe). Au terme de cette activité collective de confrontation des autoévaluations, le groupe-projet reçoit un feedback de la part des étudiants d’un autre groupe-projet qui ont assisté à l’activité. Ceuxci ont été outillés au préalable : 1) pour observer un groupe au travail selon 2 axes : d’une part, la manière dont le groupe s’y prend pour réaliser la tâche ; d’autre part, la qualité du contenu de leur réflexion ; 533 2) pour donner du confidentialité. feedback : franchise bienveillante, évolutivité, contextualité et Une discussion collective s’ensuit, alimentée par les apports de chacun, l’intervenant psychosocial y compris (deuxième temps de confrontation avec les observateurs extérieurs). Cette discussion permet d’aborder les questions qui se posent quant au fonctionnement de groupe et au lien entre le fonctionnement de groupe et la qualité du travail fourni. L’intervenant psycho-social apporte les éléments théoriques et pratiques utiles pour poursuivre la réflexion et aide à la formalisation des apprentissages liés au travail en équipe et à la conduite de projet. Pour clore cette activité, il est demandé à chaque groupe-projet de cibler deux ou trois points de la grille d’autoévaluation, auxquels il s’engage à être particulièrement attentif pour la suite du projet. Le groupe décrit les pistes d’amélioration et les stratégies d’action qu’il compte mettre en œuvre à ces niveaux-là. Expérience Nous utilisons cette méthodologie depuis deux ans, dans le cadre des projets menés par diverses cohortes d’étudiants (2e Baccalauréat en informatique de la Haute-Ecole Robert Schuman, 1er Master en ingéniorat de la Faculté de Sciences Appliquées de l’ULg, 1er Master en Sciences de l’Education de la Faculté de Psychologie, Logopédie et Sciences de l’Education de l’ULg). Voici l’exemple d’une grille complétée par un étudiant futur ingénieur. 534 ! Retour sur experience L’intérêt de cette méthodologie selon nous – outre le fait qu’elle s’inscrive dans une démarche de pédagogie active, avec structuration de l’activité par les étudiants eux-mêmes et non hétérostructuration par l’encadrant – réside dans le fait de ne pas disjoindre l’activité de réflexion menée par le groupe et la manière dont cette réflexion est produite. Le fait même d’amener les étudiants à produire une pensée collective livre par la même occasion une information sur comment le groupe fonctionne. Cette façon de procéder donne accès à au moins 3 sources d’information : ce que les étudiants disent qu’ils font (information habituellement recueillie au travers des activités d’autoévaluation « classiques »), ce qu’ils font réellement et ce que l’on observe qu’ils font. Cela rend possible la multiplicité des regards chère à Bruno Latour : on n’épuisera évidemment pas tout ce qui s’est passé, mais on ouvre à une multiplicité des points de vue. 535 Une limite est toutefois à reconnaître et accepter. Il n’existe pas d’observation absolue. On observe toujours les faits de sa propre présence. Il y a donc un effet d’artefact, mais celui-ci nous semble minoritaire. La tâche d’observation et de rendu d’observation par d’autres étudiants nous parait également être un élément positif dans la formation des étudiants au travail en équipe. En termes d’effets du dispositif, nous ne disposons pas de mesure expérimentale. Nous pouvons cependant témoigner d’un effet positif de surprise et d’enthousiasme chez la plupart des étudiants rencontrés. C’est souvent la première fois qu’ils sont invités à fonctionner de la sorte, et ils se disent étonnés de ce qu’ils arrivent à produire et à dire à travers cette activité. Construire du savoir sur eux-mêmes les interpelle, les intéresse, et est, de notre point de vue, la meilleure garantie de pérennité de leur réflexion. C’est en tous cas l’objectif que nous visons, pour les étudiants, dans l’apprentissage du travail en équipe : celui de construire collectivement une pensée et non celui de réceptionner des recettes parfois difficilement applicables, voire non pertinentes. A condition que les étudiants l’investissent, cette activité (qui prend place dans un processus de projet de groupe mené durant plusieurs mois) permet d’enrichir les check-points successifs du projet, en fournissant aux étudiants une grille de lecture de leur vécu, l’occasion de développer une compétence transversale utile pour de futures expériences, ainsi qu’une possibilité de construction progressive de connaissance sur leur groupe en projet. Références Manfredini, T., Jans, V., Gruslin, I. & Leroy, J.-F. (2012). Penser, vivre et pratiquer l’articulation de la dimension psycho-sociale de l’action professionnelle aux dimensions technique et scientifique en formation universitaire des ingénieurs: aller au-delà des soft skills. Communication présentée au Congrès de l’AIPTLF. Lyon, 13 juillet 2012. Surlemont, B. & Kearney, P. (2009). Pédagogie et esprit d’entreprendre. Bruxelles : De Boeck Université. Truong, N. (2011). Contre l’idéologie de la compétence, l’éducation doit apprendre à penser. Comment réinventer l’école ? Débat entre Marcel Gauchet et Philippe Meirieu sur Le monde.fr, 6 septembre 2011. 536 ROTEIROS DE AVALIAÇÃO NO ÂMBITO DOS PROCESSOS DE RECONHECIMENTO E VALIDAÇÃO DE ADQUIRIDOS EXPERIENCIAIS: TENSÕES E CONTRADIÇÕES (ID 214) PAULO, Manuela, Universidade de Lisboa (PT) PAULOS, Catarina, Universidade de Lisboa (PT) Introdução Este trabalho aborda o processo de avaliação no âmbito dos processos de reconhecimento de adquiridos experienciais em dois momentos temporais diferentes: durante a existência dos CNO, e desde 2013 com os CQEP. Estes dois momentos são fruto das alterações ao nível das políticas públicas de educação de adultos, as quais se têm caraterizado, nas últimas três décadas, pela ausência de um fio condutor (Lima, 2008). O presente trabalho tem como base um estudo de caso realizado no pólo CQEP do Agrupamento de Escolas Dr. Azevedo Neves, entidade integrada no CQEP em consórcio promovido pelo Município da Amadora. Foram realizadas cinco entrevistas semi-estruturadas a formadores. Realizaram-se também observações de sessões de reconhecimento e validação de adquiridos experienciais num grupo de sete adultos candidatos a uma certificação de nível básico B3 (9º ano de escolaridade). O reconhecimento de adquiridos experienciais: A avaliação antes e após 2013 O reconhecimento de adquiridos experienciais faz parte das políticas públicas de educação de adultos, tendo começado a ser implementado em Portugal em 2001. Este processo centra-se na valorização e na legitimação dos conhecimentos e saberes adquiridos ao longo da vida, sobretudo em contextos não formais e informais, sendo o adulto, o principal recurso da sua formação (Canário, 2008). Esta prática educativa, considerada inovadora (Cavaco, 2009), assenta na construção de uma história de vida por parte de adultos pouco escolarizados, com o objetivo de validarem e certificarem as aprendizagens e competências adquiridas ao longo da vida, de forma a obterem uma certificação escolar e/ou profissional. A metodologia no reconhecimento de adquiridos experienciais permite reequacionar quer dispositivos de formação, quer situações educativas e também modalidades de aprendizagem. A sua aplicação é ainda muito recente, “não estandardizada” e efetuada em contextos muito diversificados, o que torna a “tarefa considerável” (Josso, 2002, p.179). O dispositivo de reconhecimento e validação de adquiridos experienciais, em Portugal, está estruturado em três fases, reconhecimento, validação e certificação, e é designado por processo de reconhecimento, validação e certificação de competências (RVCC) nos documentos produzidos pelo Ministério da Educação. A primeira fase – reconhecimento - assenta na construção da história de vida pelo adulto, atendendo à diversidade de experiências e de situações de aprendizagem, no que concerne a várias dimensões do seu percurso de vida, nomeadamente profissional, formativo e social. É uma fase reflexiva, de avanços e recuos, em que o adulto vai produzindo uma narrativa escrita acerca das experiências mais significativas da sua vida, com valor em termos de aprendizagem e de desenvolvimento de competências. A narrativa de vida, alargada no confronto 537 com as competências requeridas pelo referencial de competências chave, é designada por Portefólio Reflexivo de Aprendizagens (PRA). A seguir a esta fase, os adquiridos experienciais evidenciados no PRA são comparados com os elementos que constam do referencial de competências chave, constituindo a fase de validação. Os adultos ao longo deste processo são acompanhados por uma equipa técnico pedagógica constituída por um Profissional de RVC (Reconhecimento e Validação de Competências), e que a partir de 2013 se passou a designar Técnico de Orientação, Reconhecimento e Validação de Competências (TORVC), e por formadores. A certificação corresponde à confirmação, oficial e formal, das competências validadas. Até 2012 realizava-se perante um júri de certificação, constituído pelo profissional de RVC, por formadores e por avaliadores externos, que anteriormente à sessão de certificação desenvolviam um trabalho conjunto de preparação que incluía “a análise e a avaliação do PRA” (Canelas, 2007, p.18). Ao avaliador externo competia “a aferição e afirmação social do processo RVCC desenvolvido, no âmbito das competências da avaliação/validação das competências do adulto” (ibidem). No final do processo, os candidatos obtinham uma certificação, parcial ou total, de acordo com o perfil de competências demonstrado, formalizada através da emissão de um certificado. As principais alterações introduzidas por via legislativa (Portaria n.º 135-A/2013 de 28 de março) centram-se nas fases de validação e de certificação de competências. Desde 2013, a validação envolve autoavaliação e heteroavaliação do portefólio. A certificação tem por base a realização de provas em cada área de competência. A autoavaliação pressupõe que a equipa técnico pedagógica oriente o adulto na análise e reflexão das competências demonstradas à luz do referencial de competências, e é suportada por um conjunto de grelhas, a preencher pelo adulto. Estas grelhas de avaliação são diferentes conforme a área de competência a avaliar, e o seu preenchimento é feito tendo como base uma escala quantitativa. Nas reuniões de autoavaliação, a equipa auxilia cada adulto a incluir as experiências expressas no portefólio no respetivo “pacote de competências” alvo de cotação. A autoavaliação proposta não deixa claro se a reflexão a fazer é sobre a verificação dos adquiridos experienciais ou sobre o grau de literacia revelado pelos adultos durante a respetiva explicitação do portefólio, tendo em conta uma escala de avaliação. A heteroavaliação assenta nos mesmos mecanismos da autoavaliação, mas nesta sessão o adulto não está presente, só delibera a equipa que o acompanhou. Nesta sessão pode ser decidido o encaminhamento do adulto para formação, até 50 horas, quando não reúne condições de validação em determinada área de competências (Branco & Freire, 2014). A reunião de heteroavaliação, à semelhança de um concelho de turma, aborda todos os adultos em simultâneo, e consiste numa avaliação realizada pelos técnicos que acompanharam os adultos, utilizando a mesma grelha quantitativa da autoavaliação. O facto das reuniões de autoavaliação e de heteroavaliação se realizarem separadamente, em nada beneficia o processo, pois, deste modo não há um diálogo franco e aberto entre todos, ao contrário do realizado durante o processo de construção do Portefólio e, na prática, os formadores realizam uma avaliação muito próxima da efetuada pelos adultos. Acresce que o peso/pontuação destas duas formas de validação de competências (pontuação da autoavaliação e da heteroavaliação) é de 0,2 para os adultos e de 0,8 para os formadores, o que revela a desvalorização a que os adultos estão votados. 538 O conjunto dos dois processos, pontuação da autoavaliação e da heteroavaliação (PRVCpontuação do reconhecimento e validação de competências) tem um peso de 40% no processo de certificação, desvalorizando o próprio processo, a equipa e os adultos, em prol das provas de avaliação, que têm um peso de 60%. A certificação de competências, última fase do processo, pressupõe a realização de uma prova (escrita, oral e/ou prática) por cada área de competências chave. A prova é elaborada pela equipa que acompanha os adultos, sendo que a respetiva correção fica a cargo de formadores não envolvidos no acompanhamento dos adultos. A prova tem como objetivo a “legitimação do processo de RVCC”, e é um “mecanismo de controle de qualidade”, muito embora se questione como se podem harmonizar diferentes tipos de lógica, ou seja, o processo de RVCC numa lógica “individualizada e de processo” com as provas, de lógica “padronizada e de produto” (Branco & Freire, 2014). Reflexões finais Do trabalho empírico realizado ressalta que o atual modelo de reconhecimento e validação de adquiridos experienciais está mais próximo das práticas escolarizadas, sobretudo no que diz respeito ao processo de avaliação. Na realidade já não se pressupõe uma valorização das evidências que foram reconhecidas no portefólio, mas antes um mecanismo intrincado e inflexível de cotação para a seleção dos adultos, a quem é, ou não, permitida a realização das provas. Se o adulto não obtiver cotação suficiente, não poderá realizar as provas, num mecanismo sem respostas, ou seja, o adulto elabora o portefólio, são reconhecidas competências, mas não tem oportunidade de as certificar. Outro aspeto a relevar é uma clara constatação da sobrevalorização da certificação escolar, em que o nível de escolarização é mais importante do que os conhecimentos e competências que os adultos possuem. É disso exemplo a difícil aceitação, desconfiança e insegurança, especialmente por parte dos formadores, em considerar que os adultos detentores do 4º ano de escolaridade pudessem certificar o 9º ano de escolaridade, sem antes certificarem o 6º ano. Referências Branco, L. & Freire, M. (2014, outubro). Etapas de reconhecimento, validação e certificação de Competências. Comunicação apresentada nas II Jornadas Técnicas para os CQEP. Lisboa: Museu do Oriente. Canário, R. (2008). Educação de adultos: Um campo e uma problemática. Lisboa: EDUCA Canelas, A. M. (Coord.) (2007). Carta de Qualidade dos Centros Novas Oportunidades. Lisboa: Agência Nacional para a Qualificação. Cavaco, C. (2009). Adultos pouco escolarizados. Políticas e práticas de formação. Lisboa: Educa. Josso, M.-C. (2002). Experiências de vida e formação. Lisboa: EDUCA. Lima, L. (2008). A educação de adultos em Portugal (1974-2004): Entre as lógicas da educação popular e da gestão de recursos humanos. In R. Canário & B. Cabrito (Orgs.), Educação e formação de adultos. Mutações e convergências (pp. 31-60). Lisboa: EDUCA. Portaria n.º135-A/2013, de 28 de março, DR nº 62, Iª Série, Ministérios da Economia e do Emprego, da Educação e Ciência e da Solidariedade e da Segurança Social [Regula a criação e o 539 regime de organização e funcionamento dos Centros para a Qualificação e o Ensino Profissional (CQEP)]. 540 LES COMPÉTENCES TRANSVERSALES DES ÉTUDIANTS ÉVALUÉES DANS LA FORMATION UNIVERSITAIRES EN CURSUS D’HISTOIRE (ID 215) LOFFI, Valeria Mabel, Universidad Nacional de Tres de Febrero (AR) POGGI, Marta Mercedes, Universidad Nacional de Tres de Febrero (AR) Introduction Ce travail présente une analyse des buts, de la méthode et des résultats d’une série d’évaluations menées au sein d’un Projet d’amélioration de l’enseignement et de l’apprentissage des étudiants en cursus d’Histoire. Les professeurs de l’Université Nationale de Tres de Febrero ont détecté des faiblisses dans des compétences transversales chez les nouveaux étudiants. Grâce aux pratiques évaluatives une équipe interdisciplinaire d’enseignants-chercheurs a ciblé les difficultés pour l’analyse critique, la compréhension de texte, la rédaction, le vocabulaire et l’expression orale, entre autres. Depuis les approches didactique et cognitiviste nous avons crée des protocoles d’évaluation, analysé les différentes démentions de la problématique et traité les donnés. Nous avons enfin proposé des nouveaux outils pédagogiques et nous les avons évalué à l’issu de cette démarche. Cadre théorique Le traitement d’informations lors d’une activité de lecture est influencé par les caractéristiques du texte, les exigences de la tâche et les buts du lecteur. Les modèles théoriques et études cognitivistes en rendent compte. Le modèle de construction-intégration de Kintsch (1988) explique la compréhension textuelle sur la base de trois niveaux de représentation mentale des informations dans la mémoire du lecteur. Au niveau de la surface, la construction d’une représentation mentale de la structure graphémique permet d’activer en Mémoire de Travail la signification des mots ; au niveau propositionnel, l’élaboration et le regroupement des représentations sémantiques des mots conduit à la formation de propositions de type prédicat (argument) ; enfin, au niveau du modèle de situation, les informations des deux niveaux précédents sont intégrées aux connaissances que possède le lecteur sur la situation décrite dans le texte. Les trois niveaux participent à la construction de la représentation mentale de la signification du texte. La perspective constructiviste souligne l'importance des buts du lecteur, de la cohérence textuelle, et la construction de la signification lors de la lecture (León & Martín, 1993). Cette construction implique la formation d’un modèle de situation dans lequel le processus inférentiel, la cohérence textuelle et les connaissances du lecteur ont une participation capitale (Kintsch & Kintsch, 1995 ; McNamara, Songer, Kintsch & Kintsch, 1996 ; Keenan, Baillet & Brown, 1984). Pour mettre en relation le contenu du texte et de ses propres connaissances, le lecteur produit des inférences, afin de rendre plus compréhensible (face aux informations implicites ou peu incohérentes). Lorsque la liaison causale entre les phrases n’est pas explicite, le lecteur s’investit dans un processus inférentiel en quête de sens, favorisant la compréhension et le rappel ultérieur des informations; le coût cognitif augmente lorsque le lecteur ne réussissant pas à relier les phrases entre elles (incohérence locale) (Keenan, Baillet, Brown, 1984 ; Myers, Shinjo, Duffy, 1987; Loffi, Martins, 2005). De plus, la compréhension d’un texte à thématique historique (document, texte, 541 sources) entraine souvent un travail de comparaison ou de débat d’idées. Le modèle de situation construit par le lecteur sera plus complexe et le cout cognitif sera majeur (Escoriza, 2005; Rouet 2006). Méthode Au cours du Projet 1501 étudiants volontaires ont participé dans 11 évaluations. A chaque instance nous avons crée des protocoles différents sur la compréhension de texte (Otero, Graesser, 2001; Caldeira et al., 2002; Davey McBride, 1986 ; Orrantia, et al., 1998, entre autres) ainsi que d’autres compétences transversales. Le processus d’évaluation a traversé plusieurs étapes. Premièrement, nous avons fait un état des lieux des difficultés, lors de l’étape diagnostique. Deuxièmement, nous avons évalué l’impacte du projet à l’aide de protocoles standardisés (Rodriguez Diéguez, 2003) identique pour tous les étudiants, suivi d’une analyse quantitative des données. Troisièmement, nous avons évalué les progrès acquis, avec des protocoles écologiques (Guihard, 2007 ; Haberlandt, 2003); puis nous avons fait une analyse qualitative des résultats. Finalement, nous avons établis un suivi du projet sur les nouvelles cohortes d’étudiants. Cette pratique a été récemment étendue au cursus d’enseignement á distance. Néanmoins, le grand défi méthodologique de ce travail était de fournir un outillage d’évaluation et de remédiassions adapté au public universitaire. La littérature sur la didactique et la compréhension de l’histoire, propose des modèles et des actions soit adressées aux enfants et aux adolescents (García Vidal, González Manjón, 1996; Díaz Barriaga, 1998; Carretero, 1993, 1994, 2004), soit sur le contexte (Durán, Costaguta, 2007 ; Ruiz, Odstrcil, 2007). Résultats Nous avons analysé et cherché á résoudre les différents degrés de difficulté liés aux compétences engagées dans les processus comme la compréhension et l’écriture . Les évaluations nous ont permis de produire un matériel axé sur les stratégies didactiques adressées aux enseignants et sur les aides cognitives destinées aux étudiants (González, Montanero, 2002, Martins, Campion, 2000). Il comporte quatre livrets et des documents annexes. Le Tableau 1 montre un échantillon d’aides proposées pour les étudiants en première année de formation. Tableau 1 : Stratégies d’aide pour les nouveaux étudiants. Première année Stratégies Actions sur… Compéter et répéter les informations implicites dans les textes complexes et descriptifs. Anaphores, connecteurs, inférences sur les personnages, relations et instruments. Anticiper les arguments des textes à thématique inconnue. Résumé d’introduction, signalisations, entête de paragraphes, vocabulaire. Evoquer les connaissances préalables sur un sujet. Etablir des relations, comparer. Formuler des consignes explicites et dirigées, poser des questions. Ce nouveau matériel a été soumis à l’évaluation de l’ensemble des professeurs du cursus d’Histoire. A l’aide d’une enquête anonyme sur dix items de jugement, nous avons testé les dimensions didactiques et ergonomiques de l’outil en question. 542 Conclusions Les pratique évaluatives nous ont permis á la fois de cerner le profil des nouveaux étudiants, d’ajuster et d’enrichir les pratiques des enseignants et de créer un outil didactique pour améliorer les stratégies d’apprentissage. Les activités proposées ont été intégrées aux cours dans un esprit interdisciplinaire et de transversalité. Les différentes étapes et méthodes évaluatives nous ont apportés des éléments d’analyse, de décision et de remède auprès d’une problématique qui intervient dans la qualité de l’éducation supérieur. Références Campion, N., Rossi, J.-P. (1999). « Inférences et compréhension de texte ». L'Année Psychologique, 99, Paris : PUF, 493-527. Carretero, M., Voss, J.F. (eds.) (1994). Cognitive and instructional processes in History and the Social Sciencies. Lawrence Erlbaum: Hillsdale. Durán, E., Costaguta, R. (2007). « Minería de datos para descubrir estilos de aprendizaje ». Revista Iberoamericana de Educación, 42 (2), 2-10. Escoriza Nieto, J. (2005). « Enseñanza de las Estrategias de Comprensión del Lenguaje Escrito: Selección y secuenciación de objetivos y contenidos ». Electronic Journal of Research in Educational Psychology 3 (2), 1-32. En: http://www.investigacion-psicopedagogica.org/revista/new (récupéré le 15-09-2014). Kintsch, W. (1998). Comprehension: A paradigm for cognition, Cambridge: Cambridge University Press. Loffi, V. (2011). « Un abordaje para la problemática de la comprensión de texto en la formación de profesores de historia ». Clío y Asociados. La historia enseñada, 15, La Plata: Ediciones UNL, 117133. 543 VALIDER LES ACQUIS DE L’EXPÉRIENCE SELON UNE APPROCHE PAR DOSSIER (ID 216) BESENÇON, Pierre-Alain, Haute école pédagogique du Canton de Vaud (CH) DERONCHÈNE, Marie, Consortium de validation des compétences (BE) COOS, Danielle, Consortium de validation des compétences (BE) NOESEN, Jos, Ministère de l'Education, de l'Enfance et de la Jeunesse (LU) BEVER, Brigitte, Ministère de l'Education, de l'Enfance et de la Jeunesse (LU) PILLONEL, Roland, Université de Fribourg, (CH) BERMUDEZ, Chus, Direction générale de la formation professionnelle initiale en Catalogne (ES) PILAR, Nus, Direction générale de la formation professionnelle initiale en Catalogne (ES) DE PAOR, Cathal, Immaculate College Limerick (IE) RÉSUMÉ L’évaluation de l’expérience professionnelle prend une forme particulière lorsque les objets d’évaluation se dévoilent au travers des écrits des agirs rassemblés par des professionnels dans leur dossier de validation d’acquis d’expérience (VAE). Cinq partenaires européens (belge, luxembourgeois, suisse, espagnol et irlandais) ont, dans le cadre du projet Léonardo VALIDOSS, analysé, comparé et synthétisé les éléments indispensables à la mise en œuvre d'un processus de validation des acquis de l’expérience (VAE) par dossier. Parvenus au terme de leur projet, notre équipe de projet se propose de présenter les éléments saillants de notre travail, en ouvrant le débat sur les étapes incontournables du processus de validation des acquis d’expérience. La communication que nous proposons témoigne de la diversité des processus d’organisation de l’évaluation des acquis d’expérience mis en place dans des contextes contraints à la fois par les champs professionnels des candidats et par les réglementations régionales. Cependant, plutôt que de focaliser notre attention sur les divergences de conception qui émergent des procédures observées dans diverses régions européennes, nous chercherons à montrer les cohérences, en terme d’évaluation des acquis d’expérience, qui ont préexisté à la structuration des procédures établies. Sept rencontres échelonnées sur deux années de partenariat nous ont permis d’observer les réalités qui conditionnent une approche par dossier dans les différents contextes. Chaque rencontre a été l’occasion, pour le partenaire hôte, de présenter son système de validation, et pour les partenaires invités de questionner les acteurs-clés du pays sur le rôle du dossier et les outils mis en place. Lors des rencontres, le partenaire hôte a préparé un programme comprenant des interventions par des acteurs ayant un rôle dans la VAE (décideurs, accompagnateurs, évaluateurs, candidats). Des visites de Centres de formation ou de validation ont également été organisées. Ces deux années de partenariat ont permis d’atteindre les trois outputs définis au départ: - une synthèse comparative des systèmes mis en œuvre chez les différents partenaires - un guide méthodologique - un colloque 544 La synthèse comparative comprend un tableau comparatif et une description plus détaillée reprenant, pour chaque partenaire, la finalité du dispositif VAE (cadre légal, public cible, portée), le processus de VAE mis en œuvre (phases, acteurs, durée) et la forme du dossier. Ce travail de comparaison a finalement permis de mettre en évidence les éléments indispensables à la mise sur pied d’une approche dossier ainsi que ses phases caractéristiques, en y repérant, quand cela était pertinent, les possibles variantes (type d’accompagnement, forme du dossier, etc.) d’un système de validation à l’autre. Le guide méthodologique a été rédigé en quatre chapitres. Le chapitre 1 décrit l’origine du projet et les partenaires. Le chapitre 2 met en lumière quelques concepts-clés qui permettent de mieux appréhender ce qu’on entend par reconnaissance et validation des acquis par dossier. Le chapitre 3, cœur du travail, est consacré d’une part aux éléments de mise sur pied indispensables d’une approche dossier et d’autre part aux différentes phases d’un processus de VAE par dossier. Dans le chapitre 4, sont synthétisés des constats assortis de quelques préconisations. Une annexe comprend le tableau comparatif des systèmes de VAE mis en place chez les différents partenaires, une checklist des éléments de mise sur pied d’un système de validation des acquis par dossier, un glossaire de quelques concepts-clés de la VAE et le lien vers les sites Internet des différentes institutions partenaires. Afin de présenter notre travail et de confronter nos conclusions aux destinataires du guide, un colloque de clôture du projet « Validoss » a été organisé le jeudi 25 juin 2015 à Bruxelles. Il a permis de réunir plus d’une centaine de personnes dont des représentants des pouvoirs politiques belges, des membres des comités décisionnels du Consortium de validation des compétences, des partenaires sociaux, des Centres de validation des compétences, des formateurs, des chercheurs et des experts en VAE ainsi que des accompagnateurs et des évaluateurs. Le colloque, le guide et le travail d’analyse ont été réalisés dans le but d’outiller tout organisme désirant implémenter une démarche de validation des acquis par dossier ou s’intéressant à réévaluer sa propre démarche. 545 L’IMPLICATION DES ÉLÈVES LORS D’ÉVALUATIONS EXTERNES À FAIBLES ENJEUX: LE CAS DE L’ÉVALUATION « ÉPREUVES STANDARDISÉES » AU LUXEMBOURG (ID 219) DIERENDONCK, Christophe, Université du Luxembourg (LU) MILMEISTER, Marianne, Université du Luxembourg (LU) MILMEISTER, Paul, Université du Luxembourg (LU) WEIS, Christiane, Université du Luxembourg (LU) FISCHBACH, Antoine, Université du Luxembourg (LU) UGEN, Sonja, Université du Luxembourg (LU) MARTIN, Romain, Université du Luxembourg (LU) RÉSUMÉ Dans la plupart des systèmes éducatifs des pays industrialisés, les élèves sont soumis à des évaluations externes de leurs acquis scolaires. Ces évaluations sont élaborées au niveau international (ex : PIRLS, TIMMS et PISA), au niveau national ou à des niveaux plus locaux et peuvent avoir soit une fonction sommative ou certificative, soit une fonction informative. Dans ce dernier cas, les évaluations sont dites « à faibles enjeux » pour les élèves. Au Luxembourg, de telles épreuves, appelées « Épreuves Standardisées (ÉpStan) », sont organisées à différents moments de la scolarité. Les ÉpStan sont des évaluations externes des acquis des élèves, administrées en langues (français et allemand) et en mathématiques, chaque année aux grades 1, 3 et 9. En janvier/février, les résultats sont mis à disposition mais ils n'entrent pas en ligne de compte au niveau du parcours scolaire des élèves. Ces retours d'informations sont organisés à différents niveaux : un rapport école pour les directions d'école (enseignement secondaire), pour les inspecteurs et les présidents de comités d’écoles (enseignement fondamental) ; un rapport classe pour les enseignants concernés ; un rapport individualisé pour chaque élève et ses parents. Le dispositif des ÉpStan étant stabilisé depuis 2010-2011, le moment semblait idéal pour prendre du recul et initier une démarche qualité. En 2013, il a donc été décidé d’engager une démarche qualité en faisant une étude sur l’accueil réservé au dispositif et notamment sur l’utilisation des rapports produits. Des données ont été récoltées auprès des acteurs concernés par les ÉpStan, tant au niveau des acteurs du terrain scolaire (directions, coordinateurs ÉpStan dans les lycées, enseignants du secondaire et du fondamental, inspecteurs, élèves, et syndicats actifs dans le domaine de l’éducation), qu’au niveau du Ministère de l’Education Nationale et de la Jeunesse (ADQS - Agence pour le Développement de la Qualité Scolaire) et de l’Université du Luxembourg (LUCET - Luxembourg Centre for Educational Testing). Cette étude a tenté de répondre aux questions de recherche suivantes : (1) Le principe d'une évaluation externe des acquis scolaires des élèves est-il soutenu par les acteurs scolaires ?, (2) Les élèves font-ils les tests sérieusement ? et (3) Les rapports envoyés aux acteurs sont-ils compris et utilisés ? La démarche qualité a fait appel à quatre sources de données : •un questionnaire en ligne, administré aux enseignants concernés; •des focus groups avec des directeurs, coordinateurs ÉpStan, enseignants, inspecteurs, élèves, syndicats, ADQS et LUCET; 546 •des données auto-rapportées par les élèves, c’est-à-dire des données récoltées lors du test, portant sur la motivation des élèves au début du test et l’effort fourni à l’issue du test; •des données comportementales enregistrées pendant le test, qui permettent de voir pour chaque élève le temps d’affichage des stimuli sur l’écran. La présente communication a pour objectif de présenter les résultats de l’étude en lien avec la question 2, à savoir le sérieux des élèves lors de la passation du test. Il s’agit là d’un sujet de première importance, non seulement pour les ÉpStan mais aussi pour toutes les évaluations externes à faibles enjeux. L’introduction de la présentation portera sur la problématique de l’implication des élèves dans les évaluations à faibles enjeux. En effet, la littérature de recherche est partagée sur cette question. Dans une perspective positive, les élèves seraient « raisonnablement » motivés et il n’y aurait pas de réel impact en termes de fiabilité des données et de validité des constats (Baumert et Demmrich, 2001; Eklöf, 2007). Dans une perspective négative cependant, une partie significative des élèves ne seraient pas du tout motivés/sérieux et cela aurait un impact réel en termes de fiabilité des données et de validité des constats (Wolf et Smith, 1995; O’Neil, Sugrue, Baker, 1996; Wise et De Mars, 2005; Cole, Bergin et Whittaker, 2008; Eklöf et Nyroos, 2013; Sundre et Kitsantas, 2004; Zerpa et al., 2011). Autrement dit, un manque de sérieux risque d’avoir un impact sur les résultats des élèves dans le sens d’une sous-évaluation de leurs compétences réelles. La première partie de la communication présentera les constats en lien avec le comportement des élèves lors du test ÉpStan en fonction des différentes sources utilisées. Les données montrent entre autres que plus les filières sont « prestigieuses », plus les élèves tendent à prendre au sérieux les évaluations. Dans la deuxième partie, des explications potentielles (p.ex. démotivation généralisée des élèves) et des facteurs influant sur le sérieux des élèves (rôle de l’enseignant, augmentation des enjeux pour les élèves, etc.), issus des données et de l’analyse de la littérature scientifique, seront explicités. En conclusion, on essayera d’établir comment on pourrait 1) consolider empiriquement les constats sur le comportement des élèves dans les évaluations à faibles enjeux et 2) tester l’impact des facteurs influant sur le sérieux des élèves identifiés dans les données. Références Baumert, J., & Demmrich, A. (2001). Test motivation in the assessment of student skills: the effects of incentives on motivation and performance. European Journal of Psychology of Education, 16, 441–462. Cole, J., Bergin, D., & Whittaker, T. (2008). Predicting student achievement for low stakes tests with effort and task value. Contemporary Educational Psychology, 33, 609-624. Eklöf, H. (2007). Test-taking motivation and mathematics performance in TIMSS 2003. International Journal of Testing, 7, 311–326. Eklöf & Nyroos (2013). Pupil perceptions of national tests in science: perceived importance, invested effort, and test anxiety. European Journal of Psychology of Education, 28(2), 497–510. O'Neil, H. F., Sugrue, B., & Baker, E. L. (1995). Effects of motivational interventions on the national assessment of educational progress mathematics performance. Educational Assessment, 3, 135-157. 547 Sundre, D., & Kitsantas, A. (2004). An exploration of the psychology of the examinee: Can examinee self-regulation and test-taking motivation predict consequential and non-consequential test performance? Contemporary Educational Psychology, 29, 6-26. Wise, S. L., & DeMars, C. (2005). Low examinee effort in low-stakes assessment: problems and possible solutions. Educational Assessment, 10(1), 1–17. Wolf, L., & Smith, J. (1995). The consequence of consequence: Motivation, anxiety and test performance. Applied Measurement in Education, 8, 227-242. Zerpa, C., Hachey, K., van Barneveld, C., & Simon, M. (2011). Modeling Student Motivation and Students' Ability Estimates From a Large-Scale Assessment of Mathematics. In SAGE Open. 548 SUSCITER L’IMPLICATION DES ÉTUDIANTS DANS L’ÉVALUATION DE LEUR «POSTURE PROFESSIONNELLE » CENTRÉE SUR L’ÉCRIT DE PRATIQUES (ID 220) DARA, Pascale, HELV- Parnasse-Isei (BE) GADISSEUX, Christine, HELV- Parnasse-Isei (BE) RÉSUMÉ Depuis 2012, notre souci premier était de réfléchir à comment amener les étudiants du Bac Educateurs spécialisés à travailler pour leur propre développement et éviter « qu’ils adoptent des stratégies de protection, de ruse, d’évitement » (Paquay, L. et al. (2010), p.21), avec, comme seule visée le passage dans le bloc supérieur. La parution du Décret Marcourt (août 2014) accéléra le processus d’inscrire les formations professionnalisantes dans une approche- programme et concourut à ancrer nos unités d’enseignement en lien direct avec les réalités professionnelles. Quelques précisions sur les caractéristiques des groupes d’étudiants du Bac Educateurs spécialisés. Ces étudiants sont issus de catégories socioculturelles diverses, ont des âges et surtout un cursus scolaire très différents (enseignement technique, général, parcours chaotique). Leur rapport à l’écrit, leur capacité à réfléchir sur leurs actions et leur prise de décisions sont souvent lacunaires et très distincts d’un étudiant à l’autre. Pour la plupart d’entre eux, s’exprimer oralement et/ou par écrit représente une réelle difficulté. Plutôt que de prendre en compte la complexité du travail et s’inscrire dans l’élaboration des différentes étapes, certains étudiants vont contourner les exigences demandées en les ajustant à leurs modes de pensée. Aussi, comment toucher chacun dans sa singularité et les faire évoluer vers une réflexivité sur leur agir professionnel ? Pour ce faire, nous leur avons proposé un enseignement et des apprentissages contextualisés (AEC, Bédart D., 2003) facilitant les mises en situations authentiques et un positionnement enseignant soucieux de les faire réfléchir sur leur agir professionnel. Plusieurs moments ont jalonné l’année : des exercices pratiques lors des cours d’expérimentation professionnelle, des mises en situations, des stages, séminaires. Dans ces différents dispositifs, la démarche réflexive proposée restait sensiblement la même : mise en situation proposée par l’enseignant et/ou l’étudiant, travail de réflexion sur leurs « habitus », mobilisation des savoirs théoriques, analyse et mise par écrit de leur démarche mais aussi de leurs choix décisionnels. Reconnaître et expliciter leur « habitus » (Bourdieu, 1967) déstabilise fortement le groupe–classe car au vu de leurs parcours et leurs appartenances sociales, leurs façons d’agir et de pensée sont parfois très contradictoires et peuvent aussi être interprétées par les pairs comme une provocation. Or, dans leur pratique professionnelle, ce travail d’identification et de prise de recul par rapport à leurs façons d’agir et de penser reste prioritaire et souvent gage de réussite professionnelle. La mobilisation de certains savoirs théoriques se réalise par des questionnements en sous-groupes ou par des demandes d’explicitation sur un choix pris par l’enseignant dans une situation vécue. Certains réalisent l’importance d’approfondir leurs savoirs, de donner sens à ces derniers. Les amener à rester curieux sur ce qui s’écrit au sujet de leur expertise professionnelle reste un défi de taille. L’explicitation de leur démarche et leurs choix décisionnels par rapport à la situation vécue restent complexe. Elle exige de leur part une observation fine et précise des paramètres pertinents, une analyse de certaines stratégies mises en 549 place. Cette réflexivité suscite chez eux des confrontations d’idées mais surtout le développement de certains outils d’analyse et d’évaluation de leurs actions. La mise en mots oralement et par écrit oblige la majorité d’entre eux à élargir leur vocabulaire, à peaufiner leur expression et appréhender un vocabulaire professionnel. Par ces démarches, nous souhaitons développer un « agir professionnel » mais surtout un « engagement dans l’agir professionnel ». C’est pourquoi nous accordons une place importante au rôle des autres dans ce passage individuel de la prise de décision vers la réalisation effective. Car cette réflexion en groupe amène chacun à se positionner et à donner sens à ce qu’il propose. Dans leur futur métier d’éducateur, ils seront confrontés à des situations variées et imprévisibles et des décisions devront être prises. L’efficacité sur le terrain nécessite bien sûr la mobilisation d’outils ajustés au contexte mais surtout une certaine pertinence dans le choix de ceux-ci. L’apprentissage de l’expertise métier est important mais le développement de capacités d’agilité face au changement est indispensable pour une insertion de qualité dans la pratique professionnelle. Comme tout formateur, nous devions nous interroger sur la pertinence de l’évaluation. Au départ de notre réflexion, les écrits sur l’évaluation des compétences non-académiques et/ou transversales (la résolution de problème, la maîtrise des communications, sous toutes leurs formes, la capacité à vivre ensemble) évoquée par Durut-Bellat (2015) attirèrent notre attention. Mais très vite, nous nous sommes rendues compte que nous souhaitions plus évaluer le concept de « posture professionnelle » évoqué par Berthiaume (2012) car celle-ci « est très fortement et très explicitement liée à la spécificité de la profession. » (Tardif, Dubois, 2013, p.39). Notre choix se centra essentiellement sur la capacité des étudiants à mettre par écrit leur démarche et leurs prises de décisions avant, pendant et après l’action lors des séances d’expérimentation et/ou sur le terrain. La première étape consistait à retranscrire l’expérience vécue en groupe-classe, la deuxième à expliciter la démarche prise par le groupe pour rédiger une grille d’observation de la situation vécue, la troisième d’écrire l’entièreté de la démarche et des prises de décisions en sous-groupe et individuellement au fil de l’année, le tout étant collationner sous la forme d’un portfolio. Ce portfolio nous permet en tant que formateur d’évaluer ce parcours de développement mais aussi d’amener l’étudiant à auto-évaluer sa progression durant ce parcours et à l’issue de celui-ci. Très rapidement dans ce parcours, nous avons du sensibiliser les étudiants aux exigences relatives aux écrits de pratiques. Nous avons également du les rassurer sur les critères et indicateurs de notre grille d’évaluation car certains craignaient d’être jugés sur leur façon d’être ou leurs ressentis dans certaines mises en situations. Cette réflexion sur la mise en place des dispositifs d’enseignement et l’évaluation de ceux-ci fut riche en rebondissements. Cet exposé reprendra notre cheminement et notre questionnement sur l’évaluation de ces récits de pratiques et réflexivité sur l’agir professionnel. Nous terminerons par l’évocation des difficultés rencontrées pour les amener à ce niveau d’expertise et les ajustements nécessaires que nous avons du y apporter. Références Berthiaume, D. (2012). Compétences transversales et université : repérage et évaluation. Nantes : Colloque Promosciences, http://spiral.univ-lyon1.fr/files_m/M7098/Files/900158_284.pdf Bourdieu P. (1967), « Systèmes d’enseignement et systèmes de pensée », Revue international des sciences sociales, n° 3, pp. 367-409. 550 Durut-Bellat, M. (2015). « Les compétences non-académiques en question. » Formation emploi [En ligne], 130 | Avril-Juin 2015, mis en ligne le 08 juin 2017, consulté le 10 septembre 2015. URL : http://formationemploi.revues.org/4393 Frenay, M., Bédard, D. (2004). Des dispositifs de formation universitaire s’inscrivant dans la perspective d’un apprentissage et d’un enseignement contextualisés pour favoriser la construction de connaissances et leur transfert. construction de connaissances et leur transfert, in Presseau, A. & Frenay, M. (Dir). Le transfert des apprentissages : comprendre pour mieux intervenir. Québec : Les presses de l’Université Laval. p241-268 Paquay, L., Wouters, P., Van Nieuwenhoven, C. (2010). L’évaluation, frein ou levier du développement professionnel ? Bruxelles : de Boeck Tardif, J., Dubois, B. (2013/1). De la nature des compétences transversales jusqu’à leur évaluation : une course à obstacles, souvent infranchissables. Revue française de linguistique appliquée, Vol. XVIII | pages 29 à 45, http://www.cairn.info/revue-francaise-de-linguistique-appliquee-2013-1-page-29.htm 551 LE DÉFI PÉDAGOGIQUE DE L’ÉVALUATION DES COMPÉTENCES DANS UN DIPLÔME PROFESSIONNEL. LE CAS DE LA LICENCE PROFESSIONNELLE « FORMATION – ACCOMPAGNEMENT » À L’UNIVERSITÉ DE STRASBOURG (ID 221) PAGNANI, Brigitte, Université de Strasbourg (FR) RÉSUMÉ Depuis quelques décennies, l’évolution de l’offre de formation à l’université traduit le passage progressif d’un paradigme fondé sur la transmission des savoirs académiques à un autre centré sur l’appropriation de ces savoirs et leur « insertion dans des problématiques pratiques » (Chauvigné ; Coulet, 2010). De notre point de vue, ce changement paradigmatique que nous observons et qui est en marche exige des enseignants-chercheurs qu’ils puissent accéder à l’intelligibilité de leurs pratiques d’enseignement pour donner du sens aux formes pédagogiques qu’ils contribuent à construire. Le projet de cette communication s’inscrit dans cette perspective sur la base de la formalisation d’une réflexion qui prend appui sur une expérience de réingénierie de diplôme et qui sera soutenue par un étayage scientifique approprié sur l’évaluation des compétences en formation. Cette Licence professionnelle existe depuis 2009 mais l’ingénierie de formation et pédagogique de ce dispositif de formation a notablement évolué depuis 2013 à la faveur de plusieurs circonstances ou opportunités. L’université a financé un projet développé dans le cadre du programme des « Initiatives d’excellence » (Idex) des Investissements d’avenir (2012-2015) en partenariat avec la Faculté de Sciences de l’éducation à l’Université de Strasbourg et porté par le Service de Formation Continue de l’Université pour la conception et le développement d’un « passeport de compétences », Pass’compétences universitaire, délivré à chaque étudiant en formation continue dès la première unité d’enseignement d’un diplôme suivie et/ou validée. Il est conçu comme un instrument pour la construction et la gestion des parcours professionnels individuels. Au-delà, le Pass’compétences universitaire a aussi vocation à instrumenter à terme une ingénierie des parcours professionnels individuels intégrant les différents temps sociaux, de formation, de travail, de vie sociale, etc. ; la diversité des espaces formatifs, en présentiel, à distance, en milieu professionnel, et prenant en compte des modalités d’apprentissage variées. Le Pass’compétences universitaire nous a ainsi engagé sur le projet de modularisation des unités d’enseignement afin d’ouvrir la possibilité à l’individu d’acquérir un diplôme par modules. L’expérience de co-construction d’un parcours de formation spécifique avec l’Ecole Supérieure en Travail Educatif et Social (ESTES), intitulé « Formateur en action sociale et médico-sociale » et finalisé par l’obtention de la Licence professionnelle Formation – Accompagnement, a démontré que l’application du principe de la modularisation des unités d’enseignement n’allait pas de soi s’il s’agissait de procéder au simple « découpage » des unités d’enseignement en modules, c'est-à-dire en les considérant en dehors du dispositif qui les fait exister ensemble. Notre démarche d’ingénierie de formation a donc consisté à construire le dispositif en se référant à l’« approche par compétences » (APC) soutenue par l’ESTES dans l’ensemble de ses formations. 552 Concomitamment, la Licence professionnelle « Formation – Accompagnement » initialement organisée en présentiel, est passée en mode hybride pour en élargir l’accès à un plus large public. Dans cette optique, et fort de l’expérience conduite avec l’ESTES sur la co-construction du parcours de formation cité, nous avons franchi un nouveau pas en nous lançant dans une démarche d’élaboration de référentiels de compétences, de formation et de certification à partir de domaines d’activités repérés. La réingénierie de cette Licence professionnelle a impacté le dispositif d’évaluation des connaissances et des compétences acquises en formation pour l’obtention du diplôme autant qu’il a fait évoluer la pratique pédagogique et certificative des acteurs en présence. Notre communication s’attachera à rendre compte de l’élaboration du dispositif d’évaluation résultant des options pédagogiques retenues et se référant à l’approche par compétences (APC). Nous avons ainsi expérimenté la mise en place de situations-problèmes et la construction d’un portfolio de compétences reposant sur une conception de la compétence se rapprochant de celle énoncée par Roegiers (2002, p.66) : « la compétence est la possibilité, pour un individu, de mobiliser de manière intériorisée un ensemble intégré de ressources en vue de résoudre une famille de situations-problèmes ». Les questions liées à la métacognition, à l’auto-évaluation et à la régulation des apprentissages en contexte d’évaluation formative y deviennent centrales dans la réflexion et la production pédagogiques. Le dispositif de formation fonctionnant, depuis 2013, en « mode hybride », le questionnement pourra s’ouvrir à la question de l’impact de la modalité « distancielle » en formation sur l’évaluation des apprentissages prenant notamment en compte les « savoir-être » dans le jeu des interactions sociales pouvant être traités comme des objectifs de formation à atteindre, des caractéristiques individuelles à acquérir préalablement à un apprentissage et des critères de qualité particuliers à certaines performances (Scallon, 2007, p.76). Cette perspective esquissée renforce ici l’idée avancée par De Ketele (2009) selon laquelle une théorie des compétences en tant que « théorie des apprentissages complexes » reste à construire. Au fond, elle pourrait bien renforcer la légitimité de l’approche par compétences (APC) dans le cadre paradigmatique de la pédagogie universitaire (Chauvigné, 2010). Références Chauvigné, C., Coulet, J.-C. (2010). « L’approche par compétences : un nouveau paradigme pour la pédagogie universitaire ? », Revue française de pédagogie, n°172, 15-28. De Ketele, J.-M. (2009). « L’approche par compétences : au-delà du débat d’idées, un besoin et une nécessité d’agir ». Dans Ettayebi, M., Jonnaert, P. et Opertti R., Logique de compétences et développement curriculaire. Débats, perspectives et alternatives pour les systèmes éducatifs. Paris : L’Harmattan, p. 61-78. Depover, C., Noël, B. (dir.) (1999). L’évaluation des compétences et des processus cognitifs. Modèles, pratiques et contextes. Bruxelles : De Boeck Université. Joannert, Ph. (2003). Compétences et socio-constructivisme : un cadre théorique. Bruxelles : De Boeck Supérieur, « Perspectives en éducation et formation ». Postiaux, N., Bouillard, P., Romainville, M. (2010). « Référentiels de compétences à l’université. Usages, rôles et limites ». Recherche et formation, n°64, p.15-30. 553 Roegiers, X. (2000). Une pédagogie de l’intégration : compétences et intégration des acquis dans l’enseignement. Bruxelles : De Boeck Université. Scallon, G. (2007). L’évaluation des apprentissages dans une approche par compétences. Bruxelles : De Boeck, « Pédagogies en développement ». 554 NTIC COMME OUTIL PÉDAGOGIQUE D’ÉVALUATION, COMMENT LES INTÉGRER? (ID 222) JARMOUNE, Maha, Ben M’sik, II University of Casablanca (MA) KHYATI, Abderrahim, Hassan II University of Casablanca (MA) RÉSUMÉ L'évaluation fait partie intégrante du processus d'apprentissage. Elle est intimement liée aux programmes d'études et à l'enseignement. En même temps que les enseignants et les élèves travaillent en vue d'atteindre les résultats d'apprentissage des programmes d'études, l'évaluation joue un rôle essentiel en fournissant des renseignements utiles pour guider l'enseignement, pour aider les élèves à atteindre les prochaines étapes et pour vérifier les progrès et les réalisations. La problématique de la place de l’évaluation dans l’acte de l’apprentissage a pris une nouvelle dimension à l’arrivée du numérique. L'essor de la culture numérique s'accompagne d'une institutionnalisation de l'usage des nouvelles technologies de l'information et de la communication (NTIC) dans l'enseignement. Ceci favorise l’adoption d’une approche pédagogique qui place l’élève au centre du processus d’apprentissage. En effet, les NTIC fournissent des moyens novateurs, non seulement pour la diffusion des connaissances mais aussi pour l’exploration de stratégies d’apprentissage qui favorisent la construction des compétences (Lebrun, 1999; CSE, 2000): accessibilité de l’information, communication et échange en temps réel ou différé avec des groupes d’intérêt virtuels ou des communautés d’apprentissage, interactivité, multimédia. A l’ENS, nous sommes convaincus de l’apport bénéfique de l’utilisation de ces Nouvelles Technologies d’Information et de Communication entant qu’outil d’évaluation, nous nous trouvons donc devant l’obligation de définir les dimensions d’une pédagogie dite novatrice à fin de favoriser l’utilisation des NTIC dans la pratique de nos lauréats, futures enseignantes et enseignants. TEXTE Problématique Les NTIC favorisent un enseignement individualisé et adapté aux besoins et au rythme de chacun des élèves. Elles sont un excellent outil d’évaluation des acquis des élèves et un moyen qui permet d’actualiser leur potentiel d’apprentissage et de création. C’est pour cela qu’il sera question ici de savoir comment l’enseignant peut utiliser les NTIC dans l’évaluation en éducation ? Quelles sont les pratiques pédagogiques qui permettent une utilisation optimale des NTIC entant qu’outil d’évaluation ? Méthodologie Pour répondre à notre question de recherche nous avons effectué des entrevues avec 28 enseignants et enseignantes du lycée Mohammed V en vue de dégager leurs pratiques pédagogiques dans la matière de l’évaluation par les Nouvelles Technologies d’Information et de Communication. 555 Résultats Les entrevues portent sur les types d’activités adoptées par les enseignants lors des évaluations, les compétences qu’ils visent à développer/évaluer et les pédagogies pour lesquelles ils optent. Les résultats des entrevues sont présentés ci-dessous sous forme de tableaux et/ou de graphiques. Types de pédagogie Avis neutre (aucun type préférentiel) Par activité différenciée Par projet Par résolution de problème Par activité collaborative Par activité contextualisée Total NB enseignant 3 2 7 4 9 3 28 Tableau 1 : Pédagogies adoptées par les enseignants Le tableau ci-dessus, résume les typologies des activités pédagogiques d’évaluation les plus courantes chez les enseignants, la première remarque que nous pouvons faire est que 32% des enseignants optent pour les activités collaboratives. Le tableau qui suit illustre les compétences visées par ces activités d’évaluation. Intellectuelles Utilisation Jugeme de nt l’informatio critique n Méthodologiques Métho Exploitation des de des outils travail informatiqu efficace es 98 108 59 136 Professionnelles Esprit créativité d’initiative et d’entrepris e 112 120 Sociales communi cation Coopératio n Métacognitives Résolutio Exécution n des BD de tâches 131 128 130 125 Tableau 2 : Les compétences développées chez les élèves Apres avoir listé les compétences que les enseignants visent à développer et à évaluer chez leurs élèves en utilisant les NTIC comme outil d’évaluation, nous leurs avons demandé de noter le développement de celles-ci sur une échelle de 0 à 5, les réponses sont illustrés sur le graphique suivant 556 160 U˜lisa˜on de l’informa˜on 140 Jugement cri˜que 120 Méthodes de travail eﬃcace 100 80 Exploita˜on des ou˜ls informa˜ques 60 Esprit d’ini˜a˜ve et d’entreprise 40 créa˜vité 20 communica˜on 0 Figure 2 : Les compétences développées chez les élèves Après avoir collecté les avis des enseignants participants à l’entrevue par rapport aux pédagogies utilisées et aux compétences développées, nous voyons nécessaire le croisement de ces deux paramètres, ci-dessous le tableau et le graphique illustrant les résultats Tableau 3 : Croisement des données 557 160 140 120 100 80 60 40 20 0 Par ac˜vité diﬀérenciée Par projet Par résolu˜on de problème Par ac˜vité collabora˜ve Par ac˜vité contextualisée Moyenne(total) Une première lecture du tableau nous explique pourquoi les enseignants expriment leur préférence envers les activités collaboratives ; celles-ci donnent plus d’espace au développement des compétences citées par les enseignants. D’un autre coté nous remarquons que les compétences dites techniques, à savoir, l’utilisation de l’outil informatique et l’exécution des taches sont les plus développées chez les élèves suivies par les compétences méthodologiques et sociales. Discussion et conclusion De cette étude, nous déduisons que l’utilisation des NTIC comme outil pédagogique d’évaluation n’est pas associée à une pratique pédagogie et non à une autre. Les résultats de notre étude démontrent que tous les enseignants ont pu développer les compétences visées chez leurs élèves tout en ayant des pratiques pédagogiques différentes les uns des autres, ceci confirme les propos dégagés de notre étude historico-documentaire qui nous a mené vers la perception que passant du courant empiriste (Le béhaviorisme) au courant rationaliste (le cognitif et l’humaniste) arrivant au courant interactionniste (le constructiviste et le socioconstructiviste), il y a de la place pour les NTIC. Ceci dit en se référant aux fondements de l’enseignement programmé de Skinner, aux différents styles d’apprentissage de Kolb et au modèle interactif de Diana Laurillard. Pour conclure il nous semble important de rappeler qu’il ne suffit pas de repenser les pratiques pédagogiques des enseignants pour atteindre les objectifs escomptés par l’intégration des NTIC comme outil d’évaluation dans l’enseignement, mais il est nécessaire de repenser l’ensemble du système et procédures d’évaluation. Tout ceci n’est pas nouveau, mais avant de penser à l’outil, on devrait penser aux objectifs, et avant de penser au COMMENT réfléchir au POURQUOI. Références De Ketele, J.-M. (1986). L’évaluation du savoir-être. In J.-M. De Ketele (Éd.), L’évaluation : approche descriptive ou prescriptive? (pp. 179-208). Bruxelles-Paris : De Boeck. 558 Glennan, T. K. et A. Melmed (1996), Fostering the Use of Educational Technology: Elements of a National Strategy, [en ligne],RAND, <http://www.rand.org/publications/MR/MR682/contents.html> (page consultée le 23 décembre 2015). Hall, G., & Loucks, S. (1979). Implementing innovations in schools : A concerns-based approach. Austin, TX : Research and Development Center for Teacher Education, University of Texas. Karsenti, T., Villeneuve, S., Raby, C., Weiss Lambrou, R., & Meunier, H. (2007). Conditions d’efficacité de l’intégration des TIC en pédagogie universitaire pour favoriser la persévérance et la réussite aux études. Montréal, QC: CRIFPE, Université de Montréal. Lebrun, M., & Viganò, R. (1995b). Des multimédias pour l’éducation : de l’interactivité fonctionnelle à l’interactivité relationnelle. Les cahiers de la recherche en éducation. Tardif, J., (2006) L’évaluation des compétences. Documenter le parcours de développement, Montréal :Chenelière Éducation. Viau, R. (2009). La motivation à apprendre en milieu scolaire, Saint-Laurent, Éditions du Renouveau Pédagogique. 559 CONCEPTION D’UN MODÈLE DE DIAGNOSTIC BASÉ SUR UNE APPROCHE DIDACTIQUE POUR ÉVALUER DES CONNAISSANCES NUMÉRIQUES EN MATHÉMATIQUES (ID 223) GRAPIN, Nadine, Université Paris Est Créteil -ESPE – LDAR (FR) RÉSUMÉ Les évaluations externes menées en France en fin d’école (10 ans - Grade 5) depuis une dizaine d’années montrent que les connaissances des élèves en fin d’école sur les nombres sont hétérogènes ; de nombreuses recherches en didactique des mathématiques conduisent au même constat. Ces difficultés ne se situent pas uniquement au début de l’apprentissage, mais peuvent persister tout au long de la scolarité chez certaines élèves (Tempier 2013). Pour outiller l’enseignant de mathématiques, nous avons conçu un diagnostic évaluant les connaissances des élèves de début de collège sur les nombres entiers ; ce diagnostic vise à repérer de façon automatique les besoins de ces élèves et par la suite à aider l’enseignant à adapter son enseignement par la mise ne place de parcours d’enseignement différencié (Grugeon & al. 2012, Pilet 2012). La conception d’un tel diagnostic passe par l’élaboration d’un test, mais aussi par le développement d’un modèle d’analyse permettant de caractériser les connaissances des élèves sur les nombres entiers. Ce domaine est constitué par les relations entres différentes écritures des nombres entiers, le calcul et la résolution de problèmes arithmétiques. La méthodologie de conception du modèle et son architecture sont similaires à celles employées par Grugeon (1995, 1997) pour le diagnostic Pépite en algèbre : elle passe par la définition de dimensions caractérisant les connaissances des élèves sur un domaine donné, puis par des technologies dominantes sur chacune des dimensions. Ce modèle repose sur une démarche anthropologique (Chevallard 1991), permettant de prendre en compte à la fois le contexte institutionnel (les programmes scolaires et l’enseignement) et la transposition des savoirs et une approche basée sur les conceptions des élèves. L’intérêt de considérer conjointement ces deux approches est souligné par Maury & Caillot (2003) et par Grugeon (à paraître) : l’adoption d’une démarche anthropologique permet d’étudier le cognitif à travers le filtre institutionnel. Il est dès lors possible de considérer les difficultés des élèves différemment : la définition d’un rapport institutionnel au savoir permet de révéler des besoins ignorés de l’apprentissage (Castela 2008) et de considérer les erreurs des élèves en les situant dans les phénomènes de transposition. Nous considérons que les connaissances des élèves en numération et en arithmétique, en fin d’école peuvent être structurées autour d’une dimension outil qui s’évalue à travers la capacité à mobiliser le nombre pour résoudre un problème (de dénombrement, de position...) ou produire des expressions arithmétiques pour résoudre des problèmes arithmétiques, et une dimension objet qui se décline sur : - le nombre où une flexibilité entre les différents types de représentation du nombre est nécessaire pour pouvoir comprendre les techniques de calcul 560 - le calcul où intervient non seulement la maitrise des répertoires (tables, compléments), mais aussi la connaissance de propriétés arithmétiques des opérations. Le calcul s’évalue à la fois à partir du calcul posé et du calcul réfléchi. A la fin d’école, entrée du collège, nous prenons aussi en compte : - la nécessaire rupture entre le comptage et le calcul, qui doit avoir été opérée dès la fin de l’école maternelle ; - l’entrée dans un formalisme arithmétique passant par l’utilisation du signe d’égalité comme relation d’équivalence entre deux expressions arithmétique et par l’emploi progressif des parenthèses. Quatre dimensions permettent alors d’évaluer les connaissances des élèves sur les nombres entiers (numération et arithmétique) : - l’« usage de l’arithmétique » est relative à la résolution de problèmes arithmétiques et à l’aspect outil de l’arithmétique pour modéliser un problème : nous retrouvons ici de façon similaire une des dimensions du modèle Pépite en algèbre « utilisation des lettres ». - la « gestion des propriétés de la numération décimale » qui correspond aux transformations d’écritures sur le nombre (passage de la numération écrie chiffrée à la numération parlée ou en unités de numération...), mais aux tâches où le nombre apparaît sous un aspect cardinal (dénombrement par exemple) ou ordinal (comparaison, rangement...). - le « calcul arithmétique» qui englobe le calcul posé et le calcul réfléchi ; - la « réécriture d’expressions arithmétiques » : même s’il ne s’agit pas d’une attente prioritaire des programmes de l’école, elle apparaît néanmoins dans certains manuels de cycle 3. Par ailleurs, la prise en compte de cette dimension à ce niveau scolaire permet aussi de faire un lien avec le modèle de Pépite en algèbre qui est en cours de développement pour les niveaux scolaires 5ème / 4ème. Sur chacune de ces dimensions sont définies, à partir d’une étude épistémologique et didactique menée dans le cadre de la théorie anthropologique (Chevallard 1991), des technologies dominantes qui caractérisent les techniques employées pour résoudre les tâches. Par exemple, pour la dimension « gestion de la numération décimale, les techniques permettant de résoudre les tâches sont justifiées par trois propriétés de la numération décimale de position (aspect positionnel, aspect décimal et maximalité des groupements d’unités d’un ordre donné) ; les technologies dominantes de cette dimension sont caractérisées par un de ces trois éléments à partir d’une étude épistémologique en lien avec les attentes institutionnelles. Par exemple, sur le domaine étudié, une technologie dominante « comptage » permet de repérer les élèves qui ne mobilisent pas les nombres en tant que tels et n’utilisent pas les opérations pour modéliser les problèmes arithmétiques ; ces élèves résolvent les tâches proposées par des techniques qui ne mettent en jeu que le comptage, et par conséquent, les techniques qu’ils emploient ne correspondent pas à celles attendues de fin d’école. Nous montrerons dans la communication la façon dont est structuré le modèle sur l’ensemble du domaine, l’intérêt d’une approche multidimensionnelle et ses potentialités en termes d’évaluation diagnostique; nous illustrerons notre propos par les résultats obtenus après une mise en œuvre du modèle et du diagnostic sur un échantillon de 200 élèves de fin d’école. 561 Références Caillot, M., & Maury, S. (2003). Rapport au savoir et didactique. Paris: Fabert. Chevallard, Y. (1991). La transposition didactique - du savoir savant au savoir enseigné. Grenoble : La pensée sauvage. Grugeon, B. (1995). Étude des rapports institutionnels et des rapports personnels des élèves à l'algèbre élémentaire dans la transition entre deux cycles d'enseignement : BEP et première G. Thèse de doctorat. Université Paris 7. Paris. Grugeon, B. (1997). Conception et exploitation d’une structure d’analyse multidimensionnelle en algèbre élémentaire. Recherches en didactique des mathématiques, 17(2), 167 210. Grugeon-Allys, B., Chenevotot-Quentin, F., Pilet, J., & Delozanne, E. (2012). Diagnostic et parcours différenciés d’apprentissage en algèbre élémentaire. Recherches en didactique des mathématiques, Hors série, 133 158. Pilet, J. (2012). Parcours d’enseignement différencié appuyés sur un diagnostic en algèbre élémentaire à la fin de la scolarité obligatoire : modélisation, implémentation dans une plateforme en ligne et évaluation. Thèse de doctorat. Université Paris-Diderot. Tempier, F. (2013). La numération décimale de position à l’école primaire. Une ingénierie didactique pour le développement d’une ressource. Thèse de doctorat. Université Paris-Diderot. 562 CONCEPTION D’UN MODÈLE DE DIAGNOSTIC BASÉ SUR UNE APPROCHE DIDACTIQUE POUR ÉVALUER DES CONNAISSANCES NUMÉRIQUES EN MATHÉMATIQUES (ID 223) GRAPIN, Nadine, Université Paris Est Créteil – ESPE – LDAR (FR) RÉSUMÉ Les évaluations externes menées en France en fin d’école (10 ans - Grade 5) depuis une dizaine d’années montrent que les connaissances des élèves en fin d’école sur les nombres sont hétérogènes ; de nombreuses recherches en didactique des mathématiques conduisent au même constat. Ces difficultés ne se situent pas uniquement au début de l’apprentissage, mais peuvent persister tout au long de la scolarité chez certaines élèves (Tempier 2013). Pour outiller l’enseignant de mathématiques, nous avons conçu un diagnostic évaluant les connaissances des élèves de début de collège sur les nombres entiers ; ce diagnostic vise à repérer de façon automatique les besoins de ces élèves et par la suite à aider l’enseignant à adapter son enseignement par la mise ne place de parcours d’enseignement différencié (Grugeon & al. 2012, Pilet 2012). La conception d’un tel diagnostic passe par l’élaboration d’un test, mais aussi par le développement d’un modèle d’analyse permettant de caractériser les connaissances des élèves sur les nombres entiers. Ce domaine est constitué par les relations entres différentes écritures des nombres entiers, le calcul et la résolution de problèmes arithmétiques. La méthodologie de conception du modèle et son architecture sont similaires à celles employées par Grugeon (1995, 1997) pour le diagnostic Pépite en algèbre : elle passe par la définition de dimensions caractérisant les connaissances des élèves sur un domaine donné, puis par des technologies dominantes sur chacune des dimensions. Ce modèle repose sur une démarche anthropologique (Chevallard 1991), permettant de prendre en compte à la fois le contexte institutionnel (les programmes scolaires et l’enseignement) et la transposition des savoirs et une approche basée sur les conceptions des élèves. L’intérêt de considérer conjointement ces deux approches est souligné par Maury & Caillot (2003) et par Grugeon (à paraître) : l’adoption d’une démarche anthropologique permet d’étudier le cognitif à travers le filtre institutionnel. Il est dès lors possible de considérer les difficultés des élèves différemment : la définition d’un rapport institutionnel au savoir permet de révéler des besoins ignorés de l’apprentissage (Castela 2008) et de considérer les erreurs des élèves en les situant dans les phénomènes de transposition. Nous considérons que les connaissances des élèves en numération et en arithmétique, en fin d’école peuvent être structurées autour d’une dimension outil qui s’évalue à travers la capacité à mobiliser le nombre pour résoudre un problème (de dénombrement, de position...) ou produire des expressions arithmétiques pour résoudre des problèmes arithmétiques, et une dimension objet qui se décline sur : - le nombre où une flexibilité entre les différents types de représentation du nombre est nécessaire pour pouvoir comprendre les techniques de calcul - le calcul où intervient non seulement la maitrise des répertoires (tables, compléments), mais aussi la connaissance de propriétés arithmétiques des opérations. Le calcul s’évalue à la fois à partir du calcul posé et du calcul réfléchi. 563 A la fin d’école, entrée du collège, nous prenons aussi en compte : - la nécessaire rupture entre le comptage et le calcul, qui doit avoir été opérée dès la fin de l’école maternelle ; - l’entrée dans un formalisme arithmétique passant par l’utilisation du signe d’égalité comme relation d’équivalence entre deux expressions arithmétique et par l’emploi progressif des parenthèses. Quatre dimensions permettent alors d’évaluer les connaissances des élèves sur les nombres entiers (numération et arithmétique) : - l’« usage de l’arithmétique » est relative à la résolution de problèmes arithmétiques et à l’aspect outil de l’arithmétique pour modéliser un problème : nous retrouvons ici de façon similaire une des dimensions du modèle Pépite en algèbre « utilisation des lettres ». - la « gestion des propriétés de la numération décimale » qui correspond aux transformations d’écritures sur le nombre (passage de la numération écrie chiffrée à la numération parlée ou en unités de numération...), mais aux tâches où le nombre apparaît sous un aspect cardinal (dénombrement par exemple) ou ordinal (comparaison, rangement...). - le « calcul arithmétique» qui englobe le calcul posé et le calcul réfléchi ; - la « réécriture d’expressions arithmétiques » : même s’il ne s’agit pas d’une attente prioritaire des programmes de l’école, elle apparaît néanmoins dans certains manuels de cycle 3. Par ailleurs, la prise en compte de cette dimension à ce niveau scolaire permet aussi de faire un lien avec le modèle de Pépite en algèbre qui est en cours de développement pour les niveaux scolaires 5ème / 4ème. Sur chacune de ces dimensions sont définies, à partir d’une étude épistémologique et didactique menée dans le cadre de la théorie anthropologique (Chevallard 1991), des technologies dominantes qui caractérisent les techniques employées pour résoudre les tâches. Par exemple, pour la dimension « gestion de la numération décimale, les techniques permettant de résoudre les tâches sont justifiées par trois propriétés de la numération décimale de position (aspect positionnel, aspect décimal et maximalité des groupements d’unités d’un ordre donné) ; les technologies dominantes de cette dimension sont caractérisées par un de ces trois éléments à partir d’une étude épistémologique en lien avec les attentes institutionnelles. Par exemple, sur le domaine étudié, une technologie dominante « comptage » permet de repérer les élèves qui ne mobilisent pas les nombres en tant que tels et n’utilisent pas les opérations pour modéliser les problèmes arithmétiques ; ces élèves résolvent les tâches proposées par des techniques qui ne mettent en jeu que le comptage, et par conséquent, les techniques qu’ils emploient ne correspondent pas à celles attendues de fin d’école. Nous montrerons dans la communication la façon dont est structuré le modèle sur l’ensemble du domaine, l’intérêt d’une approche multidimensionnelle et ses potentialités en termes d’évaluation diagnostique; nous illustrerons notre propos par les résultats obtenus après une mise en œuvre du modèle et du diagnostic sur un échantillon de 200 élèves de fin d’école. 564 Références Caillot, M., & Maury, S. (2003). Rapport au savoir et didactique. Paris: Fabert. Chevallard, Y. (1991). La transposition didactique - du savoir savant au savoir enseigné. Grenoble : La pensée sauvage. Grugeon, B. (1995). Étude des rapports institutionnels et des rapports personnels des élèves à l'algèbre élémentaire dans la transition entre deux cycles d'enseignement : BEP et première G. Thèse de doctorat. Université Paris 7. Paris. Grugeon, B. (1997). Conception et exploitation d’une structure d’analyse multidimensionnelle en algèbre élémentaire. Recherches en didactique des mathématiques, 17(2), 167 210. Grugeon-Allys, B., Chenevotot-Quentin, F., Pilet, J., & Delozanne, E. (2012). Diagnostic et parcours différenciés d’apprentissage en algèbre élémentaire. Recherches en didactique des mathématiques, Hors série, 133 158. Pilet, J. (2012). Parcours d’enseignement différencié appuyés sur un diagnostic en algèbre élémentaire à la fin de la scolarité obligatoire : modélisation, implémentation dans une plateforme en ligne et évaluation. Thèse de doctorat. Université Paris-Diderot. Tempier, F. (2013). La numération décimale de position à l’école primaire. Une ingénierie didactique pour le développement d’une ressource. Thèse de doctorat. Université Paris-Diderot. 565 COMMENT RENDRE L’ÉVALUATION APPRENANTE EN FORMATION D’ADULTES ? (ID 224) FAULX, Daniel, Université de Liège (BE) DANSE, Cédric, Université de Liège (BE) RÉSUMÉ Tant dans le contexte scolaire que dans celui de la formation, le recours à l’évaluation constitue une pratique courante et fortement ritualisée. Dans le cadre scolaire, il est classique que les enseignants évaluent les acquis de leurs élèves, que ce soit à des fins diagnostiques, formatives ou certificatives. On parle alors d’évaluation formelle (Mankovski, 2006). Dans ce cas, c’est celui qui a prodigué les connaissances et compétences qui porte un regard évaluatif sur ceux qui doivent en démontrer l’acquisition. Dans le milieu de la formation pour adultes, notamment en cours de carrière, il est courant de dire que le trajet de l’évaluation s’inverse très souvent : ce sont les apprenants qui évaluent le formateur et la qualité de la formation, souvent à l’aide d’un questionnaire de satisfaction remis en fin de session, parfois avec d’autres moyens (discussion en fin de formation, interviews, focus group, …). Les discussions de fin de session de formation ou les questionnaires évaluatifs ont souvent été critiqués par le fait qu’ils investiguaient essentiellement le niveau de satisfaction immédiate, premier niveau de la typologie de Kirkpatrick (Kirkpatrick & Kirkpatrick, 2007), en ignorant d’autres niveaux tels que l’apprentissage ou le transfert (Devos & Dumay, 2006, Peters, 2011). En revanche, un autre problème plus rarement abordé ici est le fait que l’apport d’un tel exercice profite essentiellement voire exclusivement au formateur (ou à l’organisme commanditaire). Ces derniers reçoivent des informations précieuses sur la qualité supposée de la formation. Ils y trouvent des indications pour améliorer l’action de formation, ce qui est évidemment fondamental pour eux compte tenu des enjeux économiques et sociaux considérables des actions de formation (Voisin, 2004 ; Faulx & Petit, 2011). Par contre, la démarche n’est que peu intéressante pour les participants qui s’y soumettent. Elle s’assimile souvent à une perte de temps, dans un contexte où les participants sont pourtant de pus en plus exigeants quant à la rentabilité de leur présence en formation (Faulx & Danse, 2015). Tout se passe dès lors comme ci, dans le cas de l’enseignement comme celui de la formation, l’évaluation ne pouvait profiter à la fois aux enseignants/formateurs et aux élèves/apprenants. Dans cette communication, nous traiterons de cinq manières de rendre l’évaluation d’une formation intéressante en même temps pour les apprenants et l’enseignant-formateur, de manière telle à dépasser le trajet unique allant d’un acteur vers un autre. Plus précisément, il s’agira, par ces manières de faire, de « se mettre ensemble au travail entre apprenants et formateur » et de « faire en sorte que celle-ci soit l’occasion de continuer d’apprendre sur le sujet de la formation » (Faulx & Danse, 2015). Trois stratégies sont basées sont centrées sur l’apprenant : 566 - les questions simples et ouvertes sur le processus d’apprentissage : il s’agit de permettre aux apprenants de réfléchir à ce qu’ils ont appris, mais aussi ce qui les questionne, ce qui est encore embryonnaire comme acquisition,... - la réflexion didactique et métacognitive : cette approche consiste à lier le dispositif d’apprentissage mis en place par l’enseignant/formateur et les apprentissages effectivement réalisés par les apprenants. - le retour évaluatif par anticipation du transfert : l’évaluation est, dans ce cas, non plus centrée sur ce qui s’est déroulé précédemment mais bien sur ce que la séquence permettra de réaliser ou non dans un avenir plus ou moins proche, dans le cadre d’un contexte donné. Les deux stratégies suivantes sont centrées sur le processus de formation en lui-même : - l’isomorphisme d’activité : dans cette logique, l’évaluation prolonge le sujet de la formation. Il s’agit en quelque sorte de mettre en oeuvre, en guise d’évaluation, ce qui a été travaillé et appris durant la séquence d’apprentissage. C’est donc la forme de l’évaluation qui est porteuse d’apprentissages. - l’isomorphisme de contenu : ici, on réintroduit le contenu de la formation dans l’évaluation. L’évaluation, dans ce cas, n’est pas une mise en application du sujet travaillé mais s’articule en revanche autour de la thématique traitée, quelle que soit la forme de l’ évaluation. Toutes ces techniques convergent donc pour que l’action évaluative soit porteuse de bénéfice tant pour ceux à qui elle s’adresse (ici, les formateurs et organisateurs de l’action de formation) que pour ceux qui la formulent (ici les participants à une formation). Références Devos, C, & Dumay X (2006). Les facteurs qui influencent le transfert : une revue de la littérature. Savoirs 3(12), 9-46. Kirkpatrick, D., & Kirkpatrick, J., (2007). Implementing the four levels. San Francisco : BerrettKoehler Publishers. Faulx, D. & Danse, C. (2015). Comment favoriser l’apprentissage et la formation des adultes. Louvain-la-Neuve : De boeck. Faulx, D,. & Petit, L. (2010), La formation en organisation : mise en perspective des approches psychosociologiques et ergonomiques. Relations industrielles / Industrial Relations, 65(3), 47-469. Mancovsky, v. (2006). L’évaluation informelle dans l’interaction de la classe. Paris : L’Harmattan. Peters, S. (2011). Transfert des acquis de formation : Modélisation de l’impact de variables liées à l’apprenant, au design pédagogique, et à l’environnement de travail (thèse de doctorat en sciences psychologiques non publiée). Université de Liège, Liège, Belgique. Voisin, A. (2004). Ergonomie et formation. In P. Carré et P. Caspar (Eds.), Traité des Sciences et techniques de la formation continue (pp. 84-102.). Paris : Dunod. 567 LIDERANÇA DISTRIBUÍDA A PARTIR DE UMA VISÃO DA GESTÃO ESCOLAR EM ALGUMAS ESCOLAS DE MADRID (ID 225) CARREÑO, Ingrid del Valle García, Universidad Autonoma de Madrid, España (ES) Introdução A liderança distribuída constitui um tema cada vez mais presente nas abordagens da análise organizacional das escolas. Além disso, a liderança distribuída tem efeitos significativos na aprendizagem, desenvolvimento e sucesso académico dos alunos e na qualidade das organizações educativas, pelo que das suas práticas depende, em grande medida, a eficácia da ação da escola. Neste artigo analisa-se quantitativamente as práticas de liderança distribuída dos diretores de Madrid. Fundamentação teórica Quando o conceito de liderança distribuída (LD) é discutido remete para uma liderança mais coletiva e democrática (García, 2008) em que todos os membros poderão, potencialmente, ser líderes, ao contrário da liderança anterior que privilegiava o poder centrado num só líder. A liderança distribuída é uma propriedade emergente de um grupo ou rede de indivíduos em interação, sugerindo uma abertura nas fronteiras da liderança, em que uma variedade de capacidades (expertises) é distribuída entre muitos. A LD é percebida como um produto do trabalho conjunto e envolve diferentes características e contextos, ou seja, diferentes estruturas, formas de trabalho, objetivos e valores, ética, direitos de participação, entre outros. Para Groon (2002) a liderança distribuída pode assumir duas formas; agregada ou holística. A primeira consiste num número de indivíduos que participam em diferentes atividades, de duração e frequência de participação variáveis, que com o consentimento dos colegas de equipa, se habilitam para o exercício da liderança. A forma holística parte do princípio de que partes são combinadas para formar um todo, criando um novo ente, com estrutura de integridade definida, cuja característica principal é a sinergia. Spillane (2009) é um dos primeiros a escrever sobre a LD, afirmando que esta prática se concentra na liderança e que é enquadrada de uma maneira particular, como produto da interação mútua entre os líderes, seguidores e aspetos das respetivas situações (como as ferramentas usadas, rotinas e procedimentos adotados). Tal visão de liderança transforma o líder tradicional (diretor de uma escola ou universidade) numa rede intrínseca e complexa de líderes. Metodologia O objetivo geral da investigação foi descrever como a LD se manifesta nos diretores das escolas primárias da Comunidade de Madrid. A abordagem metodológica incluiu compreensão holística e técnicas quantitativas. A investigação foi descritiva: o exercício da LD em cada uma das quatro dimensões. 568 Como instrumentos de investigação foram aplicados questionários a uma amostra de diretores de escolas públicas, subsidiadas e privadas em Madrid. Para o questionário foram elaborados 56 itens, do tipo Likert, de resposta graduada variando entre “concordo muito”, “concordo um pouco”, “discordo um pouco” e “discordo muito” (Likert, 1932). No nosso estudo optámos pelo método de análise de consistência interna (coeficiente de fiabilidade de Alpha de Cronbach). O valor de 0,933 certifica que o total do instrumento é altamente confiável para 45 elementos, assim como na totalidade da escala, atingiu um valor que segundo Hill e Hill (2005) se pode considerar excelente. Fonte: Respostas do questionário de liderança escolar Feito com SPPS Seguidamente, apresenta-se a confiabilidade de cada uma das quatro dimensões calculadas com base em alfa de Cronbach e suas estatísticas. (Tabela 2). Conclui-se, portanto, que o questionário é um instrumento fiável e com consistência interna satisfatória, ou seja, existe homogeneidade entre os seus componentes. Perante estes resultados podemos afirmar que o instrumento avalia (mede), com rigor, aquilo que pretendemos avaliar (medir).Os itens, segundo a sua natureza semântica, foram agrupados nas quatro dimensões de liderança distribuída inicialmente propostas: Figura 1 Dimensões de liderança distribuída Fonte: García (2015) Os valores entre 0,754 e 0,839 indicam que as correlações são boas. Valores alfa de Cronbach são interpretados como se segue (Tabela 2). Fonte: Respostas do questionário de liderança escolar Feito com SPPS Tabela 2 Resumo do Coeficiente de Alpha de Cronbach obtidos Resultados para Análise da dimensão prática da liderança distribuída Para atingir a meta, que é caracterizar a liderança distribuída dos diretores, a seguinte análise consiste em quatro dimensões ou componentes (figura 1). Na Tabela 3 abaixo, a mediana foi calculada para obter uma apreciação geral da LD no grupo de diretores. Nos dados da Tabela 3 correspondentes às estatísticas vemos que a mediana é de 82.14 pontos numa escala de 100 e situa-se na categoria de alto. Ao comparar as quatro dimensões (Figura 2), evidencia-se que é nesta dimensão que os diretores (as) obtêm um melhor desempenho em geral. A mediana nesta dimensão é de 82,14, o que significa que 50% do grupo, acima da média, tem pontuações muito altas nesta dimensão. A distribuição mínima foi de 39 pontos, mas apenas um elemento a obteve, todos os restantes superam os 60 pontos, o whisker inferior é representado acima dessa pontuação. Isso significa que ninguém, exceto o outlier, se situou na categoria intermédia. Figura 2. Caixa e diagrama para cada dimensão - práticas de liderança distribuída. Feito com SPPS 569 A gama de dimensão das práticas de liderança distribuída neste caso é (96-39 = 57), significa que o curso de distribuição é de 57 pontos, o que indica uma concentração de dados e o grupo é bastante homogéneo nesta dimensão, mas não tanto quanto a missão, dimensões, visão e objetivos partilhados e decisões partilhadas. Ao observar a Figura 3, mostra-se que o grupo é bastante homogéneo, porque a caixa está próxima. O valor de 39 é a pontuação mínima, este valor é colocado na categoria mais baixa. O valor máximo de 96 situa-se na categoria de alto. Figura 3. Caixa e diagrama para dimensão de liderança distribuída. Feito com SPPS Na interpretação dos quartis, 75% do grupo de diretores obteve uma pontuação inferior a 92.86, mas todos igualmente entre as categorias de alta e muito alta, exceto o outlier. O primeiro quartil (Q1) situa-se em 100 pontos, 71,43 que significa que 25% dos indivíduos é inferior a este resultado. Fonte: Respostas do questionário de liderança. Feito com Excel Ao analisar os dados da Tabela 4, mostra-se que 4,3% dos diretores se situa na categoria "baixo" de práticas de liderança distribuída; corresponde a um diretor e é o outlier. 39,10 % dos diretores ( as) teve alto e 56,5% muito alto (Figura 4) Fonte: Respostas do questionário de liderança. Feito com Excel Conclusão O facto de a mediana das práticas de liderança distribuída estar situado na categoria "muito alto" significa que esses diretores tendem, em geral, a distribuir tarefas em função das competências e aptidões das pessoas que trabalham com eles; inclinam-se a delegar aspetos do seu trabalho como diretores e incentivam o surgimento de outros líderes dentro da organização, como uma maneira de lidar com tarefas complexas e atingir os objetivos institucionais. Além disso, o resultado apresentado indica que as escolas espanholas analisadas estão longe dos modelos tradicionais, onde a equipa de liderança é composta exclusivamente por professores qualificados e geralmente inclui o diretor, apoiado por professores. Os benefícios das práticas LD podem melhorar a motivação do pessoal, dotar a equipa de maior capacidade, bem como a possibilidade de uma disseminação de um carácter mais democrático em toda a escola e uma maior flexibilidade. Esta pesquisa mostra que é essencial compreender que, trabalhando em colaboração com atores comprometidos e capazes, e adaptando localmente algumas dicas gerais para retomar os pontos fortes e ultrapassar as fragilidades da liderança individual, poderíamos obter uma fórmula com bons resultados e, naturalmente, uma educação de alta qualidade. A partir do olhar das práticas e do papel do corpo docente, às vezes individualista, pode-se dizer que, quando as práticas de liderança são aplicadas, exteriorizam o melhor dos seus talentos e competências, colocados ao serviço da comunidade e escola, exercendo funções de liderança em vários campos. 570 Referências García, I (2010). Liderazgo distribuido, una visión innovadora de la dirección escolar: una perspectiva teórica. Omnia, (16) 3, 19-36. García, I y Oslo, M. (2013). Enfoques actuales de liderazgo y estilos de dirección escolar: revisión teórica. En Investigación e Innovación Educativa al Servicio de Instituciones y Comunidades Globales, Plurales y Diversas: Actas del XVI Congreso Nacional/II Internacional Modelos de Investigación Educativa de la Asociación Interuniversitaria de Investigación Pedagógica (AIDIPE). Alicante, (pp. 1143-1151). Gronn, P. (2002). Distributed leadership as a unit of analysis. The Leadership Quarterly, 13(4), 423-451. Gronn, P. (2009). From distributed to hybrid leadership practice. En A. Harris (Ed.), Distributed leadership. Different perspectives (pp. 197-217). Londres: Springer. Harris, A. (2008). Distributed school leadership. Londres: Routledge. Harris, A. (2009). Distributed leadership. Different perspectives. Dordrecht: Springer Hill, M., & Hill, A. (2000). Investigação por questionário. Lisboa: Edições Sílabo. Leithwood, K., Mascall, B. y Strauss, T. (2009). New perspectives of an old idea. En K.Leithwood, B. Mascall y T. Strauss (Coords.), Distributed leadership according to the evidence (pp.1-14). Nueva York: Routledge. Spillane, J.P. (2006). Distributed Leadership. San Francisco, CA: Jossey-Bass. 571 AVALIAÇÃO FORMATIVA - CONCEÇÕES E PRÁTICAS (ID 226) PIRES, Giovana, Universidade de Lisboa (PT) RESUMO Avaliação da Formação Contínua O ato de avaliar é algo inerente ao homem. Desde o princípio da civilização, o ser humano estabelece juízos de valor, avalia, julga de alguma forma. Diante disso, podemos questionar: o que vem a ser avaliar? Por que o interesse crescente da sociedade atual pela avaliação? Que transformações esse termo vem sofrendo? Essas e muitas outras questões nos mostram que a avaliação, tal como a sociedade, não é estática, ela acompanha todas as mudanças políticas, econômicas, culturais, educacionais e sociais. Com efeito, a avaliação, neste estudo, é compreendida como processual, sendo uma prática construída em que se valorizam os diferentes contextos, as necessidades e os interesses dos envolvidos, ao visar a melhoria dos resultados, afastando, pois, a possibilidade de ser vista e praticada como algo terminal e fragmentado, voltado para si mesmo, numa dinâmica de classificação, de punição e de exclusão. Diante esta compreensão, a avaliação da formação ganha novos contornos quando é percebida como uma atividade que planifica a ação e elabora o desenho mais pertinente do terreno que vai ser objeto da avaliação. É uma forma de superar o olhar estático que deseja apenas chegar ao resultado, passando a ser um processo de recolha de informação que permite interpretação e tradução em juízos de valor para a tomada de decisões (Catalyud Salom, 2008). De acordo com Pineda Herrero (2000), as finalidades da formação e seu processo de avaliação poderão ser concebidos em conjunto, desde sua origem. Essa vertente possibilita não somente clarificar o interesse em avaliar, mas também averiguar as etapas do trabalho posto naquela ação específica e, sobretudo, discutir as mudanças necessárias na realidade em questão. Sobre o assunto, Barbier (1985, p. 52) afirma: “Uma boa avaliação depende de uma diligência prévia de análise das necessidades estabelecendo, com efeito, de uma forma precisa, os fins a atingir por uma ação de formação, a análise das necessidades fornece a base de uma diligência de avaliação”. A nosso ver, isso implica pensarmos sobre a importância das operações de controlo no processo de avaliação, que são complexas e embasam os juízos de valor, podendo ser referenciadas por indicadores que valorizam a produção de diferentes informações, de acordo com o destinatário dessas operações, como apontado nos resultados do estudo. Na visão de Figari (1996), o referente na avaliação da formação compreende os objetivos a serem atingidos, fixados pelos seus criadores, em relação aos quais são validados os resultados. De acordo com Barbier (1985), é aquilo relativamente a quê o juízo de valor se aplica ou é susceptível de ser aplicado. Já para Hadji (1994), é o conjunto das normas ou critérios que servem de grelha de leitura do objeto a ser avaliado. Os mesmos autores reconhecem que o referente não acontece sem a presença do referido da avaliação, o que, na abordagem mais descritiva de Barbier (1985), é aquilo a partir de quê um juízo 572 de valor é feito ou suscetível de se fazer, ou, nas palavras de Hadji (1994) e Figari (1996), é o que desse objeto será registrado através de sua leitura (dos fatos). Desse modo, o processo de avaliação da formação seria uma reflexão sobre o desvio entre o referente e o referido. Nesse sentido, avaliar é uma atividade complexa que consiste em atribuir um valor a uma situação real à luz de uma situação desejada, ao confrontar o campo da realidade concreta da formação com o das expetativas dos participantes. Em face desse contexto, o objetivo do nosso estudo foi identificar como se processaram as mudanças referentes às conceções e às práticas dos professores que participaram da ação de formação em educação especial. Para coletar os dados, foram utilizados a entrevista semiestruturada com quinze professores participantes da formação. Dos professores que foram entrevistados, escolhemos de forma aleatória dois professores para atuarem na observação. No seguimento da pesquisa, utilizamos a técnica dos incidentes críticos que foi extremamente importante, devido termos mais elementos sobre a prática das professoras Flor e Rosa e que apontasse mudanças nas conceções e práticas, após terem frequentado a ação de formação. O estudo permitiu tomarmos como eixo de discussão as conceções apropriadas pelos professores e as práticas observadas e descritas pelas professoras Flor e Rosa. Por isso, no intuito de articular o que o docente discursa e o que pratica, procuramos tornar mais inteligível a relação entre teoria e prática que circunda a intervenção pedagógica do professor no espaço formativo. A partir desse contexto, concluímos diversas constatações que acompanharam os resultados da investigação frente às conceções e às práticas apresentadas. A primeira constatação, revelada no estudo, destaca as mudanças nas conceções e práticas dos professores no que toca ao tema educação especial. Salientamos que a ação de formação trouxe novas discussões sobre a atuação do professor de educação especial como suporte para a escola inclusiva por meio do acompanhamento dos alunos com deficiência. A segunda constatação, contempla a importância do papel dos professores de educação especial, com o objetivo de desenvolver novas competências sobre educação especial, visando garantir o acompanhamento do aluno na escola. Em nossa análise, a terceira constatação trata da importância de estudar os diferentes modelos de planos de atendimento disponibilizados pela formação, com o intuito de acompanhar o aluno com deficiência em sala de aula. Na verdade, na prática do estudo, ficou notório poucas situações acompanhadas com um plano de atendimento na prática das professoras do estudo. A quarta constatação, evidencia diferentes equívocos conceituais ou atenção demasiada ao comportamento dos alunos, o que delata a dificuldade em transpor para os casos atendidos as conceções apropriadas na formação. Concluímos, dessa forma, que o discurso dos professores que frequentaram a ação de formação não respondeu ao contexto real das professoras acompanhadas na pesquisa e, consequentemente, foram revelados o vácuo e os conflitos expressos na prática das professoras Flor e Rosa. Consideramos que os resultados obtidos levantam questões que pairam sobre avaliação da formação e ações de formação de longa amplitude que precisam estar conectadas com os interesses, as necessidades, as aspirações dos formandos e seu contexto profissional, como revelado no estudo. 573 Referências Barbier, Jean Marie. (1985). A Avaliação em Formação. Lisboa: Edições Afrontamento. Catalyud Salom, María A. (2008). Evaluar para aprender. Hacia una práctica. Revista de Ciencias de la Educación. Órgano del Instituto Clasanz de Ciencias de la Educación. Nº 214. Abr-jun. Figari, Gérard. (1996). Avaliar: Que referencial? Porto: Porto Editora. Colecção. Ciências da Educação. Porto Editora. Hadji, C. (1994). A avaliação, Regras do Jogo. Porto: Porto editora. Pineda Herrero, P. (2000). Evaluación del impacto de la formación en las organizaciones. Revista Educar, vol. 22, pp.119-133. 574 WIKI COMO VEÍCULO POTENCIALIZADOR DO FEEDBACK DO PROFESSOR EM AULAS DE FÍSICA: UM ESTUDO COM ALUNOS DO 9º ANO (ID 229) JESUÍNO, Liliana, Escola Básica Alfredo da Silva (PT) BAPTISTA, Mónica, Universidade de Lisboa (PT) RESUMO Introdução A avaliação formativa requer um feedback do professor que permita ao aluno melhorar os seus conhecimentos e a sua aprendizagem (Black, 1998). Contudo, para que este feedback facilite a aprendizagem, alguns aspetos devem ser tidos em consideração, como desafiar os alunos a pensar (Bell & Cowie, 2001), não oferecendo uma resposta imediata (Black et al., 2003), mas questionando-os. A avaliação formativa ligada às tecnologias digitais é referida em vários estudos como uma prática pedagógica flexível e enriquecedora das aprendizagens dos alunos (Price, 2012). Em particular, o wiki com as suas caraterísticas favorece o desenvolvimento da avaliação formativa (Loureiro, Pombo & Moreira, 2012). No entanto, a vertente de avaliação formativa ainda se encontra numa fase embrionária neste tipo de ambiente (Bhattacharya, 2011). O wiki é um ambiente virtual que permite aos alunos desenvolver trabalho colaborativo online (Witney & Smallbone, 2011). Permite uma intervenção assíncrona, facilita a monitorização dos processos de pensamento, a colaboração e negociação de significados e promove a partilha de ideias, aspetos essenciais na construção do conhecimento (Israel, Moshirnia & Anderson, 2008; Freire, Faria, Baptista, Freire & Galvão, 2013). Com esta comunicação pretende-se dar a conhecer como é que o feedback da professora, num contexto wiki, pode ajudar os alunos a resolver problemas sobre a temática eletricidade. Metodologia A metodologia usada apoiou-se na investigação qualitativa, com orientação interpretativa (Erickson, 1986). Nesta investigação participaram duas turmas do 9.º ano, num total de 51 alunos, pertencentes a uma escola da grande região de Lisboa, e a respetiva professora. Os alunos estiveram envolvidos na resolução de três problemas sobre o tema “Eletricidade” com recurso a um ambiente wiki. O wiki desenvolvido continha, além da página inicial introdutória, uma página com os critérios de avaliação, uma página com a identificação dos elementos de cada grupo e uma página para cada grupo responder aos problemas. Os alunos trabalharam em grupos de três a quatro elementos, num total de dezasseis grupos, na resolução dos problemas colocados no wiki. A professora foi acompanhando o trabalho dos grupos, dando feedback ao trabalho desenvolvido por cada grupo. Como instrumentos de recolha de dados recorreu-se às produções escritas pelos alunos e professora no wiki e a duas entrevistas em grupo focado. Quanto à análise dos dados, avaliou-se o feedback da professora, tendo em contas as categorias: encorajamento (E), avaliação da resposta em termos de linguagem (AL), avaliação da resposta em termos de linguagem científica (ALC), 575 incitação à mobilização de conhecimento científico (IMC), orientação processual (OP) e incitação à interação entre pares (IIP). Foi ainda analisada a interação dos alunos com a professora, tendo em conta as categorias: mobilização de conhecimento científico mediante orientação (MC2), solicitação (SP) e resposta à professora (RP). Resultados Ao analisar os resultados, observa-se que o feedback da professora incidiu maioritariamente em ações de encorajamento, incitação à mobilização de conhecimento e orientação processual (Quadro 1) No entanto, a frequência do feedback variou de problema para problema e de grupo para grupo, de acordo com as dificuldades demonstradas por cada grupo. Também se verifica que a frequência de outras categorias variou com o decorrer dos problemas (e.g. incitação à interação entre pares), à medida que os alunos e a própria professora adquiriram à vontade na sua interação na e com a ferramenta. É também de realçar que existiram grupos que se apoiaram mais numa interação mais direta com a professora, através da solicitação de orientação à professora ou mobilizando conhecimento científico (Quadro 2). Discussão Os resultados sugerem que o número de intervenções dirigidas pela professora aos grupos e a qualidade dessa interação influenciou a sua participação no wiki (Black, 1998; Bell & Cowie, 2002). Na generalidade, os grupos com uma elevada participação apresentaram um maior feedback da professora ou uma maior interação com a mesma. Esse feedback e interação, assentes na incitação à mobilização de conhecimento científico e na orientação processual, ajudou os alunos no desenvolvimento da resposta aos problema e respetiva fundamentação. Observa-se ainda que as caraterísticas dinâmicas da ferramenta permitiram à professora uma avaliação formativa interativa, em que esta adaptou o feedback dado, agindo sobre a informação recolhida (Bell & Cowie, 2002). A possibilidade da professora acompanhar o processo, personalizando o feedback dado a cada grupo, e a avaliação não só do trabalho coletivo, mas também as contribuições de cada um, contribuíram para um aumento e melhoria das contribuições dos alunos (Ducate, Anderson & Moreno, 2011). Referências Bell, B., & Cowie, B. (2002) The characteristics of formative assessment in science education. Science Education, 85(6), 536-553. Bhattacharya, K. (2011) Constructing democratic learning environments the wiki way. THEN: Technology, Humanities, Education & Narrative, 8, 38-64. Black, P. (1998) Testing: Friend or foe? Theory and practice of assessment and testing. London: RoutledgeFalmer. 576 Black, P., Harrison, C., Lee, C., Marshall, B., & William, D. (2003). Assessment for learning: Putting it into practice. Berkshire, England: McGraw-Hill Education. Ducate, L. C., Anderson, L., & Moreno, N. (2011). Wading Through the World of Wikis: An Analysis of Three Wiki Projects. Foreign Language Annals, 44(3), 495-524. Erickson, F. 1986. Qualitative methods in research on teaching. In M. C. Wittrock (ed.), Wittrock, M. C. (ed.), Handbook of Research on Teaching (pp.119-161. New York: Macmillan. Freire, S., Faria, C., Baptista, M., Freire, A., & Galvão, C. (2013) Wiki as a Tool for Engaging Students with a Science Problem Solving Activity. Electronic Journal of Science Education, 17(1), 1-24. Israel, M., Moshirnia, A. & Anderson, S. (2008). Case-Based Authentic Assessment Applications within Wikis. In J. Luca & E. Weippl (Eds.), Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications 2008 (pp. 2608-2617). Loureiro, M., Pombo, L., & Moreira, A. (2012) The quality of peer assessment in a wiki-based online context: a qualitative study. Educational Media International, 49(2), 139-149. Price, E. (2012) Complex interactions between formative assessment, technology, and classroom practices. AIP Conference Proceedings, 1413(1), 59-62. Witney, D., & Smallbone, T. (2011). Wiki work: can using wikis enhance student collaboration for group assignment tasks?. Innovations In Education & Teaching International, 48(1), 101-110. 577 O GUIDED INQUIRY E A AVALIAÇÃO DAS APRENDIZAGENS (ID 230) ELIAS-LOMBA, Simão, Universidade de Lisboa (PT) RESUMO Dentro dos limites do currículo prescrito, como testar um programa educativo que permita a integração curricular das tecnologias digitais e da literacia da informação e dos media? Como avaliar as aprendizagens dos alunos neste contexto e que impacto é que essa avaliação deverá ter na avaliação do próprio programa educativo? Como conciliar os testes normalizados com a avaliação autêntica? Estas são algumas das questões de partida para esta investigação piloto. Este estudo faz parte de uma investigação de doutoramento no Instituto de Educação da Universidade de Lisboa. Participam no estudo cinco professores bibliotecários (PB) e cinco professores de Ciências Naturais / Biologia e Geologia (PCN) selecionados de entre 13 Agrupamentos de Escolas dos Concelhos de Loures e Odivelas. Participam ainda neste estudo, os diretores das escolas envolvidas e os alunos com quem vai ser aplicado o Programa Educativo de Literacia Informacional e Mediática (PELIM). O estudo aqui referido é parte de uma investigação conhecida como projeto LIMA, que para além da componente investigativa, comporta também uma componente de formação e uma componente de intervenção. Os professores participantes estão a realizar duas ações de formação na modalidade de estágio, uma para os PB e outra para os PCN, onde a partir de uma proposta inicial irão criar, aplicar e avaliar um PELIM. As duas formações estão relacionadas entre si, havendo sessões de formação conjuntas. Esta ligação entre as duas formações fomenta o trabalho colaborativo e a reflexão dos participantes, bem como a partilha de experiências, problemas e soluções. Durante a formação os professores são desafiados a fazerem um trabalho de pesquisa seguindo as etapas do Guided Inquiry, esperando-se que desta forma, compreendam o método, e que o “vivam na prática” adquirindo assim uma compreensão mais profunda do mesmo. Posteriormente estes professores irão criar o PELIM, em colaboração com os seus pares, que será implementado por cada um na sua escola, desejavelmente num trabalho colaborativo entre o PB e o professor da área curricular. A participação dos diretores na investigação tem como objetivo determinar de que modo o apoio do diretor é ou não relevante para o desenvolvimento do projeto. O ponto de partida para o PELIM é o enquadramento teórico fornecido pelo modelo Information Seek Process (Kuhlthau, 2004) e pelo Guided Inquiry (Kuhlthau, Maniotes, Caspari, 2007, 2012). As ferramentas do Guidem inquiry desempenham um papel fulcral na formação. Nesta investigação, em curso, são usados métodos mistos porque o uso das abordagens qualitativa e quantitativa, combinadas, fornecem uma melhor compreensão dos problemas de pesquisa do que cada uma das abordagens isoladamente (Creswell & Clark, 2007, citado por Creswell & Clark, 2011, p.5). Serão analisados os dados qualitativos das reflexões e de outros documentos escritos, produzidos pelos professores durante a formação, bem como algumas declarações orais gravadas durante as sessões de formação. Do mesmo modo serão analisados os documentos e as reflexões escritas produzidas pelos alunos no decurso da realização dos seus trabalhos de pesquisa. Serão ainda analisados dados de entrevistas que estão a ser feitas a alguns 578 diretores de Escolas / Agrupamentos de Escolas. Também serão feitas entrevistas de estudos de caso a alguns professores e alunos. Os dados quantitativos serão recolhidos através de inquéritos por questionário a professores e alunos, um pré teste e um pós teste que avalia os conhecimentos de literacia informacional e mediática dos participantes. As aprendizagens dos alunos nos conteúdos curriculares serão avaliadas por duas vias distintas, uma que considera os produtos apresentados pelos alunos e o processo que conduziu à sua criação, e outra através da aplicação de testes normalizados. Os resultados da avaliação autêntica feita de acordo com o Guided Inquiry serão comparados com a avaliação das aprendizagens baseada em testes normalizados, tanto no que se refere à literacia informacional e mediática como em relação às aprendizagens curriculares. Os resultados de literacia informacional e mediática serão comparados com os resultados da avaliação das aprendizagens curriculares, no sentido de perceber qual é a relação entre elas, no caso de haver alguma relação. Com o modelo de formação proposto, pretende-se que os professores se envolvam com o PELIM que eles próprios estão a ajudar a criar. No estádio atual da formação, a perceção dos formadores é de que os professores têm-se mostrado motivados e empenhados durante as sessões de formação. Espera-se que a avaliação do PELIM permita determinar a pertinência e o âmbito de cada tipo de avaliação das aprendizagens. A prática combinada com a reflexão e participação dos professores em fóruns de discussão e partilha, acerca das suas experiências de implementação do PELIM irá certamente contribuir para melhorar as práticas de avaliação das aprendizagens dos alunos. Este foi um pressuposto do modelo de formação proposto, que poderá ser testado quando esta investigação terminar. Referências Creswell, J.W. & Clark, V.L. (2011). Designing and Conducting Mixed Methods Research (2nd ed.). Los Angeles - London - New Delhi - Singapore - Whashington DC: Sage. Kuhlthau, C.C. (2004). Seeking Meaning: a process approach to library and information serviçes (2nd ed.). Westport, Connecticut - London: Libraries Unlimited. Kuhlthau, C.C., Maniotes, L.K., Caspari, A.K. (2007). Guided Inquiry: Learning in the 21st Century. Westport, Connecticut: Libraries Unlimited. Kuhlthau, C.C., Maniotes, L.K., Caspari, A.K. (2012). Guided Inquiry Design: a framework for inquiry in your school. Westport, Connecticut: Libraries Unlimited. 579 AVALIAÇÃO DE PERFIL E COMPETÊNCIAS NA EDUCAÇÃO SUPERIOR (ID 232) MARINHO-ARAÚJO, Claisy, Universidade de Brasília (BR) RABELO, Mauro, Universidade de Brasília (BR) RESUMO No âmbito educacional, a avaliação é um processo amplo, complexo, que ultrapassa o nível do indivíduo, com desdobramentos coletivos e institucionais. Com características e finalidades educativas e pedagógicas, o processo vai além do estabelecimento de indicadores de classificação meritocrática de estudantes, cursos e instituições, devendo ocupar-se da investigação acerca da formação humana e da construção da cidadania, considerando questões subjetivas e contextuais. O processo de avaliação deve ter caráter formativo e de desenvolvimento, de modo a influenciar a reconfiguração de contextos, condições sociais e propostas pedagógicas, para que esses se constituam em opções mais favoráveis à construção das competências necessárias ao perfil que se deseja formar. Na última década, estudos, pesquisas e políticas educacionais têm utilizado a avaliação de competências como orientação para elaboração de instrumentos, bem como para processos de monitoramento da qualidade da educação e da formação profissional. No Brasil, o sistema de Educação Superior, entendido como importante contexto de transições e desenvolvimento, vem apresentando mudanças significativas, especialmente no âmbito da expansão. Há hoje 7.037.688 estudantes matriculados em 32.050 cursos nas 2.416 Instituições de Ensino Superior brasileiras (2.112 particulares e 304 públicas). Esse cenário vem impactando organizações administrativa e pedagógica, projetos curriculares, formação do corpo docente e processos de avaliação, perfis discentes. A caracterização perfil do estudante universitário tem como base o desenvolvimento de competências; para identificar, desenvolver e avaliar tais competências foi construído um enquadramento epistemológico, conceitual e metodológico que subsidia o processo de avaliação em larga escala dos estudantes que concluem o ensino superior no Brasil. O Brasil tem acumulado grande experiência em sistemas de avaliação em larga escala, que incluem o Sistema de Avaliação da Educação Básica, a Prova Brasil, o Exame Nacional do Ensino Médio, o Exame Nacional para Certificação de Competências de Jovens e Adultos, o Exame Nacional de Desempenho de Estudantes e, mais recentemente, a Prova Nacional do Concurso para o Ingresso na Carreira Docente. Em todos esses sistemas, utilizam-se matrizes de referência como orientadoras da etapa de elaboração de itens de avaliação. À medida que novos processos de avaliação vão sendo implantados, propostas de matrizes vão surgindo sem a devida discussão acerca de sua finalidade e nem da maneira mais consistente de elaborá-la de modo a cumprir suas múltiplas funções. Muitos desses sistemas simplesmente reproduzem o que é utilizado em alguma avaliação específica, sem a devida preocupação com os fundamentos teórico-metodológicos que fundamentam cada matriz. Neste trabalho, apresenta-se uma proposta metodológica de elaboração de matrizes de referência de competências, em especial no contexto de avaliação educacional da Educação Superior, mas sem limitar sua utilização a esse contexto. São explicadas as possibilidades de utilização desse instrumento não somente para a sistematização e orientação dos processos de elaboração de itens e de análise de resultados de desempenho, mas também como forma de sugerir indicativos para promover a regulação do ensino e das aprendizagens, por meio das análises de desenvolvimento de características do perfil profissional esperado dos participantes e das competências envolvidas. No 580 contexto atual de ações políticas educacionais, refletir sobre os alcances de um perfil profissional com base em competências é fundamental. Para isso, discorre-se igualmente sobre a ampliação da noção de competência, em uma perspectiva mais global do desenvolvimento humano, discutindo a mobilização não só de conhecimentos, habilidades, atitudes e valores, em uma dimensão técnica especializada, mas também de afetos, práxis e atributos intersubjetivos de comunicação e de interrelações, em uma dimensão intencionalmente reflexiva. Espera-se que o presente trabalho impacte e influencie futuras pesquisas, intervenções e políticas comprometidas com as finalidades da educação superior enquanto elo integrador entre as demandas sociais e a formação de sujeitos críticos e competentes profissionalmente, contribuindo para desencadear processos globais de desenvolvimento dos cidadãos e do país. 581 OS ESTUDANTES ADULTOS E O ACESSO AO ENSINO SUPERIOR (ID 233) TONIN, Elane Cristina (PT) RESUMO A presente comunicação busca considerações acerca da Educação de Adultos em Portugal e sua relação com o Ensino Superior, num desenho de investigação de estudo longitudinal, que acompanha o processo de acesso e ingresso dos estudantes adultos em uma universidade pública em Portugal, via Provas do Concurso Maiores de 23 no ano letivo 2015/16. Concurso de acesso especial ao Ensino Superior como é previsto pelo Decreto- lei n.º64/2006, instituído a implementação das provas especialmente destinadas a avaliar a capacidade para frequência do ensino superior por maiores de 23 anos – concurso maiores de 23 anos – é reformulada a antiga via de acesso destinada aos adultos (antigo exame ad hoc), sendo que para a avaliação dos candidatos passa a ser relevante não só a sua prestação em provas da responsabilidade de cada instituição de ensino superior, mas também a apreciação do seu currículo escolar e profissional assim como das suas motivações para o ingresso. A comunicação centrar-se-á na análise dos dados observados em determinada universidade pública, no acompanhamento da realização das provas do concurso de acesso Maiores de 23 no ano letivo 2015/16, participação na fase das provas de conhecimentos e na fase das entrevistas em 6 diferentes juris, sendo observado um total de 35 canditados entrevistados, visando redimensionar e discutir em que medida essas provas seriam mecanismos de avaliação que contribuem ou não para o acesso dos estudantes adultos ao ensino superior? A comunicação discuti, quais foram as percepções observadas dos estudantes antes, durante e depois da realização das provas? Como essas foram rececionadas pelos estudantes adultos? Se de fato é perceptível que as experiências e currículos, saberes formais e não formais, são de fato levados em consideração nas entrevistas e colaboram na pontuação das provas no acesso ao ensino superior, como previsto no decreto-lei? O Decreto-Lei n.º 64/2006, de 21 de março, que viabiliza as provas para o acesso aos maiores de 23 anos no ensino superior em Portugal, também vai de encontro à concepção da aprendizagem ao longo da vida, o decreto “consagra como um dos objetivos a prosseguir para a política do ensino superior a promoção de igualdade de oportunidades no acesso a este grau de ensino, atraindo ‘novos públicos’, numa lógica de aprendizagem ao longo de toda a vida”. Assim compreendemos no âmbito desse trabalho que o ensino superior pode ser configurado como modalidade já presente no campo da educação de adultos, como demonstram Knapper e Cropley (1991), Schuetze e Slowey (2002), Santiago et al (2002), Mark (2006), ou, ao contrário e não em oposição, questionamos o facto de que, junto com os novos públicos, quem adentrou o ensino superior foi também a educação de adultos, como defendem Murphy e Fleming (2000). Após nove anos da promulgação do Decreto-lei n.º 64/2006, se faz premente e necessário alargamentos que contribuam para a discussão sobre as questões de acesso, permanência e a(s) possibilidade(s) de sucesso (conclusão) dos estudantes adultos que ingressaram no ensino superior via provas instituídas pelo decreto. 582 Na busca de problematizar esses dados sobre o acesso e a permanência dos “maiores de 23 anos” no ensino superior pós Decreto-Lei n.º 64/2006, registra-se que o número total de inscritos nas Provas do Concurso Maiores de 23 nas universidades públicas em Portugal desde da criação do Decreto lei em 2006 até 2014, seriam de 106.184 inscritos e os aprovados em todo o processo de seleção seriam 60.718, uma média de 40% de reprovação ou desistência dos estudantes adultos que buscam essa via para aceder o ensino superior. Quanto a permanência somente a situação dos inscritos em 2011/12, como amostra, já seria pertinente de discussão, dos 29% estudantes “maiores de 23” não se encontravam mais inscritos no ensino superior ao final de um ano letivo, assim, falar sobre o acesso e permanência dos M23 ao/no ensino superior, nos leva a redimensionar a importância dos mecanismos de avaliação no âmbito da universidade, pois, conforme Kolh (2004), o adulto, sobretudo o acadêmico, é um sujeito inserido na vida social, com acesso a diferentes linguagens e com apropriação de signos e modos de pensar, próprios da vida escolar, na construção da capacidade discursiva acerca do mundo, acerca de si. Referências Knapper, C. K. e & Cropley, A. J. (1991). Lifelong learning and higher education. London: Kogan Page. Kolh M. O. (1999). Jovens e adultos como sujeitos de conhecimento e aprendizagem. Revista Brasileira de Educação, São Paulo, n. 12, pp. 59-73. Mark, R. (2006). Increasing adult participation in higher education. In R. Mark, M. Pouget & E. Thomas (Eds.), Adults in Higher Education: Learning from Experience in the New Europe, pp. 29-48. Murphy, M. & Fleming, T. (2000). Between common and college knowledge: exploring the boundaries between adult and higher education. Studies in Continuing Education, 22, 1, pp. 77-93. Santiago, R., Rosa, M. J. & Amaral, A. (2002). O Ensino Superior Aberto a Novos Públicos. Matosinhos: Centro de Investigação de Políticas do Ensino Superior. Schuetze, H. & Slowey, M. (2002). Participation and exclusion: a comparative analysis of nontraditional students and lifelong learners in higher education. Higher Education, 44, 309-327. Disponível em: http://www.springerlink.com/content/u162346j8k6u5217/. Acesso em 14 de fevereiro de 2015. 583 PARTICIPÇÃO EM FÓRUNS ONLINE E SUCESSO EM E-LEARNING: UM CONTRIBUTO PARA (RE)PENSAR A AVALIAÇÃO DIGITAL (ID 238) CARDOSO, Teresa, Universidade Aberta (PT) SANTOS, José Rui, LE@D-UAb (PT) RESUMO Nesta comunicação propomo-nos refletir sobre a relação entre o sucesso académico e a participação de estudantes do ensino superior online em fóruns de aprendizagem não sujeitos a avaliação. Tomamos como caso uma unidade curricular da Licenciatura em Educação da Universidade Aberta (Portugal), ministrada em e-learning, que funcionou na modalidade de avaliação contínua obrigatória. Pretendemos, pois, problematizar sobre se o número de intervenções ao longo do semestre se traduziu, por um lado, em classificações positivas, incluindo nos momentos de avaliação intermédia. E, por outro lado, pretendemos encontrar evidências que sustentem esta relação na aprovação final dos estudantes. O nosso referencial teórico assenta sobretudo nas orientações que emanam do Modelo Pedagógico Virtual da Universidade Aberta®, no qual se preconiza, entre outros aspetos fundamentais, o primado da interação. Neste sentido, torna-se importante mapear as participações em fóruns online, analisando quer as nossas práticas pedagógicas, enquanto docentes do ensino superior a distância e em rede, quer as intervenções de estudantes em e-learning. Entendemos que no contexto atual dos novos cenários de aprendizagem e de novas culturas de participação e de avaliação, se torna ainda mais imperativo (re)pensar a avaliação digital. Esperamos, portanto, poder contribuir para este debate (em) aberto na agenda de investigação nacional e internacional. Metodologicamente, optou-se pela análise estatística descritiva simples, o que nos permitiu rastrear e quantificar as participações, quer dos estudantes, quer do professor, nos diferentes fóruns disponibilizados ao longo do semestre. A referida análise permitiu-nos ainda traçar uma tipologia de perfis de intervenção em fóruns assíncronos, participação que se revelou diferenciada, de acordo com o tipo/objetivo de cada fórum online disponibilizado. Embora a literatura e as nossas práticas pedagógicas nos alertem para o facto de o sucesso estar relacionado com diversos fatores, importa analisar o papel que o professor online desempenha neste contexto, sobretudo em situações específicas de e-learning como aquelas em que atuamos e sobre as quais investigamos. Ou seja, será que também podemos afirmar que “o segredo está no professor”? Questionamo-nos ainda sobre qual será “o quinto compromisso” no âmbito do sistema educativo superior a distância e em rede? Implicará este compromisso a adoção de práticas de avaliação digital? Tendo presente estas questões, revisitaremos então as nossas intervenções em fóruns online e as nossas práticas pedagógicas em e-learning, perspetivando-as em articulação com o sucesso dos nossos estudantes num cenário de avaliação digital. 584 ÉVALUER LES CONNAISSANCES MATHÉMATIQUES DANS DES TÂCHES DE DÉNOMBREMENT CHEZ LES ÉLÈVES DU COURS PRÉPARATOIRE, ÉLÈVES ÂGÉS DE 6-7 ANS : UN NOUVEL OUTIL D’ANALYSE, DES PREMIERS RÉSULTATS (ID 240) MOUNIER, Eric, LDAR (Université Paris Diderot) et ESPE de l'académie de Créteil (Université Paris-Est Créteil) (FR) RÉSUMÉ La communication aborde l’évaluation des connaissances à l’œuvre dans les tâches de dénombrement proposées aux élèves de Cours Préparatoire (CP, élèves âgés de 6-7 ans), première classe de l’enseignement obligatoire en France. Le dénombrement est l’objet de recherches depuis longtemps puisque déjà Piaget s’y intéresse. Beaucoup de résultats ont été obtenus par les psychologues et psychopédagogues concernant les jeunes enfants et des quantités limitées, le plus souvent manipulables. Les didacticiens des mathématiques français comme Briand (1999) ont quant à eux montré que l’énumération, connaissance nécessaire à la réalisation de la tâche d’inventaire des éléments d’une collection, n’est pas explicitement signalée comme objet d’apprentissage dans les programmes scolaires en France. Ces études convoquent avant tout la numération orale à travers la comptine numérique en langue maternelle. Si on comprend la tâche de dénombrement comme l’obtention de n’importe quel signifiant du cardinal de la collection, il peut aussi s’agir d’obtenir l’écriture chiffrée du nombre. A l’école maternelle française (enfants âgés de 3 à 5 ans), l’écriture chiffrée est la simple traduction à l’écrit du nom (oral) du nombre. Au CP du sens est donné à chacun des chiffres selon sa position. Le champ numérique ne dépasse pas cent et la notion de dizaine est alors nécessaire pour cette compréhension. Des chercheurs comme Fuson, Wearne, Hiebert, Murray, Human, Olivier, Carpenter et Fennema (1997) et Bednarz et Janvier (1988) ont largement étudié cet apprentissage. Parmi toutes les désignations et représentations du nombre ils ont mis en exergue le rôle essentiel de trois d’entre elles : la numération écrite chiffrée, la numération orale et l’organisation des collections. Chez Fuson, six triades sont ainsi exhibées qui peuvent servir à étudier l’évolution des conceptions des élèves selon en particulier leur perception de la dizaine. Collet et Grégoire (2008) montrent des écarts entre les conceptions des élèves qu’ils ont testés et cette modélisation. Certaines réponses des élèves à des tâches de dénombrement sont difficilement interprétables. Nous avons alors reconsidéré le problème. Le plus souvent l’obtention de l’écriture chiffrée du cardinal d’une collection est envisagée conjointement avec celle du nom du nombre. La dizaine y est convoquée de manière différente selon la procédure et en particulier le nombre de dizaines peut ne pas être perçu alors que le dénombrement est réussi. Par exemple dire « dix, vingt, trente, quarante, cinquante, cinquante-etun, cinquante-deux », n’atteste pas que l’on sache qu’il y a cinq dizaines. En outre le nom « cinquante-deux » peut-être traduit par l’écriture chiffrée « 52 » sans que le « 5 » ne soit relié au nombre de dizaines. Les élèves peuvent en effet procéder comme suit : « cinquante » s’écrit « 5 », « deux » s’écrit « 2 ». Cette façon de procéder mène parfois certains élèves à écrire « 502 » car « cinquante s’écrit 50 ». Ceci alerte sur les différences entre les principes mathématiques sous-jacents au système de numération écrit chiffré et ceux du système de numération parlé. Ce fait est connu, mais nous avons montré une non congruence bien plus importante qu’il n’y paraissait (Mounier, 585 2010), et ceci même pour des numérations parlées qui sont formellement plus « régulières » que celle utilisée en France. Par ailleurs, il existe des procédures de dénombrement qui ne convoquent pas nécessairement le nom du nombre pour obtenir son écriture chiffrée : organiser la collection en dizaines de manière optimale, puis coder cette organisation avec l’aide des dix chiffres 0 à 9. Nous avons montré en outre que les itinéraires d’enseignement utilisés usuellement en France privilégiaient une compréhension de la numération écrite chiffrée comme forme écrite de la numération parlée et donc ne favorisait pas cette procédure organiser/coder. Ces éléments mettent en évidence que les élèves sont engagés traditionnellement à utiliser la numération parlée pour comprendre les écritures chiffrées, et c’est ce moyen qui est essentiellement pris en compte dans les recherches. Or ces deux numérations ont des différences bien marquées, notamment concernant le rôle de la dizaine, différences cachées par des ressemblances apparentes et par le fait de n’envisager qu’une seule numération sous une forme écrite ou orale. Relever les différences entre les deux numérations et envisager des procédures de dénombrement qui ne convoquent pas nécessairement la numération parlée nous a conduit à élaborer un nouvel outil d’analyse de ces procédures de dénombrement. Dans cette communication, après avoir situé les questions que nous nous sommes posées, nous présentons cet outil et donnons les premiers résultats obtenus pour évaluer les connaissances des élèves sur le nombre, et tout particulièrement la dizaine. En outre, de manière détournée, nous montrons que nous pouvons aussi avoir des informations sur l’itinéraire d’enseignement qui a été suivi. Afin de faire le lien entre procédures et connaissances mathématiques nous convoquons la notion de théorèmes en-actes de la théorie des champs conceptuels de Vergnaud (1991). Nous avons réalisé nos expériences et analysé les résultats obtenus avec le concours de Nadine Grapin, Nathalie Pfaff et Elsa Prigent avec qui nous formons une équipe d’enseignants et de formateurs engagés dans la recherche. Nous remercions les élèves et leurs enseignants qui nous ont aidés dans ce travail de recherche. Références Bednarz N., Janvier B. (1988) A constructivist approach to numeration in primary school: results of a three year intervention with the same group of children. Educational Studies in Mathematics, 19, 299-331. Briand J. (1999) Contribution à la réorganisation des savoirs pré-numériques et numériques. Etude et réalisation d’une situation d’enseignement de l’énumération dans le domaine prénumérique. Recherches en Didactique des Mathématiques, 19, 41-75. Collet M., Grégoire J. (2008) Le développement du système en base dix chez les enfants de première et de deuxième primaire. In M. Crahay, L. Verschaffel, E. de Corte, J. Grégoire (Dir.). Enseignement et apprentissage des mathématiques. Que disent les recherches psychopédagogiques ? (pp. 79-103) Bruxelles : de boeck Fuson K., Wearne D., Hiebert J., Murray H., Human P., Olivier A., Carpenter T., Fennema E. (1997) Children’s conceptual structures for multidigit numbers and methods of multidigit addition and subtraction. Journal for Research in Mathematics Education, 28(2), 130-162. 586 Mounier, E. (2010). Une analyse de l’enseignement de la numération au CP : vers de nouvelles pistes. Thèse de doctorat. Paris : Université Paris.Diderot (Paris 7). Repéré à http://tel.archivesouvertes.fr/ Vergnaud G. (1991) La théorie des champs conceptuels. Recherches en Didactique des Mathématiques, 10 (2-3), 133-170 587 TESTAGEM PROCESSUAL DE PRODUÇÃO ESCRITA (ID 241) AUGUSTO, Raíça, Escola Graduada de São Paulo (BR) RESUMO A Testagem Processual de Produção Escrita é um trabalho coletivo, fruto do empenho dos professores de Língua Portuguesa da Escola Graduada de São Paulo. O estudo conta com a elaboração de um processo de avaliação interna no que diz respeito à escrita dos alunos de quinto à décimo segundo ano. A apresentação inscrita no Congresso ADMEE - Europe percorre todo o caminho de criação, elaboração, aplicação e resultado da Testagem. Essa avaliação surgiu a partir da experiência de professores que não se sentiam contemplados com as avaliações externas de escrita. O contexto da Graduada traz muitas especificidades que não eram acolhidas por esses órgãos avaliadores. Somos uma comunidade internacional, com alunos que são, no mínimo, bilíngues. Esse fato levou o corpo docente a repensar as práticas avaliativas, levando em conta os problemas específicos na escrita de cada aluno, considerando o contexto em que ele está inserido: uma escola binacional e multilíngue. O passo inicial foi a produção desse novo sistema avaliativo cujo foco não está no enquadramento do aluno em uma categoria, mas em resultados práticos na sala de aula. O trabalho consiste, por parte do aluno, na escrita de um texto entre vinte e cinco e cinquenta e cinco linhas. A proposta é elaborada pelo professor de cada série e segue o gênero trabalhado na etapa correspondente do período escolar. Paralelamente à escrita em sala de aula, o professor trabalha, junto aos colegas da área, numa planilha de correção que pretende abarcar os principais tópicos que contêm uma redação. No Middle School, por exemplo, essa tabela é dividida em três partes: Uso da Linguagem (domínio da escrita formal em Língua Portuguesa, como paragrafação, maiúscula e minúscula, registro, pontuação organizacional, concordância, regência, tempo verbal, acentuação e ortografia), Gênero, Proposta e Desenvolvimento (compreensão da proposta e desenvolvimento da mesma, respeitando as características do gênero pedido) e Coesão e Coerência (seleção dos elementos coesivos para garantir a compreensão e o andamento do texto e utilização dos mecanismos de coesão textual). Cada um desses tópicos apresenta rubricas específicas, numa gradação de notas que vai do 1 ao 7. Depois de escritos os textos e terminada a planilha, é iniciada a fase de correção. Nessa etapa, os professores trocam os textos entre si, de maneira que nenhum professor corrija produções da série que dá aula. Durante esse processo, um olhar de fora também se faz necessário e, para isso, chamamos corretores externos que passam por moderações durante a primeira etapa e se tornam aptos para realizar a correção, visualizando as especificidades do trabalho. Após a correção, cada aluno recebe seu trabalho comentado. Esse feedback é parte essencial do processo, visto que apresenta um comentário personalizado para o estudante. O professor também é beneficiado desse retorno, pois recebe um relatório de correção colaborativo, elaborado pelo corretores responsáveis. A partir do feedback, o trabalho em sala de aula é direcionado e atende àquilo que cada série precisa, levando em conta suas particularidades e dificuldades exclusivas de cada um dos indivíduos do grupo. O aluno é convidado, então, a refletir sobre seu aprendizado e a 588 revisitar seu texto, reescrevendo-o a partir de todo o suporte anterior direcionado para a sua produção escrita. Na apresentação, será mostrado o trabalho dessa equipe que não via vantagens práticas ao se submeter às avaliações externas e que enxergava esse resultado como algo distante da realidade da sala de aula. No processo da testagem interna, cada educador tem uma grande oportunidade de crescimento e desenvolvimento profissional. Um deles, como disseram os organizadores do livro intitulado Escrita aos pares (material de pesquisa resultado dessa prática de avaliação escrita na Escola Graduada), é “redimensionar a crítica, uma vez que ela se torna mais densa em função desse crescimento. Já é consenso o fato de que a formação docente deva se fazer na medida em que o professor reflita sobre sua experiência cotidiana com seus pares e equipe administrativa com que trabalhe. Além disso, estudos teóricos também são fonte primordial para essa formação. (...) Ao se deparar com as correções e relatórios de seus próprios colegas, o professor possui elementos diretamente ligados ao trabalho que faz, que permitem redirecioná-lo de forma positiva e autêntica e ir buscar, em bibliografia específica, respostas para aquilo que o inquietar.” A equipe da escola apresenta, assim, uma criação autônoma que influencia a metodologia de trabalho e o currículo dos cursos de Português. Ao estender esse processo para colegas de profissão, nosso objetivo é fomentar a emancipação e autoria no conjunto de medidas que faz parte do repertório de todo educador. Referências Barzotto, Valdir Heitor; Fregonesi, Angelina; Galesso, Eloisa (org.). Escrita aos pares Experiência e registro de uma testagem processual. São Paulo: Paulistana, 2014. 589 AVALIAÇÃO NO ENSINO SUPERIOR: PERSPETIVAS CENTRADAS NA ANÁLISE DE UMA NARRATIVA INTEGRADA NA ÁREA DAS CIÊNCIAS SOCIAIS (ID 242) ALVES, Maria Palmira, Universidade do Minho (PT) AGUIAR, Márcia, Universidade do Minho (PT) MACHADO, Eusébio André (PT) Introdução Esta comunicação integra um Projeto de Investigação mais alargado intitulado "Avaliação, Ensino e Aprendizagem no Ensino Superior Português e Brasileiro: Realidades e Perspectivas" (Projeto AVENA30). Este Projeto baseia-se no pressuposto de que os conhecimentos, conceções e experiências dos professores influenciam a forma como organizam o ensino e a avaliação. A pesquisa realizada nas últimas décadas destaca o papel que o ensino e a avaliação podem desempenhar na melhoria da aprendizagem (confirmar, por exemplo, Stiggins, 2004; Figari & Achouche, 2001). Um estudo realizado por Black e Wiliam (1998) enfatizou três resultados de amplo alcance e grande significado: a) a prática sistemática de avaliação formativa melhora, substancialmente, a aprendizagem dos estudantes; b) os estudantes que mais beneficiam de uma avaliação formativa são os que revelam mais dificuldades de aprendizagem; e c) os estudantes que frequentam aulas onde predomina uma avaliação formativa é predominante obtêm melhores resultados em exames de avaliação externos. A publicação destes resultados contribuiu para dar um novo impulso à pesquisa empírica nesta área e a uma construção teórica baseada em visões epistemológicas renovadas, em novos desenvolvimentos nos domínios da aprendizagem e das teorias curriculares e numa variedade de contribuições provenientes, por exemplo, da Sociologia, Ciências da Cognição, Antropologia e Teorias da Comunicação (Black & Wiliam, 2006; Gardner, 2006; Harlen, 2006; Stiggins & Chappuis, 2005; Gipps & Stobart, 2003). Mas o que pode concluir-se, de forma consistente, da investigação empírica e da reflexão teórica produzidas nos últimos anos? Essencialmente, a literatura permite destacar áreas de pesquisa e desenvolvimento, tais como: a) consolidação de uma teoria da avaliação formativa capaz de sustentar as práticas em contexto de sala de aula; b) descrição e análise de práticas de ensino e avaliação implementadas em salas de aula reais, com estudantes reais, relacionando-as com o seu sucesso académico; c) articulação dos processos de aprendizagem, ensino e avaliação; d) compreensão das relações entre aprendizagem, ensino e avaliação, tomando como unidade de análise não o professor ou os estudantes individualmente, mas a própria sala de aula e toda a sua complexidade; e e) compreensão das relações entre avaliação formativa e avaliação sumativa, bem como as suas implicações práticas. A revisão da literatura mostra que em Portugal e no Brasil existe uma quantidade considerável de pesquisas sobre aprendizagem e avaliação em contextos de ensino não superior (por exemplo, Fernandes, 2009, 2006; Esteban, 2003; Hoffmann, 1998). No entanto, ao nível do Ensino Superior, a investigação realizada nos dois países é, ainda, ténue, considerando a necessidade de compreender 30 Projeto financiado pela Fundação para a Ciência e Tecnologia; referência de projeto PTDC / CPE-CED / 114318 / 2009). 590 um conjunto de questões críticas que podem ajudar a melhorar o quê e como os estudantes aprendem. Considerando estes pressupostos teóricos, a questão de investigação do Projeto AVENA era: Como pode ser caracterizado o sistema de conceções de professores e estudantes no que diz respeito ao ensino, aprendizagem e avaliação? Assim, o objetivo primordial da pesquisa consistiu em descrever, analisar e interpretar as práticas de ensino e de avaliação realizadas em diferentes Universidades e Cursos portugueses e brasileiros. Este texto analisa, especificamente, as perspetivas e práticas de professores e estudantes em relação aos processos de avaliação relativos a duas Unidades Curriculares (UC) de dois Cursos de uma Universidade pública portuguesa, no campo das Ciências Sociais: Licenciatura em Educação e Mestrado Integrado em Psicologia. Da análise dos dados resultou uma Narrativa Integrada, sendo nosso objetivo, neste artigo, apresentar alguns dos resultados obtidos. Procedimentos Metodológicos O principal problema do Projeto de pesquisa derivou da necessidade de compreender as relações entre uma variedade de elementos: a) práticas de ensino e de avaliação dos professores; b) sistemas de conceção dos professores sobre o ensino, a avaliação e a aprendizagem; c) sistemas de conceção dos estudantes sobre o ensino, a avaliação e a aprendizagem; d) natureza das tarefas de avaliação utilizadas nas salas de aula; e) frequência, distribuição e natureza do feedback utilizado; e f) participação dos estudantes no processo de ensino, de avaliação e de aprendizagem. Considerou-se importante recolher informações de um elevado número de professores e estudantes de diferentes Cursos/UC de quatro áreas do conhecimento: Ciências Sociais; Artes e Humanidades; Engenharia e Tecnologia e Ciências da Saúde. Numa 1ª fase, recorreu-se à aplicação de questionários, mas, dado o objetivo primordial do estudo, era crucial que uma parte considerável dos dados da pesquisa fosse obtida no contexto real das salas de aula e através da interação e contacto próximo com estudantes e professores: entrevistas semiestruturadas; observação de aulas; observação de reuniões de grupo; reflexões escritas pelos participantes; focus group; reflexões escritas pelos investigadores. Os dados de natureza quantitativa foram analisados com recurso ao programa estatístico SPSS, versão 21., onde os habituais procedimentos de estatística descritiva e inferencial foram utilizados (por exemplo, Kirk, 1984). Os dados de cariz qualitativo foram tratados com recurso à análise de conteúdo (Yin, 2003; Wolcott, 1994; Merriam, 1988; Erickson, 1986; Evertson & Green, 1986), resultando, após a triangulação das informações das observações, das entrevistas e focus group, Narrativas (cada UC em cada Universidade), Narrativas Integradas (integração dos dados das narrativas da mesma área do conhecimento em cada Universidade) e, finalmente, Metanarrativas (integração das informações das narrativas integradas de todas as Universidades, por área de conhecimento). A Narrativa Integrada de Ciências Sociais (Licenciatura em Educação e Mestrado Integrado em Psicologia) que apresentamos, resultou da triangulação dos dados obtidos a partir de duas entrevistas semiestruturadas realizadas a dois professores, um de cada Curso/UC; duas entrevistas em grupos focais (oito estudantes, quatro de cada Curso/UC) e observação de aulas: 38 horas no total (20 horas na Licenciatura em Educação e 18 horas no Mestrado Integrado em Psicologia). 591 A observação de aulas foi realizada por investigadores do projeto, tendo sido rigorosamente tidas em conta as questões éticas da investigação: garantia do anonimato, validação dos instrumentos de recolha de dados, consentimento informado dos participantes e autorização dos responsáveis em cada Instituição para a realização do estudo. Apresentação e Discussão de Resultados Em termos de resultados, embora tenha havido uma predominância da avaliação sumativa em relação à UC integrada no currículo do Mestrado em Psicologia e uma preponderância da avaliação formativa na UC pertencente ao currículo da Licenciatura em Educação, ambos os professores consideraram importante desenvolver práticas de avaliação formativa como forma de regulação do processo de ensino-aprendizagem. Enfatizaram, igualmente, a relevância da existência de mecanismos de feedback e do importante papel que estes desempenham em termos do processo de aprendizagem dos estudantes, mas também reconheceram que os estudantes nem sempre valorizam esta componente. Por outro lado, mencionaram que a falta de tempo pode influenciar a qualidade e a eficácia do trabalho realizado neste sentido. Outro aspeto mencionado pelos professores relaciona-se com a participação dos estudantes nas dinâmicas de avaliação: a oportunidade de fazerem sugestões/alterações nas formas e elementos de avaliação no início do semestre, quer através do recurso a mecanismos de autoavaliação e de avaliação pelos pares não é devidamente tida em consideração pelos estudantes. Os estudantes destacam a autonomia que lhes é conferida numa das UC, para a construção do conhecimento, com propostas de trabalho assentes nos seus interesses pessoais e de grupo. Consideram que a autoavaliação não tem um propósito formador (Alves & Machado, 2008), quer pelo momento em que é realizada (no final do semestre), quer pela ausência de feedback do professor. Consideram, ainda, que a principal função da avaliação é atribuir notas/classificações aos estudantes e que os resultados nos testes e/ou trabalhos finais são os elementos mais determinantes para a atribuição das suas classificações. Em suma, a análise desta Narrativa Integrada, concretamente no que diz respeito às perceções e práticas de avaliação nestes Cursos/UC, destaca a importância de: a) desenvolver práticas sistemáticas de avaliação formativa; b) promover a participação ativa dos estudantes nos processos de avaliação; e c) utilização de mecanismos de feedback. Reconhecemos, igualmente, alguns aspetos que iremos continuar a explorar e compreender, tanto através de uma análise continuada e exaustiva dos dados do Projeto AVENA amplamente considerado, como em possíveis futuras investigações e que estão relacionados com a necessidade de avaliar a relação tempo-eficácia e respetivo impacto na qualidade do feedback fornecido pelos professores, bem como a necessidade de encontrar dinâmicas que melhorem o envolvimento dos estudantes nos processos de autoavaliação e de avaliação pelos pares. Referências Alves, M.P. & Machado, E. A. (2008). Avaliação com sentido (s).Contributos e Questionamentos. Santo Tirso: De Facto Editores. Black, P. & Wiliam, D. (1998). Assessment and classroom learning. In Assessment in Education: Principles, Policy & Practice, 5, 1, 7-74. 592 Black, P. & WILIAM, D. (2006). Assessment for learning in the classroom. In J. Gardner (Ed.), Assessment and learning (pp. 9-25). London: Sage. Erickson, F. (1986). Qualitative methods in research on teaching. In M. Wittrock (Ed.), Handbook of research on teaching (pp. 119- 161). New York: MacMillan. Esteban, M. T. (2003). Escola, currículo e avaliação. São Paulo: Cortez. Evertson, C. M. & Green, J. L. (1986). Observation as inquiry and method. In M. Wittrock (Ed.), Handbook of research on teaching (pp. 162- 213). New York: MacMillan. Fernandes, D. (2006). Vinte anos de avaliação das aprendizagens: uma síntese interpretativa de artigos publicados em Portugal. In Revista Portuguesa de Pedagogia, 40, 3, 289-348. Fernandes, D. (2009). Avaliação das aprendizagens em Portugal: investigação e teoria da actividade. In Revista Sísifo, n.9, 87-100. Figari, G. & Achouche, M. (2001). L’activité évaluative réinterrogée: Regards scolaires et socioprofessionnels. Bruxelles: De Boeck. Gardner, J. (2006). Assessment and learning: An Introduction. In J. Gardner (Ed.), Assessment and learning (pp. 1-5). London: Sage. Gipps, C. & Stobart, G. (2003). Alternative assessment. In T. Kellaghan & D. Stufflebeam (Eds.), International handbook of educational evaluation (pp. 549-576). Dordrecht: Kluwer. Harlen, W. (2006). On the relationship between assessment for formative and summative purposes. In J. Gardner (Ed.), Assessment and learning (pp. 103-118). London: Sage. Hoffman, J. (1998). Avaliação: pontos e contrapontos. Porto Alegre: Mediação. Kirk, R. (1984) Elementary statistics. Monterey, CA: Brooks/Cole. Merriam, B. (1988). Case study research in education: A qualitative approach. San Francisco: Jossey-Bass Publishers. Stiggins, R. (2004). New assessment beliefs for a new school mission. In Phi Delta Kappan, 86, 1, 22-27. Stiggins, R. & Chappuis, J. (2005). Using student-involved classroom assessment to close achievement gaps. In Theory into Practice, 44, 1, 11-18. Wolcott, H. (1994). Transforming qualitative data. London: Sage. Yin, R. (2003). Case Study Research: Design and Methods. Thousand Oaks, CA: Sage. 593 AVALIAÇÃO DE UM PROGRAMA DE FORMAÇÃO EM COMPETÊNCIAS EMPREENDEDORAS NO ENSINO SUPERIOR (ID 244) MOREIRA, Narciso, Betweien - Challenge and Success, Lda. (PT) ALVES, Maria Palmira, Universidade do Minho (PT) SILVA, Ana Maria, Universidade do Minho (PT) RESUMO O conceito de educação para o empreendedorismo avançado pela União Europeia assenta no “desenvolvimento de determinadas qualidades pessoais”, pelo que “não está diretamente centrado na criação de novas empresas” (CCE, 2004, p.6) sendo que o “espírito empreendedor desenvolve-se num ambiente que encoraje as formas ativas de aprendizagem” (CCE, 2002, p.8). A relevância que o empreendedorismo assume para Portugal foi também referenciada nos documentos editados pelo Governo de Portugal, onde se destaca a iniciativa e o empreendedorismo como uma das competências-chave para Portugal até 2020. Nos últimos anos, diversos estudos científicos (Grilo & Irigoyen, 2005; Grilo & Thurik 2006) estabeleceram uma relação direta entre o empreendedorismo e a criação de empresas. Os autores consideram que se é verdade que existem indivíduos que são empreendedores natos, não é menos verdade que uma atitude empreendedora pode e deve ser suscitada nos cidadãos, desde o início da escolarização e, consequentemente, que o empreendedorismo não pode nem deve ser considerado tão-somente como um meio para criar empresas, mas pode e deve também constituir-se como uma atitude geral/transversal com potencial impacto relevante na vida quotidiana, tanto pessoal como profissional, de todo e qualquer cidadão. Outros autores apresentam que uma estratégia de empreendedorismo deve passar pela educação com uma intervenção crítica em todos os níveis de aprendizagem (Redford 2009). Mais recentemente, a Comissão Europeia (EACEA, 2012, p.5) define o empreendedorismo como “a capacidade de um indivíduo transformar ideias em ações”, reforçando ainda a sua importância não só para o desenvolvimento socioeconómico mas também ao nível da participação cívica. Por sua vez, Andrade (2005), refere que a educação para o empreendedorismo promove no educando a sua autonomia de pensamento, iniciativa e ação para empreender de forma consciente, inovadora e criativa na sua própria vida, mas também na transformação da sociedade em que vive, fortalecendo com isso o exercício da cidadania plena, comprometida e responsável. O empreendedorismo não deve, portanto, ser entendido como um conteúdo formal a ser abordado em contexto escolar, mas sim como uma proposta que adote metodologias e estratégias de ensino-aprendizagem que “favoreçam e incentivem atitudes e posturas, tais como: autonomia, iniciativa, autovalorização, ética, criatividade, cidadania, liderança, diálogo, participação, desenvolvimento de projetos, resolução de problemas, boa utilização de informação e dos recursos, inovação e pioneirismo” (Andrade, 2005, p.13). Deste modo, dissemina-se a cultura empreendedora, proporcionando aos alunos ferramentas para uma consciência coletiva, adquirindo competências técnicas, tornando-se num melhor profissional (Andrade, 2005, p.14). Para além da sua preocupação em promover a atitude empreendedora junto dos alunos, a educação para o empreendedorismo é entendida como uma proposta que adota metodologias e 594 estratégias de ensino-aprendizagem que favoreçam e incentivem caraterísticas de caráter transversal, que possam ser úteis aos alunos independentemente da profissão que futuramente exerçam e preparando-os para a volatilidade do mercado de trabalho e percursos profissionais (Moreira & Carvalho, 2009). A promoção desta atitude empreendedora deve ser desenvolvida no âmbito da respetiva estrutura curricular, perspetiva que também ela corresponde a uma das opções de implantação da educação para o empreendedorismo no ensino superior avançadas pela Comissão Europeia, nomeadamente, quando esta instância europeia declara que as instituições de ensino “devem incorporar o empreendedorismo como elemento importante dos currículos, repartido por várias disciplinas”, sendo a outra opção – até numa perspetiva de complementaridade da primeira – a de “exigir ou encorajar a participação em cursos de empreendedorismo” (CCE, 2006, p.9). Ainda como reforço da importância que o empreendedorismo assume para os países da Comunidade Europeia, em 2006, através da recomendação 2006/962/CE do Parlamento Europeu e do Conselho, sobre as competências essenciais para a aprendizagem ao longo da vida, destaca-se o empreendedorismo como uma das oito competências-chave, consideradas essenciais à realização e ao desenvolvimento pessoal, à inclusão social, à cidadania ativa e ao emprego. Intervenientes e métodos O estudo que apresentamos é de natureza qualitativa, baseado num processo de investigaçãoação, que teve como principal objetivo implementar um programa de desenvolvimento de competências empreendedoras (F-CEO – Formação em Competências Empreendedoras Otimizadas) em Educação para o Empreendedorismo, com o propósito de proporcionar a aproximação a novas oportunidades e o desenvolvimento das referidas competências junto dos estudantes. O programa foi implementado durante 34 horas (19 horas presenciais e 15 horas de trabalho autónomo). Participaram 10 estudantes que frequentavam o 3º ano de uma Licenciatura no domínio das Ciências Sociais e Humanas, numa Universidade pública Portuguesa. Os estudantes foram divididos em 3 grupos e, cada grupo, elaborou um projeto de intervenção onde foram aplicadas as competências empreendedoras. Resultados Os projetos elaborados, assim como o seu processo de desenvolvimento indiciam a importância do desenvolvimento destas competências, quer para o desenvolvimento de competências transversais que promovem a consolidação das competências adquiridas ao longo da licenciatura e a autoconfiança, quer para a criação do seu próprio emprego. Referências Andrade, R. C. (2005). Introdução: empreendedorismo – um novo passo em educação. O empreendedorismo na escola. Porto Alegre/Belo Horizonte: Artmed/Rede Pitágoras. CCE – COMISSÃO DAS COMUNIDADES EUROPEIAS (2002). Relatório Final do Grupo de Peritos: Projecto sobre a Educação e formação para o Desenvolvimento do Espírito Empresarial no âmbito do “Procedimento BEST”. Bruxelas: União Europeia. 595 CCE – COMISSÃO DAS COMUNIDADES EUROPEIAS (2004). Contribuir para a Criação de uma Cultura Empresarial: Um guia de boas práticas para a promoção de atitudes e competências empresariais através da educação. Bruxelas: União Europeia. CCE – COMISSÃO DAS COMUNIDADES EUROPEIAS (2006). Aplicar o Programa Comunitário de Lisboa: Promover o espírito empreendedor através do ensino e da aprendizagem. Bruxelas: União Europeia, Com. (2006) 33 final. EDUCATION, Audiovisual na Culture Agency (EACEA), (2012). Entrepreneurship Education at School in Europe: National Strategies, Curricula and Learning Outcomes. EACEA, Brussels: http://eacea.ec.europa.eu/education/eurydice/documents/thematic_reports/135EN.pdf . consultado a 9 de maio 2015 Grilo, I. & Thurik, R. (2006). Entrepreneurship in the old and new Europe. Zoetermeer : EIM. Grilo, I. & Irigoyen, J. M. (2005). Entrepreneurship in the EU: to Wish and Not to Be. Small Business Economics, 19. 596 A INTERDEPENDÊNCIA ENTRE AVALIAÇÃO E APRENDIZAGEM – REFLEXÃO EM TORNO DE DINÂMICAS DE EDUCAÇÃO NÃO FORMAL E INFORMAL (ID 245) CAVACO, Carmen, Universidade de Lisboa (PT) RESUMO A análise e problematização que se apresentam resultam de um conjunto de dados empíricos recolhidos em investigações realizadas com adultos não escolarizados. A análise é alicerçada no pressuposto que a avaliação é um processo natural do ser humano, que está presente na sua actividade quotidiana. Neste sentido, a avaliação é uma capacidade humana, que permite o desenvolvimento individual e colectivo, estando intimamente associada à aprendizagem. Os dados empíricos recolhidos nas investigações realizadas permitem afirmar que as pessoas, independentemente do seu nível de escolaridade, são capazes de analisar em permanência a sua acção. Por outro lado, essa avaliação, intimamente associada a um exercício de reflexão sobre a acção quotidiana, torna-se essencial no processo de aprendizagem. As pessoas procuram superar-se, melhorar as suas formas de agir e nessa dinâmica estão permanentemente envolvidas num processo de auto-avaliação. Com estes resultados procuramos colocar em evidência que a avaliação é usada, quotidianamente, pelas pessoas como uma ferramenta ao serviço do seu desenvolvimento e da sua aprendizagem, sendo importante em processos de mudança individual e colectiva. Estes dados permitem-nos avançar com uma análise crítica das perspectivas sobre avaliação, emergentes nas últimas décadas, as quais entendem a avaliação como uma actividade desenvolvida unicamente por especialistas, ao serviço de uma Agenda de regulação, com fins de adaptação, associada às questões da qualidade, da eficácia e da accountability. Introdução O texto visa a problematização da relação entre a avaliação e a aprendizagem, a partir de dados empíricos recolhidos numa investigação de natureza qualitativa, centrada em adultos não escolarizados. A análise é alicerçada no pressuposto que a avaliação é um processo natural do ser humano, que está presente na sua actividade quotidiana. Defendemos há semelhança de Paulo Freire (2000), “que não há prática sem avaliação” (p.84), sendo a avaliação entendida como a “análise do que se faz, comparando os resultados obtidos com as finalidades que procuramos alcançar” (p.83). Neste sentido, a avaliação é uma capacidade humana, que permite o desenvolvimento individual e colectivo, estando intimamente associada à aprendizagem. Os dados empíricos recolhidos nas investigações realizadas permitem afirmar que as pessoas, independentemente do seu nível de escolaridade, são capazes de avaliar em permanência a sua acção. Por outro lado, essa avaliação, intimamente associada a um exercício de reflexão sobre a acção quotidiana, torna-se essencial no processo de aprendizagem. As pessoas procuram superar-se, melhorar as suas formas de agir e nessa dinâmica estão permanentemente envolvidas num processo de auto-avaliação. Com estes resultados procuramos colocar em evidência que a avaliação é usada, quotidianamente, pelas pessoas como uma ferramenta ao serviço do seu desenvolvimento e da sua aprendizagem, sendo importante em processos de mudança individual e colectiva. 597 Estes dados permitem-nos avançar com uma análise crítica das perspectivas sobre avaliação, emergentes nas últimas décadas, as quais entendem a avaliação como uma actividade desenvolvida unicamente por especialistas, ao serviço de uma Agenda de regulação, com fins de adaptação, associada às questões da qualidade, da eficácia e da accountability. Os dados dos estudos realizados revelam-nos que esta é uma visão muito redutora e simplista dos processos de avaliação, que a tornam “contraprodutiva” (Illich, 1971), no sentido em que provoca alienação e estagnação, no lugar de desenvolvimento. Avaliação – Um processo presente em todos os tempos e espaços de vida Nesta análise enquadramos a avaliação numa perspectiva orgânica (Moore 1980), afastando-nos assim da perspectiva mecanicista (Moore, 1980) e tecnicista que tem vindo a tornar-se hegemónica nas últimas décadas. Entendemos que avaliar é um processo complexo que exige a emissão de um julgamento, ou seja, um juízo de valor, tendo por base uma referência tida como o ideal a atingir. Ao longo deste trabalho adoptamos a perspectiva de Marcel Lesne (1984), quando este defende que avaliar “é pôr em relação, de forma explícita ou implícita, um referido (apreendido de forma imediata) com um referente (o modelo, a norma, o desejado)” (p.132), a partir desta relação é emitido um juízo de valor. Parece-nos importante destacar, que o juízo de valor produzido no âmbito da avaliação não tem valor em si mesmo, mas é essencial para regular a acção quotidiana e nortear as decisões. Estamos constantemente a lidar com a avaliação, "a ser avaliados e a avaliar os outros. É uma actividade social essencial" (Hadji, 1997). Nesta perspectiva, a avaliação é um processo natural, presente no quotidiano, e que permite o posicionamento do sujeito no mundo, face aos outros, às coisas e a si mesmo. Em Ciências da Educação, a investigação no domínio da avaliação tem vindo a incidir particularmente no contexto escolar e nas práticas pedagógicas que ai têm lugar. Esta situação explica, em grande parte, o predomínio da perspectiva mecanicista nos estudos centrados na avaliação. O modelo escolar tradicional continua a ser preponderante no meio escolar, e neste contexto a avaliação é colocada ao serviço da regulação das aprendizagens realizadas pelos alunos. Este tipo de avaliação induz, habitualmente, a uma “relação utilitarista com o saber” (Perrenoud, 1993, p.188), coloca os alunos e professores perante relações de poder diferenciadas, contribui para a manutenção de práticas pedagógicas conservadoras, e incide sobretudo nos saberes passíveis de isolar e medir, deixando de parte os restantes. Nestas práticas educativas mecanicistas, designadas por Paulo Freire (1972) como educação bancária, o aprendente é tido como objecto de intervenção. A avaliação é usada para regular a aprendizagem, para justificar a atribuição de classificações diferenciadas numa lógica de mérito, mas também evidencia a supremacia do professor, enquanto especialista e detentor do saber. A avaliação é actualmente um domínio marcado pela diversidade e complexidade técnica e científica, surge associada a múltiplas finalidades, a contextos distintos e a metodologias, técnicas e instrumentos muito diversificados. A investigação realizada, entre outros aspectos, tem vindo a focar-se no desenvolvimento e na legitimação de técnicas, instrumentos e referenciais de avaliação no sentido de assegurar uma maior exactidão no processo de avaliação. Contudo, “nunca se é inocente ao avaliar” (Meirieu, 1994, p.13). Neste sentido, a avaliação funciona como uma engenharia de controlo social, com efeitos diversos sobre os cidadãos. José Gil (2009) destaca três efeitos da avaliação: as relações de força transformam-se em relações de poder; a singularidade dos sujeitos é ignorada e tida como referência para estabelecer hierarquias, comparações e 598 quantificações através de padrões uniformizados; estes padrões são difundidos e naturalizados como sendo a norma e contribuem para o surgimento de sentimentos de incapacidade, de inferioridade e de carência (Gil, 2009). A difusão e naturalização deste tipo de lógica de avaliação contribuem para o sentimento generalizado de “autocondenação pelo sujeito” (Gil, 2009). Nesta análise procurámos resgatar um sentido mais orgânico para a avaliação, na tentativa de tornar evidente que a avaliação é uma actividade natural, presente no nosso quotidiano, não fazendo sentido considerar que a avaliação apenas existe quando se transformam os sujeitos em objectos de acção, com o falso argumento do rigor, da credibilidade e da objectividade. Nas práticas educativas inseridas nas modalidades de educação não formal e informal as pessoas envolvidas surgem como sujeitos do próprio processo de formação, neste processo a avaliação está sempre presente. Neste caso, a avaliação é entendida como um elemento intrínseco à actividade quotidiana, pois como destaca Philippe Meirieu (1994) “ao avaliar o que vejo, digo o que procuro e, se não estiver consciente disso, não posso pretender ser […] um actor social” (p.13). A avaliação tem um carácter permanente, está presente em todos os tempos e espaços de vida, e é essencial no processo de formação. A avaliação permite accionar mecanismos de auto-regulação por parte das pessoas, contribui para a tomada de decisões e para a mudança. Como refere Richard Sennet (2008), “as pessoas investem seu pensamento em coisas que podem modificar” (p.138), e este tipo de decisão tem subjacente um importante processo de avaliação. O pensamento é algo inerente à actividade humana, porquanto a acção é interdependente da reflexão para ser alterada, ajustada e melhorada. Para Richard Sennet (2008), o nível de mestria nas actividades humanas consegue-se com investimento, trabalho e motivação para superar a imperfeição, em espaços em que é assegurada a autonomia. Estes elementos são fundamentais para garantir a realização de aprendizagens através de processos de observação, imitação e de tentativa-erro. O pensamento, o sentimento e a acção são dimensões interdependentes e permeadas por processos de avaliação, que o sujeito realiza sobre si, os outros e o mundo. A interdependência entre a aprendizagem e a avaliação nas dinâmicas de educação não formal e informal Os testemunhos de adultos não escolarizados obtidos através de entrevistas biográficas revelam a presença da avaliação no seu quotidiano, nomeadamente, na realização das suas actividades, nos domínios familiar, social e profissional. Como antes foi mencionado, defendemos que não há prática sem avaliação, porque a emissão de juízos de valor está presente em toda a acção humana. Na nossa perspectiva a avaliação é um processo inerente à reflexão, ao pensamento e ao planeamento, porquanto, está presente a análise de situações, a identificação de possíveis opções, e o equacionamento destas à luz de antecipações e previsões. Tudo isto em função de modos de vida e em formas de equacionar o mundo, os outros e si próprio. Contudo, a avaliação surge integrada em outras actividades humanas, e é tida como um mecanismo ao serviço da autonomia e do desenvolvimento humano. Nas afirmações dos adultos entrevistados torna-se evidente a presença de processos de avaliação e a interdependência destes com os processos de aprendizagem “aprendia uma dança com o assobio, em a fazendo com o assobio dava em tocar, em a gente sabendo uma moda já agente ia com arremessos, dava em fazer frum, frum, até que aprendia" (José). Neste processo intuitivo de aprendizagem, o José descreve como aprendia a tocar as músicas na harmónica. O processo baseava-se em várias etapas, primeiro identifica a melodia, o ritmo e a harmonia através do assobio, 599 por tentativa e erro. Os sons produzidos eram avaliados (comparação da melodia, do ritmo e da harmonia entre o seu assobio e a música que pretendia imitar) pelo José, numa operação rápida, mas complexa através dos sons detectados pelo seu ouvido e interpretados pelo seu cérebro. À medida que realizava a interpretação do som do seu assobio, processo no qual estava presente uma importante dimensão de avaliação, introduzia as alterações necessárias para se aproximar da norma, neste caso a música que desejava aprender. Após a descoberta da melodia e do ritmo da música, através do assobio, iniciava o treino com a harmónica. Sem qualquer formação musical, o José treinava muito até obter os resultados desejados, a sua motivação era grande, pois desejava aprender para animar os bailes na sua aldeia. O José aprendia a tocar as músicas por aproximações sucessivas, através do mecanismo de tentativa e erro, até chegar ao momento em que o som que saia da harmónica era semelhante ao que ouvira na música. O José procurava atingir a harmonia, por isso identifica e corrigia os elementos estranhos, os ruídos que surgiam. Neste processo de aprendizagem o José emitia juízos de valor sobre a sua performance, a partir da análise do referido (o que tocava) e do referente (a música que pretendia aprender). A presença da avaliação é notória neste processo de aprendizagem, em que o José confrontava o seu toque como a música que desejava aprender. A presença e interdependência da reflexão, do pensamento, da acção e dos sentimentos tornam manifesta a complexidade do processo de aprendizagem, confirmando-se a tese “fazer é pensar”, de Richard Sennett (2008). Os momentos de vida em que há confronto com dificuldades, desafios e problemas revelam-se um muito formativo, pois o sujeito é implicado num processo de reflexão, pensamento e acção que exigem o balanço sobre esquemas de pensamento e acção anteriores e o ensaio de novos, num espírito de tentativa e descoberta de novas possibilidades. Estes mecanismos exigem uma reflexão sobre as soluções que funcionaram anteriormente, uma análise sobre as novas variáveis da situação, e uma tentativa de resposta à especificidade do momento. O José relata uma situação vivida na sua infância, quando já trabalhava como pastor, onde estes processos são claros. O José frequentou a escola durante muito pouco tempo, por isso não aprendeu a ler, escrever e a contar. Quando o responsabilizaram por um pequeno rebanho de animais decidiu atribuir-lhes nomes, como estratégia para assegurar, no final do dia, o controlo da presença dos animais. Essa estratégia era a mais familiar na sua vida, embora muito pequeno, no quotidiano lidava com os nomes das pessoas da sua aldeia. Contudo, as suas responsabilidades foram aumentando e o rebanho era cada vez maior, o que o levou a concluir rapidamente que não era sustentável continuar a basear-se na estratégia de atribuir nomes aos animais para assegurar o controlo do rebanho, por isso teve de ensaiar outra possibilidade “punha-lhe nomes [...] as cabras era poucas, 10 ou 12, depois entregaram-me quase 200 [...] já não havia nomes que chegassem, tinha que as contar" (José). Nesta mudança de estratégia verificou-se uma análise da situação anterior e da estratégia usada, assim como a análise da nova situação e da necessidade de encontrar uma outra estratégia para controlar a presença de todos os animais no rebanho. O José sustentou “um diálogo entre práticas concretas e ideias” mobilizando a “habilidade, empenho e avaliação de um jeito específico” (Sennett, 2008, p.20), o que permite reforçar a interdependência o confronto com problemas e desafios, a aprendizagem e a avaliação. Síntese final Neste texto procurou-se, ainda que de modo muito sintético, problematizar uma visão redutora e instrumental da avaliação, ao serviço de lógicas de regulação individuais e colectivas, propondo-se 600 uma visão mais ampla e orientada para a avaliação enquanto processo inerente à produção de si, numa registo de autonomia e de desenvolvimento pessoal. Procura-se contribuir para a análise crítica da lógica do actual diagrama da avaliação (Gil, 2009) em que predomina e se naturaliza a ideia do “homem avaliado” (Gil, 2009), defendendo-se que o sujeito mobiliza mecanismos de autoregulação de uma forma permanente na sua actividade quotidiana. Contudo, essa auto-avaliação é inerente ao processo de reflexão, pensamento e acção dos sujeitos, assegura-se assim o respeito pela especificidade, pelos ritmos, tempos, desejos e sonhos de cada pessoa. Neste caso a avaliação resulta de processos adaptados a cada situação, engendrados pelo próprio sujeito, os quais visam o percorrer do caminho da produção de si que permite o bem-estar. A avaliação contemplada na reflexão, no pensamento e na acção contribuiu para alicerçar a mestria, a sabedoria, numa lógica de mudança permanente em que o mais importante é a valorização de cada sujeito na sua especificidade. Numa época demasiado centrada na lógica da avaliação é importante reequacionar as formas de avaliação predominantes na sociedade e resgatar a sua presença nas práticas quotidianas. A avaliação presente de uma forma natural na acção quotidiana permite-nos avançar na compreensão das perversões provocadas pela incidência de uma avaliação, entendida de uma forma redutora, cujos fins são orientados para a regulação social e para a fragmentação social, através de mecanismos subtis, mas poderosos, de desvalorização das pessoas. Referências Freire, P. (1972). Pedagogia do Oprimido. Porto: Afrontamento. Freire, P. (2000). A importância do ato de ler. Em três artigos que se completam. São Paulo: Cortez Editora. Gil, J. (2009). Em busca da identidade. O desnorte. Lisboa: Relógio d’Água. Hadji, C. (1997). A avaliação, regras do jogo. Das intenções aos instrumentos. Porto: Porto Editora. Illich, I. (1971). Une société sans école. Paris: Éditions du Seuil. Lesne, M. (1984). Lire les pratiques de formation d´adultes. Paris: Edilig. Meirieu, P. (1997). Prefácio. In C. Hadji (1997). A avaliação, regras do jogo. Das intenções aos instrumentos (pp.13-15). Porto: Porto Editora. Moore, T. (1980). Introducción a la teoría de la educación. Madrid: Alianza Editorial. Perrenoud, P. (1993). Não mexam na minha avaliação! Para uma abordagem sistémica da mudança pedagógica. In A. Estrela & A. Nóvoa (Orgs.). Avaliações em educação: Novas perspectivas (pp.171-191). Porto: Porto Editora. Sennett, R. (2008). O artífice. Rio de Janeiro: Editora Record. 601 A AVALIAÇÃO DAS APRENDIZAGENS: SENTIDOS E IMPLICAÇÕES DO PONTO DE VISTA DOS ALUNOS (ID 250) SANTOS, Teresa de Jesus Correia Paulino dos, Universidade do Minho (PT) ALVES, Maria Palmira, Universidade de Lisboa (PT) RESUMO O conceito de currículo engloba todas as experiências (ou aprendizagens) do aluno planificadas e conduzidas pela escola, os processos de avaliação dos alunos e inclui também o currículo oculto (Santomé, 1995) não expressamente afirmado nos planos e documentos curriculares, imprevisível, inesperado e não consciente (Rodrigues, 1993). Assim, o currículo abarca todo o processo educativo, desde a conceção até à sua realização nas salas de aula, articulando-se com a ação educativa e relacionando-se, também, com a avaliação educativa a todos os níveis. Assim, o currículo escolar é o conjunto de aprendizagens que, por se considerarem socialmente necessárias num dado tempo e contexto, cabe à escola garantir e organizar (Roldão, 1999). Existe, contudo, uma discrepância entre o currículo que é suposto ser ensinado (currículo prescrito) e o que efetivamente é desenvolvido por cada professor ( currículo real), porque, a partir dos programas, os professores, tendo em conta as características e necessidades dos seus alunos, irão implementar a sua «interpretação» do que está previsto para determinado ano/ciclo de estudos e realizar a avaliação em consequência. O processo de avaliação permitirá, então, a construção de apreciações acerca do trabalho dos alunos, cujo fim último será a regulação do processo de ensino e aprendizagem, de modo que estes superem as suas dificuldades, desenvolvam a autoestima e a autonomia, desenvolvendo procedimentos de autoavaliação, de metacognição e de autorregulação. A avaliação é, assim, um elemento incontornável do processo de ensino e aprendizagem, através do qual, por exemplo, cada escola, cada professor, cada aluno, pode sinalizar os seus pontos fortes e os seus pontos fracos e, consequentemente, planear e aperfeiçoar os projetos a desenvolver. Sustentamos com Alves (2004, p. 12) que a avaliação “é uma actividade que exige um esforço conjunto de todos os actores envolvidos na educação, principalmente quando se pressupõe que ela existe para melhorar o desempenho dos alunos e, subsequentemente, para promover o seu sucesso”. Assim, não é possível separar a reflexão sobre o processo de ensino-aprendizagem e as conceções que o subentendem da avaliação (Alves, 2004, p. 14), havendo também consenso quanto à influência desta sobre aquele. Assim, abordar o problema da avaliação é, necessariamente, tocar em todos os problemas fundamentais da pedagogia (De Ketele, 1993). Ao destacarmos o papel determinante da avaliação como instrumento regulador e potenciador da aprendizagem, é fundamental ter em consideração as variáveis que, na opinião dos alunos, intervêm na avaliação e na aprendizagem, pois se forem diagnosticadas e reconhecidas, o aluno poderá corrigir o seu percurso, nomeadamente, através da mediação do professor. Assim, é essencial que seja realizada uma avaliação do trabalho dos alunos, que se pratique uma avaliação formativa que tenha em consideração uma imagem realista das aprendizagens de cada um e uma função de motivação (Perrenoud, 1999). De acordo com Simão (2005), toda a atividade avaliativa é um processo em três etapas: primeiro, recolhe-se a informação; a seguir, procede-se à análise da informação e ao juízo sobre o resultado 602 dessa análise; por último, tomam-se decisões de acordo com a formulação do juízo de valor. “A avaliação influencia cada um dos intervenientes no processo avaliativo (aprendizagem, professores, alunos, métodos, programas, motivação, expectativas …), estando a avaliação ao serviço de todos eles, por fornecer dados que permitem reajustamentos em cada momento” (ibidem, p. 268). A autora conclui que a avaliação das aprendizagens é uma componente fundamental da educação escolar e dos processos escolares de ensino e de aprendizagem, sendo os esforços para melhorar a educação exigem, necessariamente, a melhoria das práticas de avaliação. Opções metodológicas e alguns resultados do estudo Neste contexto, orientámos o nosso estudo no sentido de dar um contributo para a compreensão da avaliação das aprendizagens dos alunos, identificando e registando informações sobre o modo como estes vivenciam e, consequentemente, que sentido atribuem à avaliação como processo de conhecimento e quais os instrumentos e as modalidades de avaliação mais utilizados pelos seus professores. Optámos por uma abordagem de natureza qualitativa, que nos permitiu descrever e interpretar a realidade em estudo, privilegiando as interpretações que dela fazem os atores convocados. O estudo foi realizado num Agrupamento de Escolas, localizado na zona norte de Portugal, cujo território educativo abrange três (3) estabelecimentos de educação pré-escolar, cinco (5) do 1º Ciclo e um (1) do 2º e 3º Ciclos do Ensino Básico (sede do agrupamento: a escola sede). Após as devidas autorizações por parte dos Encarregados de Educação e do órgão de gestão, avançou-se para o terreno numa aproximação aos atores, experimentando e explorando a técnica da entrevista semiestruturada aos alunos do 3º ciclo, num total de 18 entrevistas. As entrevistas foram gravadas, transcritas e, posteriormente, procedemos a uma análise de conteúdo ou análise temática (Bardin, 2008, 198) que consiste na “operação de classificação de elementos constitutivos de um conjunto por diferenciação e, seguidamente, por reagrupamento segundo o género (analogia)” (Bardin, 2008: 145). Concluída a leitura integral das entrevistas e a sua categorização, construímos diversos quadros para simplificar o material recolhido, organizando as unidades de análise mais significativas, de forma a possibilitar a análise do corpus e a passagem da descrição à interpretação através da inferência. Serão objeto desta comunicação as categorias: perspetivas de avaliação; funções e instrumentos de avaliação. Na organização do corpus das entrevistas, atendemos às seguintes regras: exaustividade, representatividade, homogeneidade e pertinência. As principais conclusões não revelam grande divergência de opiniões entre alunos. De um modo geral, os alunos encaram a avaliação como algo inevitável, pois têm de ser classificados para progredir. Consideram que a avaliação premeia o esforço, a dedicação e o comportamento; a avaliação controla o estudo, obriga a estudar e diagnostica o que sabem. Os instrumentos de avaliação mais utilizados pelos professores são os testes escritos e são estes que têm maior ponderação na classificação final (de período e de ano), traduzindo práticas pedagógicas com preocupação excessiva pelos resultados nos exames. Os alunos aceitam os testes escritos como algo inevitável, rigoroso e que os obriga a estudar. Consideram que os professores se preocupam com as suas aprendizagens e que são justos na atribuição das classificações. 603 A triangulação dos resultados com a revisão da literatura permite-nos sustentar que é muito importante a integração da avaliação das aprendizagens no processo de desenvolvimento curricular. A preocupação com a função sumativa da avaliação sugere práticas de ensino e de avaliação com ênfase no produto, em detrimento do processo. Referências Alves, M. P. (2004). Currículo e Avaliação: uma perspectiva integrada. Porto: Porto Editora. Bardin, L. (2008). Análise de Conteúdo. Lisboa: Edições 70 De Ketele, J.M. (1993). L’Evaluation Conjuguée en Paradigmes. Revue Française de Pédagogie, 103, pp. 59-80. Perrenoud, Ph. (1999) Avaliação. Da Excelência à Regulação das Aprendizagens, Porto Alegre, Artmed Editora. Rodrigues, P. (1993). A Avaliação Curricular. In Estrela, A; Nóvoa, A. (org.) Avaliações em educação: novas perspectivas. Porto: Porto Editora, pp. 15-76. Roldão, Maria Céu, (1999). Gestão Curricular: Fundamentos e Práticas. Lisboa: M.E./D.E.B. Santomé, J. T. (1995) O curriculum oculto. Porto: Porto Editora Simão, A. M. V. (2005). Reforçar o valor regulador, formativo e formador da avaliação das aprendizagens. Revista de Estudos Curriculares, Ano 3, Número 2, 265-289 Braga. 604 SIMPÓSIOS SYMPOSIUMS 605 L’ÉTUDE DES PRATIQUES D’ÉVALUATION SOMMATIVE DES ENSEIGNANTS: UNE URGENCE POUR MIEUX COMPRENDRE LES COMPÉTENCES PROFESSIONNELLES EN JEU (ID 59) LOPEZ, Lucie Mottier, Université de Genève (CH) PASQUINE, Raphaël, Haute École Pédagogique du canton de Vaud (CH) Mots-clés: Évaluation sommative des apprentissages, Compétences professionnelles, Pratiques évaluatives RÉSUMÉ Ce symposium s’intéresse aux compétences impliquées dans les pratiques d’évaluation sommative des enseignants lorsque ceux-ci ont la responsabilité (individuelle ou en équipe) de concevoir leurs outils d’évaluation, de décider le moment de passation de l’évaluation par rapport aux temps de l’enseignement et de l’apprentissage, de gérer la contrainte de l’avancement du programme et du rapport au curriculum formel, d’interpréter les productions des élèves afin d’attribuer une « note », de communiquer de façon transparente les résultats aux élèves et autres partenaires concernés, d’exploiter ces résultats pour planifier et ajuster leur enseignement pour envisager des régulations auprès des élèves, pour renseigner une décision certificative et pronostique ultérieure, par exemple. Autant de gestes participent à considérer l’évaluation sommative des apprentissages comme hautement complexe. Depuis plus de 50 ans, la littérature de recherche souligne régulièrement les faiblesses des jugements évaluatifs des enseignants. À la suite des biais mis en évidence par les études docimologiques des années 1930 et suivantes, des études ont montré par exemple que les enseignants ont tendance à intégrer dans leur jugement, la perception qu’ils ont de l’attitude de l’élève, de son effort, de sa motivation. Ou, encore, ils peinent à définir des critères et indicateurs d’évaluation appropriés, à pondérer les épreuves en référence aux apprentissages évalués, à construire leurs barèmes de façon cohérente par rapport aux différents niveaux de performances attendues. Certains auteurs considèrent cependant que les enseignants sont les mieux placés pour évaluer les apprentissages des élèves, car ils en ont une connaissance étendue en raison des multiples expériences vécues avec eux qui permet une appréhension en profondeur et multidimensionnelle de leurs progressions d’apprentissage. La littérature sur les pratiques d’évaluation sommative, dont Moss fait état dans le Handbook of research on classroom assessment de 2013, dégage un ensemble de conditions susceptibles d’augmenter la validité des évaluations internes des enseignants : le choix adéquat du format des tâches évaluatives en fonction de la nature de l’apprentissage évalué ; leur alignement avec les objectifs du curriculum ainsi qu’avec l’enseignement effectivement réalisé en classe ; la pertinence des critères d’évaluation et des échelles d’appréciation combinées sous forme de « rubriques », par exemple. D’autres travaux actuels insistent également sur l’importance du jugement professionnel de l’enseignant, amenant à prendre en considération les dimensions épistémiques, techniques, sociales, éthiques, paradigmatiques des pratiques évaluatives situées. Quelles sont les compétences professionnelles en jeu dans l’évaluation sommative des apprentissages des élèves? Comment les enseignants choisissent-ils ou élaborent-ils les tâches 606 évaluatives de leurs épreuves? Quelles difficultés rencontrent-ils dans leur appréciation des productions de leurs élèves notamment quand celles-ci visent à évaluer des apprentissages complexes? Quelle perception les élèves ont-ils des évaluations de leurs enseignants? Quels éléments de cohérence et/ou de résistance peut-on mettre en évidence au coeur de ces pratiques évaluatives sommatives? Telles sont quelques-unes des questions auxquelles les cinq recherches présentées dans ce symposium tenteront d’apporter des éléments de réponse. La première interrogera à quelles conditions l’alignement curriculaire permet à des enseignants de gagner en cohérence dans leurs pratiques évaluatives sommatives. La deuxième recherche examinera la nature des tâches évaluatives conçues par les enseignants et leurs enjeux didactiques. La troisième abordera la question du choix des tâches complexes et des outils de jugement par les enseignants. La quatrième communication présentera une étude de cas examinant l’évolution de cinq pratiques évaluatives avant et après l’expérience de modérations sociales à des fins de développement professionnel. Enfin, la dernière communication examinera les liens entre les intentions évaluatives de l’enseignant et la conscience évaluative de l’élève. Un discutant mettra en perspective ces contributions qui ont pour intérêt d’examiner un ensemble de composantes différentes intervenant dans les pratiques des enseignants quand ils évaluent les apprentissages des élèves dans une fonction sommative et certificative. COMMUNICATION 1 - ALIGNER SES PRATIQUES D’ÉVALUATION SOMMATIVE, OU LA QUÊTE PERPÉTUELLE DE COHERENCE PASQUINE, Raphaël, Haute École Pédagogique du canton de Vaud (CH) RÉSUMÉ La littérature scientifique anglo-saxonne récente portant sur les pratiques d’évaluation sommative des enseignants en exercice livre des constats interpellants. Par exemple, et de manière non exhaustive, Martinez et al. (2009) montrent que les enseignants utilisent massivement des perspectives normatives sans en connaître les enjeux et incidences, Moss (2014) affirme que les enseignants sont insuffisamment préparés à cette activité pourtant centrale, Kilday et al. (2011) posent le fait que bon nombre d’entre eux interprètent mal les résultats des élèves et mésestiment leurs habiletés. Un point commun encore plus questionnant relie ces travaux et ceux qui y sont recensés : les enseignants, tous cycles confondus, sont insuffisamment compétents dans le domaine et manquent de confiance dans leurs pratiques d’évaluation sommative (Black et al., 2010). La littérature francophone portant sur le sujet, quant à elle, a énoncé des principes généraux relatifs à la validité, la fiabilité et la pertinence de l’évaluation sommative, le plus souvent dans une approche d’évaluation par compétences (De Ketele, 2005), mais en se préoccupant fort peu des pratiques réelles, ni des spécificités des contenus disciplinaires évalués. Quelques travaux toutefois, comme ceux de Mottier Lopez (2014), apportent des connaissances sur les pratiques d’évaluation sommative : par exemple, ils mettent en évidence qu’en période de changement - comme c’est le cas aujourd’hui dans notre système scolaire - les enseignants ont tendance à revenir à des pratiques évaluatives traditionnelles, c’est-à-dire normées, axées fortement sur les notes et les moyennes. Du côté des didactiques enfin, et relativement à l’importance des contenus, force est de constater que 607 les travaux traitant de la question sont peu nombreux, voire anecdotiques, comme si l’enseignement et l’évaluation sommative étaient, dans une certaine mesure, dissociés. Il nous semble dès lors fondamental que la recherche en évaluation investigue cette problématique, sachant que sa compréhension est indispensable au développement d’une école juste et exigeante. Il devient à nos yeux important d’investiguer et de comprendre à quelles conditions les compétences évaluatives des enseignants gagnent en cohérence, en référence à leurs disciplines, leurs contextes, leurs publics, mais aussi par rapport à leurs contraintes ou leurs croyances, afin de mieux appréhender comment ils jugent leurs élèves d’un point de vue sommatif, si lourd d’enjeux (Moss, 2014). C’est le but que poursuit cette contribution. Les premiers résultats et pistes de réflexion que nous exposons ici sont issus d’une recherche doctorale en cours. Réalisée dans une pespective collaborative avec quatre enseignants secondaires de mathématiques et quatre de français, au coeur d’un dispositif de recherche-formation étendu sur six mois appariant trois demi-journées de formation, des entretiens semi-dirigés pré et postformation, ainsi que des écrits professionnels, elle a pour finalité de documenter les processus de changement dans les pratiques d’évaluation sommative des participants. D’un point de vue méthodologique, nous illustrerons nos constats au travers de l’analyse de trois types de données produites par les enseignants au sein du dispositif : la réalisation de deux évaluations sommatives de leur discipline pour leurs classes, des extraits de verbatim issus des entretiens, et des extraits de leurs récits de pratiques écrits avant, pendant et à la fin de la formation. D’un point de vue théorique, nous nous situons dans le champ des recherches sur les curriculums. Le concept central qui y a été développé est l’alignement curriculaire. C’est ce concept qui a constitué l’apport théorique principal de la formation. C’est donc à l’aune de ce dernier que nous montrerons comment les compétences évaluatives sommatives des enseignants engagés ont évolué. L’acception de l’alignement curriculaire et son mode de structuration diffèrent selon les chercheurs et les courants auxquels ils se rattachent. Dans le cadre de notre recherche, en fonction de notre objet et des choix mentionnés, nous définirons donc précisément l’alignement curriculaire comme le fort lien de cohérence qui doit exister entre les objectifs du curriculum prescrit et leur évaluation d’une part, entre les objectifs du curriculum prescrit et les tâches d’apprentissage d’autre part, et, enfin, entre l’évaluation et les tâches d’apprentissage (Anderson, 2002 ; Squires, 2009). Ce concept nous est apparu comme très éclairant pour appréhender notre objet de recherche car il accorde, d’une part, une importance centrale à l’objet d’enseignement/apprentissage dans toute démarche évaluative, et d’autre part, considère cette dernière comme pouvant être comprise en terme de cohérence, que nous lisons à l’aune de la complexité des habiletés cognitives et du contenu évalué. En référence à ce cadre théorique et à notre méthodologie, nous décrirons précisément, dans une perspective d’étude multi-cas, comment les enseignants ont revu leurs façons de concevoir leur évaluation, du choix des objectifs évalués dans le plan d’études, en passant par la réalisation des tâches, le choix et les modalités de pondération, jusqu’à la construction de la note. Nous détaillerons les liens qui font sens dans les pratiques des enseignants entre ces différents éléments, ainsi que les zones de tensions - voire d’impossibilités - qui existent lorsqu’il s’agit pour eux de respecter une cohérence d’alignement curriculaire « élargi », c’est-à-dire jusqu’à la notation. A ces fins, nous tenterons de montrer à quelles conditions le concept d’alignement curriculaire permet d’engager un processus de renormalisation de certains objets (Lussi Borer et Muller, 2014). En effet, nous faisons l’hypothèse, comme les auteurs, que tout objet de formation, pour être intégré, doit être ré- 608 interprété par l’enseignant en vue d’être normalisé à nouveau, afin de re-configurer le milieu dans lequel il est amené à évaluer les élèves comme étant le sien. COMMUNICATION 2 - NATURE ET DIVERSITÉ DES TÂCHES MATHÉMATIQUES PROPOSÉES EN ÉVALUATION SOMMATIVE PAR DES PROFESSEURS DES ÉCOLES, EN FRANCE SAYAC, Nathalie, MCF à l’Université Paris Est Créteil (ESPE) / LDAR (Paris Diderot) (FR) RÉSUMÉ Les programmes de l’école primaire française, actuellement en cours de révision, sont conçus pour permettre l’acquisition de connaissances, de compétences et de la culture définies dans un socle commun, visant la réussite de tous les élèves, dans leur diversité (recommandations du Conseil Supérieur des Programmes). Dans ce cadre, les professeurs ont toute liberté pour que ces apprentissages se réalisent à l’issue de la scolarité obligatoire et pour évaluer leurs élèves, mais comment les évaluent-ils réellement ? selon quels critères et quelles modalités ? En effet, nous n’avons qu’une faible connaissances des pratiques évaluatives des professeurs, dans la réalité de leurs classes, alors que comme Mons (2014) le souligne dans son rapport « l’élaboration de contrôles écrits par l’enseignant lui-même est au coeur des pratiques d’évaluation des enseignants français ». Ces contrôles écrits, à valeur d’évaluation sommative, sont souvent conçus de façon personnelle dans une diversité de pratiques et de dispositifs qui ne permet pas toujours à l’élève d’en comprendre les enjeux et les finalités. Ce sont ces pratiques personnelles d’évaluation sommatives que nous avons souhaité explorer à travers une recherche collaborative (Desgagné, 1997) menée autour des pratiques d’évaluation en mathématiques des professeurs des écoles français. Cette recherche s’inscrit dans le champ de la didactique des mathématiques et plus particulièrement dans le cadre de la « double approche didactique et ergonomique des pratiques d’enseignement des mathématiques» (Robert & Rogalski, 2002), mais réorienté suivant les 3 dimensions proposées par Roditi (HDR, 2011) : institutionnelle, sociale et personnelle. Nous faisons l’hypothèse que la dimension personnelle est très forte dans l’activité d’évaluation de l’enseignant de l’école primaire dans la mesure où d’une part il y a, en réalité, peu de formations à l’évaluation (initiale ou continue) ce qui entraine une autonomie pédagogique des enseignants plus grande et d’autre part, que c’est une activité qui est fortement sous-tendue par des conceptions et des représentations personnelles. L’objet principal de cette recherche est d’étudier les pratiques évaluatives des professeurs des écoles en mathématiques à partir des tâches auxquelles ils confrontent leurs élèves lors des évaluations sommatives qu’ils leur proposent en fin de séquence ou en fin de période. Pour circonscrire notre travail, tout en permettant une exploration sur l’ensemble des niveaux de l’école élémentaire (du CP au CM2), nous avons choisi de nous intéresser aux évaluations sommatives proposées aux élèves autour des apprentissages liés à la numération des nombres entiers (connaissances et écriture des nombres). Nous visons principalement à analyser les tâches proposées en évaluation du point de vue du recouvrement du domaine étudié et de leur complexité afin d’étudier dans quelle mesure elles varient et se distinguent suivant les professeurs (dimension 609 personnelle), les niveaux de classe (dimension institutionnelle), ainsi que les lieux de classe (dimension sociale). Nous souhaitons également dégager des « portraits évaluatifs » de professeurs qui seront déterminés à partir de la variété et de la nature des tâches mathématiques qu’ils proposent en évaluation à leurs élèves, mais aussi à partir d’éléments personnels qui contribuent à l’élaboration de ces évaluations sommatives. Pour permettre d’étudier les pratiques d’évaluation sommative des professeurs des écoles en mathématiques et dresser des portraits évaluatifs, nous avons souhaité récolter : - les exercices donnés en classe ou en devoirs, ainsi que les différentes traces d’activités proposées (ardoise, questions orales, etc.) qui auront été réalisés au cours d’une séquence d’enseignement sur la numération. Cela nous permettra d’explorer les questions de continuité et ruptures entre les tâches proposées lors de la séquence d’apprentissage et les évaluations proposées en fin de séquence ou de période ; - des données biographiques et professionnelles à partir d’un court questionnaire, en amont de toutes les autres données nécessaires à la recherche; - des travaux corrigés d’élèves (une copie d’un élève ayant réussi l’évaluation, une copie d’un élève ayant moyennement réussi l’évaluation et une copie d’un élève ayant majoritairement échoué à l’évaluation). Ces données nous permettront d’une part de nous renseigner sur le niveau et le rapport aux mathématiques des enseignants de notre échantillon (DeBlois 2006, Vantourout & Maury 2006) et d’autre part, elles participeront à l’élaboration du portrait évaluatif du professeur en révélant des dimensions sociales et personnelles du professeur; - des informations complémentaires à celles obtenues par le questionnaire à partir d’un entretien qui sera réalisé à partir des données que les enseignants auront fournies et que nous aurons préalablement analysées. Cet entretien nous aidera à comprendre comment les professeurs conçoivent leurs évaluations : suivant quelle logique? à quel moment? avec quelles ressources? et suivant quelles intentions? Pour étudier le recouvrement didactique des tâches proposées dans les évaluations des professeurs nous nous appuierons sur une liste de tâches dégagées par Grapin dans sa thèse (en cours), en lien avec la théorie anthropologique du didactique (Chevallard 2002). L’étude de ce recouvrement ne pourra se faire à l’échelle de chaque professeur car l’étude d’un niveau de classe (celui dans lequel enseigne le professeur) est trop restrictive, mais cela permettra de repérer les types de tâches récurrentes ou au contraire non usuelles dans le domaine de la numération des nombres entiers. Pour étudier la nature et la diversité des tâches proposées en évaluations sommatives, nous utiliserons un outil d’analyse d’items développé antérieurement (Sayac, Grapin, 2014, 2015) pour étudier une évaluation externe nationale. Cet outil se décline en trois facteurs d’analyse : deux facteurs de complexité FC1 et FC2 et un facteur de compétences. Il a été présenté antérieurement dans des colloques de l’ADMEE (Sayac, Grapin 2013, 2014). 23 professeurs des écoles enseignant dans l’académie de Créteil, du CP au CM2 ont accepté de constituer notre échantillon. Nous sommes actuellement en cours de traitement des données, mais nous espérons que les conclusions de cette étude pourront être présentées lors du symposium autour de l’étude des pratiques d’évaluation sommative des enseignants et qu’elles participeront à enrichir les échanges qui se réaliseront dans ce cadre. 610 Références Chevallard Y. (2002). Organiser l’étude 1, 2 & 3. Écologie & régulation. In Dorier, J. L. et al. (Eds.), Actes de la 11e école de didactique des mathématiques. Grenoble : La Pensée Sauvage. DeBLois, L. (2006). Influence des interprétations des productions des élèves sur les stratégies d’intervention en classe de mathématiques. Educational Studies in Mathematics, (62-3, pp. 307329). Maury S. & Vantourout M. (2006). Quelques résultats relatifs aux connaissances disciplinaires de professeurs stagiaires dans des situations simulées d’évaluation de productions d’élèves en mathématiques, Revue des sciences de l’éducation (32-3, pp. 759-782). Robert A. & Rogalski M. (2002). Comment peuvent varier les activités mathématiques des élèves sur des exercices? le double travail de l’enseignant sur les énoncés et sur la gestion de la classe Petit x (60, pp. 6–25). Roditi, E. (2011). Recherches sur les pratiques enseignantes en mathématiques : apports d'une intégration de diverses approches et perspectives. HDR. Université René Descartes -Paris V. Sayac N. (2013). Pratiques de formateurs en mathématiques dans le 1er degré : les savoirs de formation, Recherche et Formation (n°71), INRP Lyon. Sayac N. & Grapin N. (2014). Évaluer par QCM en fin d’école: stratégies et degré de certitude. Annales de didactique et de sciences cognitives (19, pp. 169–198). Sayac N. & Grapin N. (2014) Évaluer les capacités des élèves à résoudre des problèmes dans le cadre d’une évaluation externe, en France : les spécificités de la forme QCM. Volume XLII : 2, Éducation et Francophonie. 64-83. [http://www.acelf.ca/c/revue/pdf/EF-42-2-064_SAYAC.pdf]. Sayac N. & Grapin N. (2015). Évaluation externe et didactique des mathématiques : un regard croisé nécessaire et constructif, Recherche en didactique des mathématiques (35-1, pp.101-126) Grenoble, La Pensée Sauvage. COMMUNICATION 3 - PRATIQUES D’ÉVALUATION SOMMATIVE EN ENSEIGNEMENT SUPÉRIEUR: LES TÂCHES COMPLEXES ET LES OUTILS DE JUGEMENT LEROUX, Julie Lyne, Faculté d’Éducation, Université de Sherbrooke (CA) RÉSUMÉ Les programmes en enseignement supérieur au collégial, le premier palier de l’enseignement supérieur au Québec, sont formulés dans une approche par compétences. Dans les collèges, l’évaluation des compétences est balisée par une politique institutionnelle d’évaluation des apprentissages et elle implique l’engagement de nombreux acteurs au sein d’équipes de programme ou disciplinaire afin de proposer des modalités relatives à l’évaluation des compétences. Dans le contexte qui nous préoccupe, l’évaluation des compétences, qui vise à certifier l’atteinte de la compétence, est proposée sur deux plans. Tout d’abord, celui d’une épreuve synthèse de programme (ESP) qui vise à proposer une évaluation, afin de rendre compte de l’atteinte de l’ensemble des compétences. Ensuite, celui d’une épreuve terminale de cours (ÉTC) qui vise à 611 proposer une évaluation, au terme de chacun des cours, afin de confirmer la maîtrise des compétences et d’accorder l’ensemble de crédits qui y sont rattachés. (Bélair, 2014 ; Leroux, 2014) Par l’ensemble des exigences formulées sur le plan de l’évaluation, la mise en œuvre de programmes de formation en approche par compétences a conduit les enseignants à devoir conjuguer avec les impératifs d’une approche programme, des règles institutionnelles renouvelées en matière d’évaluation des apprentissages et de profonds changements sur le plan des pratiques qui visent à certifier la maîtrise des compétences. Malgré l’ampleur des exigences qui interpellent les acteurs des collèges, les études québécoises confirment que les pratiques évaluatives sont en mutation. De nouvelles pratiques d’évaluation sont le fruit d’un travail de collaboration. Des enseignants ont recours à des modalités d’évaluation plus transparentes, plus cohérentes et proposent des épreuves d’évaluation sommative plus significatives et plus authentiques. Toutefois, ces recherches restent muettes sur les modalités d’évaluation sommative privilégiées par des enseignants pour évaluer les compétences dans le cadre d’un cours. Nous avons actuellement une connaissance peu approfondie des pratiques évaluatives sommatives au collégial dans le cadre d’un cours. Que savons-nous des pratiques d’évaluation sommative mises en œuvre par des enseignants du collégial dans le cadre d’un cours? Comment procèdent-ils pour planifier les évaluations sommatives des connaissances et des compétences? À quels moments proposent-ils des évaluations sommatives? Comment les enseignants choisissent-ils les tâches évaluatives associées à l’épreuve terminale de cours ? Quelles sont les difficultés qu’ils rencontrent lors de l’appréciation des tâches évaluatives ? Quels sont les outils de jugement qu’ils utilisent pour évaluer les compétences? Comment procèdent-ils pour interpréter les productions des étudiants, attribuer une « note » et communiquer les résultats aux étudiants? Plus spécifiquement, nous souhaitons répondre à la question suivante : quelles pratiques d’évaluation sommative ont été mises en œuvre pas des enseignants du collégial dans un contexte de développement des compétences pour un cours ciblé ? Selon plusieurs chercheurs (Allal, 2013; Bélair, 2014; Mottier Lopez, 2010 ; Merle, 2007, Scallon, 2004 ; Tardif, 2006), dans un contexte d’évaluation des compétences qui fait appel à la réalisation de tâches complexes et authentiques par l’étudiant, les enseignants sont confrontés à de nombreux défis et enjeux, lors de l’évaluation sommative/certificative. La présente communication mettra en évidence les pratiques d’évaluation sommative recensées par Leroux (2009 ; 2010) dans le cadre d’une recherche qualitative/interprétative portant sur les pratiques évaluatives de douze enseignants sélectionnés par un comité de juges-experts. Compte tenu de la nécessité de connaître et de rendre compte des pratiques évaluatives développées dans des contextes réels et spécifiques, la méthodologie de l’étude de cas multiples de Yin (2003) est le mode d’investigation choisi. Dans le cadre de cette étude de cas multiples, l’analyse de pratiques évaluatives nous a conduit à considérer un enseignant et un cours comme un cas unique. Les données recueillies dans le milieu naturel des participants proviennent de deux sources : l’entrevue semi-dirigée et les « artefacts » du cours. L’analyse des données a été effectuée selon une démarche inductive modérée. Les résultats révèlent des pratiques d’évaluation sommative qui privilégient l’usage d’examens, d’une diversité de tâches complexes et d’outils de jugement construits par les enseignants. Dans un contexte d’évaluation sommative balisé par de nombreuses politiques, les résultats dévoilent des pratiques de notation qui accordent une importance au résultat chiffré et à l’établissement de seuils de réussite. En prenant appui sur les résultats de cette recherche, les pratiques d’évaluation sommative seront questionnées dans le but d’identifier les compétences 612 professionnelles en jeu dans l’évaluation sommative des apprentissages des étudiants. Références Allal, L. (2013). Évaluation : un pont entre enseignement et apprentissage à l'université. Dans M. Romainville, R. Goasdoué et M. Vantourout (dir.), Évaluation et enseignement supérieur (p. 21-40). Bruxelles : De Boeck Supérieur. Bélair, L. (2014). Évaluer ce qu’ils ont appris. Dans L. Ménard et L. St-Pierre (dir.) Enseigner pour faire apprendre au collégial et à l’université (p. 330-353). Montréal : Éditions Chenelière/AQPC. Leroux, J. L. (accepté, 2014). Le jugement évaluatif d’enseignants du supérieur dans un contexte d’évaluation des compétences, In Mottier Lopez, L. et Tessaro, W. (dir.) Processus de jugement dans les pratiques d’évaluation et de régulation des apprentissages (p. xx-xx). Berne, Suisse : Peter Lang. Leroux, J. L. (2010). L'évaluation des compétences au collégial : un regard sur les pratiques évaluatives. Projet de recherche subventionné par le Programme d'aide à la recherche sur l'enseignement et l'apprentissage (PAREA), Cégep de Saint-Hyacinthe, Québec. Leroux, J. L. (2009). Analyse des pratiques évaluatives d'enseignantes et d'enseignants dans une approche par compétences au collégial (Thèse Doctorat en éducation). Université de Sherbrooke, Sherbrooke, Canada. Merle, P. (2007). Les notes. Secrets de fabrication. Paris : Puf Mottier Lopez, L. (2010). Perspectives conclusives : repenser la complémentarité des évaluations formative et certificative des compétences professionnelles. In L. Bélair, L., C. Lebel, N. Sorin, et L. Lafortune (dir), Développement, évaluation et régulation des compétences professionnelles. Entre réflexions et pratiques. (p. 299-312). Québec : Presses de l’Université du Québec. Scallon, G. (2004). L’évaluation des apprentissages dans une approche par compétences. Québec : Éditions du renouveau pédagogique inc. Tardif, J. (2006). L’évaluation des compétences : Documenter le parcours de développement. Montréal : Éditions de la Chenelière. Yin, R. K. (2003). Case study research: Design and methods (3e éd.). Thousand Oaks, CA: Sage Publications (1re éd. 1984). COMMUNICATION 5 - INVESTIGATION DES LIENS ENTRE INTENTIONS ÉVALUATIVES (DES PROFESSEURS) ET CONSCIENCE ÉVALUATIVE (DES COLLÉGIENS) RAULIN, Dominique, Université Paris Descartes, Laboratoire EDA (FR) LEBEAUME, Joël, Université Paris Descartes, Laboratoire EDA (FR) RÉSUMÉ Les situations d’évaluation sommative formelle (SESF): une suite de décisions La présente recherche focalise des situations de classe ordinaires à l’issue desquelles chaque élève sait qu’il sera évalué individuellement par son professeur : les situations d’évaluation formelle (SEF). 613 Elle étudie des situations d’évaluation sommative. Différents travaux passés (Noizet & Caverni, 1978 ; De Ketele, 2011) considèrent que la SESF commence au moment où l’énoncé de l’épreuve est distribué à chaque élève du groupe-classe et qu’elle s’achève par la « correction » des travaux de chaque élève. Cette conception néglige différentes étapes : en amont, la décision de mettre en place une SESF, l’information aux élèves, l’élaboration de l’épreuve ; en aval, la restitution de leurs travaux aux élèves. Plus largement, une SESF semble donc pouvoir être décomposée en 5 phases successives : la décision d’organiser une situation d’évaluation sommative formelle et l’information aux élèves ; le choix des tâches demandées aux élèves, l’élaboration de l’énoncé de l’épreuve ; l’effectuation par l’élève ; la lecture et la correction des travaux des élèves ; la restitution aux élèves et les suites éventuelles. Une approche interactionniste de l’évaluation : depuis la présentation de l’évaluation formative au colloque de Genève en 1978, c’est une approche interactionniste de l’évaluation qui est souvent privilégiée (Allal, 1979 ; Marcel, 2002 ; Morrissette, 2010) : ainsi, une SESF est-elle à considérer comme une succession d’interactions entre le professeur-évaluateur et les élèves, individuellement ou collectivement selon les phases. Cette approche, comme des travaux antérieurs, permet de contester deux idées : l’évaluation serait un acte isolé alors qu’il s’agit d’un processus ; elle serait une mesure objective alors que c’est une suite d’interactions où la subjectivité des acteurs prévaut donc. Problématique 1) Les intentions évaluatives (du professeur) et la conscience évaluative (d’un élève) Chaque phase d’une SESF nécessite des prises de décision de la part du professeur. Elles peuvent être liées à ses habitudes, au contexte local et temporel ; elles peuvent être intuitives ou réfléchies. Elles sont le résultat de ses « intentions évaluatives », conscientes ou pas. Parallèlement, chaque élève réagit personnellement à ces différentes décisions, en fonction de son propre état d’esprit, sa réceptivité et son acceptation : c’est sa « conscience évaluative. » 2) Les liens entre les intentions évaluatives et la conscience évaluative Cette recherche vise à investiguer les liens entre les intentions évaluatives et la conscience évaluative, dans le cadre de différentes SESF, dans les disciplines scientifiques enseignées en collège. - Dans des SESF, quels sont les liens entre les intentions évaluatives du professeur et la conscience évaluative d’un élève ? - Quelle est leur influence sur la qualité de l’évaluation ? Étude empirique: recueil de données 1) Les intentions évaluatives La SESF s’inscrit dans le processus didactique global : elle suit une séquence d’apprentissages et en précède une autre. Les intentions évaluatives du professeur sont décelables à travers les décisions qu’il prend. Elles ont deux origines : (1) sa conception générale du métier d’enseignant, (2) le contexte conjoncturel, lié à l’état du contrat didactique entre lui et le groupe-classe au moment d’organiser la SESF, ainsi que de la négociation didactique (Chevallard, 1986). Le recueil des données, conçu pour intégrer au mieux ces deux aspects, a été mené avec les outils suivants : 614 - un questionnaire général renseigné par chaque professeur, portant sur sa conception de l’enseignement. - un tableau de bord en ligne mis à la disposition de chaque enseignant. Il permet de décrire chaque SESF mise en place. Les questions fermées (choix parmi des réponses proposées) donnent lieu à des réponses objectives (le nombre d’exercices), ou subjectives (la longueur, la difficulté). L’énoncé de chaque épreuve est annexé au tableau de bord. - L’observation d’une séance de restitution de leurs travaux, aux élèves : la séance est filmée et enregistrée. Un entretien semi-dirigé (50 mn) a été mené avec le professeur à la suite de la séance : il est enregistré et transcrit. Ces textes sont exploités avec un logiciel d’analyse de texte (Iramuteq). 2) La conscience évaluative La conscience évaluative d’un élève au moment d’aborder une SESF est constituée d’éléments généraux (sa conception de son « métier d’élève » (Sirota, 1993 ; Perrenoud, 1995) et conjoncturels (ses relations avec le professeur, avec la discipline ; ses résultats lors des précédentes SESF). Le recueil des données est basé sur : - un entretien, à la suite de la séance de restitution (cf. supra). Selon les lieux, les élèves ont été volontaires ou désignés par leur professeur ; l’entretien semi-dirigé a été mené individuellement ou collectivement. - Un questionnaire de fin de trimestre portant sur une vision globale des évaluations : il est proposé de façon « symétrique » au professeur et aux élèves. La correspondance des questions qui sont posées dans des termes différents adaptés aux uns et aux autres, vise à repérer un éventuel écart. Un traitement statistique de base montre déjà des écarts. Discussion Les données sont encore trop limitées pour dégager plus qu’une vague tendance générale, attestant l’existence d’un lien. Il conviendra d’étudier la part qu’occupent les curriculums dans le lien. Les conditions de variation des liens entre les intentions évaluatives du / des professeur(s) et la conscience évaluative d’un / des élève(s) au cours d’une année scolaire. L’absence actuelle d’étude quantitative de l’écart éventuel entre intentions évaluatives et conscience évaluative limite son interprétation. Il sera souhaitable d’étendre l’investigation à des disciplines non scientifiques. Conclusion / perspectives L’existence d’un lien et peut-être d’un écart interroge la qualité même de la SESF et des jugements induits : si un élève n’est pas totalement en position de montrer ce qu’il sait et ce qu’il sait faire, les inférences sur ses connaissances et son niveau de compétences n’ont pas de fondements fiables. 615 AGIR ÉVALUATIF ET ACCOMPAGNEMENT PROFESSIONNEL (ID 60) JORRO, Anne, CNAM (FR) Mots-clés: Agir évaluatif, Accompagnement, Apprentissage, École , Formation d'adultes RÉSUMÉ La place de l’évaluation dans un processus d’accompagnement professionnel constitue une question importante dans le champ de la professionnalisation des acteurs. La part de l’activité évaluative dans un processus d’accompagnement induit l’idée que la relation critique est une composante du processus d’accompagnement professionnel bien que cette dimension reste peu valorisée. Les préjugés sont tenaces du point de vue de l’activité évaluative. En effet, certaines recherches montrent les tergiversations des praticiens, voire les partis pris pour une relation d’accompagnement tenue à distance de toute dimension évaluative (Jorro, 2005, Lebel 2009). Ce symposium tentera d’étudier les relations entre l’accompagnement dans les apprentissages avec l’activité évaluative. Plusieurs terrains sont étudiés: - le terrain scolaire sous l’angle des pratiques d’accompagnement des équipes pédagogiques (communication de Charlier et Baudson), ou encore sous l’angle des apprentissages de lecture littéraire en classe.(Communication de Bichi et Mercier-Brunel) ; - le terrain de la formation professionnelle avec la formation des enseignants (communication de Petignat) ou avec la formation des conseillers en évolution professionnelle (communication de Jorro). COMMUNICATION 1 - ANALYSE DES POSTURES ET DES GESTES DE L’ACCOMPAGNATEUR DANS DIFFÉRENTS CONTEXTS CHARLIER, Evelyne, Université de Namur (BE) RÉSUMÉ Le terme accompagnement est utilisé dans différents secteurs pour qualifier des pratiques de soutien au développement de personnes, d’équipes et d’organisations. Il fait référence à des pratiques variées, ancrées dans différents contextes. Dans le champ scolaire, nous souhaitons étudier les professionnalités de l’accompagnateur d’équipes éducatives d’une part et de réseaux d’établissements scolaires d’autre part. Contexte Nous avons menés des recherches-accompagnements dans plusieurs contextes d‘innovations en Fédération Wallonie-Bruxelles. La première recherche visait à soutenir les équipes enseignantes d’une vingtaine d’établissements scolaires volontaires dans le développement de dispositifs innovants d’accrochage 616 scolaire, au premier degré de l’enseignement secondaire (enfants de 12 à 15 ans) en Belgique francophone . Ces établissements avaient été sélectionnés par le ministère de l’enseignement obligatoire, suite à un appel à projets. Il offrait un accompagnement en école, à des équipes innovantes et à leur direction. Le but de cette recherche-accompagnement était, d’une part, d’accompagner les écoles dans la mise en place de dispositifs de différenciation et, d’autre part, d’analyser les conditions favorables au développement de projets émergents dans des établissements scolaires. La seconde recherche-accompagnement portait sur l’implantation d’un dispositif d’accompagnement de 40 établissements d’enseignement secondaire volontaires (dont une dizaine avait participé à la recherche précédente). Ceux-ci se sont engagés, d’une part, à implanter des modifications organisationnelles au sein de leur premier degré d’enseignement secondaire et, d’autre part, à utiliser de nouveaux outils de gestion de l’apprentissage des élèves en difficulté et de leur établissement. Ces modifications structurelles et l’utilisation de ces outils devaient être généralisées à tous les établissements scolaires à la rentrée 2015. Les établissements impliqués dans la recherche-accompagnement se sont portés volontaires pour tester les futures mesures décrétales dans le cadre d’un appel à projets lancé par le ministère. Ils ont bénéficié d’un accompagnement du DET et s’inscrivaient dans un réseau qui doit les soutenir dans l’implantation des nouvelles mesures. Celles-ci consistent essentiellement en l’utilisation de deux outils : un plan individualisé d’apprentissage pour les élèves en difficulté (PIA) et un plan d’actions collectives opérationnalisant le projet d’établissement (PAC). De plus, les écoles se sont engagées aussi à modifier la structure du premier degré, en organisant celui-ci en deux années communes à tous les élèves, avec la possibilité d’une seule année complémentaire après les deux ans pour les élèves qui n’auraient pas maîtrisé les compétences du cycle. Moyennant ces engagements, le ministère a proposé aux établissements de participer à des réseaux d’échanges de pratiques accompagnés par l’équipe universitaire du DET. Nous avons constitué différents types de réseaux: • des réseaux territoriaux composés d’une dizaine d’équipes de direction; • des réseaux composés des équipes opérationnelles des établissements impliqués. En plus de leur participation aux réseaux, les établissements s’engageaient à 2 rencontres plénières réunissant de tous les acteurs, en début et fin d’année, pour lancer le projet et faire le bilan du projet. Une information complémentaire des autres acteurs de l’école (conseillers pédagogiques, inspecteurs, médiateurs, …) était également prévue dans une perspective d’implication systémique de tous les acteurs de l’école. Pour les accompagnateurs qui ont participé à la recherche précédente, il s’agissait de passer d’un accompagnement local d’équipes en établissement scolaire à l’accompagnement de réseaux à un niveau territorial, d’un cadre de projets émergents à un contexte de changement planifié par un prescrit. Méthodologie La recherche-accompagnement combine des recueils d’informations ethnologiques, au cours des accompagnements et des recueils plus systématiques. Des entretiens ont été réalisés dans une perspective qualitative avec les chercheurs-accompagnateurs, pour mieux comprendre les 617 caractéristiques de leur démarche. Les représentations de l’accompagnement, de leurs rôles, des gestes professionnels posés, ainsi que des difficultés et des leviers de la démarche ont été recueillies. Les entretiens ont été intégralement retranscrits et renvoyés pour validation auprès des personnes interviewées, puis analysés. Plusieurs lectures flottantes ont permis de dégager des catégories d’analyse des professionnalités de l’accompagnateur. Résultats Les données sont actuellement en cours de traitement. Nous dégageons des invariants et des spécificités de ces processus d’accompagnement ainsi que des postures et des gestes professionnels de l’accompagnateur dans les différents contextes accompagnement des équipes éducatives et accompagnement de différents types de réseaux d’établissements scolaires. COMMUNICATION 2 - L’ÉVALUATION AU SERVICE DU DÉVELOPPEMENT PROFESSIONNEL PETIGNAT, Pierre, HEP-BEJUNE (CH) RÉSUMÉ La formation des enseignants a des visées professionnalisantes dans tous les pays industrialisés et dans cette perspective elle entend développer la pratique réflexive. Divers actes de formation peuvent y contribuer et l’évaluation de la pratique professionnelle en fait partie. L’évaluation de la pratique professionnelle des futurs enseignants est le plus souvent basée sur un référentiel de compétences. L’évaluation de compétence est cependant une opération complexe et les institutions de formation fixent, en général, des critères de performance pour évaluer les compétences professionnelles des futurs enseignants. Cela pose un sérieux problème pour les visées de développement professionnel puisque les compétences se manifestent dans l’action et dans une situation la plus authentique possible, selon Le Boterf (1997) et Lafortune (2008). Cette condition est rarement remplie dans le cadre de la formation des enseignants. En effet, nous trouvons le plus souvent une évaluation de type contrôlant, une évaluation basée sur la performance, plutôt qu’une évaluation favorisant le développement professionnel. Face à cette situation, le futur enseignant saura le plus souvent se conformer aux attentes de l’institution de formation : il jouera son « métier d’élève » au sens où Perrenoud l’entend (2004), il développera des stratégies efficaces d’évitement et conclura des alliances illégitimes avec les différents formateurs. Il n’oubliera pas que son but premier est d’obtenir son diplôme plus que de se former (Petignat, 2010). Pourtant, le développement professionnel est clairement relié à la pratique du métier, « il suppose la reconnaissance de la capacité du professionnel à se développer, tant à l’extérieur qu’à l’intérieur de l’école au sein d’équipes éducatives, où il est amené à s’adapter, à se (re)construire de façon autonome, en fonction des situations rencontrées. » (Donnay et Charlier, 2006, p. 11) Le développement professionnel se doit dès lors d’être soumis à l’évaluation, dans la perspective non pas de mesurer, à un moment donné, l’écart entre la prestation et la norme induite, mais bien de favoriser un retour sur l’action située, sa pertinence et son efficience en contexte pour « mettre en 618 œuvre une culture de l’action à venir en dépassant le seuil de l’évocation d’une action vécue pour franchir celui de l’anticipation de l’action. » (Jorro, 2007, p 12). Dans notre intervention nous analyserons quelques items des grilles d’évaluation de la pratique professionnelle en usage dans une institution romande et nous tenterons d’en montrer les limites : les possibilités multiples d’interprétation, le jugement guidé par les représentations, les aspects très subjectifs. Dans un second temps, nous essaierons de montrer l’articulation possible entre la démarche formatrice proposée par l’institution par son référentiel de compétences, les grilles d’évaluation et l’évaluation des compétences en actes dans une pratique intégrée de l’évaluation des compétences. L’évaluation du futur professionnel ne doit pas faire l’objet d’une démarche particulière, elle doit faire partie intégrante de la formation, c’est un outil d’accompagnement du futur professionnel autant qu’un outil de formation professionnalisant ou qu’un instrument de mesure. Nous ferons quelques propositions pour une nouvelle orientation de l’évaluation de la pratique professionnelle, à visée développementale et non plus uniquement contrôlante. Nous proposerons une « évaluation soutien à l’apprentissage » (Mottier Lopez, 2014) orientée vers le développement des compétences professionnelles des futurs enseignants. Nous proposerons une démarche novatrice pour intégrer l’évaluation dans la formation en diversifiant les outils d’accompagnement des futurs étudiants : portfolio, entretiens d’explicitation, séminaires d’analyse des pratiques professionnelles, auto-évaluation, etc. Dans nos recherches nous avons pu observer que l’immense majorité des futurs enseignants misait sur une formation exigeante et d’un haut niveau de professionnalisme. Dès lors l’utilisation de grilles d’évaluation pensées comme des outils de médiations contrôlant ne peuvent répondre à cette exigence légitime des futurs enseignants et il convient de réinventer totalement l’évaluation des compétences professionnelles. Références Baillat, G., De Ketele, J-M., Paquay, L., Thélot, C., (2008). Evaluer pour former. Bruxelles: De Boeck. Bélair, L., Lebel C. (2007) La place du superviseur dans l’évaluation du développement professionnel en stage. In A. Jorro : Evaluation et développement professionnel. Paris: L’Harmattan. Charte fondatrice de la HEP, http://www.hep-bejune.ch/la-hep-bejune/portrait consultée le 20.09.2013 Coen, P.-F. et al. (2008) Pertinence et validité de tâches complexes dans l’évaluation de futurs enseignants. In Baillat G., De Ketele J-M., Paquay L. Thélot C. : Evaluer pour former. Bruxelles: De Boeck Delory C. (2002) L’évaluation des compétences dans l’enseignement fondamental. De quoi parlet-on ? In Paquay et al. : L’évaluation des compétences chez l’apprenant. Louvain-la-Neuve: Presses universitaires de Louvain. Donnay, J., Charlier, E. (2006). Apprendre par l’analyse de pratiques. Namur: Presses universitaires de Namur. Gerard, F.-M. 2008. Les outils d’évaluation ouverts, ou la nécessité de clés de fermeture. In Baillat G., De Ketele J-M., Paquay L. Thélot C. : Evaluer pour former. Bruxelles: De Boeck. 619 Jonnaert, P, (2002). Compétences et socioconstructivisme, un cadre théorique. Bruxelles : De Boeck. Jorro, A. (2007). Evaluation et développement professionnel. Paris : Harmattan. Jorro, A. (2007). L’évaluation-conseil, un processus dialogique au service de la régulation. In V. Bedin et A. Jorro, coord: L’évaluation-conseil en éducation et formation. Revue internationale des sciences de l’éducation, n°18. Toulouse: Presses universitaires du Mirail. Jorro, A. (2011). Evaluation de l’expérience et enjeux de reconnaissance professionnelle. In P. Maubant et T. Piot : Processus de professionnalisation dans les métiers adressés à autrui. Caen : Les sciences de l’éducation pour l’ère nouvelle, n°2. Lafortune, L. et al (2008). Réfléchir pour évaluer des compétences professionnelles à l’enseignement. Québec: Presses universitaires du Québec. Le Boterf, G. (1994). De la compétence : essai sur un attracteur étrange, Paris: Editions d’Organisation. Le Boterf, G, (1997). Ne confondons pas savoir et compétence. In Education permanente, n°3, Revue de la FSEA. Zurich. Le Boterf, G. (2000). Compétence et navigation professionnelle. Paris: Editions d’Organisation. Le Boterf, G. (2002) Développer la compétence des professionnels, Paris: Editions d’Organisation. Lessard, C. et al (2005) L’obligation de résultats en éducation, Bruxelles: De Boeck. Mottier Lopez, L. (2007) L’impact des communautés de pratiques dans les entretiens de coévaluation. In A. Jorro : Evaluation et développement professionnel. Paris : L’Harmattan. Mottiez Lopez, L. (2014). L’évaluation pédagogique va-t-elle enfin marcher sur ses deux pieds ? in Education et francophonie, revue en ligne de l’ACELF, vol. XLII :3, 2014, Québec. Paquay, L. (2002) L’évaluation couperet ou levier du développement des compétences professionnelles. In Bosman et al. : Quel avenir pour les compétences. Bruxelles: De Boeck Perrenoud, P, (1999). Dix nouvelles compétences pour enseigner. Paris: ESF. Perrenoud, P. (2004). Métier d’élève et sens du travail scolaire (5e éd.). Paris : ESF. Perrin, D. (2005). Etudiants en formation initiale à l’enseignement scolaire en maternelle et au primaire : modes de faire, enracinement biographique et contraintes institutionnelles. Diplôme d’études avancées (DEA) en sciences de l’éducation, Université de Saint-Denis-Paris VIII. Petignat, P. (2009). La contribution des stages a la formation des enseignants : études des représentations de formateurs praticiens et de leurs anciens stagiaires. Thèse de doctorat, Université de Genève. Petignat, P. (2010). Les stages permettent-ils le développement des compétences ? In L. Bélair & al. : Régulation et évaluation des compétences en enseignement : vers la professionnalisation. Québec : Presses de l’Université du Québec. Rey, B. (2008). Quelques aspects éthiques de l’évaluation. In G. Baillat, J.-M. De Ketele, L. Paquay, C. Thélot, : Evaluer pour former. Bruxelles: De Boeck. Tardif, M. (2008). Compétences, travail enseignant et programmes de formation à l’enseignement: penser leurs articulations pour la formation. Conférence interne, HEP-BEJUNE. Schön, D. (1994). Le praticien réflexif. Montréal : Editions Logiques. 620 Wentzel, B. (2012). Référentiels de compétences et modèles de professionnalités pour l’enseignement secondaire. In D. Périsset & V. Lussi Borer, Conjuguer savoirs et compétences professionnelles : un défi pour les formations à l’enseignement secondaire et leurs formateurs. Revue des HEP, n° 15. CDHEP : Neuchâtel. COMMUNICATION 3 - L’ACTIVITÉ ÉVALUATIVE DANS LE CONSEIL EN ÉVOLUTION PROFESSIONNELLE JORRO, Anne, CNAM (FR) RÉSUMÉ La loi sur la formation, l’emploi et la démocratie sociale parue au JO du 6 mars 2014 a institué la mission de «conseil en évolution professionnelle». (CPE). Cette loi a pour conséquence d’impulser des pratiques professionnelles d’accompagnement des acteurs vers l’emploi ou vers la reconversion professionnelle. La pratique professionnelle des conseillers en évolution professionnelle est directement concernée. Il s’agit de former des conseillers à l’accompagnement en tenant compte du cahier des charges qui figure dans la loi et qui décline en trois phases la situation de conseil en évolution professionnelle. La cahier des charges distingue la phase d’accueil, celle du conseil et celle de l’accompagnement du projet du bénéficiaire du conseil. La mission de conseil en évolution professionnelle consiste à recevoir des demandeurs d’emploi afin de comprendre les parcours socio-professionnels des acteurs, à mettre en évidence des activités professionnelles porteuses de compétences transversales dans le but de co-élaborer un projet d’action qui rende possible un retour vers l’emploi, une reconversion professionnelle. L’activité de conseil est présentée comme une activité globale d’accompagnement dans laquelle des moments de co-évaluation sont nécessaires. En effet, l’activité évaluative prend en compte le parcours antérieur du bénéficiaire du conseil et la faisabilité du repositionnement envisagé. Or, cette activité est peu conscientisée par les conseillers. La formation constitue un moment privilégié de prise de conscience des enjeux évaluatifs de l’accompagnement des acteurs vers l’emploi. Le Cnam en tant qu’établissement professionnalisant les conseillers d’orientation, les accompagnateurs vers l’emploi a construit des formations pour répondre aux enjeux actuels définis par la loi. C’est dans le cadre de formations innovantes que les conseillers en évolution ont suivi une formation pluridisciplinaire (psychologie, sociologie et sciences de l’éducation) durant l’année 2015. La formation porte en particulier sur la dimension expérientielle de toute activité et sur la possibilité d’analyser l’expérience avec les acteurs, mais aussi sur la nécessaire distinction entre l’analyse et l’évaluation afin de permettre une prise de décision lucide sur les possibilités de reconversion ou de réorientation des acteurs. Une recherche collaborative a été initiée avec 15 conseillers en évolution professionnelle afin de repérer les enjeux professionnels de chaque phase de l’accompagnement. En particulier, les travaux conduits en situation d’analyse des pratiques ont permis d’identifier et des caractériser des postures et des gestes professionnels spécifiques. L’activité évaluative apparaît déterminante dès la première phase du conseil et tout au long de l’accompagnement. 621 La recherche collaborative a mis en évidence la tension qui existe entre la démarche d’accompagnement et les processus de co-évaluation. Ce que la recherche actuelle corrobore (Campanale 2007, Jorro & Mercier Brunel, 2016). Les matériaux recueillis lors de cette recherche sont composés d’une part, de traces de prises de parole durant les situations d’analyses de pratiques qui permettent de comprendre les représentations des acteurs, les questionnements en cours, d’autre part, de productions écrites bien après la formation par les conseillers et qui consistent en une synthèse des apports de la formation pour leur pratique de conseiller en évolution professionnelle. Nous avons analysé ces différents ces matériaux selon une démarche d’analyse de contenu. Notre communication tendra à rendre compte de deux enjeux de formation et de recherche : - L’importance de l’articulation entre l’activité évaluative et l’accompagnement professionnel. Les travaux de recherche sur cette articulation sont peu nombreux et nous semblent particulièrement décisifs pour tenir compte de la complexité de l’accompagnement professionnel des acteurs (Bélair & Lebel 2007, Jorro & Mercier Brunel, 2016) ; - la prise de conscience des conseillers sur la nécessité d’identifier et de mobiliser des postures et des gestes professionnels. (Charlier, 2016, Jorro 2015) Références Bélair, L. & Lebel, C. (2007). La place du superviseur dans l’évaluation du développement professionnel en stage. In A. Jorro (ed.), Evaluation et développement professionnel. (p.137- 152). Paris : L’Harmattan. Campanale, F. (2007). Analyse réflexive et autoévaluation dans la formation des enseignants : quelles relations ? In A. Jorro (ed.), Evaluation et développement professionnel. (p.57-75). Paris : L’Harmattan. Jorro, A. & Mercier-Brunel, Y. (2016). Activité évaluative et accompagnement professionnel. Tours : Presses universitaires François Rabelais. (à paraître) Jorro A. & De Ketele J.-M. (2011). La professionnalité émergente : quelle reconnaissance ? Bruxelles : De Boeck. Paquay L., Van Nieuwenhoven C. & Wouters P. (2010), L’évaluation levier du développement professionnel. Bruxelles : De Boeck. COMMUNICATION 4 - RÉGULATIONS ÉVALUATIVES ET NATURE DES INTERPRÉTATIONS EN LITTÉRATURE BICHI, P., (Aix-Marseille) MERCIER-BRUNEL, Yann, Université d’Orléans (FR) 622 RÉSUMÉ Depuis plus de vingt ans différents pédagogues et différents chercheurs se sont interrogés sur les définitions de la compréhension et de l’interprétation sous différents angles. Depuis les années 1980, la didactique de la littérature a tenté de lier ces réflexions avec des postures susceptibles de soutenir l’interprétation des élèves. Pour autant, les pratiques enseignantes ne semblent pas toujours être irriguées par la recherche en didactique, et la question de comprendre ce qui se joue dans les pratiques des professeurs des écoles en vue de les accompagner s’est faite jour, particulièrement au niveau de leurs échanges avec les élèves et du regard évaluatif qu’ils portent sur les réponses de ces derniers. Une des difficultés majeures lorsque l’on parle d’évaluation, c’est de définir ce dont il s’agit : bien trop souvent, un certain nombre d’éléments comme le but poursuivi ou l’objet visé restent incertains. Parfois même il existe un décalage entre ce qui est annoncé et l’évaluation opérée (De Ketele, 2010). Deux questions sont pour nous cruciales dans le cadrage théorique sur lequel s’appuient nos analyses : quel est l’objet de l’évaluation et sur quelle vision théorique s’appuie l’évaluateur ? En classe, les discussions interprétatives sur un texte littéraire sont souvent tournées vers la production d’une synthèse consensuelle, servant avant tout un objectif d’intercompréhension (Habermas, 1987), donc d’un équilibre défini collectivement entre une vision essentialiste du texte et de la subjectivité de chacun. Par ailleurs, cette intercompréhension demeure particulière. En effet, si le principe d’intersubjectivité s’applique en apparence (Schutz, 1987), il semble biaisé par la prédominance de la position de l’enseignant et par la différence entre ses capacités cognitives et celles de ses élèves: comment envisager le fait que l’enseignant puisse considérer comme pertinentes d’autres interprétations que la sienne ? Il existe en fait, la plupart du temps, une « parole inégale » en classe (François, 1990), une supériorité de l’interprétation de l’enseignant sur celles des élèves, ce qui induit la recherche d’une conformité avec une interprétation censée être « la bonne ». Les modèles didactiques de la lecture littéraire se distinguent en fonction de la prééminence qu'ils accordent soit au texte et à l'activité lectrice que le lecteur exerce sur le texte soit au projet de lecture du sujet lecteur dans sa rencontre avec l'écrit qui influence sa réception. Nous regroupons dans le modèle essentialiste plusieurs visions de la lecture qui se concentrent sur l'essence du texte et sur l'activité que le lecteur doit déployer pour y accéder. Ce modèle se caractérise par l'absence d'un espace ouvert à la prise de conscience par l'élève de son fonctionnement cognitif et de l'élaboration des significations en cours. Ainsi, le milieu scolaire imprime non seulement l'idée que l'objet de savoir préexiste à son élaboration par le sujet apprenant mais que, concernant la lecture du littéraire, l'objet de savoir serait plus le texte que le processus de sa lecture. D'autres visions de la lecture considèrent que le monde du lecteur influence sa réception bien plus que les programmations du texte. Le modèle de la lecture interprétative (Jorro, 1999) appuyé sur l'herméneutique critique de Ricœur (1986, 1990) met en jeu un lecteur impliqué dans son projet de compréhension. La lecture interprétative met en jeu l'intentionnalité d'un lecteur singulier qui s'implique comme tel. Nous regroupons dans ce modèle, les conceptions qui considèrent que l'univers personnel que le lecteur importe dans sa lecture reconfigure le texte. Citons notamment les plus récents développements de la réflexion sur le sujet lecteur (Mazauric, Fourtanier & Langlade, 2011) et l'approche transactionnelle de Rosenblatt (1978). 623 En prenant appui sur l’observation filmée de deux séances conduites par deux enseignantes de CE2 nous chercherons à éclairer le développement professionnel de l’enseignant par la transformation durable de son rapport à la littérature pour faire évoluer ses pratiques évaluatives et ouvrir la voie à un professionnel engagé dans la construction assumée de la responsabilité de son action sur les élèves. La recherche présentée montre selon nous qu’il est inconcevable de travailler les postures évaluatives des enseignants en lien avec l’interprétation des élèves uniquement à partir de connaissances purement théorique sur vision exégétique ou interprétative. Certains liens nous sont apparus entre l’approche que ces deux enseignantes peuvent avoir de la compréhension en lecture et leurs postures évaluatives. Cela nous conduit à privilégier alors l’idée d’un accompagnement des enseignants dans leur développement professionnel sur le plan de la construction en situation des compétences professionnelles majeures : les gestes de régulation du débat interprétatif en littérature. L’accompagnement des enseignants dans le développement de leurs gestes de régulation d’une séance de lecture interprétative passerait par un travail sur les trois dimensions du geste professionnel tel que défini par Jorro (2002): - Un approfondissement des connaissances relatives aux processus de construction des compétences interprétatives par les élèves, donc une approche didactique qui fasse une large place à la lecture interprétative ; - Une réflexion éthique sur le fait d’imposer une vérité et une lecture unique des événements dans une œuvre littéraire ; - Un savoir-faire pédagogique dans la gestion des interactions, dans le but non seulement d’accueillir mais de soutenir la mise en mots du point de vue d’un sujet élève, et de confronter sa cohérence au texte, à ses éléments explicites mais également à ses « creux ». Ces trois dimensions ouvrent la voie à la régulation d’un processus évaluatif en situation et permettent de soutenir un regard critique visant l’accompagnement et la reconnaissance d’un enseignant engagé dans une transformation durable de son rapport à la lecture littéraire en classe. Références De Ketele, J.-M. (2010). Ne pas se tromper d'évaluation, Revue française de linguistique appliquée, 15, 25-37. François, F. (1990). Dialogue, jeux de langage et espace discursif chez l’enfant jeune et moins jeune. In F. François (Ed), La communication inégale (pp. 33-112). Neuchâtel : Delachaux et Niestlé. Habermas, J. (1987). Théorie de l’agir communicationnel. Rationalité de l’agir et rationalisation de la société (J.-M. Ferry, Trad.). Paris : Fayard. Jorro, A. (1999). Le lecteur interprète. Paris: PUF. Jorro, A. (2002). Professionnaliser le métier d’enseignant. Paris : ESF. Mazauric, C., Fourtanier, M.-J. & Langlade, G. (Dir.). (2011). Textes de lecteurs en formation. Bruxelles : Peter Lang. Ricœur, P. (1986). Du texte à l´action. Essai d´herméneutique II. Paris : Seuil. Ricœur, P. (1990). Soi-même comme un autre. Paris : Éditions du Seuil. 624 Rosenblatt, L. (1978). The Reader, the Text, the Poem ; the Transactional Theorie of the Literacy Work. Carbondale: Southern Illinois University Press (1994). Schutz, A. (1987). Le chercheur et le quotidien. Paris : Klincksieck. 625 QU’APPRENNENT LES ÉVALUATEURS DE LEUR ACTIVITÉ D’ÉVALUATION? (ID 79) TOURMEN, Claire, AgroSup Dijon (FR) DECHAMBOUX, Lionel, Université de Genève / HEP-Vaud (CH) RÉSUMÉ Depuis la fin des années 1990, de plus en plus de recherches choisissent une entrée « activité » pour étudier l’évaluation, que ce soit en Amérique du Nord ou en Europe. Cette entrée impacte aussi, plus largement, les sciences de l’éducation (Barbier & Durand, 2003). Figari avait déjà constaté un tel mouvement dans l’introduction d’un ouvrage synthétisant les recherches en évaluation en éducation, dès 2001: « une caractéristique a paru assez rapidement commune à la plupart des textes : celle consistant à parler de l’évaluation en terme de processus en ne présentant les procédures que comme des méthodes utilisées par les acteurs de l’évaluation. L’utilisation du terme « activité évaluative », à la place de celui d’évaluation, s’est alors imposée, voulant indiquer que la tendance majeure des évolutions constatées consiste (…) à s’intéresser particulièrement à ce qui se passe dans l’acte d’évaluer» (Figari & Achouche, 2001, p. 10). L’intérêt pour l’activité des évaluateurs se comprend d’autant plus que les nombreux modèles de l’évaluation existants (Stufflebeam, 1980, Scriven, 1981, Bonniol, 1981, Cardinet, 1986, De Ketele, 1985, Barbier, 1985, Figari, 2014, pour ne citer qu’eux) courent le risque de constituer des visions tronquées, prescriptives ou idéalisées de l’évaluation telle qu’elle est pratiquée. Dans la littérature nord américaine en évaluation de programmes, de plus en plus de publications rapportent des études basées sur l’observation de l’activité réelle d’évaluateurs ou les encouragent (Fitzpatrick, 2004, Schwandt, 2005, 2008, Fitzpatrick, Christie & Mark, 2008, Donaldson & Lipsey, 2008, Tourmen, 2009, Kundin, 2010). Les recherches sur l’activité évaluative couplent des méthodes d’observation d’évaluateurs au travail in situ (Merle, 2007, Tourmen, 2009) à des entretiens sur l’activité (Fitzpatrick, 2004, Allal & Mottier-Lopez, 2009, Hurteau, Houle & Guillemette, 2012), et ce dans plusieurs contextes (salle de classe, cabinet conseil). Ces recherches recourent à des théories de l’activité de travail et de l’évaluation pour éclairer les pratiques observées. Leur objectif est de renouveler la compréhension de la pratique évaluative et de pouvoir contribuer, à terme, à sa théorisation (Tourmen & Droyer, 2013). Ces recherches ont ainsi mis à jour plusieurs phénomènes récurrents, caractéristiques des pratiques évaluatives: les jugements sont construits de manière progressive et dynamique, une partie du processus demeure implicite, de nombreux arbitrages sont faits en situation et évaluer s’apprend (Mottier Lopez, 2013, Tourmen, 2014). Dans ce symposium, nous souhaitons présenter les avancées les plus récentes de la recherche francophone sur l’activité des évaluateurs, en nous appuyant sur des travaux ayant une forte base empirique sur la façon dont des évaluateurs agissent, raisonnent et apprennent dans plusieurs contextes. Les chercheurs tenteront de montrer comment les évaluateurs évaluent mais aussi ce qu’ils apprennent lors de cette activité, au sujet des personnes ou objets évalués (étudiants, programmes), mais aussi au sujet de leur propre pratique (enseignement, évaluation). En effet, si évaluer s’apprend, quelles leçons les évaluateurs tirent-ils de leur expérience et en quoi cela nourritil leur activité future ? 626 Les contributeurs présenteront également les cadres théoriques et méthodologiques qui permettent de donner sens à leurs observations. La discutante, M. Hurteau (Uqam, Québec), ayant réalisé des travaux sur la construction du jugement chez les évaluateurs (Hurteau, Houle & Guillemette, 2012), portera un regard transversal sur les avancées proposées par ces recherches mais aussi sur les questions qui demeurent irrésolues. COMMUNICATION 2 - LES INTERVENTIONS À VISÉE RÉGULATRICE DES ENSEIGNANTS AUPRÈS D’ÉLÈVES APPRENTIS-SCRIPTEURS EN DIFFICULTÉ DECHAMBOUX, Lionel, Université de Genève / HEP-Vaud (CH) RÉSUMÉ Cadre conceptuel & Problématisation L’acquisition de compétences en production écrite est un enjeu important de l’école primaire, enjeu d’autant plus crucial que la compétence à écrire est bien souvent liée à la compétence à lire, à tel point que certains auteurs n’hésitent pas à proposer un enseignement de la lecture passant (entre autres) par des tâches d’écriture (e.g., Ouzoulias, 2004). Pour autant, des critiques sévères sont formulées à l’encontre des pratiques pédagogiques actuelles (et non des enseignants) : elles favoriseraient, en leur sein et à leur insu, les inégalités scolaires (Rochex & Crinion, 2011). Par conséquent, il nous paraît indispensable de décrire avec précision cette activité d’enseignement afin de la comprendre et d’éventuellement proposer des formations pouvant favoriser l’apprentissage de tous les élèves. Cette « entrée activité », désormais classique dans les sciences sociales (Barbier & Durand, 2003), se trouve de plus en plus fréquemment mobilisée dans le champ de l’évaluation où la description du processus évaluatif, justement en tant qu’activité, parait riche d’enseignements pour ce champ de recherche (Figari & Achouche, 2001). Si nous rapprochons ici enseignement et évaluation, c’est en accord avec certains travaux qui considèrent que l’activité d’enseignement peut être vue comme une succession d’évaluation en ligne (e.g., Soulé & Bucheton, 2011) ou encore conduit par un jugement professionnel (Lafortune & Allal, 2008). Ces évaluations pourraient, pour une part, être considérées comme des interventions à visées régulatrices (Mottier Lopez, 2012) soutenant l’apprentissage des élèves ou plus précisément ce qu’Allal (2007) nomme des régulations interactives immédiates. Mais la description de ces interventions nécessite à notre avis - dans une perspective située et interprétative de l’évaluation comme co-construction de sens (Mottier Lopez, 2008) - de prendre le point de vue de l’enseignant ou, plus précisément, de décrire le couplage dynamique existant entre l’enseignant et la situation (Durand, 2006) et de choisir dans la large palette des conceptualisations de l’activité celle privilégiée par le cours d’action (Theureau, 2004). 627 Nous abordons ainsi les questions de recherche suivantes au travers du contexte que nous décrirons ci-après : quelles sont les attentes de l’enseignant et comment évoluent-elles au cours de la séance ? Quels indices émergent alors dans la situation et quelles actions l’enseignant entreprendil et comment les articule-il ? Et enfin, pour reprendre à notre compte la thématique de ce symposium, qu’apprend-il lors de cette activité? Contexte de la recherche Notre contribution se propose d’utiliser des données issues de notre recherche doctorale, en cours. Ici nous mobiliserons un corpus correspondant à l’activité de deux enseignantes expérimentées de CP en France (élèves de 7-8 ans, milieu semi-urbain), lors de 6 séances de productions écrites qu’elles ont planifiées au cours d’une année scolaire dans leur classe. Notre regard s’est alors centré sur leurs interventions à visée régulatrice vis-à-vis de trois élèves dans chacune de ces deux classes, élèves considérées par les enseignantes comme en difficulté au début de l’années scolaire. Méthodologie de recueil et d’analyse Les séances de production écrite ont été filmées en focalisant la caméra sur les élèves concernés par la recherche, en cohérence avec nos questions de recherche (Leblanc, Ria & Veyrunes, 2011). A la suite de chacune de ces séances, un entretien d’autoconfrontation (Theureau, 2006) a été organisé avec l’enseignante. Cette autoconfrontation a été également l’objet d’une captation vidéo. Le contenu des autoconfrontations a été intégralement transcrit pour être ensuite mis en regard des observations réalisées par le chercheur durant la séance de production écrite, formant ainsi un protocole à double entrée. Ces données permettent la reconstruction de cette activité, d’instant en instant, en s’inspirant largement des méthodes utilisées par le cours d’action (Theureau, 2006). Résultats Le premier résultat que nous mettrons en avant peut paraître peu pertinent, décalé pour le champ de l’évaluation des apprentissages scolaires mais sa récurrence massive nous invite tout de même à le présenter et ceci d’autant plus qu’il initie les interventions à visées régulatrices de l’enseignant. Ainsi, le premier indice pris en compte par l’enseignant relève de sa perception d’un arrêt de l’activité de l’élève dirigée vers la tâche de production écrite demandée. Ensuite, la mise en forme des données, dans notre perspective à la fois évaluative et enactive, rend compte d’un processus que nous tenterons de modéliser. Nos premières analyses nous permettent de rapprocher ce processus de celui de la valuation telle que décrite par Dewey (2011) à quelques conditions et distinctions près, que nous discuterons. En effet, il devient apparent que l’enseignante, face à la production de l’élève produit des appréciations immédiates (de facto valuings) que nous inférons (entre autre) grâce à l’indice qu’elle prélève dans la production écrite. Cette appréciation immédiate débouche sur une action qui reflète finalement un jugement évaluatif bouclant ainsi ce continuum que Dewey nomme la valuation. Bien plus, il est également remarquable que ces valuations ne sont pas finales et serviront de moyens pour les valuations suivantes. En effet, ces valuations successives produisent des connaissances qui seront potentiellement réinvesties dans les valuations ultérieures. Ces éléments semblent aller dans un sens similaire aux résultats de Tourmen (2009). 628 Au delà de cette modélisation dont nous cherchons ici à éprouver la pertinence et la robustesse, il apparaît que les interventions à visée régulatrice des enseignantes sont le produit de la rencontre entre ses savoirs relatifs à l’élève, sa conception de l’objet de savoir et d’autres caractéristiques de la situation. Il apparaît alors dans cette logique que les interventions de l’enseignante se configurent selon des motifs que nous tenterons de qualifier à la fois par la composante de l’objet de savoir visé et à la fois par la progression d’étayage choisie par l’enseignante, toujours au regard de l’élève concerné. Références Allal, L. (2007). Régulation des apprentissages : Orientations conceptuelles pour la recherche et la pratique en éducation. In L. Allal & L. Mottier Lopez (Eds.). Régulation des apprentissages en situation scolaire et en formation (pp. 7-23). Bruxelles: De Boeck. Barbier, J.-M. & Durand, M. (2003). L’activité́ : un objet intégrateur pour les sciences sociales ? Recherche et Formation, 42, 99-117. Dewey, J. (2011). La formation des valeurs. Paris: La Découverte. Durand, M. (2006). Activité(s) et formation, Carnets des Sciences de l’éducation, Université de Genève. Figari, G. & Achouche, M. (Eds.) (2001). L’activité évaluative réinterrogée. Bruxelles : De Boeck Supérieur. Lafortune, L. & Allal, L. (Eds.) (2008). Jugement professionnel en évaluation, Pratiques enseignantes au Québec et à Genève. Québec : Presses de l’Université du Québec. Leblanc, S., Ria, L., Veyrunes, P. (2007). Vidéo et analyse in situ des situations d’enseignement et de formation dans le programme du cours d’action. Instrumentation de la recherche en Education. Le cas du développement d'une base de vidéos de situation d'enseignement et d'apprentissage ViSA. (2011) 63-94. Mottier Lopez, L. (2012). La régulation des apprentissages en classe. Bruxelles : De Boeck. Mottier Lopez, L. (2008). Apprentissage situé : la microculture de classe en mathématiques. Bern: P. Lang. Ouzoulias, A. (2004). La production de textes courts pour prévenir les difficultés dans l’apprentissage de la lecture et/ou pour y remédier. In G. Toupiol & L. Pastor (Eds.), Comprendre et aider les enfants en difficulté scolaire. (pp. 149-202). Paris : FNAME-Retz. Rochex, J.-Y. & Crinion, J. (Eds.) (2011). La construction des inégalités scolaires au cœur des pratiques et des dispositifs d’enseignement. Rennes : Presse Universitaires de Rennes. Soulé, Y., & Bucheton, D. (2011). Gestes professionnels, posture d’évaluation et rapport à la norme dans un atelier d’écriture au cours préparatoire. In J.-C. Chabanne & O. Dezutter (Eds), Les gestes de régulation des apprentissages dans la classe de français. (pp. 129-148). Bruxelles : De Boeck. Theureau, J. (2006). Le cours d’action. Méthode développée. Toulouse : Octarès Editions. Theureau, J. (2004). Le cours d’action. Méthode élémentaire. Toulouse : Octarès Editions. Tourmen, C. (2009). L’activité évaluative et la construction progressive du jugement. In Les Dossiers des Sciences de l’Education, 22, 101-119. 629 COMMUNICATION 3 - LES THÉORICIENS SPONTANÉS: COMMENT DES ÉVALUATEURS CONSTRUISENT ET RÉVISENT LEURS SAVOIRS DANS L’EXPÉRIENCE TOURMEN, Claire, AgroSup Dijon (FR) RÉSUMÉ L’existence et l’importance de “savoirs pratiques” (“practical knowledge”) chez les évaluateurs ont été soulignées dans de nombreuses études en Amérique du Nord (Schwandt, 2008, Fitzpatrick, Christie & Mark, 2008, Donaldson & Lipsey, 2008), même s’il n’y a pas d’accord sur leur définition, leur description ou leur contenu. En nous basant sur des résultats préliminaires (Tourmen, 2009, Berriet et al., 2010) et plusieurs recherches en évaluation et en psychologie du développement, nous avons fait l’hypothèse que des évaluateurs de programmes publics construisaient, dans l’expérience, un ensemble riche de savoirs professionnels sur leurs situations, incluant les programmes, même si ce point est toujours débattu dans le champ (Scriven, 1998, Stame, 2004, Weiss, 1995, Pawson, 2003). D’où notre question de recherche : qu’est-ce que les évaluateurs apprennent exactement dans l’expérience et comment ? Nous avons choisi un cadre constructiviste pour enquêter sur la structure de ces savoirs, notamment sur la forme, le contenu et l’origine des théories exprimées par les évaluateurs, en nous centrant sur les théories qui ont trait aux objets évalués, dans ce cas-ci, des programmes et politiques publics. Nous avons repris la théorie piagétienne des apprentissages (1947), complétée par les nouveaux développements offerts par les modèles « probabilistes » (ou « bayésiens ») des apprentissages (Pearl, 2000, Gopnik et Wellman, 2012) développés récemment en Intelligence Artificielle (AI), psychologie cognitive et développementale, et en philosophie des sciences. Pour étudier systématiquement les savoirs des évaluateurs, nous avons mené de longs « entretiens d’explicitation » (Vermersch, 1994) avec 9 évaluateurs de programme expérimentés, spécialisés en éducation, agroenvironnement ou généralistes. Les savoirs professionnels sont difficiles à étudier car ils sont fortement liés à l’activité et seulement partiellement conscients, raison pour laquelle nous avons choisi de conduire des entretiens d’explicitation selon la méthode développée par Pierre Vermersch après Piaget, visant à provoquer une « prise de conscience » chez les sujets (Vermersch, 1994). Les résultats montrent que les évaluateurs ont exprimé un riche ensemble de savoirs sur les programmes, clairement relié à leur expérience. Cela vérifie l’hypothèse de Shadish, Cook et Leviton (1991) pour qui les évaluateurs seraient des « théoriciens spontanés » de « la programmation sociale et politique ». Après avoir examiné la forme et le contenu de ces savoirs, nous examinerons leur développement à travers l’expérience et au contact de lectures et de chercheurs. Nous examinerons enfin la relation semi-consciente que les évaluateurs entretiennent avec leurs théories, avant de conclure sur les implications de ces résultats pour la formation des évaluateurs. Références Berriet-Solliec, M., Le Roy, A., Tourmen, C., Lepicier, D. & Millot, G. (2010). Evaluation et théorie d’action. Vers une revisite des liens de causalité à partir de l’analyse des leviers. Actes de l’Université 630 d’Eté internationale de la recherche en évaluation des politiques publiques, sous l’égide de la Société Française d’Evaluation, 30 août- 3 septembre 2010, Lille. Donaldson, S. I. & Lipsey, M. W. (2008). Roles for theory in contemporary evaluation practice: Developing practical knowledge. In I. Shaw, J. Greene, & M. Mark (Eds.). Handbook of evaluation. London: Sage. Fitzpatrick, J. L., Christie, T. A., & Mark, M. M. (2008). Evaluation in action: Interviews with Expert Evaluators. Thousand Oaks, CA: Sage. Gopnik, A. & Wellman, H. (2012). Reconstructing constructivism : causal models, bayesian learning mechanisms and the theory theory. Psychological bulletin 138(6). Pawson, R. (2003). Nothing as practical as good theory. Evaluation 9(4), 471-490. Pearl, J. (2000). Models, reasoning and inference. Cambridge: Cambridge University Press. Piaget, J. (1947). Psychologie de l’intelligence. Paris : Colin. Schwandt, T. (2008). The relevance of practical knowledge traditions to evaluation practice. In Smith, N.L. and Brandon, P.R. (Eds.). Fundamental issues in evaluation. New York: The Guilford Press, 29-40. Scriven, M. (1998). The Least Theory that Practice Requires. American Journal of Evaluation 19(1), 57–72. Shadish, W.R., Cook, T.D. & Leviton, L.C. (1991). Foundations of Program Evaluation Theories of Practice. Newbury Park: Sage publications. Stame, N. (2004). Theory-based evaluation and types of complexity. Evaluation 10(1), 58-76. Tourmen, C. (2009). Evaluators’ Decision Making: Between Theory, Practice and Experience. American Journal of Evaluation 30-1, 7-30. Vermersch, P. (1994). L’entretien d’explicitation en formation initiale et en formation continue. Paris: Esf. Weiss, C. (1995). Nothing as practical as good theory: Exploring theory-based evaluation for comprehensive community initiatives for children and families. In . P. Connell, A. C. Kubisch, L. B. Schorr, and C. H. Weiss (Eds.). New approaches to evaluating community initiatives: Concepts, methods, and contexts. Washington, DC: Aspen Institute, 65-92. 631 TRANSITION VERS LE NUMÉRIQUE: QUELLES IMPLICATIONS POUR L’ÉVALUATION DES ÉLÈVES ET LEURS APPRENTISSAGES? (ID 81) ROCHER, Thierry, DEPP (FR) RÉSUMÉ Les dispositifs d’évaluation standardisée des élèves connaissent aujourd’hui une période que l’on pourrait qualifier de transition, passant d’un format majoritairement dominé par le papier, vers un environnement totalement numérique. Cette période soulève de nombreuses interrogations, à la fois théoriques et pratiques, et pose de façon plus concrète la question de l’interface entre évaluation et apprentissage. Sur le fond, des problématiques importantes apparaissent autour des nouvelles formes de compétences, à l’œuvre dans l’environnement numérique. Certaines tâches sont condamnées, ou doivent être envisagées sous un nouvel angle ; de nouvelles apparaissent, notamment en lien avec l’interactivité de l’outil. En outre, le nouveau format met en jeu des dimensions spécifiques à l’outil numérique, qu’il convient d’analyser et d’intégrer (ergonomie, utilisabilité). Il génère des données d’un type nouveau, en masse, dont l’analyse pertinente doit encore faire ses preuves (dans la mouvance des « big data »). D’un point de vue pratique, si le gain financier semble avéré en comparaison du format papiercrayon, de nombreuses difficultés restent à traiter : hétérogénéité des équipements informatiques dans les écoles, modification des conditions de passation, sécurité et confidentialité des données, etc. En outre, le choix de solutions informatiques adaptées est complexe, et implique des décisions stratégiques (positionnement open-source/propriétaire, droits, etc.) Cette évolution interroge plus généralement sur la place du numérique dans le monde éducatif, notamment sur le degré d’exposition des élèves à l’environnement informatique ou sur l’appropriation effective des possibilités offertes par l’outil numérique dans les pratiques pédagogiques. Ces dimensions sont encore à des stades de développement très hétérogènes, selon les contextes sociaux et scolaires. Le risque d’un décalage entre les nouvelles modalités d’évaluation et les pratiques de classes doit être pris en compte. Enfin, de façon plus prospective, ces nouvelles modalités pourraient sans doute conduire à repenser la situation d’évaluation elle-même, comme partie intégrante de l’activité d’apprentissage, et non plus envisagée séparément. Il est permis de penser que l’apparition de situations potentiellement plus riches, en association avec l’analyse en temps réel des données générées par l’activité de l’élève, puissent conduire vers un nouvel horizon en matière d’évaluation, plus directement en phase avec l’apprentissage. 632 COMMUNICATION 1 - TOUR D’HORIZON DES CONTRAINTES ET OPPORTUNITÉS LIÉES À LA MUTATION NUMÉRIQUE, DANS LE CADRE DES PROGRAMMES D’ÉVALUATIONS STANDARDISÉES CONDUITS EN FRANCE ROCHER, Thierry, DEPP (FR) Résumé En France, les programmes d’évaluations standardisées des compétences des élèves entament leur mue vers le format numérique. Un processus d’adaptation est en route, impliquant différents niveaux de transformations et différentes pistes de réflexion. Nous nous proposons de balayer ces problématiques qui concernent à la fois le suivi des indicateurs de résultats, les contraintes pratiques liées à l’outil informatique, ainsi que les opportunités nouvelles qu’offre le format numérique, notamment en matière de situations d’évaluation et de données recueillies. Les dispositifs d’évaluations standardisées conduits en France ont pour but de rendre compte des résultats du système éducatif et de leur évolution dans le temps (Trosseille et Rocher, 2015). La première préoccupation posée par ce passage au numérique concerne donc la continuité des indicateurs de résultats. En effet, la comparabilité des deux modes d’évaluation (papier-crayon et numérique) pose question. D’une part, la transposition exacte d’items d’un support à l’autre est sinon difficile, voire inadaptée (par exemple, la lecture de textes longs et continus, la production de tracés géométriques, etc). Même dans le cas d’une simple dématérialisation, la comparabilité de la difficulté des situations d’évaluation n’est clairement pas assurée (cf. par exemple, Arzoumanian, Bessonneau et Pastor, 2015). En outre, les différences de performance selon les deux modes peuvent varier selon les élèves car le format numérique implique l’intervention de dimensions potentiellement reliées à leurs caractéristiques socio-démographiques, comme la manipulation de l’outil informatique ou la motivation envers la situation d’évaluation. Tous ces paramètres conduisent à penser que le passage au format numérique induira une rupture dans les séries d’indicateurs, tant s’agissant de la mesure des performances moyennes que de la mesure de l’équité. De notre point de vue, les grandes enquêtes d’évaluation diachroniques, incluant les évaluations internationales, devront probablement faire le deuil de la continuité des séries, et devront plutôt porter leurs efforts sur les nouvelles possibilités offertes par l’outil numérique. Sur le plan pratique, le passage au numérique à des implications intéressantes, mais sous contraintes. Un avantage évident est celui du coût de ces opérations, qui est potentiellement divisé par cinq, en comparaison d’une évaluation de type papier-crayon, selon nos estimations concernant les évaluations menées en France. En outre, étant donné les taux d’équipement toujours croissants des établissements scolaires, l’implémentation de ces évaluations peut s’envisager à une très grande échelle, pour un coût marginal faible. Cependant, il est frappant d’observer, tout au moins en France, la très grande hétérogénéité des équipements informatiques, même dans l’enseignement secondaire. Les conditions d’accès à Internet sont également de qualité très variables, fragilisant ainsi les passations de type full web. Le choix des solutions techniques dépend de ces contingences matérielles et doit s’envisager en lien avec le contenu des évaluations et avec les données que l’on 633 souhaite recueillir. Par exemple, dans les conditions actuelles, une passation de type full web est peu compatible avec un recueil de données de qualité s’agissant des temps de réponse des élèves. Le recours à une installation locale ou via des clés USB semble alors une solution plus adaptée. Autre exemple, les écoles primaires étant majoritairement très peu équipées, des solutions sous forme de classes mobiles utilisant des tablettes numériques sont à l’étude, ce qui a des implications sur le type d’items proposés. On le voit, l’implémentation d’évaluations numériques intègre dans une même réflexion les contraintes matérielles et les objectifs de l’évaluation. Sur le plan de la mesure, il est évident que nouvelles opportunités apparaissent aujourd’hui envisageables. S’agissant des contenus de l’évaluation, de nombreuses possibilités sont offertes, en matière de compétences évaluées. Citons par exemple l’intégration du multimédia, qui permet par exemple, de tester la compréhension de messages vidéos. Citons également le caractère potentiellement interactif de l’outil numérique, qui permet de construire des situations d’évaluation de type essais-erreurs, ou encore des procédures d’évaluations adaptatives. Au-delà des contenus eux-mêmes, les données générées (temps de réponse, données de navigation, etc.) ouvrent également de nouveaux horizons, en matière d’analyse de stratégies ou de profilage des élèves. L’utilisation pertinente de ces données reste encore un champ ouvert d’investigation, impliquant la mise au point de nouvelles procédures d’analyses psychométriques. Au final, ces différents paramètres (outils, formats, compétences, données) se trouvent en phase avec les standards élaborés (socle commun) et s’inscrivent dans les politiques relativement récentes en faveur du développement des outils numériques dans les pratiques pédagogiques. Nous illustrons dans cette présentation ces nombreux aspects qui concernent la mutation numérique, à travers la présentation de plusieurs dispositifs spécifiques, mis en place ou prévus, dont notamment une évaluation à très grande échelle de 160 000 élèves répartis dans toute la France, grâce à la plateforme d’évaluation TAO (Test Assisté par Ordinateur). COMMUNICATION 2 - LEÇONS À TIRER DU TESTING ASSISTÉ PAR ORDINATEUR À LARGE ÉCHELLE DANS LE CADRE DES ÉPREUVES STANDARDISÉES (ÉPSTAN) AU LUXEMBOURG FISCHBACH, Antoine, LUCET, Université du Luxembourg (LU) RÉSUMÉ Les Épreuves Standardisées (ÉpStan ; Martin, Ugen, & Fischbach, 2015; Fischbach, Ugen, & Martin, 2014; voir également Dierendonck, Kafaï, Fischbach, Martin, & Ugen, 2015) évaluent de façon rétrospective, au début de chaque nouveau cycle d’apprentissage, si les standards de compétences nationaux du cycle précédent ont été atteints. À l’heure actuelle, seules les classes de Ve/9e passent leurs ÉpStan en ligne. Dans la session 2014 des ÉpStan, nous avons ainsi récolté, sur quatre semaines de testing, plus de 900.000 points de données et plus de 2.300.000 lignes de donnés comportementales y associées. À court terme, plus précisément en 2016, les classes de VIIe/7e passeront au support informatique à leur tour. De plus, dans un avenir proche, une transition vers le numérique est également prévue au niveau des classes de l’enseignement fondamental. Cependant, et contrairement aux classes du secondaire, nous y préconiserons l’utilisation de tablettes tactiles aux « vrais » ordinateurs. Nous préparons ce dernier scénario dès 634 aujourd’hui, et nous récoltons actuellement des données très prometteuses concernant l’utilisation desdites tablettes—à des fins d’assessment—par la population cible. Les premiers pas des ÉpStan dans le monde du numérique étaient tout sauf un succès. Nous avons subi des pertes de données considérables—au-delà des 30 pourcent—et les données récoltées présentaient (au moins partiellement) des anomalies, qui variaient de « petits détails », comme des horodatages (timestamps) chronologiquement impossibles à des problèmes plus substantiels, comme des élèves qui présentaient des données sur des items qu’ils n’avaient jamais traités. Les écoles se plaignaient—à juste titre—que la plateforme s’écroulait régulièrement, les élèves se plaignaient à leur tour—à nouveau à juste titre—que leurs réponses avaient disparu lorsqu’ils renaviguaient à travers les items déjà traités, la minuterie semblait ajouter (ou enlever) des minutes de façon purement aléatoire, etc. Ceci dit, malgré nos préparations minutieuses et un investissement humain exemplaire, la première passation numérique des ÉpStan était cauchemardesque pour toutes les parties impliquées. Heureusement, l’histoire ne s’est pas arrêtée là, et la « réussite » d’aujourd’hui résulte d’une analyse rigoureuse et d’un apprentissage des erreurs du passé. Les apprentissages principaux peuvent être résumés comme suit: (1) « Less is more » (cf. Cohen, 1990) ou, autrement dit, préconisez le spécifique au générique. Chaque fonctionnalité supplémentaire est potentiellement une source d’erreur supplémentaire. Tout le monde—nous-mêmes inclus—qui passe au numérique, rêve in fine d’items complexes et interactifs, fusionnant parfaitement évaluation et apprentissage. La réalité est pourtant la suivante : la grande majorité des beaux outils complexes n’ont guère dépassé le stade de mockup et, après avoir sondé le terrain, vous finirez par commencer votre conquête du numérique—comme de nombreux collègues avant vous—en optant pour une « simple » transposition d’items classiques d’un support papier/crayon sur un support informatisé (voir p.ex. Bunderson, Inouye, & Olsen, 1988). Dans cet esprit, priorisez une plateforme qui soit surtout adaptée à vos besoins de testing actuels. (2) « Service is key », considérez que le numérique n’est pas automatique. Vous avez largement étudié le testing assisté par ordinateur et pourtant, le jour J, jour de la première passation—de préférence à large échelle—, votre seule certitude sera que le succès de votre opération est incertain. Sachiez que les professionnels du terrain, à savoir les directions et enseignants qui ont organisé les passations dans leurs écoles, partagent votre inquiétude tout en étant moins informés et préparés que vous. Il revient donc à vous de les encadrer et de les rassurer. Ce service au client commence avant les passations, en offrant des accès préliminaires à la plateforme—bien-sûr sans donner accès aux tests—afin que les enseignants et techniciens des écoles puissent se familiariser avec l’outil et identifier, voire prévenir d’éventuelles incompatibilités avec leur matériel/réseau informatique. Le service continue pendant toute la période de testing, où l’équipe ÉpStan assure une helpline par téléphone et par mail. Afin de pouvoir intervenir le plus efficacement possible, nous avons instauré un monitoring (en temps réel) du monitoring. Il en résulte que nous pouvons réagir au problème avant même qu’il ne nous soit communiqué par téléphone et/ou courriel, voire même agir de façon préventive pour éviter qu’un problème potentiel ne devienne un problème réel. (3) « Safety first », investissez dans le volet sécurité. En 2014, les ÉpStan étaient victime d’une attaque informatique du type Distributed Denial of Service (DDoS) ; une attaque numérique plutôt facile d’un point de vue technique, mais malheureusement très efficace. Résultat : plus de 600 passations ont été interrompues et les données desdites passations corrompues. Une enquête pénale a révélé que le coupable était un étudiant qui était lui-même censé participer auxdites 635 épreuves. Informez-vous, appropriez-vous les bases de la sécurité informatique—bon nombre de vulnérabilités sont facilement remédiables—développez votre plateforme en veillant à sa sécurité et faites intervenir les experts. Un audit du code de la plateforme et des tests d’intrusion dans l’infrastructure devraient aider à identifier—et à résoudre—les lacunes les plus graves et les plus courantes. Ceci dit, dès qu’on fonctionne en « full web », on devient vulnérable. Un système de testing « full web » à 100 pourcent sécurisé n’existe pas, et l’optimisation de la sécurité de la plateforme est toujours une fonction inverse à son usabilité. En parlant d’usabilité… (4) « The customer is always right », connaissez vos usagers et développez sur mesure pour ceuxci. L’expérience de l’usager est une variable clé dans la quête de données de haute qualité. Une interface qui vous paraît bien, ou qui paraît logique à votre développeur, risque d’être un vrai cassetête pour l’usager final et par-là un risque pour la qualité de vos données et la validité de votre mesure. Rentrez en dialogue avec votre population cible, analysez rigoureusement leurs interactions avec votre plateforme et faites-le, à nouveau, en consultant des professionnels, parce que l’usabilité est un véritable domaine d’expertise (et de recherche). Références Bunderson, C. V., Inouye, D. K., & Olsen, J. B. (1988). The four generations of computerized educational measurement (ETS Research Report). Princeton, New Jersey: ETS. Cohen, J. (1990). Things I have learned (so far). American Psychologist, 45(12), 1304–1312. http://doi.org/10.1037/0003-066X.45.12.1304 Dierendonck, C., Kafaï, A., Fischbach, A., Martin, R., & Ugen, S. (2015). Les Épreuves Standardisées : Élément-clé du pilotage du système éducatif luxembourgeois. Éducation & Formations, 86-87, 61–81. Fischbach, A., Ugen, S., & Martin, R. (Eds.). (2014). ÉpStan technical report. Luxembourg: University of Luxembourg. Martin, R., Ugen, S., & Fischbach, A. (Eds.). (2015). Épreuves Standardisées: Bildungsmonitoring für Luxemburg. Nationaler Bericht 2011 bis 2013 [Épreuves Standardisées: School monitoring for Luxembourg. National report 2011 to 2013]. Esch/Alzette: University of Luxembourg, LUCET. COMMUNICATION 3 - LA NUMÉRISATION DES ÉVALUATIONS À GRANDE ÉCHELLE, UNE DÉCISION STRATÉGIQUE POUR LE DÉVELOPPEMENT DE LA QUALITÉ DU SYSTÈME ÉDUCATIF FÜEG, J. Résumé Les avantages et inconvénients respectifs du numérique ou du format papier-crayon pour la mesure des compétences des élèves sont souvent discutés selon une approche méthodologique ou à la lumière de critères économiques. Mais un troisième aspect, lui aussi important, mérite d’être pris en considération, celui des interactions générées par la réalisation auprès de milliers d’élèves d’une évaluation assistée par ordinateur. La réflexion sur les impacts potentiels de la numérisation 636 peut enfin aboutir à faire un choix et à l’appliquer au titre d’une décision stratégique s’inscrivant dans la démarche de développement de la qualité du système éducatif. Une première interaction a lieu entre la réalisation numérisée d’un test d’évaluation à grande échelle et l’environnement pédagogique et didactique des salles de classe. Il suffit de jeter un œil sur la situation actuelle en Suisse pour s’en rendre compte. En Suisse, les tests s’inscrivant dans le cadre du processus de Vérification de l’atteinte des compétences fondamentales se feront autant que possible au moyen d’un ordinateur. Il s’agit d’un processus qui a la fonction d’une évaluation systémique et qui fait appel à la solution TAO comme plate-forme d’évaluation en ligne. Si en 11e année (fin de la scolarité obligatoire) les compétences fondamentales sont évaluées en utilisant l’infrastructure TIC dont sont équipées les écoles, pour les tests réalisés en 8e année (fin du degré élémentaire/primaire), en revanche, le format papier-crayon peut sembler plus adéquat et mieux correspondre aux pratiques courantes de l’enseignement à ce niveau; selon cette argumentation, il faudrait donc le préférer au format numérique. Mais si l’on adopte le point de vue d’un concepteur d’items de test ou d’un spécialiste de la didactique des disciplines, on privilégiera plutôt un environnement basé sur des appareils à écran tactile et permettant de faire également intervenir des items complexes. Or, dans les faits, tous les établissements scolaires suisses de la fin du degré primaire ne possèdent pas un équipement informatique complet, et les élèves de cet âge n’utilisent normalement pas leurs propres appareils en classe. On pourrait donc envisager de livrer les tests sur des appareils fournis en même temps par l’organisateur. L’alternative est la suivante: faut-il réaliser l’évaluation sur papier par égard pour l’environnement d’apprentissage dominant ou franchir le pas et accélérer l’évolution digitale de l’enseignement en faisant le choix d’un test assisté par ordinateur? Une seconde interaction se produit avec le cadre de référence qui sous-tend le test. La modélisation de la compétence en lecture dans le cadre de référence repose encore en grande partie sur des domaines de compétence “basés sur le papier”, si bien qu’il peut déjà sembler problématique de représenter sur écran les items de test qui en sont tirés. A l’inverse, il se pourrait que des items relativement complexes aient à leur tour un impact sur l’évolution du cadre de référence. Enfin, une troisième interaction s’opère avec l’intégration des TIC dans l’enseignement et avec la dynamique de l’évolution digitale, qui tendent à venir bousculer la politique de qualité du développement de l’enseignement généralement dictée par les autorités. Les tests assistés par ordinateur ou, plus exactement, les items utilisés dans ces tests peuvent par exemple être considérés comme un élément du processus d’apprentissage. Mais d’autres éléments interreliés viennent s’y ajouter, tels que l’accès aux ressources électroniques d’enseignement et d’apprentissage, voire l’existence même de ressources pouvant s’inscrire dans le cadre de référence, ou encore l’utilisation d’une identité digitale unique pour chaque individu du système éducatif. 637 COMMUNICATION 4 - L’UTILISABILITÉ ET LES NOUVELLES FORMES D’ÉVALUATION: POURQUOI LES MÉTHODES D’INTERACTION HOMME-MACHINE AMÉLIORENT LA QUALITÉ ET L’ÉQUITÉ DES ÉVALUATIONS INFORMATISÉES KOENIG, Vincent, Institute of Cognitive Science and Assessment, Université du Luxembourg (LU) RÉSUMÉ Nous constatons une multiplication des évaluations, tant dans le milieu de l’éducation que dans celui des activités professionnelles. Cette tendance a été accélérée davantage avec la démocratisation rapide du numérique, mettant en perspective de multiples avantages que seul l’informatisation pourrait offrir (Bennett, 1998). Ce changement de paradigmes soulève cependant des problèmes d’un nouveau type, problèmes que la communauté du « CBA » (Computer Based Asessment) n’a pas encore identifiés. En effet, bien des efforts sont investis pour développer de nouveaux formats d’items, pour transposer des outils d’un mode papier & crayon vers l’ordinateur, pour développer des systèmes d’administration de test, pour constituer des bases de tests informatisés volumineuses ou encore pour le respect des exigences psychométriques inhérentes à chaque évaluation. Ceci fait référence notamment à l’exigence qu’un test permet une mesure valide et fidèle des phénomènes à tester, tel que ceci a été fait avant la propagation du numérique. D’un point de vue candidat, le test basé sur ordinateur fait cependant appel à des exigences et tâches supplémentaires, qui n’ont pas existé pour le papier & crayon ; alors qu’il y a un problème à résoudre dans ce dernier cas, l’environnement informatisé impose la tâche supplémentaire de la maîtrise de l’outil d’évaluation informatisé – tâche beaucoup moins anodine que l’on n’ait tendance à croire. En effet, il est surprenant de constater que les compétences à l’usage des TIC dont disposent les étudiants, ne sont pas prises en compte lors du développement d’outils informatisés. De rares fois, elles sont prises en compte, sur base d’une hypothèse trop simpliste selon laquelle les étudiants d’aujourd’hui sont des « digital natives », au même niveau qu’ils ont été des « paper & pencil natives » auparavant. Il en résulte que le développement de tests informatisés se concentre majoritairement sur des aspects techniques et psychométriques, faisant l’impasse sur les nouvelles complexités et tâches additionnelles qu’imposent les nouvelles formes d’évaluation (Noyes & Garland, 2008). Nos recherches ont mis en évidence des conséquences potentiellement dramatiques : un test informatisé qui ne permet pas une interaction homme-machine optimale est susceptible de compromettre ses propriétés psychométriques et donc de compromettre la qualité des résultats. Attendu que des décisions importantes voire des politiques d’éducation entières sont basées sur de tels résultats, il va de soi que les IHM méritent une prise en compte bien plus systématique dans le domaine des tests informatisés (Weinerth, Koenig, Brunner & Martin, 2014). Cette présentation propose une sélection de trois projets illustrant les enjeux, bénéfices et méthodes d’une approche centrée sur l’utilisateur. (1) Le projet « usability in CBA » a systématiquement investigué les liens entre IHM et résultats aux tests informatisés afin de mieux comprendre et qualifier ces liens. Pour les objectifs de ce projet, 638 nous avons procédé au développement d’un item numérique de type « concept map ». Une première version présentait une qualité d’interaction en termes d’utilisabilité (ISO 9241-11) au moins équivalente aux outils typiquement déployés dans des tests basés sur ordinateur. Cette version nous a servi à poser un niveau de base et d’enregistrer les résultats obtenus. Ensuite, nous avons itérativement amélioré les propriétés d’interaction selon un processus centré utilisateur, en déterminant à chaque étape les résultats qu’obtient un échantillon aléatoire d’étudiants à l’usage de cet outil. Une étape finale du projet consistait à comparer les résultats obtenus grâce à ces différentes versions lors d’une récolte de données plus large en milieu scolaire. La présentation informe sur les méthodes suivies, les résultats obtenus et propose des leçons en vue de qualités psychométriques accrues. (2) Cet exemple illustre comment l’intégration rigoureuse des méthodes de design et d’évaluation propres au développement centré sur l’utilisateur a contribué au succès d’une plateforme qui sert annuellement à tester quelque 22000 élèves au Luxembourg. L’illustration permet de dériver des leçons transférables à d’autres projets. (3) Grâce à ce projet, nous illustrons comment des technologies spécifiques peuvent être déployées afin de servir des besoins précis d’évaluation. L’accent est mis sur le développement centré sur l’utilisateur qui a permis de développer un outil mobile en parfaite harmonie avec les besoins des utilisateurs et des commanditaires, dans l’objectif d’améliorer les évaluations de cours à l’Université du Luxembourg. Nous illustrons toutes les étapes du processus, y inclus la validation. Les projets décrits dans la présente contribution permettent une compréhension meilleure des impacts de l’utilisabilité sur les résultats d’évaluation ainsi que sur l’équité à l’évaluation ; ils illustrent également les risques pour les décisions fondées sur de telles données. Il en découle des leçons transférables. Ensuite, il est légitime de s’interroger sur les liens entre ces nouvelles formes d’évaluation et les apprentissages. Il est vrai qu’un lien général de complémentarité existe entre l’utilisabilité et l’apprentissage à la maîtrise d’un outil. Ainsi, il est possible de pallier, dans une certaine mesure, à un manque d’utilisabilité grâce à des usages répétés ou formations ciblées. Il est cependant évident qu’une telle opération, à large échelle, demande bien plus de ressources que la simple mise en adéquation de l’outil d’évaluation. En plus du problème de la variabilité à travers les classes d’une école, à travers les établissements, à travers les pays, si bien que les problèmes d’hétérogénéité et d’équité nécessitent d’autres solutions, dont la prise en compte systématique des IHM dans le développement de toute évaluation basée sur ordinateur. Enfin, il y a lieu de s’interroger sur le rôle que peuvent jouer ces nouvelles formes d’évaluation, pour l’étudiant, dans son processus prolongé d’apprentissage(s) et d’acceptation (Thelwall, 2000; Terzis and Economides, 2011). C’est un des objectifs de nos prochaines recherches : comme point de départ nous considérons nos résultats sur le rôle de l’utilisabilité afin d’approfondir et d’élargir nos analyses grâce au concept de « user experience » (Hassenzahl, 2010). Ce concept permet notamment une prise en compte des besoins psychologiques des utilisateurs et va au delà des aspects plus pragmatiques auxquels s’intéresse l’utilisabilité. Une question fondamentale que nous investiguerons concernera le rôle de l’évaluation (basée sur ordinateur) dans les nouvelles formes d’apprentissage (p.ex. MOOCs), notamment à travers la prise en compte des besoins psychologiques des candidats. 639 Références Bennett, R. E. (1998). Reinventing assessment: Speculations on the future of large scale educational testing. Princeton, NJ: Educational Testing Service, Policy Information Center. Hassenzahl, M. (2010). Experience Design: Technology for All the Right Reasons. Synthesis Lectures on Human-Centered Informatics, 3, 1, 1-95. ISO. 9241-210 (1998): Ergonomics of human-system interaction-Part 11. International Organization for Standardization, 1998. Noyes, J.M., & Garland, K.J. (2008). Computer- vs. paper-based tasks: Are they equivalent? Ergonomics, 51 (9), 1352-1375. Terzis, V., & Economides, A. (2011). The acceptance and use of computer based assessment. Computers & Education, 56(4), 1032–1044. Thelwall, M. (2000). Computer-based assessment: a versatile educational tool. Computers and Education, 34(1), 37–49. Weinerth, K., Koenig, V., Brunner, M., & Martin, R. (2014). Concept maps: A useful and usable tool for computer-based knowledge assessment? A literature review with a focus on usability. Computers & Education, 78, 201-209. doi: 10.1016/j.compedu.2014.06.002 COMMUNICATION 5 - ENVIRONNEMENT D’APPRENTISSAGE NUMÉRIQUE : LA RICHESSE DE L’APPRENTISSAGE PERSONNALISÉ; ENJEUX ET CONDITIONS LIÉS À L’ÉVALUATION ET À LA RÉUSSITE DES ÉLÈVES EN MATHÉMATIQUES AU LUXEMBOURG KAFAÏ-AFIF, Amina, ADQS, Ministère de l’Éducation nationale, de l’Enfance et de la Jeunesse, Luxembourg (LU) RÉSUMÉ Afin de favoriser le développement des compétences du 21ème siècle, l’apprentissage personnalisé et l’engagement des élèves, l’École luxembourgeoise se met progressivement sur le rail de la technologie. Si cette tendance globale est de plus en plus marquée, force est de reconnaître qu’améliorer la qualité de l’enseignement et de l’apprentissage, en changeant le processus pédagogique à travers le numérique, est une entreprise ambitieuse. Cette présentation portera sur MathemaTIC, une initiative nationale encore à ses débuts, qui a pour but de développer et de fournir un environnement d’apprentissage numérique adapté aux socles de mathématiques luxembourgeois pour les élèves de Cycle 4 (5ème et 6ème années d’études) de l’enseignement fondamental. Nous traiterons la richesse et les défis qu’offre l’environnement MathemaTIC, les enjeux et les conditions liés à la réussite de son implémentation ainsi que les risques à envisager pendant cette période de transition vers le numérique des modalités d’’évaluation et d’apprentissage. En effet, le système éducatif luxembourgeois se heurte depuis de nombreuses années à une hétérogénéité grandissante de la population scolaire, notamment en matière d’origines migratoires, linguistiques et sociales. Pour mieux encadrer tous les élèves, les enseignants ont besoin d’un 640 environnement d’apprentissage à la fois solide et souple afin de personnaliser, individualiser et différencier les cours selon le besoin et le rythme de chaque élève. Dans cette optique, il est important de pouvoir identifier les caractéristiques des élèves, tels que les connaissances et compétences acquis, les profils d’apprentissage, les traits de personnalité, etc., puis de tirer parti de cette information pour que chaque élève puisse disposer d’un parcours d’apprentissage personnalisé. Une telle approche ne correspond pas vraiment à l’enseignement traditionnel, qui consiste plutôt à faire progresser tous les élèves au même rythme, en utilisant les mêmes outils pédaogiques quels que soient les élèves. A l’inverse, les progrès technologiques et numériques nous offrent aujourd’hui l’opportunité de profiter de cette personnalisation de l’enseignement et de l’apprentissage. L’évaluation de l'apprentissage, effectué le plus souvent au moyen de contrôles réguliers de type papier-crayon, est elle-même renouvellée avec le recours à des évaluations en ligne, souvent intégrées à des situations d'apprentissage et offrant à l’élève un retour en temps réel sur son activité. Une évaluation adaptative dans un environnement numérique permet de de mesurer précisément les acquis de l’élève de déterminer son profil en fonction de son niveau, de ses difficultés, de son mode d’apprentissage. La plateforme numérique propose ensuite un parcours adapté à chaque élève. Elle permet également à l’enseignant de définir une stratégie pédagogique et de générer des activités (exercices, travail individuel ou en groupe) pour l’élève. La technologie facilite ainsi l’évaluation formative et renforce l’apprentissage des élèves. Cependant, même si l’évaluation numérique semble offrir une alternative attrayante, plusieurs défis méthodologiques, techniques et pratiques liés à l’évaluation des élèves et aux données recueillies, sont à considérer pour honorer la promesse de personnaliser et d’individualiser l’apprentissage. Parmi ces défis, citons notamment la création d’items numériques de mathématiques fiables et rigoureusement ancrés dans les socles d’apprentissage, l’élaboration automatique de profils d’élèves à partir de plusieurs sources de données d’évaluations formatives, ou encore la création pour chaque élève d’un parcours pédagogique vraiment adapté à ses besoins. Malgré la nécessité incontournable de pouvoir disposer de ces informations détaillées pour la réussite scolaire, les politiques nationales relatives à la protection des données à caractère personnel freinent souvent cette personnalisation en limitant l’accès à celles-ci aux parents, enseignants et chercheurs. Par ailleurs, l’environnement numérique prodigue aux enseignants et aux élèves, en guise de retour formatif, des quantités très importantes d’informations. L'analyse de ces données peut s’avérer être un processus fastidieux qui ne filtre pas forcément de manière efficace ce que les enseignants ou les élèves veulent savoir. Les enseignants doivent pourtant s’engager à utiliser ces informations de façon décisive pour améliorer l’enseignement : ils doivent visualiser les compétences des élèves au début de l’apprentissage, suivre leurs parcours à travers les activités effectuées et réagir sur des retours en temps réels. En outre, l’École est organisée en fonction de cohortes d’âge et les enseignants différencient de la même manière les élèves au sein de la classe – la tâche de personnalisation devenant donc un vrai défi pour eux dans un modèle traditionnel. D’où l’importance d’offrir une formation continue adaptée qui se rapporte directement au travail en classe, ainsi qu’un accompagnement étroit, afin de préparer les enseignants à revoir leurs pratiques pédagogiques et à créer de nouveaux dispositifs d’apprentissage relatifs au travail en autonomie, en groupe ou individuel. Par ailleurs, les parents auront aussi besoin d’accéder à toute l’information concernant l’évaluation et de gérer l’accès au profil de leur enfant. Au-delà de la gestion des données des élèves, la généralisation et l’adhésion à cet environnement d’apprentissage numérique exige de l’École d’investir dans l’infrastructure et 641 l’équipement adéquats pour recueillir toutes ces informations et d’inciter les acteurs scolaires à s’approprier ce nouvel environnement. L’évaluation des performances des élèves dans cet environnement d’apprentissage numérique entraîne donc la création de nouvelles données personnalisées et de structures innovantes pour le stockage et le traitement de ces données, l’accompagnement accru des acteurs scolaires dans la lecture et l’interprétation des informations avant même leur utilisation pour améliorer l’apprentissage. Cette présentation mettra en lumière les défis énumérés ci-dessus par rapport à l’implémentation de ce nouvel environnement d'apprentissage numérique, utilisé depuis avril 2015 par une centaine d’écoles fondamentales au Luxembourg dans le cadre d’une initiative nationale pour augmenter significativement les chances des élèves de réussir en mathématiques. 642 L’ÉVALUATION DES PRATIQUES INNOVANTES ET DE LEUR IMPACT SUR LES APPRENTISSAGES (ID 93) COLET, Nicole Rege, IDIP, Université de Strasbourg (FR) RÉSUMÉ Inscrit dans l’axe « Evaluation et enseignement supérieur » du 28ème congrès de l’Admée sur l’évaluation et les apprentissages, ce symposium propose d’aborder la question de l’évaluation des pratiques pédagogiques innovantes des enseignants-chercheurs et d’examiner l’impact de ces innovations pédagogiques sur leurs apprentissages. Ici, nous proposons de considérer les apprentissages non pas des étudiants, mais plutôt ceux des enseignants-chercheurs engagés dans des démarches de développement professionnel. Le programme est certes ambitieux et le choix des mots du titre en annonce d’emblée l’ampleur. Comment évaluer les pratiques d’enseignement innovantes ? Comment mesurer leur impact sur les apprentissages? Peut-on évoquer ensuite une relation entre les pratiques d’enseignement et les apprentissages des étudiants ? Ne faudrait-il pas mieux évoquer les retombées sans chercher à mettre en évidence une causalité forte, de l’ordre d’un impact, qui ne pourrait exister ? Pourquoi une telle quête héroïque ? L’approche adoptée tient au fait que ce symposium réunit des spécialistes de la pédagogie de l’enseignement supérieur, soit des enseignants, des chercheurs et des praticiens - au titre de conseiller pédagogique - qui se penchent sur le développement professionnel des enseignants du supérieur. Leur travail consiste précisément à soutenir l’émergence de leurs compétences pédagogiques, à les aider à se développer au titre d’enseignant du supérieur et à les accompagner dans la découverte et dans l’expérimentation d’innovations pédagogiques. Traditionnellement, l’innovation pédagogique dans l’enseignement supérieur a pour visée de concevoir des parcours de formation formulés en termes de compétences et d’y associer des pratiques pédagogiques au service des apprentissages des étudiants. Incontestablement, la révolution pédagogique de l’enseignement supérieur consiste à quitter le paradigme de la seule transmission des savoirs pour entrer dans un paradigme pédagogique centrée sur les apprentissages des étudiants. Berthiaume et Rege Colet (2013), dans leur ouvrage sur la pédagogie de l’enseignement supérieur, invitent à clarifier les intentions de formation et de formuler les attentes par rapport aux apprentissages des étudiants en termes de compétences. Il s’agit, ensuite, de proposer des contextes d’enseignement et d’apprentissage, puis des modalités d’évaluation, qui permettent aux étudiants de développer les compétences attendues et aux enseignants de mesurer leur progression et leur degré de maîtrise de ces compétences. Ainsi, la révolution pédagogique s’accompagne d’une révolution professionnelle touchant à l’identité professionnelle de l’enseignantchercheur, à ses conceptions et à ses approches de l’enseignement et de l’apprentissage et, in fine, à son développement professionnel. Dans leur ouvrage sur le développement professionnel des enseignants, Rege Colet et Berthiaume (2015) retiennent trois phases de développement professionnel pour les enseignants du supérieur. La première phase, celle des enseignants novices, est souvent associée à une phase de survie pendant laquelle les enseignants apprennent les rudiments du métier et se dotent des outils de base pour enseigner dans une grande variété de situations. Cette phase initiale varie entre un à 643 trois ans selon l’expérience et les possibilités d’apprendre de cette expérience. La deuxième phase, celle des enseignants expérimentés, correspond au développement de l’identité professionnelle. Quel enseignant suis-je ? Quelles sont mes préférences ? Quelles sont les relations que j’ai envie d’entretenir avec mes étudiants ? Cette période d’affirmation de son identité d’enseignant s’étend entre 3 et 10 ans, à nouveau en fonction des expériences personnelles et de l’investissement possible dans les activités d’enseignement. Finalement, la troisième phase, celle des enseignants dits experts, correspond à une phase d’expérimentation dans son enseignement, soit pour éviter de s’enfermer dans une routine, soit pour tenter des choses nouvelles susceptibles de renforcer les apprentissages des étudiants. Puisant dans leurs expériences antérieures, les enseignants experts deviennent des innovateurs. Ils s’efforceront de partager leurs expériences, en particulier avec leurs jeunes collègues qu’ils vont accompagner, tels des mentors, pour passer d’un stade de développement à un autre ou en assumant des fonctions de leader pédagogique dans son établissement en animant, par exemple, des communautés de pratiques ou en initiant des projets transversaux. Indépendamment de ces phases, Rege Colet et Berthiaume (2015) ajoutent que les enseignants se développent selon quatre axes : 1) les activités de formation courtes ou longues ; 2) les activités de conseil-accompagnement en individuel ou en équipe; 3) les pratiques évaluatives, par exemple, l’évaluation de l’enseignement auprès des étudiants (EEE) ; et 4) la recherche appliquée sur son enseignement appelée aussi Scholarship of teaching and learning (SoTL). Les activités de chacun de ces axes permettent aux enseignants de prendre conscience des enjeux de l’enseignement supérieur, de clarifier leurs intentions pédagogiques, de réguler la relation pédagogique avec leurs étudiants et d’aligner leurs pratiques pédagogiques sur les besoins des étudiants. Au cœur de cette démarche, une valeur centrale : les pratiques innovantes doivent avoir un effet bénéfique pour les apprentissages des étudiants. Les centres et les services de pédagogie universitaire s’inscrivent pratiquement tous dans cette philosophie. Les conseillers pédagogiques, les chercheurs et les praticiens de la pédagogie de l’enseignement supérieur multiplient les actions qui permettent aux enseignants de cheminer et de développer leur activité d’enseignement au service des apprentissages de leurs étudiants. Or, que savons-nous des effets de ces actions sur le développement professionnel des enseignants et, par ricochet, sur les retombées pour les apprentissages des étudiants ? C’est précisément à cette question qu’entend répondre ce symposium. En effet, les conseillers pédagogiques (de même que tous les autres acteurs associés à l’innovation pédagogique) ont à documenter les pratiques innovantes et leurs effets. Discuter, évaluer, mesurer l’impact des actions sur les apprentissages des étudiants relève d’une prise de responsabilité nécessaire au développement, puis à la dissémination des pratiques innovantes. Deux objectifs traversent l’ensemble des communications : Examiner l’impact des activités de formation, de conseil-accompagnement, de EEE et de recherche appliquée à l’enseignement sur le développement professionnel des enseignants ; Questionner les démarches de mesure de cet impact. Le symposium a regroupé quatre communications présentant, à tour de rôle, une recherche menée dans l’un des quatre axes du développement professionnel des enseignants du supérieur. Chacune explore le lien entre le développement des pratiques innovantes et les conséquences pour les apprentissages, ceux des enseignants en termes de développement professionnel comme ceux des étudiants. Il y est aussi question d’évaluation et des démarches à déployer pour évaluer 644 correctement les effets du travail d’accompagnement des conseillers pédagogiques sur les pratiques d’enseignement des enseignants. Ce travail d’évaluation n’est pas sans écueil puisque les conseillers pédagogiques, tout comme les enseignants qu’ils accompagnent, auront à cœur de mettre en évidence une valeur ajoutée dans leur travail et dans la présence des structures de développement et d’accompagnement pédagogique dans les établissements d’enseignement supérieur. Pour le premier axe, celui de la formation, Simon Zingaretti de l’Université de Strasbourg, France, présente les résultats d’une enquête qu’il a menée auprès d’enseignants ayant suivi des activités de formation afin de comprendre en quoi ces formations sont susceptibles de modifier leurs conceptions et approches de l’enseignement dans le supérieur. Pour le deuxième axe, celui du conseil-accompagnement, Ariane Dumont de la Haute école spécialisée de Suisse occidentale (HES-SO) rend compte de la démarche de conseil-accompagnement qu’elle a mise en place à l’intention des bénéficiaires d’un fonds d’innovation pédagogique et les résultats de l’enquête qu’elle a menée auprès des enseignants impliqués dans ce programme. Pour le troisième axe, celui de l’évaluation de l’enseignement, Stella Vonie de l’Université de Strasbourg, France, présente les résultats d’une enquête qu’elle a organisée au sein de l’Université pour identifier les pratiques spontanées des enseignants en matière d’EEE et pour en savoir plus sur ce qu’en font les enseignants pour développer leurs enseignements. Pour le quatrième axe, celui de la recherche appliquée à l’enseignement (SoTL), Christelle Lison de l’Université de Sherbrooke, Québec, rend compte d’une activité qu’elle propose à ses étudiants inscrits dans un Diplôme de trois cycle en pédagogie de l’enseignement pour qu’ils deviennent des praticiens chercheurs en menant une recherche appliquée sur les apprentissages de leurs étudiants. En conclusion, Marc Romainville, discutant du symposium, propose quelques suggestions quant à la manière de mesurer et d’évaluer le travail d’accompagnement au développement pédagogique dans l’enseignement supérieur et de s’engager raisonnablement dans une quête héroïque. Références Berthiaume, D. & Rege Colet, N. (Eds) (2013). La pédagogie de l’enseignement supérieur : repères théoriques et applications pratiques. Tome 1. Enseigner au supérieur. Berne : Peter Lang. Rege Colet, N. & Berthiaume, D. (Eds) (2013). La pédagogie de l’enseignement supérieur : repères théoriques et applications pratiques. Tome 2. Se développer au titre d’enseignant dans le supérieur. Berne: Peter Lang. COMMUNICATION 1 - EVALUATION DES ACTIVITÉS DE FORMATION ET DE CONSEILACCOMPAGNEMENT SUR LE DÉVELOPPEMENT PROFESSIONNEL DES ENSEIGNANTS-CHERCHEURS ZINGARETTI, Simon, Université de Strasbourg (FR) RÉSUMÉ L’innovation pédagogique dans l’enseignement supérieur repose incontestablement sur le passage d’une vision centrée sur la transmission des savoirs à une vision centrée sur les apprentissages des étudiants. Ce changement de paradigme ne se fera pas sans les enseignants- 645 chercheurs eux-mêmes. Pour ce faire, des services ou des centres pédagogiques ont vu le jour dans beaucoup d’universités pour accompagner les enseignants dans ce changement de paradigme et pour les soutenir dans leur développement professionnel. Bon nombre de ces services multiplient leurs actions à ces fins. A ce titre, Rege Colet et Berthiaume (2015) proposent quatre leviers d’intervention pour soutenir les enseignants dans leur développement : 1) les formations ; 2) le conseil-accompagnement ; 3) l’évaluation des enseignements par les étudiants ; 4) la recherche appliquée à son enseignement. Que savons-nous des effets de ces actions sur le développement professionnel des enseignants ? Une étude réalisée par l’Institut de développement et d’innovation pédagogiques (Rege Colet et coll., 2014) apporte quelques éléments de réponse. Les premiers résultats de l’enquête semblent indiquer que les formations ont bien un impact sur les enseignants mais uniquement du point de vue de leurs conceptions et non pas de leurs pratiques pédagogiques. Plus précisément, ils déclarent mobiliser davantage les repères théoriques les plus développés pendant les formations, mais ils n’en maîtrisent pas forcément mieux les applications pratiques qui y sont associées. Or, le changement de paradigmes ne se produira pas sans une modification des façons de faire. Comment favoriser, dès lors, le transfert des repères théoriques aux applications pratiques ? Probablement en multipliant les axes d’intervention. C’est en tout cas l’hypothèse que nous faisons dans notre seconde enquête et que nous nous proposons de discuter ici en étudiant l’impact du deuxième levier d’intervention, le conseil-accompagnement, sur le développement professionnel des enseignants du secondaire. Introduction L’innovation pédagogique dans l’enseignement supérieur repose indiscutablement sur le passage d’une vision et d’une approche centrées sur la transmission des savoirs, à une vision et une approche centrées sur les apprentissages des étudiants. Pour ce faire, plusieurs universités ont développé des centres ou des services de pédagogie universitaire pour soutenir le développement professionnel des enseignants-chercheurs afin de les accompagner dans cette démarche. L’institut de développement et d’innovation pédagogiques (Idip) est une de ces structures qui accompagne et soutient les enseignants-chercheurs dans ce changement de paradigme. Rege Colet et Berthiaume (2015) proposent, à ce titre, quatre axes d’intervention pour les accompagner dans leur développement professionnel : 1) les actions de formation ; 2) le conseilaccompagnement ; 3) l’évaluation des enseignements par les étudiants ; et 4) le Scholarship of teaching and learning (SoTL). Mais que savons-nous réellement des effets de ces actions sur les pratiques pédagogiques des enseignants-chercheurs ? Que connaissons-nous de leurs retombées sur le développement professionnel de ces derniers ? Les recherches menées par l’Idip autour de ces questions font parties intégrantes de ses missions. Bien qu’extrêmement délicates à traiter, ne serait-ce qu’à cause de la tentation de justifier sa propre activité, elles restent néanmoins nécessaires à partir du moment où l’on souhaite s’inscrire pleinement dans une démarche d’amélioration continue de son activité. Dès lors, comment observer les retombées d’actions sur un phénomène aussi complexe que celui du développement professionnel des enseignants-chercheurs ? Qu’entendons-nous par-là ? 646 L’objectif de l’enquête Nous n’avons, bien évidemment, pas l’intention de prétendre avoir réussi à cerner l’ensemble du processus complexe du développement professionnel au titre d’enseignant dans le supérieur. A l’intérieur de celui-ci, nous nous sommes intéressés aux conceptions et aux approches qu’ont les enseignants de l’enseignement et de l’apprentissage, c’est-à-dire leur manière de penser l’enseignement et l’apprentissage, et, par conséquence, leur manière de faire dans leur enseignement par rapport aux apprentissages des étudiants. Dans cette communication, nous nous arrêtons plus spécifiquement sur les effets des deux premiers axes d’intervention décrits par Rege Colet et Berthiaume (2015) : les actions de formation et le conseil-accompagnement. L’objectif de cette enquête est de savoir ce que font les enseignants des repères théoriques et des applications pratiques abordés pendant les ateliers de formation et les conseils-accompagnements. Autrement dit, l’enquête cherche à savoir comment nos activités de formation et d’accompagnement impactent les conceptions et les approches des enseignantschercheurs. L’étude s’inscrit dans une démarche longitudinale puisqu’une première enquête a été réalisée en avril 2014 (Rege Colet et coll., 2014). Lors de cette communication, nous nous intéressons à la seconde enquête réalisée en juin 2015 via un questionnaire en ligne. La méthodologie de l’enquête La conception du questionnaire Le questionnaire se compose de trois parties : la première partie est consacrée aux repères théoriques, la deuxième partie aux applications pratiques et la troisième partie au profil des enseignants-chercheurs. Les deux premières parties sont construites de la même manière : un paragraphe d’amorce rappelle le contexte et les raisons de l’enquête, puis suivent des énoncés pour lesquels les répondants sont invités à donner leur degré d’accord avec l’affirmation avancée. Dans la première partie, 14 énoncés correspondaient aux repères théoriques développés pendant les ateliers formations et les conseils-accompagnements. Et dans la deuxième partie, 15 énoncés étaient consacrés aux applications pratiques. Pour chacun des différents énoncés, que ce soit pour les énoncés portant sur les repères théoriques ou ceux portant sur les applications pratiques, les enseignants devaient se positionner sur une échelle d’accord à quatre niveaux. Dans la première partie du questionnaire, l’échelle portait sur le degré de mobilisation des repères théoriques pendant leur activité enseignante ; l’échelle allait de « je n’y pense pratiquement jamais » à « j’invite les collègues à en discuter ». Pour la seconde partie, l’échelle portait sur le degré de maîtrise des différentes applications pratiques ; l’échelle allait de « je ne peux absolument pas réaliser la tâche même avec un accompagnement » à « je peux former un collègue à la faire ». La troisième et dernière partie du questionnaire portait sur le profil des enseignants-chercheurs. Pour ce faire, ils étaient invités à répondre aux 8 questions suivantes : Combien d’ateliers de formation avez-vous suivi ? Quand les avez-vous suivis ? Depuis combien de temps enseignez-vous dans l’enseignement supérieur ? 647 Vous vous qualifiez d’enseignant novice, expérimenté ou expert ? Avez-vous bénéficié d’un conseil-accompagnement ? Si oui, ce conseil-accompagnement était-il en lien avec un atelier de formation que vous avez suivi ? Si vous avez bénéficié d’un conseil-accompagnement, quelle en était la thématique ? Avez-vous déjà participé à la première enquête de l’Idip en avril 2014 ? L’administration du questionnaire Le questionnaire a été mis en ligne et soumis aux enseignants-chercheurs de l’Université de Strasbourg ayant suivi au moins trois ateliers de formation à l’Idip (N = 90) et/ou ayant bénéficié d’au moins un conseil-accompagnement avec l’un des conseillers pédagogiques de l’Idip (N = 25). Le questionnaire a été disponible pendant 3 mois et trois relances par mail ont été effectuées afin de rassembler le maximum de réponses possibles. Sur les 115 enseignants contactés, 45 nous ont retourné le questionnaire dûment complété soit un taux de réponse d’environ 39 %. Les principaux résultats L’expérience et l’auto-perception Nous nous sommes d’abord intéressés aux profils des enseignants. Sur la base de l’ancienneté déclarée, nous avons regroupé les enseignants en trois catégories (Rege Colet & Berthiaume, 2015) : 1) les enseignants novices (enseignants ayant trois ou moins de trois années d’ancienneté), 2) les enseignants expérimentés (enseignants ayant entre quatre et neuf ans d’ancienneté), et 3) les enseignants experts (enseignants ayant dix ou plus d’ancienneté). Nous avons ainsi répertorié 14 enseignants novices, 14 enseignants expérimentés, et 17 enseignants experts. Nous nous sommes ensuite intéressés à la manière dont ils se qualifiaient : 20 enseignants se qualifient comme étant des enseignants novices, 22 comme étant des enseignants expérimentés, et enfin, seulement trois d’entre eux se sont qualifiés d’enseignant expert. Constatant cette différence entre, d’une part, l’expérience effective et, d’autre part, la manière dont ils se qualifient, nous nous sommes donc arrêtés sur cet écart. Pour ce faire, nous avons calculé le pourcentage d’enseignants novices qui se qualifient d’enseignant novice, le pourcentage d’enseignants expérimentés qui se qualifient d’enseignant expérimenté, et enfin, le pourcentage d’enseignants experts qui se qualifient d’enseignant expert (cf. figure 1). 648 100% 90% 80% 70% 60% Auto-percep˜on non alignée avec l'expérience 50% Auto-percep˜on alignée avec l'expérience 40% 30% 20% 10% 0% Novice Expérimenté Expert Figure 1 : L’alignement entre l’expérience effective (novice, expérimenté, expert) et l’auto-perception de l’expérience (novice, expérimenté, expert) Parmi les enseignants que nous avons regroupés comme étant des enseignants novices, 100% d’entre eux se qualifient d’enseignant novice. 71% des enseignants que nous avons catégorisés comme étant des enseignants expérimentés se considèrent expérimentés. Et enfin, seulement 18% des enseignants experts se qualifient d’expert. Nous retrouvons ici les mêmes tendances que celles issues de la première enquête (Rege Colet et coll., 2014), à savoir, que l’auto-perception de son expertise n’est pas toujours alignée avec son expérience effective, surtout chez les enseignants ayant dix ans ou plus d’ancienneté. Ces résultats corroborent nos premières interprétations. Il semble, en effet, que les enseignants experts qui se perçoivent comme étant experts, pour la majorité d’entre eux, ne fréquentent pas l’Idip. En revanche, parmi cette catégorie d’enseignants, ceux qui viennent, sont des enseignants pleinement engagés dans une démarche de développement tout au long de la vie. En fréquentant l’Idip, ils viennent soit valider et consolider des pratiques existantes, soit innover et expérimenter de nouvelles manières de faire. Nous nous sommes ensuite intéressés à leur degré de mobilisation des repères théoriques et à leur degré de maîtrise des applications pratiques. La mobilisation des repères théoriques Pour les repères théoriques, les résultats montrent que certains repères théoriques sont plus mobilisés que d’autres (cf. figure 2). 649 0% 20% 40% 60% 80% 100% Intérêt par˜cipa˜on Clariﬁca˜on objec˜fs Je n'y pense pra˜quement jamais Rôle enseignants/étudiants Composantes de la mo˜va˜on J'y pense quand je discute avec un collègue Travail en groupe Diﬀérence surface/profondeur J'y pense spontanément souvent Adéqua˜on croyances/styles Expérience et réﬂéxivité J'invite les collègues à en discuter Eﬃcacité des styles Connaissances / Compétences Sans avis ou ne sais pas Les modes opératoires Andragogie Mémorisa˜on et développement Obstacles cogni˜fs Figure 2 : Degré de mobilisation des repères théoriques Les repères théoriques les plus mobilisés sont : L’intérêt de la participation des étudiants dans les apprentissages ; L’importance de la clarification des objectifs d’apprentissage ; La clarification des rôles entre enseignant et étudiant ; Les composantes de la motivation des étudiants. A l’inverse, les repères théoriques les moins mobilisés par les enseignants-chercheurs sont : Les modes opératoires ; La notion d’andragogie ; Le développement de l’intelligence ; La place des obstacles cognitifs dans le développement du raisonnement scientifique. Ces résultats confirment ceux de la première enquête. Les repères théoriques qui y étaient les plus mobilisés par les enseignants-chercheurs sont, à quelques-uns près, les mêmes que ceux de cette enquête. Ceci appuie nos premières interprétations, à savoir que les repères théoriques les plus mobilisés par les enseignants sont ceux que nous développons le plus fréquemment dans nos ateliers de formation. Et inversement, les repères théoriques les moins mobilisés sont, pour la plupart, des notions de psychologie cognitives que nous abordons de manière très ponctuelle, que ce soit dans nos ateliers de formation ou lors des conseils-accompagnements. Ce faisant, nous pouvons raisonnablement conclure que nos actions semblent avoir un impact sur la mobilisation des repères théoriques dans l’activité des enseignants-chercheurs. Mais qu’en est-il du point de vue des applications pratiques ? Observons-nous le même phénomène ? 650 La maîtrise des applications pratiques Tout d’abord, les résultats montrent que certaines applications pratiques sont davantage mobilisées que d’autres (cf. figure 3). 0% 20% 40% 60% 80% 100% Objec˜fs d'appren˜ssage Séances ques˜ons / discussion Je ne peux absolument pas réaliser la tâche même avec un accompagnement Mo˜va˜on Métaphores clariﬁca˜on rôles Je peux réaliser la tâche avec un accompagnement Par˜cipa˜on des étudiants I˜néraire Je suis en mesure de réaliser la tâche seul(e) Connaissances / Compétences Evalua˜on forma˜ve Je peux former un collègue à la faire Travail en groupe Etudiants ac˜fs Sans avis ou ne sais pas Cartes conceptuelles Evalu˜on et appren˜ssage en Ac˜vité sur expérience Appren˜ssage en profondeur Stratégies d'appren˜ssage Figure 3 : Degré de maîtrise des applications pratiques Les applications pratiques les plus maîtrisées par les enseignants sont : La formulation des objectifs d’apprentissage ; L’organisation de séances de questions et de discussion avec les étudiants ; Le soutien à la motivation des étudiants. En revanche, les applications pratiques les moins maîtrisées sont : La conception d’activités qui s’appuient sur l’expérience des étudiants ; Le recours à des techniques qui favorisent l’apprentissage en profondeur des étudiants ; L’accompagnement des étudiants dans la prise de conscience de leur stratégie d’apprentissage. Les applications pratiques qui sont les plus maîtrisées semblent être les applications pratiques qui sont les plus facilement abordables pour tout enseignant même avec très peu de connaissances en psychopédagogie et avec peu d’années d’expérience d’enseignement. N’oublions pas que la quasitotalité de nos répondants se perçoivent comme étant des enseignants novices et expérimentés et absolument pas comme des enseignants experts en pédagogie universitaire. Il découle alors tout naturellement que leurs premiers pas en innovation pédagogique s’effectuent avec des applications pratiques qui soient facilement appropriables et peu coûteuses dans leur mise en œuvre. En effet, que ce soit la formulation d’objectifs d’apprentissage qui soient clairs, ou encore l’organisation de séances de questions, ni l’une ni l’autre ne demande de révolutionner ou de repenser l’ensemble de son enseignement. Au contraire, elles permettent de faire ses premiers pas dans l’expérimentation 651 pédagogique en douceur, de se familiariser avec de nouvelles approches pédagogiques en introduisant de nouvelles pratiques de manière ponctuelle. Les enseignants n’ont pas à changer tout d’un coup. Ils entrent progressivement dans l’expérimentation et l’innovation pédagogique. De plus, tout comme lors de la première enquête, à la lecture des résultats concernant les repères théoriques et les applications pratiques, il semble que les repères théoriques soient davantage mobilisés que ne sont maîtrisées les applications pratiques. L’articulation des repères théoriques et des applications pratiques Afin de mieux appréhender cette différence entre la mobilisation des repères théoriques et la maîtrise des applications, nous avons regroupé chaque repère théorique avec son pendant en application pratique (cf. figure 4). Ainsi, le repère théorique « l’importance de la clarification des objectifs d’apprentissage » a été regroupé avec son pendant en application pratique qui est « la formulation d’objectifs d’apprentissage qui soient clairs ». 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Objec˜fs Objec˜fs Surface/profondeur Surface/profondeur Rôles Rôles Stratégie d'app. Stratégie d'app. Connaissances/compétences Connaissances/compétences Réﬂéxivité Réﬂéxivité Mo˜va˜on Mo˜va˜on Par˜cipa˜on par˜cipa˜on Travail en groupe Travail en groupe Figure 4 : Degré de mobilisation des repères théoriques (barre du haut) associé au degré de maîtrise de leurs pendants en applications pratiques (barre du bas) Des tests de Wilcoxon ont été menés pour chaque thématique comparant ainsi le degré de mobilisation du repère théorique avec le degré de maîtrise de l’application pratique correspondante. Pour cinq paires ainsi constituées le repère théorique est davantage mobilisé que l’application pratique maîtrisée, et ce, de manière significative. C’est le cas pour les thématiques : 652 Apprentissage de surface / apprentissage en profondeur (Z = -2.40, p < .05) Stratégie d’apprentissage (Z = -2.00, p < .05) Motivation (Z = -2.70, p < .01) Participation des étudiants (Z = -3.80, p < .01) Travail en groupe (Z = -2.60, p < .01). Ainsi, les enseignants perçoivent, par exemple, davantage l’intérêt à faire participer les étudiants pour favoriser leur apprentissage qu’ils n’en maîtrisent les techniques. De la même manière, les enseignants identifient mieux les dynamiques de groupe qu’ils ne maîtrisent des techniques qui permettent d’encadrer et d’accompagner un travail en groupe d’étudiants. Ces premiers résultats semblent corroborer d’autres travaux comme ceux de Stes et Petegem (2011) qui montrent que les activités de formation menées à l’Université d’Anvers impactent également l’activité des enseignants-chercheurs mais uniquement du point de vue de leurs conceptions. De même, ils confirment ceux de la première enquête (Rege Colet et coll., 2014) qui montraient que les repères théoriques développés pendant les formations semblent davantage mobilisés que ne sont maîtrisées les applications pratiques. A l’époque, nous en avons conclu que si il y a un impact des formations sur le développement professionnel des enseignants, celui-ci s’opère davantage sur les conceptions qu’ils ont de l’enseignement que sur leurs pratiques pédagogiques à proprement parler. Le premier levier de développement professionnel (Rege Colet & Berthiaume, 2015) semblait alors nécessaire pour soutenir les enseignants-chercheurs dans leur développement professionnel mais en aucun cas suffisant pour en modifier leur pratique. Frenay et Paquay (2011) mais également Rege Colet et Berthiaume (2015) suggèrent de ne pas se cantonner à un seul levier de développement professionnel et, au contraire, de multiplier les axes d’intervention. Selon eux, la formation ne serait qu’une des composantes du développement professionnel des enseignantschercheurs, et tous soulignent le rôle primordial du conseil-accompagnement. L’hypothèse de cette seconde enquête était donc que la prise en compte des éléments abordés en formation dans les pratiques pédagogiques des enseignants relevait plutôt du deuxième levier de développement professionnel : le conseil-accompagnement. Le conseil-accompagnement Pour tester l’hypothèse selon laquelle le conseil-accompagnement est un levier plus propice que celui de la formation à la maîtrise de nouvelles applications, nous avons voulu regroupé, d’un côté, des enseignants n’ayant pas bénéficié de conseil-accompagnement et, de l’autre côté, des enseignants ayant bénéficié d’un conseil-accompagnement. Nous envisagions ensuite de comparer les scores du groupe des enseignants n’ayant pas bénéficié d’un accompagnement avec les scores du groupe des enseignants ayant bénéficié d’un accompagnement sur la maîtrise des applications pratiques visées par la thématique de l’accompagnement. L’hypothèse déclarée étant que les enseignants ayant bénéficié d’un conseil-accompagnement maîtriseraient mieux les applications pratiques ciblées par l’accompagnement que les autres. Or, en analysant les données, nous nous sommes aperçus qu’il y avait autant de parcours d’accompagnement différents que d’accompagnés. Autrement dit, il n’existe pas deux parcours d’accompagnement identiques. Certes, parfois, la demande d’accompagnement initiale est la même, mais l’accompagnement réalisé est toujours différent que ce soit parce que les conseillers 653 pédagogiques sont différents, ou encore, parce que chacun des projets portés par les enseignants est différent. Il devient, dès lors, impossible de constituer un groupe d’enseignant ayant bénéficié exactement du même accompagnement et, de surcroît, d’identifier des applications pratiques qui seraient systématiquement développées pendant ces accompagnements. A partir de ces constats, comment constituer alors un groupe d’enseignants « accompagnés » qui aurait du sens ? Comment identifier des thématiques qui seraient abordées par l’ensemble des enseignants de ce groupe ? Pour effectuer le regroupement il a fallu faire des choix. L’ensemble de l’équipe des conseillers pédagogiques de l’Idip s’est réunie pour identifier des thématiques d’accompagnement qui font appel à des repères théoriques et d’applications pratiques qui seraient, à défaut de l’être systématiquement, régulièrement abordés lors des accompagnements : 16 enseignants ont ainsi été regroupés. Nous avons par la suite comparé leur score sur la maîtrise des applications pratiques ciblées par les accompagnements avec celui des autres enseignants n’ayant pas bénéficié d’un accompagnement sur ces thématiques. Pour cela, des tests de Mann-Whitney ont été réalisés. Sans grande surprise, les résultats obtenus ne permettent pas de rejeter l’hypothèse selon laquelle les enseignants ayant bénéficié d’un accompagnement et les enseignants n’en ayant pas bénéficié ont le même niveau de maîtrise des applications pratiques visées par l’accompagnement, puisque aucune différence statistique n’a pu être mise en évidence. Discussion En conclusion, en ce qui concerne les actions de formation, les résultats de cette enquête viennent confirmer celle de la première enquête de suivi, à savoir que si elles ont un impact sur le développement professionnel des enseignants-chercheurs, celui-ci s’opère davantage du côté des repères théoriques que du côté des applications pratiques. Dit autrement, les retombées de ces actions de formation semblent plutôt se manifester du côté de leurs conceptions, c’est-à-dire leur manière de penser l’enseignement et l’apprentissage, que du côté de leurs approches, à savoir leur façon de faire. Les activités de formation semblent nécessaires au bon développement professionnel des enseignants-chercheurs mais en aucun cas suffisantes, tout du moins pour repenser ou renouveler leurs pratiques pédagogiques. Par ailleurs, même si l’expérience nous montre que les activités de conseil-accompagnement semblent, elles, plus enclines à initier une impulsion de ce côté-là, il n’en reste pas moins difficile d’en mesurer statistiquement les effets. Tout d’abord, parce que, comme nous l’avons vu, le caractère très individuel de cette activité ne permet pas de regrouper des individus qui auraient suivi exactement le même conseil-accompagnement et donc, par suite, de développer les mêmes aptitudes. Ce faisant, il devient alors très compliqué, pour ne pas dire impossible, de détecter des différences significatives censées sur des variables autant personnalisées. En effet, la constitution de groupe de personnes ayant bénéficié d’un même accompagnement, sur les mêmes repères théoriques, sur les mêmes applications pratiques, et sur un même projet semble difficilement réalisable. Bien qu’incontestablement tenté par le fait de prouver statistiquement les effets positifs de ce levier d’intervention sur le développement professionnel des enseignants-chercheurs, il n’en reste pas moins extrêmement compliqué de le faire. Bien évidemment, en effectuant et en testant plusieurs regroupements possibles d’enseignants accompagnés, il est fort probable que nous finirions par détecter une différence significative. Mais quel sens aurait-elle ? Quelles conclusions 654 pourrions-nous en tirer si ce n’est celle de légitimer notre activité ? Que nous dirait-elle réellement des retombées de nos actions ? Pour autant, ne relève-t-il pas de notre devoir d’évaluer les effets de notre programme d’activités sur le développement professionnel des enseignants-chercheurs, ne serait-ce que pour guider les actions futures que nous metterons en place et qui leur seront destinées ? N’est-ce pas l’essence même de nos métiers de conseiller pédagogique que de mieux cerner les retombées de nos actions sur leur développement professionnel ? Nous le pensons. Aussi complexe soit-il, le développement professionnel des enseignants-chercheurs est un phénomène qui mérite toute notre attention. En revanche, comme tout phénomène de cette envergure, il semble présomptueux d’affirmer l’avoir cerner dans son entière globalité. De même qu’il paraît limité de ne l’observer que sous un seul angle, avec une seule approche. C’est pourquoi, toujours dans le souci de poursuivre cette réflexion pour mieux comprendre les effets de nos actions sur le développement professionnel des enseignants-chercheurs, il nous paraît primordial, spécifiquement pour cet axe d’intervention du conseil-accompagnement, de compléter cette recherche par une approche qualitative. C’est dans cette direction que nous poursuivrons nos réflexions, notamment en réalisant des observations en situation de travail ainsi que des entretiens auprès des enseignants-chercheurs. Références Frenay, M. & Paquay, L. (dir.)(2011). Former les universitaires à la pédagogie. Recherche et formation, 67. Rege Colet, N. & Berthiaume, D. (Ed.) (2015). La pédagogie de l’enseignement supérieur : repères théoriques et applications pratiques. Tome 2. Se développer au titre d’enseignant. Berne : Peter Lang. Rege Colet, N. et collaborateurs (2014). L’art et la manière. Bilan de la première année d’activités de l’Idip. Les cahiers de l’Idip, 1. Stes, A. & Van Petegem, P. (2011). La formation pédagogique des professeurs dans l’enseignement supérieur. Une étude d’impact, Recherche et formation, 67, 15-30. COMMUNICATION 2 - RETOUR D’EXPÉRIENCE : ACCOMPAGNEMENT À L’INNOVATION PÉDAGOGIQUE DANS UNE HES DUMONT, Ariane, Haute école spécialisée de Suisse Occidentale (HES-SO) RÉSUMÉ Cette communication rend compte d’une expérience d’accompagnement menée auprès des enseignants impliqués dans la première édition du fonds d’innovation pédagogique d’une haute école spécialisée suisse, la HES-SO. Elle s’intéresse au deuxième axe du développement professionnel des enseignants du supérieur identifié par Rege Colet et Berthiaume (2015), le conseilaccompagnement, et présente les visées et les modalités du dispositif mis en place autour d’une innovation pédagogique spécifique, celle de la classe inversée (ou pédagogie inversée) qui consiste à externaliser la transmission des savoirs de manière à repenser le temps de présentiel et, ce faisant, à favoriser l’apprentissage en profondeur des étudiants. Le dispositif retenu prévoit qu’un enseignant 655 expert promeut la pédagogie inversée à travers quatre outils: 1) la formation; 2) l’accompagnement individuel ; 3) l’animation d’une communauté de pratique ; et 4) la valorisation de l’expérience. Dans le cas présent, des conférences-ateliers ont permis de sensibiliser plus de 300 enseignants à la pédagogie inversée, ce qui a donné lieu à des accompagnements individualisés. La communauté de pratique, intitulé Harvard University–HES-SO, a réuni, dans un premier temps, cinq enseignants de trois écoles chargés de reprendre une partie de l’enseignement de la physique du cours d’Eric Mazur avant de s’ouvrir à l’ensemble des enseignants de physique. Un ouvrage sur la pédagogie inversée, à paraître en 2016, fait le point sur les repères théoriques et les applications pratiques en Suisse, en France, en Belgique, au Canada et aux Etats-Unis. Les premiers résultats sont prometteurs et démontrent que les actions d’accompagnement ont eu des retombées sur les pratiques enseignantes. A cela s’ajoute une réflexion sur les effets de ces innovations pédagogiques pour les apprentissages des étudiants. Introduction Dans la lignée du processus de Bologne et de la convention signée à Yerevan en mai 2015 par les ministres européens de l’enseignement supérieur, la Haute Ecole Spécialisée de Suisse Occidentale (HES-SO) a pris conscience de l’importance d’épouser le nouveau paradigme de l’enseignement supérieur qui consiste à quitter une approche pédagogique transmissive des savoirs pour adopter des pratiques enseignantes centrées sur l’expérience d’apprentissage des étudiants. Pour y parvenir, la HES-SO s’est donné pour but de promouvoir l’innovation pédagogique par la création d’un fonds annuel consacré au développement professionnel des enseignants focalisé sur l’adoption de pratiques pédagogiques innovantes. Selon Rege Colet & Berthiaume (2015), le développement professionnel des enseignants du supérieur couvre quatre axes: 1) les formations brèves, 2) l’accompagnement pédagogique, 3) les pratiques évaluatives et 4) la recherche appliquée à son enseignement. La communication porte sur le deuxième axe, le conseil-accompagnement, et rend compte de l’expérience de la première édition du fonds d’innovation pédagogique de la HES-SO qui a porté sur le développement et la diffusion d’une pédagogie basée sur classe inversée. Elle commence par présenter le contexte institutionnel avant de détailler le mandat à l’innovation pédagogique. S’ensuivent les premiers éléments d’évaluation de cette expérience pour, ensuite, aborder les recommandations quant à la pratique d’enseignement et à la recherche. La HES-SO en bref En Suisse, le paysage de l’enseignement supérieur se compose de trois types d’hautes écoles universitaires : 1) les universités et écoles polytechniques, 2) les Hautes écoles spécialisées (HES) et 3) les Hautes écoles pédagogiques (HEP). Les HES proposent des formations professionnelles et couvrent les domaines des sciences appliquées et des arts (universities of applied sciences and arts). La Suisse compte huit HES pilotées conjointement par la Confédération et les cantons. La Haute école spécialisée de Suisse occidentale (HES-SO) est celle couvrant de la région francophone. Avec plus de 19'000 étudiantes et étudiants, la HES-SO est la plus grande des HES de Suisse. Elle regroupe 28 établissements répartis dans sept cantons. Elle propose six domaines de formation : 1) design et arts visuels, 2) économie et services, 3) ingénierie et architecture, 4) musique et arts de la 656 scène, 5) santé et 6) travail social. Son offre de formation comprend 46 filières de Bachelor (premier cycle de formation du supérieur) et 21 filières de Master. Finalement, en équivalents plein temps, la HES-SO accueille 1'420 professeurs et 340 autres enseignantes et enseignants. Ainsi, la HES-SO se caractérise par une grande diversité tant des disciplines que des établissements qui la composent, sans compter l’éclatement territorial qui peut ralentir l’émergence d’une culture pédagogique commune dans un paysage de l’enseignement supérieur en profonde transformation depuis 15 ans. A l’évidence, la HES-SO se présente comme un système complexe en développement. C’est pourquoi elle cherche à mettre en évidence sa signature pédagogique et à définir sa philosophie pédagogique. Quelles sont les spécificités de l’enseignement et de l’apprentissage dans la HES-SO ? En quoi cette dernière se distingue d’autres institutions d’enseignement supérieur, voire des autres HES ? Autant d’enjeux probablement à l’origine du fonds d’innovation pédagogique. Le mandat à l’innovation pédagogique Le fonds d’innovation pédagogique de la HES-SO permet de détacher un enseignant, expert et porteur d’une pratique innovante, afin de promouvoir cette expérience (et la thématique pédagogique associée) auprès des enseignants des 28 écoles de la HES-SO. La décharge dure 18 mois, les premiers 12 mois à raison de 40% et les six mois suivants à 20%. Le mandat est non renouvelable. Les activités du mandant reposent sur quatre outils : 1) la formation ; 2) le conseilaccompagnement des enseignants désireux d’expérimenter l’innovation pédagogique ; 3) la création d’une communauté de pratique mobilisée sur le thème de l’innovation ; et 4) la valorisation de l’expérience menée. L’enseignant détaché élabore sa planification stratégique selon les besoins de son projet et sa vision de la meilleure manière de déployer le thème choisi. C’est le thème de la classe inversée qui a été retenu pour la première édition du fonds d’innovation pédagogique dans le but de permettre aux enseignants de s’emparer de cette approche pédagogique fort plébiscitée dans certains milieux, d’en construire une définition spécifique à la HES-SO et à son contexte puis de lancer les premières expérimentations afin de dégager les principes pédagogiques associés à la pédagogie inversée. En quelques mots, la classe inversée consiste à externaliser la transmission des savoirs afin de pouvoir enrichir les moments passés ensemble en classe et favoriser ainsi l’apprentissage en profondeur. Il s’agit, par cette réorganisation des activités d’enseignement et d’apprentissage, d’activer des processus cognitifs de hauts niveaux, d’une part, en recourant à des activités d’apprentissage en groupe et à de la pédagogie active et, d’autre part, en déployant un dispositif d’évaluation qui soit au service des apprentissages des étudiants. La planification stratégique élaborée par l’enseignante en charge du projet de dissémination de la classe inversée s’est déployée à trois niveaux. Au niveau micro, celui des enseignantes et des enseignants, elle a proposé des activités de conseil individuel de manière à être au service des projets des enseignants. Au niveau méso, celui des établissements, elle a choisi d’organiser des formations sous forme de conférences-ateliers. Finalement, au niveau macro, celui de l’institution, elle s’est engagée dans un travail de dissémination et de valorisation de l’expérience afin de soutenir la diffusion et le transfert des pratiques. La réalisation du premier mandat a donné lieu à plusieurs activités pour chacun des quatre domaines du mandat. 657 La formation Pour commencer, 15 conférences-ateliers ont permis de sensibiliser plus de deux cents enseignants aux principes de la pédagogie inversée. L’enseignante en charge du mandat d’innovation pédagogique, soutenue par le vice-recteur initiateur du concept, a proposé aux différentes directions d’écoles qui composent la HES-SO d’intervenir sous la forme de conférences interactives d’une durée de 90 minutes. Des boîtiers de vote électronique étaient distribués aux enseignants pour pratiquer l’interactivité, soit pour obtenir un feedback instantané, soit pour mettre en pratique la méthode interactive Peer Instruction développée par Eric Mazur (1997) à Harvard University. L’intention d’avoir recours à la méthode de Mazur étant de permettre aux participants d’expérimenter pendant la conférence une manière d’optimiser le présentiel en pratiquant l’interactivité s’inspirant d’une pratique éprouvée. Par la suite, neuf journées de formation, avec 18 participants à chaque fois, ont été organisées par le service professionnel de la HES-SO, partie prenante du mandat. La scénarisation pédagogique reposait sur une mise en situation de la classe inversée. Les enseignantes et enseignants étaient invités à visionner une vidéo interactive et à répondre à une question en amont de la journée de formation. Lors de la journée de formation, les participants étaient invités à expérimenter plusieurs formes de travail interactif, du travail en pairs à celui du travail en équipe. En guise de conclusion de la journée, après une pause réflexive d’une dizaine de minutes, les enseignants étaient invités à partager avec le reste du groupe les éléments retenus et l’amorce d’une réflexion personnelle autour de l’implémentation d’une activité synchrone ou asynchrone pour mettre en pratique la classe inversée dans leur enseignement. Au total, près de 350 enseignantes et enseignants de la HES-SO ont été sensibilisés à la classe inversée, soit par des conférences interactives, soit par des journées de formation. Le conseil-accompagnement Suite aux conférences interactives et aux journées de formation expliquées au point ci-dessus, 18 enseignants ont sollicité un accompagnement individualisé afin de mettre en place une classe inversée dans leur enseignement. L’accompagnement des enseignants désireux d’innover dans leurs pratiques pédagogiques s’est fait à deux niveaux, au niveau individuel et au niveau de la communauté de pratique. Dans les deux cas, l’accompagnement s’est focalisé sur les six leviers déclencheurs de l’innovation pédagogique identifiés par Poumay (Lameul, 2014) ; 1) la cohérence entre les objectifs d’apprentissage et l’évaluation ; 2) la conception d’activités interactives mobilisant les fonctions cognitives supérieures ; 3) le travail sur le sentiment d’auto-efficacité des étudiants ; 4) la clarification auprès des étudiants du sens des choix pédagogiques ; 5) la responsabilisation des étudiants sur leur expérience d’apprentissage ; et 6) l’apport incontournable des technologies de l’information, notamment dans les environnements personnels d’apprentissage. Les communautés de pratiques Une communauté de pratique, intitulé Harvard University – HES-SO, a réuni cinq enseignants dans trois écoles de la HES-SO qui ont repris, puis transposé à leurs enseignements auprès d’une soixantaine d’étudiants une partie de l’enseignement de la physique du cours d’Eric Mazur (Mazur & 658 Pedigo, 2014) de l’Université de Harvard. Cette activité a permis, par la suite, d’élargir la communauté de pratique aux enseignants de la physique de l’ensemble de la HES-SO. La personne en charge du mandat a, dans un premier temps, initié et orchestré les rencontres, au nombre de six pendant le mandat. La communauté de pratique des enseignants de la physique est ensuite devenue autonome et s’est enrichie de nouveaux membres. Elle compte à ce jour une dizaine de professeurs de physique, issus de quatre établissements. L’objectif de départ, enseigner certains chapitres de physique sur le modèle du cours d’Eric Mazur, a évolué vers un échange des bonnes pratiques et une mutualisation des ressources. Une seconde communauté de pratique a commencé à voir le jour pendant le mandat et concerne l’enseignement de la dynamique humaine organisationnelle. Elle réunit cinq enseignantes de trois institutions et s’est réunie à deux reprises. Sa viabilité et son autonomie semblent toutefois compromises par un manque de disponibilité des participantes. La valorisation Un ouvrage sur la pédagogie inversée, à paraître courant 2016, fait le point sur les repères théoriques et les applications pratiques en Suisse, en France, en Belgique, au Canada et aux EtatsUnis. L’enseignante charge du projet d’innovation pédagogique a été invitée à participer en tant que professeur responsable d’une des quatre semaines d’un MOOC (Massive Open Online Course), c’està-dire un cours en ligne, gratuit et ouvert à tous qui portait précisément sur la classe inversée. Ce MOOC, To flip or not to flip – Dicover the flipped classroom methodology, développé par le Politecnico de Milan et l’Université Numérique Ingénierie et Technologie représentée par l’Ecole des Mines de Nantes a été suivi par deux milles enseignants de janvier à mars 2016. En guise de conclusion du mandat de 18 mois à l’innovation pédagogique, les enseignantes et les enseignants qui ont commencé à mettre en pratique la classe inversée dans leur enseignement, seront invités à venir montrer leur travail et partager leur expérience dans le cadre de la première journée de l’innovation pédagogique à la HES-SO. Cette journée, prévue fin mai 2016, commencera par une conférence plénière sur le thème de l’innovation pédagogique, suivie d’une visite de stands animée par une quinzaine d’enseignantes et enseignants autour de leur expérience de la classe inversée dans leur enseignement. Des ateliers de formation autour de pédagogies innovantes et d’outils de la classe inversée seront organisés en parallèle l’après-midi. L’évaluation de l’expérience L’évaluation de l’expérience comprend plusieurs actions qui s’organisent autour de deux volets : le premier volet vise à évaluer les retombées de la mise en place de classes inversées pour les apprentissages des étudiants. Le second volet a pour objectif d’évaluer le mandat, son déroulement et aussi les retombées pour les pratiques d’enseignement des enseignants. L’évaluation des retombées auprès des étudiantes et étudiants comprend deux parties. Dans un premier temps il s’agit d’observer les effets sur la réussite pour les étudiants ayant bénéficié d’une classe inversée : l’augmentation de la réussite, soit l’obtention de notes plus élevées aux évaluations des apprentissages, est partiellement documentée. Ensuite, les étudiants ont été questionnés sur leur expérience dans le cadre de classes inversées. A cet effet, l’évaluation s’est fait en combinant 659 des questionnaires avec des focus groups, les rencontres avec les étudiants permettant d’approfondir les résultats des questionnaires et de les sonder sur leur expérience formative. Les divers projets en classe inversée ont été construits autour de la réalisation d’un projet. En effet, la classe inversée ne se limite pas à une simple inversion entre les moments de transmission des connaissances et la mobilisation de ces connaissances et s’apparente davantage à un état d’esprit qu’à une méthode. La pédagogie inversée suppose de recourir à des méthodes d’enseignement qui sollicitent la forte participation des étudiants et le travail coopératif. C’est pourquoi, la plupart des expériences ont opté pour une pédagogie par projets qui invite les étudiants à travailler de manière collaborative autour de la réalisation d’un projet, de la résolution de problèmes complexes et d’une production commune. Les principaux résultats de l’évaluation de l’enseignement auprès des étudiants impliqués dans le projet Harvard University-HES-SO sont que : 98% des étudiants estiment que les objectifs du projet qui leur a été proposé dans le cadre de leur classe inversée ont été atteints ; 93% des étudiants font part de leur intérêt pour leur projet et la démarche proposée ; 80% des étudiants estiment avoir acquis des compétences pratiques en physique ; 95% des étudiants se disent très satisfaits de la machine à casser des œufs qu’ils ont eu à réaliser. L’évaluation du mandat est encore en cours au moment de cette rédaction alors que le projet arrive à sa fin. Le dispositif d’évaluation comprend trois outils : Une démarche d’auto-évaluation de l’enseignante responsable du premier mandat : ce qui a marché, et pourquoi ? ce qui a moins bien marché, et pourquoi ? Comment poursuivre ? Quelles nouvelles perspectives ? Une évaluation de l’expérience par questionnaire auprès des enseignants Une évaluation auprès des directeurs des établissements de la HES-SO recourant à des entretiens individuels entre la responsable du mandat et chacun des 28 directeurs des établissements pour discuter des retombées et de la dissémination de la pédagogie innovante. Les premiers résultats disponibles à ce jour sont ceux des questionnaires adressés aux enseignants pour recueillir leurs premières impressions quant aux conférences-ateliers de sensibilisation et leur appropriation d’une approche pédagogique orientée vers la classe inversée : 95% des enseignants ayant répondu au questionnaire indiquent que la sensibilisation leur a permis d’approfondir le concept de la pédagogie inversée ; 92% des enseignants ajoutent que la sensibilisation leur a permis d’envisager de nouvelles manières de pratiquer l’interactivité avec leurs étudiants ; De manière générale, 95% des répondants ont réfléchi à leur pratique enseignante suite aux activités de sensibilisation ; En revanche, seuls 56% des répondants indiquent avoir commencé, même partiellement, à mettre en place une classe inversée. Ce dernier résultat n’est guère étonnant sachant que le fait de suivre une formation, bien que fortement appréciée comme dans le cas présent, ne suffit pas pour changer de pratiques. D’un autre 660 côté, nous pouvons nous réjouir de savoir que plus de la moitié des enseignants se sont lancés dans l’expérimentation. Ce sont, nous l’espérons, les activités de conseil-accompagnement proposées qui encouragent ce passage à l’expérimentation. En guise de conclusion, l’évaluation de l’expérience de la dissémination d’une pédagogie innovante basée sur la classe inversée met en évidence les aspects suivants : Il est possible de disséminer le recours à une approche pédagogique relevant de la classe inversée à large échelle, moyennant un dispositif d’accompagnement flexible et adapté à un contexte complexe tel que celui de la HES-SO ; Le mandat consacré à la promotion de l’innovation pédagogique a permis de mobiliser des enseignants d’horizons divers et de formations pédagogiques variables ; La plupart des enseignants de la HES-SO semblent s’être emparés de l’approche de la classe inversée ; Les enseignants adoptent une vision plus positive de la pédagogie de l’enseignement supérieur et de ses apports pour développer ses pratiques enseignantes ; Les enseignantes et enseignants tout comme les directions d’école développent une appréciation plus positive de leur institution : ainsi, une expérimentation à l’échelle de l’institution aux retombées positives participe à l’émergence d’une culture pédagogique commune et à la valorisation des valeurs communes ; Le suivi de l’expérience permet de combiner des méthodes de recherche quantitatives et qualitatives pour documenter les retombées pour les bénéficiaires et rendre compte de l’expérience ; Et in fine, il convient de souligner les compétences acquises par l’enseignante responsable en charge du mandat dont elle fait état dans son blog (voir figure 1). MOOC Couverture médiatique Figure 1 : Extrait du blog consacré à l’expérience de la diffusion de la classe inversée à la HES-SO 661 Les recommandations Au terme du mandat et suite à l’évaluation de l’expérience, vient le temps des recommandations. Celles-ci s’adressent autant aux pratiques pédagogiques et au soutien à l’innovation pédagogique dans l’enseignement supérieur qu’à la recherche qui peut être faite sur la diffusion de l’innovation pédagogique et ses retombées. Pour ce qui concerne le développement et l’innovation pédagogiques, les recommandations sont de : Prévoir, au terme du mandat, la mise en place de relais dans les différents établissements de la HES-SO pour reprendre l’accompagnement pédagogique proposé aux enseignants afin qu’ils puissent poursuivre leurs expérimentations ; Mettre en ligne des ressources sous forme de boîte à outils (description des activités, agenda, revue de presse, etc..) en lien avec la thématique et alimenter cette boîte à outils à partir des productions propres des enseignants ; Prévoir une procédure de passation de témoin entre les mandants pour assurer une continuité entre les différents mandants tant dans la philosophie de travail que dans la manière d’organiser les activités. Pour ce qui concerne le développement de la recherche appliquée sur l’innovation pédagogique et le développement des compétences pédagogiques des enseignants, les recommandations sont de : Evaluer les retombées des formations suivies par les enseignants à plus long terme afin de comprendre ce qui favorise le transfert aux pratiques pédagogiques ou, au contraire, le freine ; Suivre les parcours des enseignants ayant bénéficié d’un accompagnement pédagogique individualisé pour tracer leur développement professionnel. Références Lameul, G. (Ed.)(2014). La pédagogie universitaire à l'heure du numérique. Bruxelles: De Boeck. Mazur, E. (1997). Peer instruction : a user's manual. Upper Saddle River, N.J.: Prentice Hall. Mazur, E. & Pedigo, D. (2014). Principles & practice of physics (Student edition. ed.). Cambridge (MA): Harvard University MOOC To flip or not to flip- - Discover the flipped classroom methodology (2016) https://www.pok.polimi.it/courses/course-v1:Polimi+FC101+2016_M1/about Rege Colet, N. & Berthiaume, D. (Dir.)(2015). La pédagogie de l’enseignement supérieur : repères théoriques et applications pratiques. Tome 2. Se développer au titre d’enseignant. Berne : Peter Lang. 662 COMMUNICATION 3 - EVALUATION DE L’UTILISATION DE L’EEE ET DE SES EFFETS SUR LE DÉVELOPPEMENT PROFESSIONNEL DES ENSEIGNANTS À L’UNIVERSITÉ DE STRASBOURG VONIE, Stella, Université de Strasbourg (FR) RÉSUMÉ Cette communication porte sur le troisième des quatre axes de développement professionnel des enseignants du supérieur (Rege Colet & Berthiaume, 2015), celui des pratiques évaluatives. Elle présente les premiers résultats d’une enquête menée à l’Université de Strasbourg sur la pratique de l’EEE. Commandée par les référents qualité de l’Université, l’enquête a été confiée à l’Institut de développement et d’innovation pédagogique (Idip). La démarche interroge les pratiques d’évaluation des enseignements par les étudiants (EEE) en tant que pratique évaluative formative à Strasbourg. Il s’agit de comprendre si les pratiques spontanées mises en place par les enseignants ou par des composantes s’inscrivent dans une perspective de développement pédagogique ou s’apparentent à des procédures de contrôle. En d’autres termes, l’EEE permet-elle à l’enseignant d’interroger le lien entre ses pratiques pédagogiques et les apprentissages de ses étudiants (Rochat & Dumont, 2015) ? En collaboration avec les référents qualité, l’Idip a proposé d’utiliser un questionnaire administré à l’ensemble des enseignants de l’Université (N = 3500). Le questionnaire se découpe en trois parties : 1) les pratiques d’EEE ; 2) la méthode de travail et les outils ; 3) l’exploitation des résultats. La communication revient sur le questionnaire et les résultats. Elle évoque les décisions prises à l’Université de Strasbourg pour favoriser la généralisation de l’EEE en tant qu’outil de développement pédagogique. Introduction Le texte de cadrage de ce symposium précise que le troisième axe autour duquel les enseignants se développent professionnellement porte sur les pratiques évaluatives dont l’évaluation de l’enseignement auprès des étudiants En effet, les pratiques évaluatives peuvent être des sources d’informations utiles à la réflexion des enseignants et à la modification de leurs pratiques pédagogiques. A ce titre, l’évaluation de l’enseignement par les étudiants (EEE) s’avère être une mine importante de renseignements pour un enseignant. C’est quand l’EEE est utilisée en tant qu’outil pour trouver des pistes et réfléchir sur ses pratiques pédagogiques, qu’elle peut être qualifiée de formative. L’EEE a pour fonction de répondre à un questionnement sur les retombées de son enseignement. Comment apprécier les effets d’une innovation pédagogique dans son cours ? Comment s’assurer que son enseignement a des impacts bénéfiques sur les apprentissages des étudiants ? Comment travailler à l’alignement de sa pratique pédagogique sur les besoins des étudiants ? Les données récoltées lors d’une évaluation de l’enseignement par les étudiants peuvent être sources d’informations intéressantes pour permettre à l’enseignant d’interroger le lien entre son enseignement et l’apprentissage de ses étudiants (Rochat & Dumont, 2015) et ainsi travailler au développement de ses pratiques pédagogiques. 663 Centra (1993) définit certaines conditions à respecter pour que l’EEE réponde à de telles attentes et contribue au développement professionnel des enseignants : l’information récoltée doit être nouvelle et jugée crédible par l’enseignant. De plus, l’enseignant doit être capable d’utiliser les résultats de manière à améliorer sa pratique. Cela implique notamment que le dispositif d’EEE soit construit selon une démarche scientifiquement valide. De la même façon, Berthiaume, Lanarès, Jacqmot, Winer et Rochat (2011) mettent en évidence des principes à suivre pour permettre l’efficacité du dispositif : la confidentialité, la responsabilité, l’adaptabilité et la flexibilité. Ces principes participent à déterminer le degré d’autonomie laissé à l’enseignant quant au dispositif d’EEE, au choix de l’outil évaluatif et à l’exploitation des résultats. L’étude que nous présentons ici s’intéresse aux pratiques évaluatives des enseignants de l’Université de Strasbourg et à la manière dont ils utilisent l’EEE à des fins de développement professionnel. Comment les principes et les conditions énoncés plus haut sont-ils utilisés à l’Université de Strasbourg ? Quelle est la culture de l’évaluation émergente à l’Université de Strasbourg ? A-t-elle une vocation de contrôle et de pilotage ? Ou, au contraire, a-t-elle des visées de développement ? Le contexte de l’enquête L’augmentation de la fréquentation des ateliers d’un cycle de formation sur l’EEE dispensé par l’Institut de développement et d’innovation pédagogiques (Idip), l'amplification des demandes de conseil et d’accompagnement autour de l’EEE, et les décisions prises au sein d’une composante de l’Université de Strasbourg pour en consolider la politique d’EEE, sont autant d’indicateurs qui rendent compte de l’intérêt croissant pour les pratiques évaluatives. L’Université de Strasbourg est en pleine réflexion quant à la définition de sa politique d’évaluation des enseignements. A cet effet, une charte évoque quelques principes visant à généraliser le recours à l’EEE, sans pour autant donner de directives ni de préconisations quant à la manière de faire. Il y a également une cellule qualité dont les fonctions sont principalement de piloter les évaluations des formations qui, elles, se réalisent dans un cadre bien défini ; l’exécution est confiée au service central d’aide au pilotage, supervisé par le groupe des référents qualité représentants les différentes composantes de l’Université de Strasbourg. Ce groupe de référents se réunit régulièrement pour lancer et piloter les campagnes d’évaluation des formations selon un calendrier prédéfini. Avec l’objectif de réfléchir à la définition de la politique relative à l’EEE à l’Université de Strasbourg, les référents qualité ont commandé à l’Idip une enquête exploratoire concernant les pratiques d’EEE des enseignants. Le but était d’avoir une première idée des pratiques d’EEE actuelles, de faire ressortir certaines tendances de manière à alimenter les débats et à orienter les prises de décisions. L’Idip a travaillé en collaboration avec les référents qualité afin de concevoir la méthodologie de l’enquête et de construire un questionnaire à diffuser à tous les enseignants de l’Université de Strasbourg. Le rôle de l’Idip a ensuite été d’analyser et de traiter les résultats. Le questionnaire Le questionnaire a été construit en quatre parties. Il comporte 32 questions à choix multiples dont cinq ouvertes. Il s’agissait, dans un premier temps, d’avoir une représentation quantitative des enseignants qui ont recours à l’EEE afin de savoir pourquoi ils la mettent en place, et quels sont les éventuels freins à 664 son utilisation. Cette première partie a été documentée notamment par les travaux de Bernard (2011) concernant la perception des enseignants face à ce type de dispositif. Dans seconde la partie, le questionnaire cherche à rendre compte des conditions dans lesquelles les enseignants recourent à l’EEE. Pour la construction de cette partie, le questionnaire se base sur les principes de Centra (1993) et de Berthiaume et al. (2011) pour venir interroger la façon dont les enseignants mettent en place leur dispositif d’EEE. Des questions autour des outils et des méthodes utilisés (questionnaires ou autres méthodes de feed-back, types de questionnaires …), de l’administration (fréquence et moyen d’administration), du calendrier de travail, du recueil des données (brutes ou traitées), du degré d’autonomie des enseignants (choix du support, des questions, de la temporalité…) et de la diffusion des résultats (accès aux résultats) ont été proposées. La troisième partie concerne l’exploitation des résultats de l’EEE. Le questionnaire cherche à mesurer les effets de l’EEE sur le développement professionnel des enseignants. Le rapport produit par l’Université de Genève (Rege Colet & Durand, 2005), suite à une enquête similaire autour des pratiques d’EEE, a été utile pour la construction de cette partie du questionnaire. En effet, leurs travaux ont permis de construire une échelle pour mesurer l’impact de l’EEE sur les pratiques des enseignants. Cette dernière a été utilisée pour rédiger les questions concernant l’utilisation des résultats de l’EEE. Il s’agit de regarder ce que les enseignants font des résultats de leur évaluation et dans quelle mesure ils se les approprient. De la prise de connaissance des résultats à l’engagement de l’enseignant sur le plan institutionnel, il est possible de catégoriser le degré d’implication des enseignants dans leur développement professionnel au travers de l’EEE. Une dernière partie propose trois questions ouvertes qui interrogent les enseignants sur les avantages et les obstacles qu’ils perçoivent quant à un dispositif d’EEE institutionnalisé. La méthodologie Diffusion du questionnaire Le questionnaire a été laissé aux mains des référents qualité qui se sont chargés de le diffuser aux responsables de composantes pour administration auprès des enseignants de la composante. Ces derniers ont eu la possibilité de proposer le lien vers le questionnaire en ligne directement à leurs collègues afin de les impliquer au maximum dans l’enquête dans le but d’augmenter le taux de réponse. L’enquête est restée ouverte pendant quatre mois (de juin à fin septembre 2015). Biais et difficultés rencontrés D’emblée nous avons constaté un biais important dans la méthode d’administration puisqu’il nous est impossible de savoir combien d’enseignants ont eu le mail et de calculer un taux de réponse. Par la suite, nous avons aussi appris que certains référents qualité n’avaient pas fait suivre le questionnaire pensant qu’il y avait un problème dans la conception du questionnaire et de son administration en ligne. Nous savons ainsi que seuls quelques groupes d’enseignants ont reçu le lien vers le questionnaire en ligne. En tout, ce sont 350 personnes qui ont répondu. Le travail de validation du questionnaire auprès des référents qualité ayant pris du retard, le mail n’a été diffusé que vers la fin de l’année universitaire ; l’enquête était ouverte pendant les mois de vacances d’été, ce qui n’est pas la période idéale pour viser un taux de réponse élevé. Aucune 665 relance n’a été effectuée. En raison de ces conditions particulières, seules 162 personnes ont répondu en totalité sur les 350 qui ont répondu au questionnaire en ligne. Nous avons retenu ces 162 réponses complètes pour faire une première analyse descriptive de manière à dégager les tendances générales. Ces analyses serviront, dans un second temps, à proposer une nouvelle enquête plus ciblée avec d’autres objectifs. Analyses des résultats Statistiques sur l’utilisation de l’EEE Ce sont 96 enseignants sur 162 qui disent avoir recours à l’EEE. Il a été demandé aux enseignants de choisir parmi une liste, les trois raisons principales qui les incitent à utiliser l’EEE. Les enseignants disent surtout utiliser l’EEE comme outil de dialogue pour dégager des pistes d’amélioration pour faire évoluer leurs cours. Dans ce groupe, l’EEE est peu utilisée en tant qu’outil de développement professionnel. En effet, le fait de l’utiliser pour compléter un dossier d’enseignement, pour analyser les points forts et points faibles de l’enseignement d’une année à une autre sont des raisons peu citées par les répondants. On peut en conclure que l’EEE est globalement utilisée plutôt pour prendre la température d’un cours, mais qu’elle ne fait pas encore partie d’une culture qualité au service du développement professionnel. Elle reste largement à l’initiative des enseignants. De la même manière, il a été demandé aux enseignants de choisir parmi une liste, les trois raisons principales du non recours à l’EEE. Les raisons les plus souvent citées sont celles en lien avec un manque de soutien et d’informations par rapport au dispositif : ici, les enseignants disent ne pas savoir comment s’y prendre. Quelques-uns estiment aussi que les étudiants risquent d’être saturés par les démarches d’évaluation. Nous pouvons imaginer la crainte de la perte de la pertinence de l’information récoltée, si les étudiants sont trop sollicités. Par ailleurs, certains disent aussi avoir recours à des démarches plus informelles que l’EEE à proprement parlé (feedback en cours, réunion, sollicitation dans les couloirs…). Il est intéressant de remarquer que les raisons les moins citées par les enseignants sont celles qui évoquent le fait d’être opposé à l’EEE par principe ou de ne pas en voir l’utilité. Ainsi, nous pouvons retenir que la perception des répondants envers le dispositif d’EEE est plutôt positive et que le besoin d’y être accompagné prévaut. Pratiques et méthodologies utilisées pour l’EEE Les enseignants qui disent pratiquer l’EEE, le font principalement de manière régulière pour tous les cours et ils utilisent des questionnaires. C’est pourquoi nous nous sommes focalisés sur les enseignants qui utilisent des questionnaires. En effet, lorsque l’encouragement à recourir à l’EEE est préconisé sur le plan institutionnel, c’est la technique la plus souvent utilisée et celle que les structures de soutien à la pédagogie retiennent. Par rapport à la diffusion des questionnaires, il n’y a pas de tendance qui se dégage, la moitié des répondants disent le diffuser en ligne et l’autre sur papier. Il est intéressant de noter que la plateforme Moodle n’est pas très utilisée par ceux qui disent utiliser la diffusion de questionnaires en ligne alors qu’un module à cet effet y est proposé. Concernant l’accès aux résultats de l’EEE, dans une petite majorité des cas, les enseignants ne sont pas les seuls à avoir accès à leurs résultats. Quand on y regarde de plus près c’est majoritairement le responsable pédagogique de la formation qui y a aussi accès. Pour une majorité des répondants les 666 résultats sont réceptionnés brutes par l’enseignant ou juste mis en forme dans une base de données. Par manque de données, il n’a pas été possible d’analyser la qualité des dispositifs d’EEE selon les principes proposés par Berthiaume et al. (2011) afin d’en discuter l’adéquation avec l’évaluation comme outil de développement professionnel pour les enseignants. Analyse de l’effet de l’EEE sur le développement professionnel des enseignants La deuxième partie du travail d’analyse consiste à appréhender ce que font les enseignants des résultats de l’EEE. Pour la construction de cette partie du questionnaire, nous nous sommes basés sur les travaux de Rege Colet et Durand (2005) qui, dans une enquête similaire menée à Genève, ont notamment travaillé à la construction d’une échelle d’impact qui mesure et organise les effets possibles de l’EEE sur le développement professionnel des enseignants. L’échelle compte huit niveaux de développement : Niveau de l’information : l’enseignant prend simplement connaissance des résultats ; Niveau d’analyse : l’enseignant commence à effectuer des comparaisons, des analyses statistiques sur les données récoltées ; Niveau du partage : l’enseignant commence à communiquer sur les résultats, avec ses étudiants, des collègues, des conseillers pédagogiques ; Niveau de la régulation : l’enseignant se sert des résultats pour effectuer des changements afin de réguler ses enseignements ; Niveau du développement professionnel : l’enseignant se sert des résultats pour effectuer des changement profonds dans ses enseignements et dans sa pratique professionnelle ; il adopte une démarche réflexive par rapport à son activité d’enseignement ; Niveau de la valorisation : l’enseignant utilise les résultats de l’EEE comme données d’argumentation dans un dossier d’enseignement ; Niveau de la formation : l’enseignant utilise les résultats pour se former à la pédagogie sur des aspects précis ; il a une démarche réflexive et s’engage dans un processus de formation ciblé ; Niveau de l’engagement militant : l’enseignant participe à la mise en place de la politique d’EEE au sein de son institution ; il peut y former des collègues ou proposer des outils. L’enquête proposait une ou plusieurs activités pour chaque niveau et les enseignants devaient y répondre selon une échelle de réponse à quatre positions en indiquant s’ils le faisaient : 1) systématiquement, 2) fréquemment, 3) de temps en temps ou 4) jamais. Par exemple : « Suite aux résultats, je repère les points forts et points à améliorer », « Les résultats m’aident à expérimenter de nouvelles pratiques pédagogiques » Pour mieux faire ressortir les tendances, les résultats ont été regroupés selon deux types de réponses par rapport à l’échelle en quatre positions. Nous avons fait le choix de rassembler « systématiquement » et « fréquemment » pour en faire une catégorie intitulée « pratique courante » ainsi que « de temps en temps » et « jamais » pour en faire une catégorie intitulé « pratique non courante ». Puis nous avons calculé un indice (le rapport du nombre de réponses « pratique courante » sur l’ensemble des réponses), et classé les activités par niveaux de l’échelle en indiquant leurs valeurs selon l’indice (cf. figure 1). 667 Figure 1 : Valeurs de l’indice pour les énoncés de l’échelle d’utilisation de l’EEE Chaque couleur correspond à un des huit niveaux de développement dont nous avons parlé précédemment. Les activités qui ont les indices les plus élevés sont celles qui sont le plus souvent pratiquées et donc le plus souvent citées dans la catégorie « pratique courante ». A l’inverse, les activités ayant les indices d’accord les moins élevés sont celles le plus souvent citées dans la catégorie « pratique non courante ». Nous remarquons visuellement que les activités qui sont les plus souvent utilisées au titre de pratiques courantes sont celles des 4 premiers niveaux. Nous pouvons aussi constater une baisse de l’indice plus ou moins régulière vers les niveaux d’utilisation des résultats les plus engageants (soit après le niveau 4 de la régulation). Pour vérifier ces résultats et ces tendances, une autre enquête plus ciblée devrait être menée. Il s’agirait, entre autres, de vérifier si les activités peuvent bien être regroupées dans des niveaux. Par exemple, pour le niveau 3 du partage, il serait utile d’identifier dans la littérature tous les indicateurs du partage des résultats d’une EEE puis d’y associer des activités. Ensuite il s’agirait de les tester afin de vérifier la validité de construction de l’échelle en huit niveaux. Ainsi, l’échelle intuitive mériterait d’être consolidée en validant les activités se rapportant à chaque niveau. Une fois validée, l’échelle permettrait de déterminer un lien entre le stade de développement des enseignants et les effets d’un dispositif d’EEE sur ce dernier. Conclusion et suite Cette première enquête aura permis de tester certaines questions du questionnaire et de faire un premier tour d’horizon de la situation à l’Université de Strasbourg. En réalisant cette enquête, l’Idip a également pu positionner son rôle. Celui de veiller à ce que les enseignants s’approprient l’EEE et l’utilisent pour questionner leurs pratiques pédagogiques. En effet, il s’agit pour nous d’encourager les initiatives personnelles des enseignants et de les accompagner dans la mise en place d’un dispositif d’EEE ayant du sens pour eux, d’en faire un outil au service de leur réflexivité et de leur développement professionnel. Une poursuite d’enquête est à envisager afin d’augmenter le taux de réponses en tenant compte des difficultés d’administration. Il serait intéressant, par exemple, de mener des enquêtes par questionnaire par composantes afin d’en appréhender les pratiques spécifiques et de les situer dans 668 une culture locale de composante plutôt qu’à l’échelle de toute une institution. Cette démarche permet une analyse plus ciblée des effets de l’EEE sur le développement professionnel des enseignants qui tienne compte des cultures spécifiques de discipline et/ou de structure. Références Centra, J-A. (1993). Enhancing teaching and determining faculty effectiveness. San Francisco : Jossey-Bass. Berthiaume, D, Lanarès, J., Jacqmot, C., Winer, L. & Rochat, J.-M. (2011). L’évaluation des enseignements par les étudiants (EEE), Recherche et formation, 67, Repéré à http://rechercheformation.revues.org/1387 Rochat, J-M., & Dumont, A. (2015). Faire appel à l’EEE pour développer ses connaissances et compétences pédagogiques. Dans N. Rege Colet & D. Berthiaume (Eds), La pédagogie de l’enseignement supérieur : repères théoriques et applications pratiques Tome 2 : Se développer au titre d’enseignant (pp. 75-91). Berne : Peter Lang. Rege Colet, N., & Durand, N. (2005). Evaluation de l’enseignement à l’Université de Genève. Mesure d’impact sur les pratiques enseignantes. Genève, Suisse : Université de Genève. Rege Colet, N. & Berthiaume, D. (Eds)(2015). La pédagogie de l’enseignement supérieur : repères théoriques et applications pratiques. Tome 2. Se développer au titre d’enseignant. Berne : Peter Lang. 669 COMMUNICATION 4 - SE FORMER À LA RECHERCHE APPLIQUÉE POUR ASSURER L’APPRENTISSAGE DES ÉTUDIANTS Lison, Christelle, Université de Sherbrooke (CA) RÉSUMÉ Si par le passé, l’université était de facto considérée comme une institution de haut niveau, elle est aujourd’hui questionnée. Par ailleurs, le monde universitaire est de plus en plus compétitif. En effet, les étudiants peuvent faire des choix presque illimités en matière de formation. Ceci force les institutions universitaires à se poser des questions quant aux formations offertes, à la qualité de celles-ci et à la persévérance des étudiants. L’une des options choisies par les universités est celle de la formation des enseignants. En effet, si ceux-ci sont des spécialistes disciplinaires, peu ont une formation en pédagogie (Lison & Jutras, 2014). Et pourtant, on postule que la formation pédagogique des enseignants devrait avoir un impact sur les apprentissages des étudiants. C’est pourquoi l’Université de Sherbrooke propose aux enseignants universitaires un Diplôme de troisième cycle en pédagogie de l’enseignement supérieur. Dans le cadre de celui-ci, les participants sont invités à mettre en place une innovation pédagogique dans leur milieu de formation et à l’évaluer. Cette activité, qui s’inscrit dans la durée en fonction du rythme d’avancée des participants, se développe dans la logique du Scholarship of Teaching and Learning (Rege Colet, McAlpine, Fanghanel et Weston, 2011) afin d’amener les participants à devenir des praticiens chercheurs (Bédard, 2014). Cela signifie que la démarche est notamment centrée sur l’apprentissage, située dans un contexte spécifique, appuyée par une méthodologie rigoureuse, et soumise à une évaluation par les pairs (Felten, 2013). Dans le cadre de cette communication, nous présentons, à partir des entrevues réalisées, le cas de deux participantes au Diplôme de troisième cycle en pédagogie de l’enseignement supérieur afin de comprendre en quoi la mise en place de leur innovation pédagogique a eu un impact sur leur développement professionnel mais également sur les apprentissages des étudiants. Introduction Si autrefois l’université était un espace de formation d’emblée reconnu, elle doit aujourd’hui démontrer sa pertinence quant au fait qu’elle favorise le développement des connaissances et des compétences des étudiants. En effet, il importe de les préparer à un monde du travail qui est en perpétuelle évolution et qui les amènera à résoudre des problèmes inédits par le biais de solutions innovantes. Par ailleurs, l’offre de formation à laquelle les étudiants ont, à l’heure actuelle, accès est plus que jamais exponentielle, particulièrement depuis le développement, toujours plus rapide, du numérique et des formations à distance. Dès lors, cela force les institutions d’enseignement supérieur à proposer des programmes de qualité qui, non seulement, attirent les étudiants, mais surtout les incitent à persévérer, voire à envisager de revenir par exemple pour de la formation continue. Qui dit formation de qualité dit formation du corps enseignant. En effet, si les enseignants sont des spécialistes disciplinaires, ils sont encore peu nombreux à avoir une formation pédagogique (Lison et Jutras, 2014). Or, cela devient un enjeu pour certaines institutions universitaires, notamment du point de vue du recrutement des étudiants. 670 Un programme de formation… Afin de favoriser le développement professionnel des enseignants du supérieur, l’Université de Sherbrooke propose, depuis plusieurs années, aux enseignants et à certains professionnels en exercice, ayant accumulé au moins deux années d’expérience significative en formation, de s’inscrire (volontairement) à un Diplôme de troisième cycle en pédagogie de l’enseignement supérieur31. D’une ampleur de 30 crédits (soit 450 heures présence étudiante), cette formation invite les participants, d’une part, à implanter, à partir d’une problématique spécifique et d’un cadre de référence particulier, une innovation pédagogique axée sur les apprentissages des étudiants et, le cas échéant, sur leur professionnalisation, et, d’autre part, à évaluer, dans une logique de recherche, les retombées de cette innovation, notamment en matière d’apprentissage des étudiants. Pour y parvenir, les participants doivent suivre 18 crédits (soit 270 heures présence étudiante) d’activités pédagogiques obligatoires (cours, séminaire, projet, etc.) et 12 crédits (soit 180 heures présence étudiante) d’activités pédagogiques au choix. Notons que dans cet espace de cours à option, les personnes ont la possibilité de choisir un parcours individualisé ou un parcours collectif. Dans les deux cas, les participants doivent proposer un projet d’innovation et le mettre en pratique, et ce, dans l’objectif de favoriser l’apprentissage des étudiants. Nous nous situons donc, ici, dans une logique de double transfert : favoriser les apprentissages des participants au programme qui vont, à leur tour, favoriser les apprentissages de leurs propres étudiants. … construit dans la logique du SoTL Quelle que soit l’avenue priorisée par les participants, le parcours proposé relève d’une approche-programme, s’inscrivant dans le paradigme de l’apprentissage et basée sur la logique du Scholarship of Teaching and Learning (SoTL). «Le SoTL se définit brièvement comme une démarche de questionnement systématique (scholarly inquiry) sur les apprentissages des étudiants qui permet d’améliorer la pratique enseignante en communiquant publiquement sur cette recherche ou ce questionnement.» (Rege Colet, McAlpine, Fanghanel & Weston, 2011, p. 94). Visant le développement professionnel des enseignants et la production de nouvelles connaissances sur l’enseignement et l’apprentissage, cette démarche, inspirée des travaux de Boyer (1990), prend donc appui sur la méthode scientifique. S’inscrivant dans la logique du modèle proposé par O’Brien (2008), la démarche SoTL « se décline en un cycle de six étapes itératives [cf. figure 1]: 1) l’analyse de la pratique, 2) l’appropriation de connaissances, 3) la conception du changement, 4) l’implantation du changement, 5) l’évaluation du changement, et 6) la communication du changement » (Bélisle, Lison et Bédard, À paraître). 31 https://www.usherbrooke.ca/programmes/fac/education/3e-cycle/diplomes/pedagogie-enseignement/ 671 1. Analyse de la pra˜que 6. Communica˜on du changement 2. Appropria˜on de connaissances 5. Évalua˜on du changement 3. Concep˜on du changement 4. Implanta˜on du changement Figure 1 : La démarche de SoTL selon O’Brien (2008) Ces six étapes, tous les participants au Diplôme de troisième cycle en pédagogie de l’enseignement supérieur les traversent obligatoirement, à leur rythme, tout en étant accompagnés d’un superviseur de projet, qui se situe dans une double logique d’accompagnement et d’évaluation (Milgrom, Mauffette, Raucent & Verzat, 2010). Par ailleurs, ce qui caractérise à la fois l’approche SoTL et le Diplôme de troisième cycle en pédagogie de l’enseignement supérieur, c’est qu’il s’agit d’une démarche 1) centrée sur l’apprentissage, 2) située dans un contexte spécifique, 3) appuyée par une méthodologie rigoureuse, et 4) soumise à une évaluation par les pairs (Felten, 2013). Nous considérons que ces postulats doivent être scrupuleusement pris en considération pour pouvoir soutenir que l’on s’inscrit dans une approche SoTL. De même, différents éléments contextuels (pédagogique, curriculaire, institutionnel, disciplinaire et professionnel) doivent être pris en compte afin que l’enseignant fasse des choix pédagogiques éclairés, et qu’il partage les retombées de ceux-ci avec la communauté, et ce, dans le respect des règles de publications écrites ou orales. L’analyse du Diplôme de troisième cycle en pédagogie de l’enseignement supérieur nous amène à considérer que ces éléments sont constitutifs du programme, et ce, que le participant s’inscrive dans un parcours individualisé ou collectif. Mais comment le dispositif proposé dans le cadre du Diplôme de troisième cycle en pédagogie de l’enseignement supérieur permet-il le développement professionnel des participants? L’expérience de deux participantes Pour répondre concrètement à cette question, nous avons rencontré deux participantes ayant complété le programme. Afin de documenter le parcours qu’elles ont effectué, nous avons réalisé avec chacune une entrevue semi-dirigée, d’environ 45 minutes. 672 Provenant toutes deux du secteur sciences humaines et sociales, les deux participantes ont décidé de s’y inscrire dans une logique d’amélioration de leur enseignement et de développement professionnel. L’une d’entre elles (S1) l’a fait au début de son insertion professionnelle (au cours des cinq premières années) et l’autre (S2) après plus de 20 ans d’enseignement. Par ailleurs, S1 a choisi de suivre la filière individuelle alors que S2 a choisi la filière collective. À la suite d’une analyse de contenu du discours des deux participantes, nous avons choisi de regarder les retombées de leur formation selon trois axes : 1) pour elles-mêmes, 2) pour leurs étudiants et 3) pour le programme dans lequel elles interviennent. Nous appuyons notre réflexion à partir d’extraits d’entrevue, proposés entre guillemets et en italique. Participante S1 Des retombées pour soi Lorsque l’on se penche sur les motifs d’entrée en formation de Carré (1998, 2001), l’analyse du discours de cette participante nous amène à comprendre qu’elle le fait pour un motif extrinsèque, de type opératoire possessionnel, c’est-à-dire dans une logique d’acquisition de compétences perçues comme nécessaires à la réalisation d'activités spécifiques dans le champ de son travail. En effet, la participante exprime son besoin d’acquérir de nouveaux outils pour démontrer la pertinence de ses actions auprès de ses collègues et dans son programme : « Je voulais développer mon expertise professionnelle pour me sentir plus légitime. » Face à ce besoin, nous avons voulu comprendre dans quelle mesure le Diplôme de troisième cycle en pédagogie de l’enseignement supérieur était une voie pertinente. La première chose que la participante a mise de l’avant, c’est que le programme lui avait permis d’avoir une forme de levier par rapport à sa réflexion : « Je ne savais pas par quel bout prendre le problème ; le programme m’a permis de trouver une voie pour mener ma réflexion ». Il s’agit là d’un élément que nous trouvons pertinent dans la mesure où la participante est entrée dans le programme avec une problématique bien précise qu’elle souhaitait travailler, problématique ayant émergé à la suite d’une analyse de sa pratique (étape 1 de la démarche SoTL), et que le choix de la filière individuelle qu’elle a fait lui a permis de combler son besoin. Elle le mentionne d’ailleurs explicitement lorsqu’elle dit : « Le fait de pouvoir travailler directement sur mon propre projet, ça m’a parlé tout de suite (…) Dans le programme, tout faisait sens par rapport à ma tâche ». Il s’agit là, pour nous, d’un point essentiel lorsque l’on se situe dans la sphère de la formation continue non-obligatoire. En effet, si l’on souhaite que les participants persévèrent dans le programme, il est essentiel que celui-ci réponde à leurs besoins. La participante a d’ailleurs terminé sa réflexion sur cette question par une affirmation qui ne fait aucun doute : « C’est vraiment une formation rentable : investissement vs gains ». Des retombées pour les étudiants Si l’une des finalités de la démarche SoTL est l’amélioration des pratiques enseignantes, et in fine de l’apprentissage des étudiants (Lison, 2013), nous constatons que la participante mentionne que les étudiants n’étaient pas, initialement du moins, au cœur de ses préoccupations. « C’est drôle parce qu’au départ, je n’avais pas envisagé qu’ils soient les bénéficiaires de ça. Je voyais plutôt la perspective de l’enseignant. Rapidement pourtant, les cours m’ont amenée à voir l’intérêt de mon projet pour améliorer l’apprentissage des étudiants d’un point de vue curriculaire et non 673 disciplinaire. » Ce commentaire nous interpelle dans la mesure où cela nous amène à prendre conscience que le cadre dans lequel évolue le Diplôme de troisième cycle en pédagogie de l’enseignement supérieur n’est peut-être pas suffisamment explicité. Ce faisant, les enseignants y intervenant tiennent peut-être pour acquis que les participants y entrent tous avec l’ambition de favoriser les apprentissages de leurs étudiants. Il nous apparaît donc essentiel que la phase d’appropriation des connaissances (étape 2 de la démarche SoTL) amène le participant à regarder sa problématique sous divers angles. Par ailleurs, la participante a constaté que le point de vue des étudiants divergeait potentiellement du sien et de celui des autres enseignants du programme : « Les étudiants n’avaient pas forcément conscience de ce problème, en tout cas pas pendant leur formation de premier cycle (…) Les étudiants de deuxième cycle ont trouvé le projet vraiment intéressant. Le chemin parcouru leur permet peut-être de prendre un certain recul et de voir l’intérêt de travailler cette question ». Plusieurs fois au cours de l’entrevue, la participante est revenue sur le fait qu’il est important de communiquer avec les étudiants, de verbaliser les problématiques rencontrées afin de les amener à comprendre la nature du changement proposé par son innovation (étapes 3 à 6 de la démarche SoTL). « Il faut les amener à nous donner leur avis, sinon, on ne peut pas savoir si ce qu’on a mis en place a été efficace ou pas. » Des retombées pour le programme Ce sont les retombées qui ont été les plus difficiles à identifier pour la participante, parce qu’elle considère qu’elle a pris peu le temps d’y penser. Nous constatons que lorsqu’une personne entre en formation continue pour son propre bénéfice, elle ne pense pas forcément aux retombées pour le programme dans lequel elle enseigne. Néanmoins, en la questionnant, elle pense que certaines choses ont bougé : « J’ai fait ma collecte de données auprès de tous les enseignants du programme et auprès de certains étudiants [étape 5 de la démarche SoTL], donc les gens étaient au courant. En réfléchissant, je dirais que les échanges ont fait des petits. D’une part, les enseignants ont une meilleure compréhension du phénomène. D’autre part, c’est un changement dans les croyances des enseignants et on le voit lorsque l’on discute à nouveau de cette problématique. Je dirais qu’il y a eu un changement de perception et pour certains, cela s’est traduit dans la pratique ». Néanmoins, la participante a relativement peu communiqué les résultats de son projet d’innovation (étape 6 de la démarche SoTL), si ce n’est rapidement lors d’une assemblée départementale. Nous pensons qu’il y a là un travail qu’en tant qu’enseignants dans le programme nous devons faire : pousser les participants à communiquer, à partager leur travail, à expliciter la démarche menée, et ce, avec la rigueur attendue d’un praticien chercheur (Bédard, 2014). Participante S2 Des retombées pour soi Parmi les motifs d’entrée en formation identifiés par Carré (1998, 2001), le principal motif de cette participante est de type intrinsèque, et plus spécifiquement épistémique, c’est-à-dire qu’elle souhaite apprendre, développer de nouvelles compétences et connaissances, se cultiver. Autrement dit, elle s’est inscrite par choix et pour le plaisir d’une certaine manière : « Je n’en avais pas besoin 674 pour ma job, mais je ressentais l’envie de structurer ma pensée ». Nous nous situons donc ici dans une perspective non pas de légitimation, mais bien de développement professionnel. C’est en recevant une invitation de la part du programme que cette participante a décidé de s’inscrire dans la filière collective. « Je me sentais très bien dans le contenu de mes cours, j’avais envie de travailler le contenant et le Diplôme de troisième cycle en pédagogie de l’enseignement supérieur m’a semblé être le lieu idéal. » Cet élément nous semble intéressant dans la mesure où le programme se veut être un espace d’expérimentation et de prise de risques pour un professionnel en pratique d’enseignement. La participante a d’ailleurs souligné l’importance pour elle de pouvoir « mettre en pratique » ce qui lui était proposé dans le cadre des différents cours qu’elle a choisis (filière collective) : « Tous les cours que j’ai suivis m’ont permis de mettre en pratique ce qui nous était proposé. Ça m’a donné le goût de poursuivre malgré ma surcharge de travail. (…) Je me sens clairement plus outillée, au-delà même de mes attentes initiales ». C’est l’un des points-clés de la filière collective, réussir à proposer des contenus de formation qui sont adaptables et utiles pour les différents participants, et ce, quel que soit leur contexte de formation. En ce sens, nous considérons nous inscrire réellement dans l’approche SoTL au cœur de laquelle les contextes disciplinaires sont incontournables, l’objectif de la démarche n’étant pas de former des chercheurs en éducation, mais bien des praticiens chercheurs dans leur contexte de formation (Lison, 2013). Le dernier élément qui nous a interpelée lors de l’entrevue, c’est le fait que la participante ait déclaré qu’à la suite du Diplôme de troisième cycle en pédagogie de l’enseignement supérieur : « Je pense que mon identité professionnelle a changé, malgré moi ». D’une part, cela nous interpelle puisque la participante ne s’est pas inscrite dans le programme pour des raisons de légitimité professionnelle et, d’autre part, parce qu’il s’agit pour nous d’un réel signe de développement professionnel. En effet, cette participante considère que la démarche SoTL dans laquelle elle s’est engagée l’a amenée à faire évoluer son identité professionnelle, et ce, malgré elle. Lorsque nous lui avons demandé si elle était en mesure d’identifier les éléments qui ont influencé le changement, elle a mentionné le choix de la filière collective, autrement dit les échanges avec les pairs, et les formateurs. Cela nous pousse à prendre conscience de l’importance de laisser aux participants le choix de la filière dans laquelle ils souhaitent s’engager. En effet, certains, comme la participante S1, ont préféré choisir la filière individuelle considérant la clarté, dès l’entrée de leur projet et les enjeux liés à leur décision de suivre le programme, alors que d’autres, comme la participante S2, considèrent qu’ils veulent avant tout développer leurs connaissances et leurs compétences d’un point de vue plus global, sans nécessairement savoir précisément sur quoi ils veulent travailler. Évidemment, cela amène à considérer l’importance de l’analyse de sa pratique par le participant (étape 1 de la démarche SoTL) pour s’inscrire adéquatement dans la démarche proposée. Nous retenons également l’idée que les rétroactions des pairs, non seulement sur le projet, mais également dans le cadre des activités pédagogiques proposées dans les cours de la filière collective, sont une source de motivation et, a priori, de développement professionnel pour les participants. En ce qui concerne les formateurs, la participante a souligné l’importance de leur posture, soit celle d’accompagnateurs : « Les profs sont dans une logique d’accompagnement. Ils vont dans le sens des étudiants. Tu veux aller plus loin, ben go, on te suit. Ça donne le goût de se dépasser. Ça me correspond aussi. Quand je m’engage, j’y vais à fond. (…) Je me suis sentie supportée dans le changement mis en place. T’es pas seule dans ta barque, c’est plaisant ». Nous considérons qu’il s’agit là d’un élément essentiel dans la mesure où le Diplôme de troisième cycle en pédagogie de 675 l’enseignement supérieur s’inscrit dans le paradigme de l’apprentissage et privilégie les pédagogies actives, et ce, dans une logique programme. Par ailleurs, étant au troisième cycle, dans une formation continue non obligatoire, nous soutenons l’importance de la posture d’accompagnement et, une fois encore, d’adaptation aux différents participants. Si la formulation peut sembler simple, notons toutefois qu’il n’en est pas de même dans la pratique. Le travail de l’équipe programme se doit d’être souligné pour s’assurer de cette posture. En outre, la participante a attiré notre attention sur le fait que le programme peut avoir des retombées qui vont au-delà du programme : « En suivant le DPES, j’ai trouvé des personnesressources qui sont encore là après le programme. Je suis même entrée dans une équipe de recherche ». En effet, le fait d’offrir une formation à des enseignants du supérieur fait en sorte qu’ils sont, d’une certaine manière, des collègues avec lesquels nous interagissons en dehors du programme. Être identifiés comme personnes-ressources pousse donc les formateurs à établir une relation dans le temps qui évoluera en fonction des besoins et des attentes de chacun. Notons que l’inscription de la participante dans une équipe de recherche en éducation démontre également le développement de sa posture de praticienne chercheure. C’est d’ailleurs grâce à cela que la participante a eu l’occasion de communiquer son projet (étape 6 de la démarche SoTL), ayant coorganisé avec l’évaluatrice externe de son rapport d’innovation, un symposium sur le thème de son projet dans le cadre d’un colloque scientifique. Des retombées pour les étudiants À la suite de l’analyse de sa pratique (étape 1 de la démarche SoTL), la participante a identifié un projet d’innovation particulier, mais le cadre avait autant d’importance pour elle que le fond : « C’était important de confirmer mes intuitions. Je ne voulais pas faire un projet pour faire un projet, mais vraiment savoir si ce que je mettais en place favorisait vraiment un apprentissage en profondeur ». La question de l’apprentissage des étudiants était donc au cœur de la démarche de développement professionnel de la participante. Concrètement, la participante avait, au fil de ses lectures (étape 2 de la démarche SoTL), repéré un outil que la littérature identifiait comme favorisant l’apprentissage en profondeur et le transfert dans la pratique, soit la carte de connaissances ou carte conceptuelle. Souhaitant atteindre ces deux objectifs, elle a mis en pratique cette innovation dans le cadre d’un cours qu’elle enseignait en team teaching avec un collègue (étapes 3 et 4 de la démarche SoTL). Pour en comprendre les retombées, elle a choisi de questionner les étudiants (étape 5 de la démarche SoTL). De cette démarche, elle souligne, à l’instar de la participante S1, l’importance du dialogue avec les étudiants : « Ce projet, ça m’a permis de prendre conscience qu’il est important de questionner les étudiants pour savoir s’ils ont conscience des impacts d’une méthode pédagogique. (…) J’ai eu des super commentaires, genre ‘C’est rare qu’un prof se force pour rendre les cours plus intéressants’. Ça fait plaisir, car c’était un de mes objectifs ». Ce qui nous interpelle, dans la seconde partie de l’extrait, c’est le fait que les étudiants ne perçoivent pas toujours la démarche mise en place par l’enseignant. En effet, les stratégies d’enseignement et d’apprentissage sont probablement trop rarement explicitées, ce qui en diminue la pertinence et l’intérêt. Par ailleurs, la participante souligne : « Les étudiants qui ont bénéficié de mon innovation y ont vu du positif. En discutant avec eux, j’ai remarqué que certains avaient une réelle prise de conscience. (…) Plusieurs étudiants m’ont dit apprécier le fait que ce que je proposais reposait sur des éléments fondés et que la démarche était réfléchie. C’était pas juste on essaie puis on verra après ». Là encore, la deuxième partie de l’extrait 676 est indicateur fort de l’importance de la rigueur de la démarche SoTL. En effet, les étudiants ne perçoivent pas toujours la pédagogie comme science, basée sur des recherches empiriques. Le Diplôme de troisième cycle en pédagogie de l’enseignement supérieur semble donc permettre aux participants de valoriser l’enseignement et l’apprentissage au même titre que la recherche (Lison, 2013), ce qui constitue l’une des finalités mêmes du SoTL. Des retombées pour le programme Comme dans le cas de la participante S1, les retombées pour le programme sont les moins réfléchies ou visibles. « Pour le moment, je ne vois pas de changement. Mais je me suis fait voir au sens positif du terme. J’ai donc espoir de faire bouger les choses dans mon programme. (…) Ça va prendre du temps, va falloir casser des routines. (…) Ça prend du temps et de l’énergie, je ne suis pas convaincue que tout le monde soit prêt à ça. Faire changer les mentalités, oui, mais un pas à la fois. » Néanmoins, nous retenons le fait que la participante s’identifie, et est identifiée au sein de sa faculté, comme une agente de changement. Elle souligne cependant que le soutien de l’institution n’est pas aussi fort qu’il pourrait l’être, donnant ainsi l’impulsion au changement. Force est de constater que dans le cadre du Diplôme de troisième cycle en pédagogie de l’enseignement supérieur, nous incitons relativement peu les participants à penser aux retombées de leur innovation au-delà des niveaux micro ou méso. Il serait sans doute pertinent de les inviter à penser au-delà d’eux-mêmes et de leur cours pour qu’ils réfléchissent à la dimension curriculaire. Nous considérons que cela pourrait aller de pair avec une meilleure communication des retombées de leur projet d’innovation (étape 6 de la démarche SoTL). Quelques réflexions à poursuivre L’un des éléments qu’ont en commun les deux personnes qui ont accepté de participer à l’entrevue, c’est que ce sont toutes les deux femmes qui interviennent dans des programmes qui sont « plutôt masculin ». Si nous ne souhaitons pas ouvrir la porte de la théorie des genres, il nous faut néanmoins souligner qu’il serait intéressant de comprendre les motifs d’entrée en formation dans le Diplôme de troisième cycle en pédagogie de l’enseignement supérieur d’hommes afin de comprendre s’ils sont du même ordre. Par ailleurs, les deux personnes interrogées sont entrées en formation avec la même motivation initiale : améliorer leur enseignement. Au fil des cours et de l’évolution de leur projet d’innovation pédagogique, elles ont par contre vu leurs besoins se préciser. En effet, l’amélioration de l’enseignement est un objectif en soi, mais il ne constitue pas la finalité du Diplôme de troisième cycle en pédagogie de l’enseignement supérieur. Ainsi, en partant de problématiques différentes (l’impact des croyances sur les apprentissages et le transfert des connaissances), elles considèrent toutes deux qu’un apprentissage durable des étudiants, y compris dans leur future pratique, est leur visée ultime. Évidemment, cela a amené les deux participantes à s’interroger sur leurs pratiques et sur ce qui existait déjà dans la littérature. Mais nous considérons que le fait d’aller jusqu’à l’expérimentation et à l’évaluation de celle-ci est un pas supplémentaire qui les a amenées à passer de la posture de praticienne à celle de praticienne chercheure (Bédard, 2014). Allant plus loin, nous considérons que le fait de communiquer les résultats de leur expérimentation, et de donc de la soumettre à la critique de leurs pairs, devrait constituer un pas de plus dans leur développement professionnel. C’est donc là une des dimensions que le programme en 677 lui-même peut travailler, et ce, toujours dans la logique de la posture d’accompagnement adoptée par les formateurs. En outre, à la suite des entrevues menées auprès des deux participantes au Diplôme de troisième cycle en pédagogie de l’enseignement supérieur, nous considérons plus que jamais l’importance de former les enseignants du supérieur afin de leur permettre de s’accomplir dans leur mission enseignement avec autant de plaisir et d’aisance qu’ils le font dans leur mission recherche (Lison, 2013). Il s’agit ici d’une question d’identité professionnelle. Et le programme proposé, s’inscrivant bien dans la démarche du SoTL, constitue à notre avis un réel espace de développement professionnel et identitaire. Nous retenons l’importance d’amener les participants à développer une posture de praticien chercheur sans perdre leur identité d’enseignant dans une discipline spécifique. Par ailleurs, nous restons convaincue que l’accompagnement est la voie à privilégier pour favoriser ce développement dans un contexte propice à l’apprentissage non seulement pour les participants à la formation mais aussi pour leurs propres étudiants. Nous sommes donc ici dans un double transfert qui, s’il peut paraître évident, n’est pas toujours facile à conscientiser. Par ailleurs, nous restons persuadée que l’outil d’évaluation mis en place (la mise en place d’une innovation pédagogique et son évaluation), dont le format de rendu peut varier en fonction du participant et de son directeur, est un élément favorisant un développement de compétences et une acquisition de connaissances. En ce qui concerne le format, nous retenons des deux entrevues menées l’importance de proposer aux participants la filière individuelle ou la filière collective, et ce, en fonction de leurs besoins et de leurs attentes. Évoluer demande du temps, de l’énergie, de se donner les moyens, de trouver un cadre pertinent pour le faire. Nous considérons que le Diplôme de troisième cycle en pédagogie de l’enseignement supérieur constitue un espace favorable de développement professionnel pour toute personne qui souhaiterait se donner les moyens d’oser innover. Évidemment, ce programme n’est pas le seul format ou le seul lieu propice au développement professionnel, mais il nous semble une voie pertinente qui mérite d’être empruntée afin de se former pour favoriser l’apprentissage des étudiants. Références Bédard, D. (2014). Être enseignant ou devenir enseignant dans le supérieur : telle est la question… de posture! Dans G. Lameul & C. Loisy (dir.), La pédagogie universitaire à l’heure du numérique (pp. 97-110). Bruxelles : De Boeck. Bélisle, M., Lison, C. & Bédard, D. (À paraître). Accompagner le Scholarship of Teaching and Learning. Dans A. Daele et E. Sylvestre (dir.), Le conseil pédagogique dans l’enseignement supérieur Cadres de référence, outils d’analyse et de développement. Belgique : De Boeck. Boyer, E. (1990). Scholarship reconsidered. Washington, DC: The Carnegie Foundation. Carré, P. (1998). Motifs et dynamiques d’engagement en formation. Synthèse d’une étude qualitative de validation auprès de 61 adultes en formation professionnelle continue. Éducation Permanente, 136, 119-131. Carré, P. (2001). De la motivation à la formation. Paris : L’Harmattan. Felten, P. (2013). Principles of Good Practice in SoTL. Teaching & Learning Inquiry, 1(1), 121-125. 678 Lison, C. (2013). La pratique réflexive en enseignement supérieur: d’une approche théorique à une perspective de développement professionnel. Phronesis, 2(1), 15-27. Lison, C. & Jutras, F. (2014). Innover à l’université: penser les situations d’enseignement pour soutenir l’apprentissage. Revue internationale de pédagogie de l’enseignement supérieur, 30(1). https://ripes.revues.org/769 Milgrom, E., Mauffette, Y., Raucent, B. & Verzat, C. (2010). Pas d’accompagnement sans évaluation - pas d’évaluation sans accompagnement. Dans B. Raucent, C. Verzat & L. Villeneuve (dir.), Accompagner des étudiants. Quels rôles pour l’enseignant? Quels dispositifs? Quelles mises en oeuvre? (pp. 313-340). Bruxelles : De Boeck. O’Brien, M. (2008). Navigating the SoTL landscape: A compass, map and some tools for getting started. International Journal for the Scholarship of Teaching and Learning, 2, 1-20. Rege Colet, N., McAlpine, L., Fanghanel, J. & Weston, C. (2011). Le concept de « Scholarship of Teaching and Learning ». Recherche & Formation, 67, 91-104. 679 COMMUNICATION 5 - PEUT-ON VALIDEMENT MESURER (ET SI OUI, À L’AIDE DE QUELS INDICATEURS) « L’IMPACT » DE PRATIQUES INNOVANTES DE FORMATION ET D’ACCOMPAGNEMENT? Romainville, Marc, Université de Namur, (BE) Je me permets d’abord de saluer l’audace des organisateurs de ce symposium d’avoir osé aborder, héroïquement et de front, l’une des questions les plus délicates pour la recherche en éducation, à savoir la mesure des impacts de pratiques. On connaît, en effet, la difficulté de telles opérations et notamment la nécessité d’isoler, de manière précise, l’effet des pratiques étudiées indépendamment des autres variables qui pourraient affecter cet effet, ce qui se révèle parfois très délicat dans un contexte « naturel » et non-expérimental32. Mes quelques propos de clôture du symposium se concentreront sur les deux questions méthodologiques suivantes : Est-il raisonnable d’espérer mesurer des « effets » ? Quels indicateurs choisir pour mesurer les effets de pratiques innovantes de formation et/ou d’accompagnement des enseignants du supérieur ? En éducation, le souci de « mesurer l’impact » est certes louable, mais semé d’embûches. Qui dit « impact » dit « effet » et qui dit « effet » dit « conséquence directe et unilatérale d’une cause ». Et c’est ici que les ennuis commencent. Pour ne prendre qu’un exemple, si l’on se propose de mesurer l’impact d’une formation à la pédagogie auprès d’enseignants-chercheurs, il faudrait pouvoir vérifier que les candidats « volontaires » à cette formation ne disposaient pas, par ailleurs, de caractéristiques (par exemple, un plus haut niveau d’engagement général dans le métier que la moyenne) qui expliquent en réalité davantage l’effet observé (exemple, le souci de renouveler sa pédagogie) que le dispositif de formation mis en place. Idéalement, pour pouvoir mettre en évidence une stricte relation de cause à effet, il nous faudrait disposer de toute une série de données de départ sur les sujets étudiés et répartir ces derniers aléatoirement aux différentes conditions du facteur dont on cherche à expliquer l’impact. Le problème se complexifie encore lorsque ces données de départ ne sont pas indépendantes les unes des autres… De la même manière, les enseignants qui recourent spontanément à l’évaluation des enseignements par les étudiants (EEE) dans une institution qui n’a pas rendu cette forme d’évaluation obligatoire présentent sans doute des caractéristiques particulières et un rapport à la pédagogie ou à l’innovation probablement assez différent de la moyenne des enseignants-chercheurs, ce qui « explique » peut-être le soi-disant « effet » de l’EEE. La seconde question méthodologique que je souhaiterais mettre en débat a trait à la nature des indicateurs d’impact des formations et accompagnements pédagogiques. Prétendre mesurer l’impact de ces formations et accompagnements sur les apprentissages des étudiants, voire sur leur réussite, est sans doute démesuré et illusoire, tant le nombre de variables intermédiaires est colossal. Des formations pourraient éventuellement participer à changer les conceptions des enseignants, mais il leur resterait encore, pour que les étudiants bénéficient réellement de ces 32 Voir notamment, pour un exemple de tentative de mesure d’impact d’une pratique innovante de formation : de Crombrugghe, A. & Romainville, M. (2015). Cours interactif et performance académique d’étudiants de première année universitaire en économie, Revue internationale de pédagogie de l’enseignement supérieur, 31(3) 680 modifications, à les mettre en œuvre et à modifier leurs pratiques effectives en conséquence33, sans que l’on puisse, par ailleurs, préjuger de la réception par les étudiants de ces nouvelles pratiques et des « effets » qu’elles produiraient effectivement chez eux. De même, des indices de satisfaction des étudiants (et d’ailleurs aussi des enseignants) sont aussi sujets à caution, compte tenu, d’une part, de l’effet « Hawthorne » qui pourrait inciter les étudiants participant à une expérience innovante à en être satisfaits du simple fait d’avoir conscience et d’être fiers de participer à une expérience et, d’autre part, du risque non négligeable que les enseignants rationnalisent a posteriori leur investissement dans l’innovation, en concluant à son formidable succès… Face aux difficultés d’obtenir des indicateurs objectifs, les études d’impact se rabattent alors bien souvent sur des mesures indirectes, voire subjectives. Ainsi, puisqu’il serait délicat d’observer les effets d’une formation sur le changement de pratiques, on se tourne vers des mesures d’intentions de transfert, recueillies auprès des sujets eux-mêmes. Ici aussi, de nombreux biais affecteront très probablement ces mesures indirectes. Nous savons ainsi tous qu’entre intention et action, il peut y avoir un gouffre pour de bonnes (par exemple, des conditions matérielles rendant finalement l’implémentation de l’innovation impossible) ou de moins bonnes raisons. En désespoir de cause, une des tendances actuelles est de vouloir mesurer l’impact de ces formations et accompagnements sur le « développement professionnel » des enseignants. Mais la question n’est pas plus simple pour autant. En effet, les indicateurs retenus sont tributaires de la manière dont on conçoit ce développement professionnel et donc tout autant subjectifs. Par exemple, on peut appréhender ce développement professionnel sous l’angle de la maîtrise d’outils théoriques et pratiques : les enseignants maîtrisent-ils (ou disent-il maîtriser) les procédures d’explicitation de leur contrat didactique ? Mais cela augure-t-il qu’ils intègreront-ils ces outils dans leurs pratiques ? Rien n’est moins sûr, il ne suffit pas de connaître ou de comprendre pour faire et agir, comme je l’ai évoqué plus haut. De plus, au-delà des techniques enseignées, reste à savoir si les enseignants adhèrent à leurs valeurs sous-jacentes, ce qui constitue une autre dimension essentielle de l’attitude professionnelle d’un enseignant : on peut être au courant d’une méthode, y avoir même été formé correctement mais estimer au final que les présupposés qui la sous-tendent ne cadrent pas avec ses valeurs et/ou ses conceptions personnelles de l’enseignement et de l’apprentissage. Le développement professionnel est donc aussi une affaire de valeurs et de choix, sur lesquels il serait tout aussi utile, mais très délicat, d’étudier l’impact de pratiques innovantes de formation ou d’accompagnement. 33 Ce qui est une autre paire de manche puisque la réflexion et l’action sont deux registres très différents en éducation (cf. Romainville, M. (2006), L’illusion réflexive, Formation et pratiques d’enseignements en questions, 3, 69-81. 681 EVALUATION DES COMPÉTENCES, APPRENTISSAGES DES ÉLÈVES ET POLITIQUES D'ÉDUCATION PRIORITAIRE (ID 102) SOUSSIE, Anne, SRED (CH) DUTRÉVIS, Marion, SRED- Université de Genève (CH) RÉSUMÉ Depuis quelques décennies, l'évaluation externe a pris un grand essor en Amérique du nord et en Europe avec les besoins d'accountability. Ses fonctions sont diverses: elles peuvent être diagnostiques comme les évaluations nationales françaises avant 2003, sommatives ou certificatives comme certaines épreuves de référence ou évaluations cantonales en Suisse romande, en Communauté française de Belgique ou au Luxembourg, etc. ou encore servir au monitorage ou au pilotage du système (évaluations françaises CEDRE, enquête internationale PISA, etc.). Parfois, elles poursuivent plusieurs objectifs. De toutes les façons, elles s'adressent à tous les élèves ou à un échantillon d'entre eux indépendamment du contexte de scolarisation. Or, la réussite à ces évaluations dépend de nombreux facteurs: les caractéristiques individuelles des élèves, celles des enseignants ainsi que leurs pratiques pédagogiques y compris en matière d'évaluation, et le contexte de scolarisation (classe et établissement). Nous aborderons ici plus particulièrement le contexte de l'éducation prioritaire en comparant les compétences d'élèves scolarisés dans des établissements appartenant à l'éducation prioritaire ou non dans plusieurs cantons et pays. Dans ce contexte, la question de l'évaluation des effets de ces politiques est un problème complexe. Le plus souvent, on recourt à des instruments habituels dont on dispose : épreuves externes servant à la régulation du système ou à la vérification de l’atteinte des objectifs en essayant de mettre en évidence des différences liées aux caractéristiques des élèves ou des enseignants. Cependant, ces épreuves ne sont pas spécifiquement élaborées pour mettre en évidence l’efficacité des politiques d’éducation prioritaire. De manière générale, ces évaluations externes permettent de comparer les compétences des élèves en montrant des écarts selon le contexte de scolarisation. Le plus souvent elles ne permettent pas de mettre en évidence des effets de ces politiques. Pour évaluer l’effet de ces politiques d’éducation prioritaires, d’autres dimensions méritent d’être investiguées, telles que les pratiques d’enseignement ou les mesures spécifiques appliquées aux bénéficiaires des politiques d’éducation prioritaire. Les différentes présentations de ce symposium tentent d'éclairer différentes entrées possibles pour évaluer les politiques d’éducation prioritaires et leur contribution à la mise en évidence d’effets de ces politiques. Ainsi, interroger les attentes, observer les pratiques pédagogiques en classe ou interroger les enseignants à ce propos ou encore investiguer les dispositifs de soutien aux apprentissages sont des pistes à explorer pour comprendre comment se construisent les compétences des élèves dans des contextes différents. Une première communication traitera de l'efficacité relative des projets d'établissements bénéficiant de discrimination positive (Equité) dans le canton de Vaud, ce qui permettra de faire le lien entre projets et compétences des élèves. 682 Une seconde communication s'intéressera aux compétences des élèves genevois dans deux contextes (le Réseau d'enseignement prioritaire et les autres établissements) à l'école primaire et les pratiques pédagogiques déclarées des enseignants. Dans la troisième communication, les attentes des enseignants dont on connait l'impact sur la réussite et les parcours scolaires des élèves seront interrogées du point de vue des enseignants, des directions d'établissements et des élèves dans le canton de Genève. Une quatrième communication portera sur l'influence du contexte et les effets sur les compétences des élèves en mathématiques dans deux établissements (un REP et un ordinaire) au moyen d'une approche ergonomique et didactique. Enfin, une dernière communication traitera plus spécifiquement de la logique de la prise en compte des difficultés scolaires et de ses effets sur les acteurs et les élèves, dans des dispositifs et dans la classe au quotidien au collège en France. En s'appuyant sur des dispositifs implantés dans différents contextes nationaux ou cantonaux, au primaire comme au secondaire, les différentes contributions à ce symposium permettront un éclairage multiple sur l'évaluation et l'apprentissage en éducation prioritaire. COMMUNICATION 1 - L’EFFICACITÉ RELATIVE DES PROJETS D’ÉDUCATION PRIORITAIRE DANS LE CANTON DE VAUD EN SUISSE NTAMAKILIRO, Ladislas, URSP (CH) GILLIÉRON, Patricia, URSP (CH) RÉSUMÉ Les inégalités des chances de réussite scolaire apparaissent sous deux visages qu’il convient de distinguer à l’instar notamment de Meuret (1994). Il y a d’abord, le handicap socioculturel des élèves issus des milieux socialement et économiquement défavorisés qui abordent les apprentissages scolaires avec un retard considérable par rapport au niveau de leurs camarades issus des milieux favorisés. Il y a ensuite, le nivellement vers le bas des résultats des écoles implantées dans les zones socio-économiquement les plus défavorisées. Les élèves d’origine sociale défavorisée sont alors doublement pénalisés dans leurs apprentissages quand ils sont scolarisés dans des écoles ellesmêmes défavorisées. Les politiques d’éducation prioritaire s’attaquent aux deux formes de l’inégalité scolaire en ciblant davantage l’une ou l’autre en fonction de la situation du système éducatif, ce qui explique en partie les différences observées d’un pays à l’autre. Dans le canton de Vaud, en Suisse, la politique d’éducation prioritaire repose sur deux dispositifs complémentaires. Le plus ancien, le dispositif d’enseignement compensatoire en faveur des élèves en difficulté date des années 1970. Il a été complété, tout récemment, par un second dispositif consistant à allouer des ressources complémentaires aux établissements dont le niveau socio-économique de la population est le plus faible. Le deuxième dispositif fait l’objet d’un mandat de recherche de l’unité de recherche pour le pilotage des systèmes pédagogiques (URSP). Notre communication au colloque de l’ADMEE se base 683 sur les résultats de cette recherche. Nous présenterons les analyses effectuées en vue d’estimer les effets de ce dispositif sur les résultats scolaires. Les données mobilisées concernent essentiellement les résultats aux épreuves externes standardisées passées en 2e, en 4e et en 6e, de la volée d’élèves qui étaient en 3e année lorsque la mesure d’allocation de ressources supplémentaires aux établissements défavorisés a commencé, en 2008-2009. L’analyse consiste à comparer les progrès réalisés par les élèves des deux groupes (établissements bénéficiaires versus établissements non bénéficiaires de ressources complémentaires), entre la 2e et la 4e année, ainsi qu’entre la 4e et la 6e année à partir des scores individuels à trois évaluations externes en français (en 2008, 2010 et 2012) et à deux évaluations en mathématiques (en 2010 et 2012). En référence à Gamoran (2012), nous privilégions l’approche longitudinale consistant à estimer les effets des mesures d’éducation prioritaire visibles non pas sur un tableau des résultats bruts aux tests à un instant t mais au travers des progrès des élèves et de la progression des établissements. Aux différents tests de français et de mathématiques, les résultats des élèves des établissements défavorisés ayant bénéficié de l’éducation prioritaire restent inférieurs à ceux des établissements des régions plus favorisées mais l’écart entre les deux groupes a diminué en 2010 en comparaison avec 2008 et davantage encore en 2012 en comparaison avec 2010. Une série d’analyses de régression multiple sur ces données confirme cet effet modeste du dispositif de discrimination positive en faveur des établissements défavorisés. Toutes choses étant égales par ailleurs, les différences entre les deux groupes sont statistiquement significatives en 2010, non significatives en 2012. Les résultats d’une analyse de l’évolution des scores moyens des établissements en français sur la base de l’agrégation des scores individuels vont dans le même sens. L’analyse montre qu’il y a proportionnellement plus d’établissements bénéficiaires que d’établissements non bénéficiaires de ressources complémentaires ayant vu leur score moyen progresser entre 2010 et 2012. L’évolution positive des résultats de quelques établissements bénéficiaires de ressources complémentaires entre 2010 et 2012 est en partie liée aux projets d’éducation prioritaire mis en œuvre dans ces établissements. Nous avons observé cinq types de projets d’éducation prioritaire qui se déclinent en différentes formes de soutien : soutien aux apprentissages disciplinaires (65%), soutien éducatif (13%), le soutien aux activités socio-culturelles (8%), soutien à la formation des enseignants (10%) et soutien à l’implication des parents (4%). Les établissements ayant le plus progressé ont privilégié les projets de soutien aux apprentissages, principalement l’enseignement compensatoire ciblé sur les élèves en difficulté. A l’inverse, les établissements qui n’ont guère ou pas du tout progressé ont privilégié soit les projets de soutien éducatif soit les nouvelles tendances du soutien aux apprentissages telles que le coenseignement, les classes à niveaux, le dédoublement des classes ou les cours de développement personnel. Références Gamoran, A. (2012). Bilan et devenir de la loi No Child Left Behind aux Etats-Unis. Revue Française de Pédagogie, 178, 13-26. Meuret, D. (1994). L’efficacité de la politique des zones d’éducation prioritaire dans les collèges. Revue Française de pédagogie, no 109, 41-64. 684 Stes, A. & Van Petegem, P. (2011). La formation pédagogique des professeurs dans l’enseignement supérieur. Une étude d’impact, Recherche et formation, 67, 15-30. COMMUNICATION 2 - COMPÉTENCES DES ÉLÈVES ET PRATIQUES PÉDAGOGIQUES DANS UN CONTEXTE D'ÉDUCATION PRIORITAIRE À GENÈVE? SOUSSIE, Anne, SRED (CH) NIDEGGER, Christian, SRED (CH) RÉSUMÉ Les recherches sur les compétences des élèves (Bianco & Bressoux, 2009; Bressoux, 1994, 2012; Duru-Bellat, 2002) ont montré non seulement le poids des caractéristiques individuelles mais également celui de la classe dans lequel les élèves sont scolarisés et celui des enseignants. Dans le cadre de l'évaluation des effets d'une politique d'éducation prioritaire mise en place à Genève (Réseau d'éducation prioritaire), les études (Soussi et al. 2008, Soussi et Nidegger, 2010, 2015) ont mis en évidence des écarts de réussite relativement stables entre élèves scolarisés dans le REP et ceux scolarisés dans d'autres établissements. Si les caractéristiques des élèves (origine socioéconomique, âge, langue parlée à la maison et genre) ainsi que leur niveau initial de connaissances peuvent expliquer en partie ces résultats, d'autres éléments tels que les pratiques pédagogiques en matière d'apprentissage ou d'évaluation et les conditions d'enseignement peuvent apporter d'autres éclairages. Une enquête par questionnaire menée auprès des enseignants de l'école primaire à Genève ne permet pas globalement de mettre en évidence des différences dans les pratiques déclarées, à quelques nuances près (Soussi & Nidegger, 2015). Face à des élèves provenant plus souvent d'un milieu défavorisé et allophones que dans les autres établissements, les enseignants ne semblent pas changer fondamentalement de pratiques même si le climat de classe et les conditions d'enseignement sont un peu plus difficiles. Quelques rares variations apparaissent au niveau de la différenciation (évaluation et devoirs à domicile) et de l'enseignement de la lecture dans les premiers degrés. Ainsi, face aux élèves du REP, ils développent moins souvent une notion à partir d'exemples concrets de la vie quotidienne, se reposent moins sur les connaissances antérieurs et contextualisent davantage le contenu avant de mettre en place une activité de lecture. On peut supposer d'une part que certaines pratiques d'enseignement sont incontournables : par exemple la mise en contexte d'une leçon, l'évaluation, etc. D'autre part, les enseignants ont reçu une même formation. Enfin, ils sont censés appliquer les mêmes règlements et suivre le même programme au primaire. Leur marge de liberté est formellement assez restreinte. Par ailleurs, ces résultats reposant sur des déclarations peuvent refléter plus ou moins la réalité étant donné le principe de désirabilité induit par le questionnaire En outre, contrairement à d'autres contextes comme celui des ZEP en France (Rochex, 2008), les enseignants genevois des établissements REP ont les mêmes caractéristiques que leurs collègues du point de vue de l'âge et du nombre d'années d'expérience. 685 Ces résultats, c'est-à-dire une similarité des pratiques quel que soit le contexte de scolarisation, peuvent expliquer en partie l'absence d'effets du REP sur les compétences des élèves. Ces constats confirment les résultats de la recherche processus-produit (Crahay, 2006; Good, 1996; Hattie, 2009) qui ont montré que les enseignants avaient tendance à utiliser plus d'une pratiques en fonction de la situation et des tâches et que leur fonctionnement dépendait non seulement des caractéristiques des élèves mais aussi et surtout des contraintes situationnelles (Bayer, 1986; Bru, 2006). Néanmoins d'autres chercheurs (Bautier & Goigoux, 2004; Cèbe & Goigoux, 2004) ont mis en évidence l'existence de malentendus sociocognitifs et un rapport au savoir différent chez les élèves dont la culture familiale est plus éloignée de l'école. Compte tenu de ces débats dans la littérature, ces données nécessiteraient d'être complétées par d'autres recherches employant une méthodologie qualitative plus fine (par exemple des observations) qui permettrait d'explorer les dispositifs d'enseignement et les interactions maitreélèves en classe. Cela permettrait également de comparer les pratiques déclarées par les enseignants aux pratiques réelles. Références Bautier, E. & Goigoux, R. (2004). Difficultés d'apprentissage, processus de secondarisation et pratiques enseignantes: une hypothèse relationnelle. Revue Française de Pédagogie, 142, 89-100. Bayer, E. (1986). Une science de l'enseignement est-elle possible? In M. Crahay & D. Lafontaine (Ed.), L'art et la science de l'enseignement (pp. 483-507). Bruxelles: Labor. Bianco, M. & Bressoux, P. effet-classe et effet-maitre dans l'enseignement primaire : vers un enseignement efficace de la compréhension? In X. Dumay & V. Dupriez (Eds). L'efficacité dans l'enseignement, promesses et zones d'ombre (pp.35-54). Bruxelles: De Boeck. Bressoux, P. (1994). Les recherches sur les effets-écoles et les effets-maitres. Revue Française de Pédagogie, 108, 91-137. Bressoux, P. (2012). L'influence des pratiques enseignantes sur les acquisitions scolaires des élèves. La Découverte, no 12, 208-217. Bru, M. (2004). Les pratiques enseignantes comme objet de recherche. In J.F. Marcel (Ed.), Les pratiques enseignantes hors de la classe (Savoir et formation). Paris : L'Harmattan. Cèbe, S. & Goigoux, R. (2004). Quelles pratiques d'enseignement pour compenser les inégalités sociales en grande section de maternelle. In L. Talbot (Ed.). Pratiques d'enseignement et élèves en difficulté. Toulouse: Erès, p. 112-121. Crahay, M. (2006). Un bilan des recherches processus-produit. L'enseignement peut-il contribuer à l'apprentissage des élèves et si oui, comment? Genève: Carnets des sciences de l'éducation. Duru-Bellat, M. (2002). Les inégalités sociales à l'école. Genèse et mythes. Paris: PUF. Good, T.-L. (1996). Teaching effects and teacher evaluation. In J. Sikula, T.J. Buttery & E. Guyton (Eds.), Handbook of Research on Teacher Education (2nd ed., pp. 617-665). New York: Macmillan. Hattie, J.A.C. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. London, UK: Routledge. 686 Rochex, J-Y. (2008). " 5 ans de politique d'éducation prioritaire en France: une spécificité incertaine et des résultats décevants". In M. Demeuse, D. Frandji, D. Greger et J.Y. Rochex (dir.), Evolution des politiques d'éducation prioritaire en Europe. Conceptions, mises en œuvre, débats (pp.133-174). INRP. Soussi, A., Guignard, N., Hayoz, E. & Nidegger, Ch. (2008). Mise en place du REP. Effets sur les compétences des élèves. Genève: SRED. Soussi A. & Nidegger, Ch. (2015). Le réseau d'enseignement prioritaire genevois (REP) 8 ans après son introduction. Genève: SRED. COMMUNICATION 3 – ATTENTES ET ASPIRATIONS EN CONTEXTE D’ENSEIGNEMENT PRIORITAIRE: LE POINT DE VUE DES ENSEIGNANTS ET DE LEURS ÉLÈVES DUTRÉVIS, Marion, SRED- Université de Genève (CH) FOUQUET-CHAUPADRE, Barbara, Université de Genève (CH) RÉSUMÉ L’éducation prioritaire (EP) est devenue, depuis une cinquantaine d’années, l’un des axes de travail majeur de la plupart des systèmes éducatifs. Au niveau international, les politiques d’éducation prioritaire se caractérisent par une grande diversité tant au niveau des populations concernées que des dispositifs mis en œuvre (voir par exemple Demeuse, Frandji, Greger & Rochex, 2008 ; 2011 ; Dutrévis, Fouquet-Chauprade & Demeuse, à paraitre). Par ailleurs, les premiers bilans relatifs aux politiques d’éducation prioritaire sont globalement mitigés quant aux apprentissages scolaires des élèves (voir par exemple Dutrévis & Crahay, 2009 ; Merle, 2012 ; Moisan & Simon, 1997 ; Soussi, Nidegger, Dutrévis & Crahay, 2012). Ces résultats peu satisfaisants conduisent à de nombreux questionnements. Dans cette communication, nous nous focaliserons sur le rôle des attentes des enseignants. En effet, une vaste littérature de recherche questionne l’impact que les attentes des enseignants peuvent avoir sur le parcours scolaire des élèves. Qu’en est-il de leur poids dans le contexte de l’enseignement prioritaire ? De notre point de vue, il semble légitime de s’interroger sur l’existence d’attentes plus faibles pour ce public dans la mesure où celles-ci peuvent avoir des conséquences non négligeables sur les pratiques d’enseignement et les pratiques évaluatives. In fine, l’expérience scolaire des élèves s’en trouve affectée. Avant de questionner l'existence d'attentes spécifiques en contexte prioritaire, il convient de rappeler la grande hétérogénéité parmi ces établissements. Ceci permet de dégager des établissements plutôt efficaces, et d’autres qui le sont moins. Certaines caractéristiques sont communes aux établissements qui réussissent. Parmi elles, on retrouve les attentes positives à l’égard des élèves (Chauveau & Rogovas-Chauveau, 1995). Ces résultats renvoient aussi à la littérature consacrée aux « effets maitres », effets non négligeables qui peuvent expliquer jusqu’à 15% de la variance des acquis scolaires au primaire (Felouzis, 1997 ; Mingat, 1991). Parmi ces effets maitres, deux éléments sont importants pour expliquer l’efficacité des enseignants : le temps consacré aux apprentissages et les effets d’attentes. Les taux d’exposition aux apprentissages (Chauveau, 2006 ; Suchaut, 1996) peuvent être très variables d’un établissement prioritaire à l’autre. 687 Chauveau évoque également les compétences des enseignants qui sont nécessaires pour la réussite des élèves : les compétences éthique, didactique, organisationnelle et sociale. La compétence éthique, qui nous intéresse particulièrement ici, renvoie à « l’engagement de l’enseignant : “Je peux (je dois) réussir et faire réussir mes élèves ; ils peuvent (doivent) réussir” » (Chauveau, 2001, p. 151). S’agissant des effets d’attente, ils sont affectés par l’image qu’ont les enseignants de leurs élèves. Armand et Gilles (2006) font le constat d’une tendance chez les enseignants en éducation prioritaire à sous-estimer les compétences de leurs élèves. Les auteurs soulignent également une tendance à anticiper l’absence chez les élèves de prérequis qu’ils considèrent comme indispensables aux apprentissages ultérieurs. Ceci tient en partie à la posture des enseignants quant à l’attribution de l’échec scolaire. Les difficultés scolaires des élèves des milieux populaires seraient à expliquer par leur milieu social d’origine, alors que les enseignants expliquent l’échec scolaire des élèves d’origine sociale favorisée par des causes psychologiques (Duru-Bellat & Van Zanten, 2007). La littérature montre par ailleurs que les élèves de faible niveau scolaire ou d’origine sociale défavorisée sont très sensibles à l’environnement scolaire et pédagogique (Bressoux, 1994 ; Broccolichi & Trancart, 2010). De même, les recherches sur l’effet Pygmalion (Felouzis, 1997 ; Rosenthal & Jacobson, 1968 ; Trouilloud & Sarrazin, 2003) montrent que les élèves stigmatisés sur le plan scolaire, ethnique et/ou social sont plus sensibles aux attentes des enseignants. Sur la base de cette littérature, il apparaît essentiel de se pencher sur les attentes des enseignants en contexte d'éducation prioritaire. Cette communication présentera les premiers résultats d’une enquête menée dans le canton de Genève. Dix établissements du primaire seront concernés : cinq appartenant au Réseau d’Enseignement Prioritaire (REP) et 5 non-REP. Des entretiens avec les enseignants nous permettront de mieux saisir quelles sont leurs attentes par rapport à leurs élèves et de voir s’il existe une variation en fonction du contexte REP vs non-REP D’autres entretiens seront menés auprès de groupes d’élèves de ces mêmes classes pour approfondir la question des aspirations scolaires et sociales du point de vue des élèves. Cette démarche nous permettra de mieux cerner les attentes des enseignants à travers différentes thématiques telles que leurs pratiques pédagogiques, leur conception de l'évaluation, leur regard sur les projets scolaires et professionnels des élèves,… En parallèle, questionner les élèves nous permettra d'éclairer leurs propres aspirations, et les sources d'influence dans leurs choix d'orientation (école, enseignants, parents,…). Les données sont actuellement en cours de traitement. Elles permettront de porter un regard qualitatif sur la façon dont les enseignants évaluent et perçoivent leurs élèves, en interrogeant non pas leurs notes scolaires mais d'autres dimensions qui font partie intégrante de la construction du jugement de l'enseignant. Grâce au point de vue des élèves, nous aurons un double éclairage sur le poids des attentes et sur d'éventuelles disparités en fonction du contexte de scolarisation. Références Armand, A., & Gilles, B. (2006). La contribution de l'éducation prioritaire à l'égalité des chances des élèves. MEN-DEP. Bressoux, P. (1994). Les recherches sur les effets écoles et les effets maître. Revue Française de Pédagogie, 108, 91-137. 688 Broccolichi, S., & Trancart, D. (2010). Plus d’échecs et d’inégalités scolaires en zones ségréguées. In S. Broccolochi, C. Ben Ayed & D. Trancart (Eds.), Ecole : les pièges de la concurrence (pp. 88-103). Paris : La Découverte. Chauveau, G. (2001). La réussite scolaire dans les ZEP. Education et formations, 61, 147-151. Chauveau, G. (2006). Education prioritaire et/ou priorité à la pédagogie. Diversité, 144, 95-103. Chauveau, G., & Rogovas-Chauveau, E. (1995). A l’école des banlieues. Paris : ESF. Demeuse, M., Frandji, D., Greger, D., & Rochex, J.-Y. (2008). Les politiques d’éducation prioritaire en Europe. Conceptions, mises en œuvre, débats. Lyon : INRP. Demeuse, M., Frandji, D., Greger, D., & Rochex, J.-Y. (2011). Les politiques d’éducation prioritaire en Europe. Tome 2 : Quel devenir pour l’égalité scolaire ? Lyon : INRP. Duru-Bellat, M., & Van Zanten, A. (2007). Sociologie de l’école. Paris : Armand Colin. Dutrévis, M., & Crahay, M. (2009). Les dispositifs de discrimination positive sont-ils efficaces ? In G. Chapelle & M. Crahay (Eds.), Réussir à apprendre (pp. 59-73). Paris : PUF. Dutrévis, M., Fouquet-Chauprade, B., & Demeuse, M. (à paraitre). Les politiques d'éducation prioritaire en question. Education comparée. Felouzis, G. (1997). L’efficacité des enseignants. Paris : PUF. Merle, P. (2012). La ségrégation scolaire. Paris : La Découverte. Mingat, A. (1991). Expliquer la variété des acquisitions au cours préparatoire : les rôles de l’enfant, la famille et l’école. Revue Française de Pédagogie, 95, 47-63. Moisan, C., & Simon, J. (1997). Les déterminants de la réussite scolaire en zone d’éducation prioritaire. Rapport de l’inspection générale de l’administration de l’Education Nationale. Rosenthal, R., & Jacobson, E. (1968). Pygmalion in the classroom. New York: Holt, Rinehart & Winston. Soussi, A., Nidegger, C., Dutrévis, M., & Crahay, M. (2012). Un réseau d'enseignement prioritaire dans le canton de Genève : quels effets sur les élèves ? Revue Française de Pédagogie, 178, 53-66. Suchaut, B. (1996). La gestion du temps à l’école maternelle et primaire : diversité des pratiques et effets sur les acquisitions des élèves. L’année de la recherche en éducation, 123-153 Trouilloud, D., & Sarrazin, P (2003). Les connaissances actuelles sur l’effet Pygmalion. Revue Française de Pédagogie, 145, 89-119. COMMUNICATION 4 - DIFFÉRENCIATION DANS LE PROCESSUS D'ENSEIGNEMENTAPPRENTISSAGE DES MATHÉMATIQUES EN FRANCE, EN ÉDUCATION PRIORITAIRE ET AILLEURS CHESNAIS, Aurélie, Université de Montpellier (FR) RÉSUMÉ Kherroubi et Rochex (2004) pointent la nécessité « [d’]étudier et [d’]interroger les modes d’adaptation et de différenciation des pratiques enseignantes […] selon les caractéristiques sociales 689 du recrutement des écoles et des établissements » (p. 136), afin d’élucider les relations entre inégalités scolaires et caractéristiques sociales, langagières et culturelles des élèves. Nous nous proposons de contribuer à cette entreprise du point de vue de la didactique des mathématiques. Etudier les pratiques d’enseignants de mathématiques au début du secondaire et les comparer selon que les enseignants exercent dans des établissements relevant de l’éducation prioritaire ou non, permet ainsi de questionner certaines pratiques identifiées comme différenciées et potentiellement différenciatrices (voir notamment Bonnéry, 2007, Bautier et Rayou, 2009, Rochex et Crinon, 2011). Nous tentons ainsi d’une part de comprendre l’influence du contexte (établissement relevant de l’éducation prioritaire ou non) sur les choix des enseignants, d’autre part, nous tentons d’apprécier les effets des pratiques sur les apprentissages des élèves. Notre objectif est de spécifier aux mathématiques puis de vérifier l’hypothèse selon laquelle les pratiques des enseignants sont différenciées et différenciatrices – à l’intérieur d’une même classe et entre les classes – en fonction du rapport au savoir et au langage (Charlot et al., 1992) des élèves. Nous comparons ainsi des séances de classes menées dans des établissements accueillant majoritairement des élèves de milieu social défavorisé et dans des établissements « ordinaires » mais portant sur un contenu d’enseignement identique. Notre corpus (issu d’une part de notre travail de thèse (Chesnais 2009), d’autre part d’un projet sur la transition entre l’école et le collège ) porte sur des séances de géométrie, à propos de la symétrie axiale, au premier niveau de l’enseignement secondaire (classes de sixième, élèves de 11 ans). Notre étude s’inscrit dans la théorie de l’activité spécifiée à l’enseignement et l’apprentissage des mathématiques (Robert, 2008) et mobilise la double approche didactique et ergonomique des pratiques des enseignants de mathématiques (Robert et Rogalski, 2002). Les activités mathématiques des élèves en classe sont ainsi au centre de nos analyses : elles sont nos intermédiaires, d’une part, pour apprécier les apprentissages potentiels des élèves, d’autre part en tant que produits des pratiques des enseignants, afin d’étudier ces dernières. Nous intégrons en outre à notre analyse didactique des analyses des interactions langagières en classe puisque les travaux des sociologues induisent l’idée que la différenciation est liée au rapport au langage des élèves. Nous étudions en particulier dans les échanges ce qui participe de l’explicitation des « règles du jeu auquel on joue », du point de vue mathématique et du point de vue langagier, en géométrie. La classe de sixième est un niveau clé de ce point de vue puisque, d’après les programmes, doit être initié un changement de paradigme géométrique (au sens de Houdement et Kuzniak, 2000), c’est-à-dire que les « règles du jeu géométrique » commencent à changer. Par exemple, le statut de la mesure et des propriétés des figures évolue, le raisonnement déductif tendant à devenir l’unique mode de validation d’énoncés. Nous observons donc, à travers les activités des élèves, si et comment ces nouvelles règles du jeu sont entendues et interprétées, dans la mesure où cela peut se révéler très différenciateur pour la suite des apprentissages en géométrie. Nous étudions également la manière dont les enseignants prennent en charge cette évolution et notamment la part d’implicite dont l’interprétation reste à la charge des élèves – cette interprétation étant souvent très dépendante du rapport au savoir et au langage des élèves. En étudiant certains moments clés, nous souhaitons tester l’hypothèse selon laquelle l’enseignant s’adapte au rapport au savoir et au langage de ses élèves (à la fois selon la classe à laquelle il s’adresse et, au sein d’une même classe, selon les élèves auxquels il s’adresse), non seulement pour garantir la paix scolaire (Charles-Pézard, 2007), mais aussi éventuellement pour permettre l’accès des élèves à certaines activités susceptibles de provoquer des apprentissages. 690 Enfin, nous tentons d’identifier d’éventuelles marges de manœuvre susceptibles de réduire les inégalités. Références Bautier E. & Rayou P. (2009). Les inégalités d’apprentissage, Programmes, pratiques et malentendus scolaires. Paris : Presses Universitaires de France. Bonnéry S. (2007). Comprendre l’échec scolaire – Elèves en difficultés et dispositifs pédagogiques. Paris : La Dispute. Charles-Pézard M., (2007). Installler la paix scolaire, exercer une vigilance didactique. Recherches en Didactique des Mathématiques, Vol. 30, n°2, p. 197-261. Charlot B., Bautier E., Rochex J-Y., (1992) Ecole et savoirs dans les banlieues … et ailleurs. Paris : Armand Colin. Chesnais A. (2009). L’enseignement de la symétrie axiale en sixième dans des contextes différents : les pratiques de deux enseignants et les activités des élèves. Thèse de doctorat, Paris 7. Houdement C., Kuzniak A., (2000) Formation des maîtres et paradigmes géométriques. Recherches en didactique des mathématiques, 20/1, 89-116. Kherroubi M. & Rochex J-Y., (2004). La recherche en éducation et les ZEP en France. 2. Apprentissages et exercice professionnel en ZEP : résultats, analyses, interprétations. Revue Française de Pédagogie, n°146, p. 115-190. Peltier-Barbier M.-L. (Ed.). Butlen D., Masselot P., Ngono B., Pezard M., Robert A., Vergnès D., (2004) Dur pour les élèves, Dur pour les enseignants, Dur d’enseigner en ZEP. Grenoble : La pensée sauvage. Perrin-Glorian M.-J., (1993). Questions didactiques soulevées à partir de l’enseignement des mathématiques dans des classes « faibles ». Recherches en Didactique des Mathématiques, Vol. 13, n°1.2, p. 5-118. Robert A., (2008). « Sur les apprentissages des élèves : une problématique inscrite dans les théories de l’activité et du développement ». In Vandebrouck F. (Ed.) La classe de mathématiques : activités des élèves et pratiques des enseignants. Toulouse : Octarès, p. 33-44. Robert A. & Rogalski J., (2002). Le système complexe et cohérent des pratiques des enseignants de mathématiques : une double-approche. La revue canadienne de l’enseignement des sciences, des mathématiques et des technologies, Vol. 2, n°4, p. 505-528. Rochex J.-Y. et Crinon J. (dir.) (2011), La construction des inégalités scolaires : Au cœur des pratiques et des dispositifs d’enseignement, PUR Rennes. 691 COMMUNICATION 5 - DES DISPOSITIFS À LA CLASSE ORDINAIRE, QUELS SOUTIENS AUX APPRENTISSAGES? RUPTURES ET CONTINUITÉS DE L’ACTIVITÉ ENSEIGNANTE DANS UN COLLÈGE REP NAKHILI, Nadia. Université de Grenoble Alpes (FR) BENHAYOUN, Anne-Marie, Institut Français d’Education (FR) RÉSUMÉ Les apprentissages aux cœurs des politiques de lutte contre le décrochage : Alors que la question du décrochage continue à interroger acteurs et politiques, la recherche a produit un certain nombre de résultats sur ses causes multiples. Au-delà des prédicteurs classiques de types socio-économique et socio-affectif, les dimensions scolaires sont également très présentes (Afsa, 2013 ; Blaya, 2010) et révèlent chez les publics de décrocheurs des profils bien différents (Rayou ,2014). Ainsi il n’y a pas un type de décrocheurs mais des types de décrocheurs. A des élèves qui décrochent, pour des raisons socio-affectives ou pour des accidents de parcours, s’ajoutent des élèves dont les résultats scolaires en fin de primaire peuvent décrire un non-accrochage aux apprentissages scolaires ; pour eux la distance avec l’école se creuse dès lors que les enseignements se complexifient. Quand les premiers, à travers l’analyse de certains dispositifs dédiés, auront réussi à raccrocher, les seconds continueront à rencontrer des problèmes majeurs. Des dispositifs comme moyen d’action locale en Education prioritaire, mais pour quels effets? Sur le terrain, les acteurs tentent de s’adapter à la diversité des publics et aux difficultés d’apprentissage des élèves dès les premiers signes annonciateurs de décrochage. Ils se mobilisent bien souvent à travers des dispositifs ayant pour but de soutenir leur engagement scolaire. Ce phénomène n’est pas nouveau mais prend de l’ampleur depuis les années 2000. Anne Barrère (2013), parle de « la montée des dispositifs » comme d’une nouvelle forme d’organisation scolaire, dont on a parfois du mal à percevoir les logiques et les effets tant leurs formes sont variées. Tous semblent répondre à des besoins différents et en même temps tous servent largement la réussite des élèves tant en termes de parcours que d’apprentissages. Mais finalement à quoi servent les dispositifs ? Permettent-ils vraiment de mieux prendre en compte les singularités et de mieux s’adapter aux difficultés des élèves ? Comment fonctionnent-ils et sont-ils vraiment en rupture avec la forme scolaire classique ? Quels pas de côtés permettent-ils de faire aux enseignants ? Aux élèves ? Et in fine pour quels apprentissages? Une recherche de terrain suivant les logiques d’acteurs Notre recherche pose la question de ce qui soutient les élèves dans les apprentissages aussi bien dans le quotidien de la classe que dans les dispositifs dédiés aux élèves en situation scolaire fragile ou en situation de décrochage. Notre démarche a consisté à suivre, durant 2 années, les acteurs d’un collège REP de l’agglomération lyonnaise dans leurs réflexions, leurs intentions de départ et la mise en œuvre des actions dédiées au traitement de la difficulté scolaire. L’analyse porte sur une série d’entretiens d’enseignants, d’élèves et de chefs d’établissement ainsi que sur une série d’observations des pratiques identifiées comme devant permettre aux élèves d’être soutenus dans 692 leurs apprentissages et leurs scolarité. Ainsi nous avons pu analyser trois dispositifs différents : le « starting block », destiné à des élèves de 3ème identifiés comme décrocheurs, le relais interne pour l’ensemble des élèves du collège rencontrant des difficultés cognitives et de comportement et la cointervention déployée en 6ème pour l’ensemble des élèves en français et en mathématiques. Nous avons également analysé les éventuelles continuités pédagogiques mais aussi les ruptures entre les dispositifs et la classe formelle. Cette communication propose donc de présenter quelques résultats à partir de l’étude comparative de l’aide proposée aux élèves. Il s’agira au delà de la spécificité de chaque dispositif de décrire des logiques (ou intentions de départ), des pratiques et leurs effets. Nous utilisons à cette fin, le cadre des registres d’apprentissages développés par Bautier et Rayou (2013). Quelques résultats Au terme de cette analyse nous montrons ce que les dispositifs permettent, pour reprendre l’expression d’Anne Barrère (2013), comme « petits pas » ou pas de côtés chez les enseignants et dans quelle mesure ils permettent de mieux comprendre la nature des difficultés des élèves et comment ils sont réinvestis dans la classe ordinaire. Nous constatons tout d’abord que les intentions des acteurs et leurs logiques d’action sont invariantes dans les dispositifs comme dans la classe. L’aide est conçue comme étroitement liée au fait d’accorder du temps et de l’attention à chacun en créant un cadre sécurisant comme clef d’entrée dans les apprentissages. L’analyse de ce qui est fait par les acteurs nous permet également de constater des invariants dans ce qui est réellement mis en œuvre par les enseignants et aussi d’observer ce que les dispositifs permettent ou ne permettent pas. Nous constatons notamment que l’action, quelle qu’elle soit, va dans le sens des intentions mais qu’elle produit des effets non attendus voire contre productifs difficilement décelés par les acteurs. Ainsi le décalage entre les intentions et les effets est très peu perçu. En revanche, les dispositifs permettent aux enseignants d’aller dans le sens des intentions plus facilement que dans la classe ordinaire faisant naître un sentiment d’engagement dans la réduction des inégalités scolaires. Les dispositifs permettent de faire bouger les lignes, de chercher et de réfléchir plus nettement en faisant diminuer la pression institutionnelle. A travers les dispositifs les enseignants portent plus facilement un regard neuf sur leurs pratiques ce qui parfois provoque de véritables remises en question. Par une logique de petits pas les enseignants interrogent la nature des difficultés scolaires des élèves et tentent des rajustements opératoires divers. Cependant dans les trois dispositifs analysés ce qui semble manquer c’est un temps d’analyse et de controverse réellement construit collectivement. Références Afsa, C., Qui décroche ?, in Le décrochage scolaire : un défi à relever plutôt qu'une fatalité, Revue Éducation & formations, n° 84, décembre 2013 Barrère A., 2013, « La montée des dispositifs : un nouvel âge de l’organisation scolaire », Carrefours de l’éducation, 2013/2, 95-116. Blaya C., 2010, Décrochages scolaires. L’école en difficulté. De Boeck, Bruxelles. Bautier E., Rayou P., 2013, « La littératie scolaire: exigences et malentendus. Les registres de travail des élèves », Éducation et didactique, 7-2/2013, 29-46. 693 Pirone F., Rayou P., 2012, « Nouveaux internes, anciens décrocheurs: de l’évolution de la forme scolaire », Revue française de pédagogie, 179/2012, 49-62. EPORTFOLIO: QUELLES PLUS-VALUES POUR L’APPRENTISSAGE LORSQUE LE NUMÉRIQUE S’INVITE À LA PRATIQUE DU PORTFOLIO? (ID 133) GREMION, Christophe, Institut fédéral des hautes études en formation professionnelle (IFFP) (CH) COEN, Pierre-François, Haute école pédagogique de Fribourg (HEP FR) (CH) RÉSUMÉ Dans de nombreux lieux de formation, le portfolio est vu comme une excellente opportunité de mettre l’évaluation “authentique” au service des apprentissages et/ou du contrôle de ceux-ci (Mottier Lopez & Allal, 2004). Le présent symposium ne souhaite pas remettre en discussion ce mode d’évaluation, mais s’intéresse aux plus-values que peuvent représenter les technologies dans ce contexte. En effet, avec la démocratisation des smartphones, tablettes et ordinateurs, de nouveaux possibles s’ouvrent dans ce domaine grâce notamment à: - la récolte de traces multimédia (audio, images, vidéos…), qui jouent un rôle important dans l’actualisation de l’action et dans la prise de recul (Campanale, sources ?; Coen, source ?) et permet ainsi une analyse plus détaillée des apprentissages, - l’interactivité (constituante fondamentale du web 2.0) comme outils d’évaluation mutuelle ou de co-évaluation, pratiques au centre de l’évaluation formatrice (Vial, 2012), - la gestion des droits d’accès pour différencier espace privé, espace de travail et espace de présentation publique (Gremion, 2012), gestion inhérente à la fonction évaluative recherchée (Mottier Lopez & Allal, 2004)Ce symposium s’inscrit dans l’axe 2 du présent colloque puisque son enjeu vise à traiter des questions suivantes: A l’heure du BYOD (bring your one device) (Devauchelle, 2015) et du respect des EPA (environnement personnel d’apprentissage) (Peraya, Charlier, Henri, & Grandbastien, 2014), quelles formes peuvent prendre les portfolios électroniques? Quels outils technologiques (logiciel comme matériel) semblent spécialement adaptés à la pratique du ePortfolio? Comment les apprenants et les formateurs s’initient-ils ou s’approprient-ils ces nouveaux dispositifs? Comment surmontent-ils les difficultés techniques, les résistances, mais aussi les questions sur la nature des traces, de leur durabilité ou encore de leur exploitation? Comment les apprenants et les formateurs tirent-ils parti du potentiel technologique (collaboration, co-évaluation, récolte de traces numériques) pour proposer des dispositifs d’évaluation innovants? Les différentes contributions de ce symposium présenteront des dispositifs, pour certains expérimentaux, dans lesquels les technologies actuelles et le web 2.0 ont été vus comme 694 d’excellentes raisons de tenter de faire autrement, d’apporter des plus-values à la pratique déjà très positive de l’évaluation par portfolio… de l’apprentissage par portfolio! COMMUNICATION 1 – LE PORTFOLIO ORIENTANT ÉLECTRONIQUE, UN OUTIL EFFICACE POUR TRAVALILLER L’ORIENTATION CHEZ LES ÉLÈVES? DUROISIN, Natacha, Faculté de Psychologie et des Sciences de l’Education, Université de Mons (BE) RÉSUMÉ Dans l’enseignement qualifiant, l’orientation négative et en cascade de nos élèves est souvent déplorée (Vitiello, 2008). Les choix de filières sont, le plus souvent, guidés par les performances scolaires et non par des intérêts professionnels bien circonscrits. L’accueil d’une forte proportion d’élèves « en retard » et en échec scolaire fait de cet enseignement une filière de relégation. En Belgique francophone, le décret « Missions » et le Contrat pour l’école préconisent pourtant un accès égal à toutes les filières, sans hiérarchisation (Gouvernement de la Communauté Française, 2005). Aider le jeune à s’orienter plus efficacement, sur la base d’un choix positif permettrait ainsi de garantir davantage d’égalité entre les différentes filières. Ce sont ces objectifs que poursuit l’implémentation de l’approche orientante. Issue du modèle québécois de l’école orientante qui prend en compte le rôle prépondérant de l’instance scolaire dans le processus d’orientation, l’approche orientante a pour but de planifier avec le jeune un projet professionnel cohérent (Moisan, 2000). En d’autres termes, cette approche permet à l’enfant de rendre plus significatifs les apprentissages parce qu’elle met en valeur les liens qui existent, entre autres, entre la connaissance de soi, le monde scolaire et le monde du travail (Comtois, 2007). Définie par Gingras (2008) comme une conception de l’éducation qui tente d’aider les élèves à mieux se connaître, à être davantage motivés sur le plan scolaire, à établir des liens entre leur vécu à l’école et leurs projets de carrière, l’approche orientante vise à amener les élèves à développer des projets professionnels par l’intégration de notions liées à l’orientation dans les contenus disciplinaires et les autres activités de vie scolaire et ce, grâce à la collaboration de tous les partenaires impliqués dans l’environnement éducatif. Dans le cadre d’une recherche portant sur l’implémentation de l’approche orientante dans l’enseignement secondaire en Belgique francophone, l’équipe de recherche de l’Institut d’Administration Scolaire avait pour objectif de trouver un outil permettant le travail de compétences relatives à l’orientation. Le choix s’est alors porté sur l’outil portfolio, dans sa version traditionnelle mais également électronique (Duroisin, Canzittu & Demeuse, 2011). Afin de favoriser l’utilisation du portfolio dans les classes, l’équipe de recherche a alors proposé des formations et des outils à destination des enseignants. L’utilisation de cet outil devait alors engager l’élève à développer une réflexion sur sa personne, ses aspirations scolaires et professionnelles. L’outil devait donc être conçu de manière à promouvoir la réflexion sur les processus d’orientation mis en œuvre pour chaque apprenant et à favoriser l’auto-évaluation et la prise de recul par rapport aux choix de carrière à effectuer. Il devait également permettre à l’élève de lui faire prendre conscience de son développement scolaire, de mieux se connaitre, de juger de ses talents et d’appréhender sa personnalité en tant que travailleur. Enfin, l’enseignant devait s’en servir pour prendre connaissance de l’évolution de chacun des élèves 695 sur le court, moyen et le long terme. Etant à la fois un outil de présentation, de développement professionnel, d’apprentissage et d’évaluation, le portfolio s’avérait alors être un support idéal permettant des échanges constructifs entre les élèves, les enseignants, les agents des Centres psycho-médico-sociaux (CPMS), les directions d’établissement et les parents (Duroisin, 2010). Concrètement, cette communication permettra de mieux comprendre en quoi consiste un portfolio orientant et de prendre connaissance des enjeux liés à son utilisation électronique dans un tel contexte. Il s’agira également de présenter les avantages et inconvénients liés à l’utilisation du portfolio dans sa version plus traditionnelle et informatisée. Par le biais de témoignages recueillis auprès d’enseignants et de directions d’établissement, il s’agira enfin de vérifier l’utilisation du portfolio plusieurs années après la mise en place du projet orientant et de cibler les cas où son utilisation est la plus pertinente. Références Comtois, M. (2007). Le portfolio orientant. Montréal, Québec: Chenelière Education. Demeuse, M. (2005). La marche vers l’équité en Belgique francophone. In M. Demeuse, A. Baye, M.H. Straeten, J. Nicaise, A. Matoul (eds). Vers une école juste et efficace. 26 contributions sur les systèmes d’enseignement et de formation. Bruxelles: De Boeck Université, collection “Economie, Société, Région” (pp. 191-216). Duroisin, N., Canzittu, D. & Demeuse, M. (2011). L’implémentation de l’approche orientante dans l’enseignement secondaire provincial. Rapport final de recherche, Université de Mons. Duroisin, N. (2010). Le portfolio, outil d’orientation. En route vers la réussite scolaire et professionnelle des élèves. Université de Mons, Belgique. Gingras, M. (2008). L’École en chantier : une voie de solution novatrice pour le développement de l’approche orientante. Bulletin d’information continue de l’Association québécoise d’information scolaire et professionnelle, 27(1)1-16. Gouvernement de la Communauté Française (2005). Contrat pour l’école. Communauté française de Belgique. Vitiello, A. (2008). La démocratisation contre la démocratie? L’école et l’égalité: promotion de l’économique, dissolution du politique. In 4e congrès de l’Association belge de sciences politiques, Louvain-La-Neuve, Belgique. 696 COMMUNICATION 2 – UTILISATION D’UN E-PORTFOLIO DANS LA FORMATION DES PROFESSEURS D’INSTRUMENT: QUELLE PLUS-VALUE SELON LES ÉTUDIANTS ET LES PROFESSEURS? COEN, Pierre-François, Haute école pédagogique de Fribourg (HEP FR) (CH) GUESEWEL, Angelica, Haute école de musique de Lausanne (CH) CARTULANO, Valentina, Haute école de musique de Lausanne (CH) PAUKOVIC, Elsa, Haute école de musique de Lausanne (CH) RÉSUMÉ Le développement de compétences réflexives dans la formation des enseignants est un objet thématisé depuis plus d’une quinzaine d’années. Les travaux de Schön (1983), Altet (1994, 1996), Paquay, Perrenoud et Charlier (1996) ont permis de mettre en évidence à la fois la nécessité de développer ces compétences réflexives, mais ont également souligné toute la complexité de leur actualisation dans les parcours de formation. Que ce soit à travers les travaux effectués dans le domaine de l’évaluation - et de l’autoévaluation - dans les contextes professionnels (Saussez & Allal, 2007), ceux traitant du rôle et des dispositifs permettant l’analyse des pratiques professionnelles (Paquay, Altet, Charlier & Perrenoud, 2001 ; Rayou & Ria, 2009), ceux montrant l’impact d’une articulation théorie - pratique dans la professionnalisation des enseignants (Barbier, 2004 ; Charlier, 2001) ou ceux encore montrant l’importance d’un compagnonnage réflexif en formation (Donnay & Charlier, 2006), l’idée d’inclure cette composante réflexive dans la formation fait aujourd’hui l’unanimité. Les institutions de formation des professeurs d’instruments y souscrivent elles aussi et la plupart d’entre elles ont intégré cet aspect dans leur référentiel de compétences et dans les parcours de formation qu’elles proposent. Néanmoins cela ne va pas sans poser des difficultés ou occasionner des tensions. Ainsi, une formation trop prescriptive et trop directive ne permet pas d’amener les futurs professeurs à produire un regard distancé et constructif vis-à-vis de leur pratique. Le poids de la forme scolaire de l’enseignement musical est tel (Coen & Zulauf, 2015) que, pour que la formation puisse déployer ses effets, il convient d’adopter ce que Cros (1998) appelle une posture de changement émergeant. Cela suppose que les pratiques professionnelles ne peuvent se transmettre par simple mimétisme. Cela suppose également que le terrain ne soit pas vu comme le lieu de l’application de théories présentées et apprises dans l’institution de formation. En ce sens, il n’y a pas juxtaposition d’un temps dédié à la théorie et d’un autre à la pratique, mais il y a bien création d’un nouvel espace de formation ou ces deux temps sont articulés. Nombre d’auteurs (Behrens, 1998 ; Simon & Forgette-Giroud, 1994) estiment que la constitution d’un portfolio d’apprentissage (ou dossier d’apprentissage) est un moyen pertinent pour élaborer ces savoirs et favoriser le dialogue entre formateurs et apprenants. Il faut comprendre ce dossier comme étant un « recueil continu, réfléchi et organisé d’une variété de produits authentiques qui documentent le progrès d’un étudiant ou d’un professionnel, ses buts, ses efforts, ses attitudes, ses pratiques pédagogiques, ses accomplissements, ses talents, ses intérêts et son développement au fil du temps » (Winsor & Ellefson, 1995, p. 3). Sunal, McCormick, Dennis et Shwery (2005) ajoutent que l’usage du portfolio dans la formation des enseignants permet de mettre en évidence les valeurs qui sous-tendent les décisions didactiques et pédagogiques des accompagnants. 697 De par la nature des traces qu’il renferme et des usages partagés qu’il suppose, le portfolio a été développé dans des contextes « numériques » dès le début des années 2000. Ainsi on parle aujourd’hui de e-portfolio, (Kugler, 2011), comme la possibilité de joindre aux traces papier des films ou des enregistrements audio, l’opportunité de développer un travail coopératif aussi bien entre étudiants qu’avec les formateurs, l’utilisation à long terme des contenus, la constitution d’historiques, la souplesse d’utilisation, le développement de compétences informatiques, etc. S’il est vrai que l’e-portfolio entraîne de nouvelles contraintes (Baillat, Connan & Vincent, 2007), il convient de reconnaître qu’il ouvre un potentiel important dans le cadre de la formation professionnelle des professeurs d’instruments. La communication que nous présentons s’inscrit dans une étude plus vase qui analyse et documente l’utilisation partagée d’un e-portfolio entre étudiants et professeurs à la Haute école de musique de Lausanne (HEMU). Le volet que nous présentons traite du regard que les professeurs et les étudiants portent sur le e-portfolio. Ces avis portent à la fois sur ce que l’outil apporte (ou n’apporte pas), mais également sur la perception de son utilité pour la formation et des contraintes qu’il demande de dépasser. L’expérimentation a débuté en septembre 2014 et coïncide avec l’introduction d’un nouveau cursus d’études destiné aux étudiants inscrits dans la filière Master d’enseignement instrumental et vocal. Elle se poursuit encore actuellement. Les 24 étudiants concernés suivent en institution des cours de pédagogique musicale (aspects généraux liés à l’enseignement) et de didactique instrumentale (aspects spécifiques à leur instrument). Ils ont par ailleurs des temps de formation sur le terrain et sont accompagnés par un maître de stage qui les accueille dans leur classe. Cette alternance entre théorie et pratique fait l’objet d’un temps particulier d’intégration durant lequel les étudiants reviennent sur leurs expériences. A la suite de ces échanges et tout au long de l’année, ils réalisent un e-portfolio personnel qu’ils rendent accessible aux différents professeurs. Ces derniers peuvent réagir à partir des différents apports de l’étudiant, mais peuvent également interagir entre eux. Les données ont été recueillies sous forme de questionnaires adressés à tous les étudiants et par 15 entretiens conduits auprès de 8 étudiants, 5 professeurs et auprès des 2 responsables du dispositif. Nous situant dans une approche qualitative interprétative (Lessart-Hébert, Goyette et Boutin, 1997), nous avons procédé à une analyse catégorielle de contenu (Bardin, 1977) pour faire émerger de manière inductive les différents thèmes traités. Les résultats de cette recherche font apparaître des contrastes très intéressants aussi bien entre les étudiants qu’entre les professeurs et les maîtres de stage. Certains d’entre eux semblent très favorables à l’utilisation du e-portfolio et d’autres sont franchement réticents. Ensuite, même si dans l’absolu, la plupart des répondants sont convaincus de l’intérêt de l’utilisation d’un e-portfolio, les premiers usages sont relativement faibles et peu diversifiées. Enfin, l’utilisation du e-portfolio semble interroger les professeurs sur le rôle qu’ils doivent jouer dans la formation. Références Altet, M. (1994). La formation professionnelle des enseignants: analyse des pratiques et situations pédagogiques. Paris : Presses universitaires de France. Altet, M. (1996). Les compétences de l’enseignant-professionnel : entre savoirs, schèmes d’action et adaptation, le savoir analyser. In L. Paquay, M. Altet, E. Charlier, & P. Perrenoud (Eds.), Former des 698 enseignants professionnels ? Quelles stratégies ? Quelles compétences? (pp. 28–40). Bruxelles: De Boeck. Baillat, G., Connan, P. Y., & Vincent, J. (2007). Évaluer les compétences dans le contexte des formations universitaires professionnalisantes ? Les ressources et les contraintes du portfolio numérique. Actes du Colloque CDIUFM - 2, 3 et 4 mai 2007, Arras, IUFM Nord-Pas de Calais. Barbier, J.-M. (2004). Savoirs théoriques et savoirs d’action. Paris : PUF. Bardin, L. (1977). L’analyse de contenu. Paris : PUF. Behrens, M. (1998). Le portfolio, un moyen d'améliorer le dialogue entre formateur et apprenant. Mesure et évaluation en éducation, 20(3), 45-59. Coen, P., & Zulauf, M. (2015). Technologies et travail instrumental à domicile : les apports d’un assistant numérique personnel dans la formation des enseignants. Formation et pratiques d’enseignement en questions, 19, 177-200. Charlier, E. (2001). Former des enseignants professionnels pour une formation continuée articulée à la pratique. In L. Paquay, M. Altet, E. Charlier & P. Perrenoud (Eds). Former des enseignants professionnels. Quelles stratégies, quelles compétences ? (99-117). Bruxelles : De Boeck. Donnay, J., & Charlier, E. (2006). Apprendre par l’analyse de pratiques - Initiation au compagnonnage réflexif. Namur: Presses universitaires de Namur. Lessard-Hébert, M., Goyette, G., & Boutin, G. (1997). La recherche qualitative. Fondements et pratiques. Bruxelles : De Boeck. Paquay, L., Altet, M., Charlier, E., & Perrenoud, P. (2001). Former des enseignants professionnels. Bruxelles: De Boeck. Rayou, P., & Ria, L. (2009). Former les nouveaux enseignants. Autour des statuts, de l’organisation et des savoirs professionnels. Éducation et Sociétés, 1(23), 79–90. Saussez, F., & Allal, L. (2007). Réfléchir sur sa pratique: le rôle de l’autoévaluation. Mesure et évaluation en éducation, 30(1), 97–124. Simon, M., & Forgette-Giroud, R. (1994). Vers une utilisation rationnelle du dossier d’apprentissage. Mesure et évaluation en éducation, 16(3-4), 27-40. Schön, D. (1983). Le praticien réflexif. A la recherche du savoir caché dans l’agir professionnel. Montréal: Editions Logiques. Sunal, C. S., McCormick, T. S., Dennis, W., & Shwery, C. S. (2005). The Demonstration of Teaching Values in Elementary Pre-Service Teachers' E-Portfolios. International Journal of Social Education, 20(1), 81-90. Winsor, J. T., & Ellefson, B. A. (1995). Professional portfolios in teacher education: An exploration of their value and potential. The Teacher Educator, 31, 68-74. 699 COMMUNICATION 3 – DÉVELOPPEMENT D’UN DISPOSITIFE D’ “E-VALUATION FORMATRICE INTERACTIVE” GREMION, Christophe, Institut fédéral des hautes études en formation professionnelle (IFFP) (CH) PERRENOUD, Nicole Landry, Institut fédéral des hautes études en formation professionnelle (IFFP) (CH) MÉRESSE, Aude Vaudan, Institut fédéral des hautes études en formation professionnelle (IFFP) (CH) RÉSUMÉ L’institut fédéral des hautes études en formation professionnelle (IFFP) est en charge de la formation des enseignants pour les écoles professionnelles. La filière « diplôme pour l’enseignement des branches professionnelles » propose une formation de trois années constituée de douze modules obligatoires. Parmi ceux-ci, le module 1 traite de la conception d’un cours (didactique générale) et fait l’objet de cette recherche exploratoire. Parmi les compétences attendues en fin de formation, un accent tout particulier est mis sur le développement des compétences réflexives face à son enseignement. Ce module s’inscrit dans cette logique et son organisation valorise fortement les échanges et les analyses de pratiques plutôt que la transmission frontale des savoirs. Depuis trois ans, ce module de formation peut être suivi de manière hybride, ce qui signifie qu’un tiers du temps de formation a lieu en présentiel et deux tiers à distance. Comment, dans ces conditions, proposer une évaluation s’intéressant principalement à la réflexivité et à l’intelligence inventive dont parle Michel Serres (2012, p. 29) et non seulement à des savoirs accumulés et utilisés en situation ? Comment garder une évaluation authentique (Scallon, 2004, p. 17) basée réellement sur les compétences à enseigner et à réfléchir sur sa pratique malgré l’enseignement à distance et l’utilisation des outils informatiques qui incitent parfois plus à l’utilisation de la question fermée du QCM qu’à l’explicitation et l’analyse de pratique? Ces questionnements nous ont amené à vouloir penser l’ingénierie de ce module différemment et à mener cette étude exploratoire aussi à des fins d’évaluation et d’amélioration du dispositif de formation. Nous inspirant du dispositif proposé par Bedin et Broussal (2011), nous tentons d’articuler ce module autour d’un modèle d’ « e-valuation formatrice interactive ». Le « e » est utilisé pour la dimension électronique et à distance, puisque cette évaluation s’effectue en grande partie grâce à des outils collaboratifs en ligne ; « formatrice » (Vial, 2012, pp. 241–307) car en plus d’avoir une fonction formative et certificative, elle a pour objectif principal de co-construire et clarifier les critères d’évaluation dans un référentiel toujours susceptible d’être adapté ; enfin, « interactive » (Allal, 2007) puisque articulant autoévaluation, évaluation mutuelle (entre étudiants) et coévaluation (entre étudiants et professeur). Mais si la relation éducative, et donc l’évaluation également, restent « dissymétrique et indispensable » (Vial, 2012, p. 8), nous sentons également que pour les « Petites Poucettes » (Serres, 700 2012), cette dissymétrie de la relation éducative doit être réduite autant que faire se peut. Passer du paradigme professeur de l’institution qui détient le savoir au paradigme de « réseau de responsabilité » (Zulauf, 2006) – communauté de pratique réunissant sans différence étudiants et enseignants autour de situations à analyser – nous semble des plus intéressant. Il nous semblait de plus important de porter une attention particulière aux questions en lien avec les modalités collaboratives de l’évaluation et à l’intersubjectivité (Vinatier, 2009) puisque le groupe permet par les échanges à chaque enseignant de prendre conscience et de mettre en visibilité sociale ses compétences et sa pratique professionnelle. Dans un premier temps, cette contribution décrira plus en détail ce dispositif d’ « e-valuation formatrice interactive ». Ensuite, et en s’appuyant pour cela sur des données recueillies par questionnaires et entretiens auprès des participants, elle présentera comment les éléments de réponse aux questions initiales ont pu être pris en compte dans la phase de régulation du dispositif visant notamment une plus grande cohérence interne. Nous décrirons les pistes concrètes que nous avons mises en œuvre touchant notamment 1) le rôle de professeur dans le dispositif d’évaluation et la posture des étudiant-es/enseignant-e-s au centre de leur apprentissage, 2) le rôle du groupe dans l’appropriation du référentiel professionnel, d’une norme reconnue par l’élaboration concertée de critères et d’indicateurs et 3) les interactions, confrontations au sein d’une communauté de praticien-ne-s (groupe) afin de favoriser le développement professionnel (intersubjectivité). Nous présenterons ainsi les premiers éléments de réponse aux questions qui nous intéressent : Comment les étudiants vivent-ils cette évaluation peu conventionnelle ? L’apprentissage est-il soutenu efficacement par cette évaluation formatrice à distance ? Dans quelle mesure la dimension collective favorise-t-elle la réflexivité, la prise de conscience des compétences observées, développées, en développe-t-elle par ailleurs aussi de nouvelles ? Références Allal, L. (2007). Régulation des apprentissages: orientations conceptuelles pour la recherche et la pratique en éducation. In L. Allal & L. Mottier Lopez (Eds.), Régulation des apprentissages en situation scolaire et en formation (pp. 207–234). Bruxelles: De Boeck. Bedin, V., & Broussal, D. (2011). L’évaluation interactive des apprentissages dans l’enseignement supérieur : inrétêt pédagogique et limites. Les dossiers des Sciences de l’Education, (26), 133–144. Scallon, G. (2004). L’évaluation des apprentissages dans une approche par compétences. Bruxelles: De Boeck. Serres, M. (2012). Petite poucette. Paris: Le Pommier. Vial, M. (2012). Se repérer dans les modèles de l’évaluation méthodes dispositifs outils. Bruxelles: De Boeck université. Vinatier, I. Pour une didactique professionnelle de l'enseignement. Rennes : Presses universitaires de Rennes, 2009, 250 p.», Revue française de pédagogie 2/2011 (n° 175) , p. 155-156 Zulauf, M. (2006). Quel paradigme pour l’éducation musicale de demain? In M. Zulauf & P.-F. Coen (Eds.), Entre savoirs modulés et savoir moduler (pp. 233–258). Paris: Editions L’Harmattan. 701 DES DISPOSITIFS D’ÉVALUATION FORMATIVE EN MATHÉMATIQUES AUX APPRENTISSAGES DES ÉLÈVES (ID 135) COPPÉ, Sylvie, Université de Genève FPSE, équipe DiMaGe (CH) RÉSUMÉ Ce symposium constitue la suite de celui que nous avions présenté au précédent colloque de Liège, même si les intervenants ne sont pas tous les mêmes (Coppé & al., 2015). Un des objectifs était de montrer comment certains travaux actuels en didactique des mathématiques prenaient en compte des questions spécifiquement liées à l’évaluation, ce qui était peu le cas auparavant. Des contributions étaient notamment inscrites dans le cadre des projets ASSIST ME (Assess Inquiry in Science, Technology and Mathematics Education) ou NéoPréval (Nouveaux Outils pour de nouvelles Pratiques d’éVALuation et d’enseignement en mathématiques). Ce sera encore le cas pour ce symposium puisque ces projets sont en cours. Nous avions pointé les liens forts entre l’évaluation formative qui vise à répondre aux besoins d’apprentissage des élèves et les processus de régulation (Allal et Mottier, 2007) de l’enseignement à différents niveaux d’échelle, global à travers des évaluations formelles et planifiées ou local pour gérer les interactions au cours de débats de validation. Nous cherchons maintenant à déterminer comment, en partant de la didactique de mathématiques, un travail sur l’évaluation notamment formative, peut renouveler les questionnements en didactique à la fois sur les types d’études menées et sur les éléments théoriques. En particulier, nous pensons que les notions de contrat et milieu sont au cœur de ces questions en considérant par exemple que le professeur peut introduire des éléments dans le milieu afin de réguler les actions ou les apprentissages des élèves comme l’ont souligné Perrin Glorian et Hersant (2003) dans le cadre d’études de séquences ordinaires. Ceci les a amené à préciser différents contrats et à introduire la notion de « situation de rappel ». Nous avions noté que la prise en compte du savoir, à travers des analyses épistémologique et/ou didactique avait une influence déterminante pour viser des débats de validation efficaces, ce qui s’avère un élément constitutif de l’évaluation formative pour tous les intervenants. Mais la viabilité de l’évaluation formative à travers les débats argumentatifs visant à faire évoluer les démarches et raisonnements des élèves suppose d’abord la mise en place en classe d’un contrat didactique laissant aux élèves la responsabilité de la validation de leurs réponses. Nous poursuivons ces questionnements mais cette fois-ci en nous centrant davantage sur les apprentissages des élèves dans le cadre de la résolution de problèmes mathématiques, ce qui est conforme au thème général du colloque. Ainsi nous nous situons dans l’axe 2 sur les liens entre « évaluation » et « apprentissage » à la lumière des pratiques pédagogiques. De plus l’aspect collectif d’enseignants ou d’élèves est pris en compte dans les différentes communications. Les contributions de Grugeon et Bedja, d’une part et de Horoks et Pilet, dans le cadre de NéoPréval porteront sur les pratiques des professeurs en matière d’évaluation (plus spécifiquement formative) et leur effets sur les apprentissages des élèves. 702 La contribution de Chanudet montre des possibilités d’envisager de possibles zones d’enchevêtrement entre évaluations sommative et formative des apprentissages, autour de la résolution de problèmes en mathématiques. Enfin, dans le cadre du projet ASSIST ME, la contribution de Gandit et Lepareur ainsi que celle de Coppé, Moulin et Roubin analyseront la mise en place effective d’évaluations formatives dans des classes. Références Allal, L., Mottier-Lopez, L. (2007). Régulation des apprentissages en situation scolaire et en formation. De Boeck : Belgique. Brousseau, G. (1990). Le contrat didactique et le concept de milieu : dévolution. Recherches en didactique des Mathématiques Vol 9/3, 309-336. Grenoble : La Pensée Sauvage Editions. Brousseau, G. (1995). « L’enseignant dans la théorie des situations didactiques : 1. Structure et fonctionnement du système didactique », In : Noirfalise R., Perrin-Glorian M.-J. (eds.) Actes de la VIII° Ecole d’été de didactique des mathématiques St-Sauves d’Auvergne. Clermont-Ferrand : IREM de Clermont-Ferrand, 3-46. Coppé, S., Chanudet, M., Chesné, J. F., Dorier, J. L., Grangeat, M., Lepareur, C., Pilet, J. & Grugeon, B. (2015). Développer des pratiques d’évaluation formative dans l’enseignement des mathématiques. In actes du colloque ADMEE, Liège, janvier 2015. Mottier Lopez, L. (2012). La régulation des apprentissages en classe. Bruxelles : De Boeck. Perrin Glorian, M. J. & Hersant, M. (2003). Milieu et contrat didactique, outils pour l’analyse de séquences ordinaires. Recherches en didactique des mathématiques. Vol. 23/2, 217-276. Grenoble : La Pensée Sauvage Editions. COMMUNICATION 1 - ANALYSER LES PRATIQUES D’ÉVALUATION DES ENSEIGNANTS À TRAVERS LA PRISE EN COMPTE DES ÉLÈVES HOROKS, Julie, Université Paris Est Créteil, LDAR PILET, Julia, Université Paris Est Créteil, LDAR RÉSUMÉ Dans le cadre du projet ANR Néopraéval qui s’intéresse à l’évaluation en mathématiques, nous nous penchons sur les pratiques enseignantes d’évaluation. Nous cherchons à construire un cadre d’analyse des pratiques des enseignants du 2nd degré en mathématiques (Robert et Rogalski, 2002), en ce qui concerne la régulation des savoirs en classe (Allal & Mottier-Lopez, 2007) et plus particulièrement l’évaluation des élèves, en prenant en compte à la fois les spécificités des contenus enseignés, ici l’algèbre élémentaire du collège (Grugeon & al., 2012), et les activités de l’enseignant en classe et plus spécialement la manière dont ils impliquent les élèves dans leurs apprentissages et dont ils prennent en compte leurs productions. Nous tenons compte aussi du contexte du métier 703 d’enseignant et des contraintes qu’il impose (public ZEP, demandes institutionnelles par rapport à l’évaluation). Ce travail s’effectue en grande partie au sein d’un Léa dans et autour duquel s’organise un travail collaboratif entre enseignants et chercheurs. Nous présenterons nos réflexions sur la construction de cette méthodologie de recherche et les questions que nous nous posons pour la développer, ainsi que nos analyses d’une partie des données recueillies pendant la 1ère année d’existence du Léa. Mots clés : Pratiques enseignantes, évaluation, algèbre TEXTE Dans le cadre du projet ANR NéoPraéval (Nouveaux outils pour de nouvelles pratiques d’évaluation), nous nous attachons à l’étude et à la caractérisation des pratiques enseignantes en terme d’évaluation au sein de la classe en algèbre élémentaire au collège en France (élèves de 11 à 14 ans environ). L’évaluation est une entrée dans les pratiques qui nous semble donner accès aux logiques d’action des enseignants. Nous faisons l’hypothèse que les enseignants ont des représentations fortes sur l’évaluation, notamment en mathématiques, et qu’elles jouent un rôle majeur dans leur façon d’enseigner et dans les apprentissages de leurs élèves. Nous présentons notre réflexion dans la construction d’un cadre d’analyse des pratiques des enseignants du 2d degré en mathématiques prenant en compte à la fois les spécificités des contenus enseignés, ici l’algèbre élémentaire du collège (Grugeon & al., 2012), et les activités de l’enseignant en classe et plus spécialement la manière dont ils impliquent les élèves dans leurs apprentissages et dont ils prennent en compte leurs productions. Nous tenons compte aussi du contexte du métier d’enseignant et des contraintes qu’il impose (public ZEP, demandes institutionnelles par rapport à l’évaluation). Nous présenterons nos réflexions sur la construction de cette méthodologie de recherche et les questions que nous nous posons pour la développer, ainsi que nos analyses d’une partie des données recueillies dans le cadre d’un dispositif collaboratif entre enseignants et chercheurs. Caractériser les pratiques d’évaluation des enseignants L’évaluation est complexe à analyser parce qu’elle est diffuse dans l’enseignement et intervient à divers moments du projet d’enseignement. C’est pourquoi nous adoptons deux entrées pour caractériser l’évaluation : d’un côté par sa fonction pour l’enseignant, et, de l’autre, par sa mise en œuvre effective à travers différentes prises d’informations et exploitations (De Ketele, Ash et Levitt, 2003 ; Black et Wiliam, 1998). Les fonctions de l’évaluation L’évaluation peut avoir plusieurs fonctions (Rey et Feyfant, 2014) plus ou moins liées aux apprentissages comme juger, certifier, motiver, contrôler, réguler, former ou encore diagnostiquer. Ces fonctions peuvent être parfois directement détournées des apprentissages comme le souligne Merle (2015) qui pointe des évaluations avec pour fonction de sanctionner, d’encourager, de répartir, notamment à travers l’attribution des notes, qui pour De Ketele (2010) réduisent alors « l’évaluation à une seule fonction (« sanctionner »), une seule démarche (« faire une somme ») et 704 une seule finalité (« porter un jugement ») ». Ce dernier attribue trois fonctions principales à l’évaluation : « évaluer pour orienter une nouvelle action à entreprendre ; évaluer pour améliorer une action en cours ; évaluer pour certifier socialement une action considérée comme terminée », cette dernière fonction étant vraisemblablement celle qui est la plus souvent retenue par les enseignants, privilégiant la fonction certificative de l’évaluation à sa fonction de régulation de l’enseignement. Dans notre recherche, c’est cependant principalement la fonction formative l’évaluation qui nous préoccupe, et que nous cherchons à caractériser dans les pratiques des enseignants, en regardant l’adéquation entre les caractéristiques des élèves et les moyens de formation mis en œuvre, comme le suggère De Ketele (1993). La mise en œuvre effective de l’évaluation à travers différentes prises d’informations et d’exploitations Pour définir l’évaluation, nous reprenons une définition couramment citée dans la littérature (De Ketele, 2010) : « Les processus évaluatif : recueillir un ensemble d’informations (processus de jugement) pertinentes dans le choix, valides pour l’exploitation, fiables dans le recueil, et confronter, par une démarche adéquate, cet ensemble d’informations à un ensemble de critères (révélateurs du système de valeurs) pertinents dans le choix (cohérent avec le référentiel), valides dans l’opérationnalisation, fiables dans l’utilisation, pour attribuer une signification aux résultats de cette confrontation (processus d’attribution de sens), et ainsi pourvoir fonder une prise de décision cohérente avec la fonction visée par l’évaluation (orientation vers l’action à prévoir, en cours ou achevée). » Il s’agit donc de tout ce que l’enseignant fait pour prendre des informations sur ce que font ou savent les élèves, la façon dont il interprète ces informations et les exploite. Ces actions sont à replacer au sein de tout ce que l’enseignant organise pour l’enseignement des mathématiques pour sa classe. Elles ne sont pas toutes visibles par le chercheur, en particulier l’interprétation des productions des élèves, et même lorsqu’elles le sont, il est parfois difficile de comprendre et d’interpréter les choix des enseignants. C’est pourquoi nous avons cherché à catégoriser différentes prises d’informations et d’exploitations. La prise d’informations peut porter sur l’état des connaissances des élèves par rapport à un attendu institutionnel ou à ce qui a été enseigné (efficacité de l’enseignement), sur les activités des élèves (plus moins mathématiques) ou sur l’élève, son bien-être en classe et hors la classe. En ce qui concerne la place des connaissances mathématiques des élèves dans les informations prélevées, elle peut être plus ou moins grande : l’enseignant peut en effet recueillir les procédures utilisées par les élèves lors de la résolution d’une tâche et faire le lien avec les connaissances qu’ils ont mobilisées, mais il peut aussi simplement recueillir les résultats de leurs procédures (productions écrites ou orales) pour organiser la correction de la tâche en question, ou encore s’intéresser uniquement aux activités non mathématiques des élèves, par exemple pour veiller à préserver le calme dans la classe. 705 Les exploitations possibles dépendent non seulement de la prise d’information mais aussi du projet de l’enseignant et des fonctions qu’il donne à l’évaluation. Les exploitations peuvent consister à partir de ce que font ou savent les élèves pour les aider à résoudre une tâche, qui est alors une aide à visée plutôt productive, (Pariès et al., 2009), ou pour les aider à comprendre le savoir en jeu (notamment par une formulation et institutionnalisation de ces savoirs, voire une structuration qui relèverait alors d’une aide constructive, toujours d’après Pariès et al.), ou encore pour aider les élèves à se situer par rapport à ce qui est attendu en terme de procédures comme de savoirs. Les exploitations peuvent se faire à plus ou moins court terme, et concerner la régulation du temps didactique pour la classe, dont une différenciation de l’enseignement, à différentes échelles, celle de la tâche ou du scénario, celle de la séance, ou, à plus long terme, de la séquence. Notation, classement, certification, encouragement, mise en garde, voire pas d’exploitation sont d’autres exploitations possibles. Ainsi les prises d’informations et exploitations sont plus ou moins directement tournées vers les apprentissages mathématiques, ce qui peut s’expliquer entre autre par le fait que les choix des enseignants dépendent de différentes contraintes liées au métier. Plusieurs dimensions dans l’activité de l’enseignant Nous nous plaçons dans le cadre de la double approche didactique et ergonomique (Robert & Rogalski, 2002). Nous étudions les activités des enseignants dans comme hors la classe. Nous interrogeons la place de l’évaluation à différents niveaux dans le projet de l’enseignant, ce qui se passe en classe, par exemple, quelles sont les routines, quels élèves sont interrogés, comment les copies sont corrigées. La composante cognitive des pratiques enseignantes nous amène à regarder la place des savoirs dans l’enseignement. Cette étude suppose une analyse épistémologique de la notion, qui nous permet d’en envisager différents aspects et d’anticiper les difficultés des élèves. Nous regardons ainsi la façon dont la notion est censée être mobilisée dans les tâches proposées par l’enseignant, ainsi que le discours de l’enseignant sur cette notion, en lien éventuellement avec d’autres notions, dans les moments d’exposition de connaissances mais aussi lors des retours faits aux élèves sur leurs productions. Ces outils permettent aussi de relier les procédures des élèves aux connaissances mathématiques qui les sous-tendent, même si cette éventuelle interprétation de la part de l’enseignant pour chaque élève n’est pas accessible immédiatement par le chercheur. La composante médiative des pratiques concerne toutes les activités de l’enseignant en classe, à travers le déroulement effectif des séances. Cette analyse se fait à différents niveaux (micro, local, global) suivant qu’on s’intéresse à la gestion d’un moment de la séance, reposant sur la contingence de la classe, ou sur des routines qu’on pourra voir se répéter régulièrement, ou encore à l’ensemble du projet de l’enseignant. Enfin, les autres composantes viennent compléter les analyses qu’on peut faire de ce qui se passe en classe, en tenant compte des contraintes institutionnelles (programmes, horaires, exigences par rapport à l’évaluation), sociales (influence du public) et personnelles. Ici on pourra d’ailleurs s’interroger sur les effets du travail collaboratif avec les chercheurs, sur les pratiques observées des enseignants. 706 Liens entre évaluation, apprentissage et enseignement : l’importance des contenus mathématiques en jeu Nous intéressons majoritairement aux pratiques d’évaluation pour faire apprendre des mathématiques, c’est pourquoi nous accordons une place centrale aux prises d’informations et d’exploitations tournées vers les contenus mathématiques (Bain, 1988 ; Perrenoud, 1998 ; Pilet, 2015). En effet, prendre des informations fiables et en faire une exploitation pertinente pour les apprentissages des élèves suppose non seulement une gestion de la classe qui repose au moins en partie de ce que font ou savent les élèves, mais aussi de prendre en compte, dans les connaissances mathématiques ou les procédures repérées, les spécificités du savoir en jeu. Les pratiques d’évaluation qui peuvent participer aux apprentissages selon deux axes principaux : L’enseignant se situe dans la zone proximale de développement (Vygotski, 1933) de l’élève par les tâches qu’il propose, par la nature de ses retours (validation, justification), par le discours (mathématique et méta-mathématique) L’enseignant aide l’élève à situer son travail par rapport aux procédures des autres ou à celles attendues par l’enseignant ou l’institution. Nous prenons de plus en compte la place donnée aux élèves dans l’évaluation notamment la manière dont l’enseignant les implique dans les moments de mise en commun, de validation et de synthèse, dont il leur propose des retours sur leurs productions, et, plus largement, à travers le contrat didactique qu’il met en place, comment il les responsabilise dans les processus d’apprentissage. Ces pratiques d’évaluation pour faire apprendre sont imbriquées dans un processus d’enseignement plus large qui comprend la place de l’évaluation dans le projet global de l’enseignant : ce qui est traité en amont, pendant et après l’évaluation formelle, à plus ou moins long terme et avec quelles tâches. Ces tâches sont-elles représentatives ou pas de l’ensemble des tâches possibles du domaine enseigné ? Se placent-elles à des niveaux de complexité différents de ceux effectivement abordés en classe, en particulier à travers des niveaux de mise en fonctionnement des connaissances plus ou moins élevés ? Des constats ont déjà été faits sur les écarts variables qui existent en terme de complexité entre les tâches effectivement proposées en classe et celles proposées lors d’un contrôle en fin de chapitre (Horoks, 2007), et ces constats peuvent probablement être nuancés en regardant les fonctions attribuées par chaque enseignant à l’évaluation donnée à leurs élèves. Le dispositif de recherche pour analyser les pratiques enseignantes Un travail collaboratif au sein d’un Léa Pour analyser les pratiques d’enseignants et leur évolution nous travaillons, depuis la rentrée 2014, dans le cadre d’un Léa (Monod-Ansaldi & Favelier, 2013), dispositif de travail collaboratif entre des enseignants de collège et des chercheurs de didactique des mathématiques. Il porte sur les questions d’évaluation des élèves et des pratiques d’évaluation des enseignants du collège. Il s’ancre dans un collège en zone d’éducation prioritaire de Seine-Saint-Denis et s’organise autour d’un collectif d’enseignants de mathématiques du collège et de didacticiens du laboratoire de Didactique André Revuz. Il vise à développer de nouvelles pratiques d’enseignement, en particulier d’évaluation et de régulation, en s’appuyant sur des résultats de didactique des mathématiques, et plus spécifiquement de didactique de l’algèbre (Grugeon et al., 2012). Il y a un double enjeu. Pour les 707 chercheurs, il s’agit produire de la connaissance sur l’évaluation, sur les pratiques mais aussi l’enseignement et l’apprentissage de l’algèbre. Pour les enseignants, le Léa est un moyen de développement professionnel. Ce travail collaboratif nous donne accès à des pratiques pas totalement ordinaires puisque l’influence du chercheur est plus que probable. Cependant nous pouvons supposer que si ce dispositif perturbe les pratiques, il ne les bouleverse pas non plus profondément en particulier les pratiques d’évaluation pour lesquelles nous avons fait l’hypothèse qu’elles sont très stables chez les enseignants. Les évolutions doivent être considérées sur le long terme, ce qui nécessite de conserver l’intérêt et la confiance des enseignants impliqués dans le projet. Le contrat passé avec eux est clair quand aux enjeux doubles de la démarche, même s’ils ne participent pas activement à la recherche proprement dite. Les données recueillies Les données recueillies dans le cadre du Léa sont variées mais surtout relativement nombreuses. Elles comportent : Les documents des enseignants pour la classe (séquences, feuilles d’exercices, activités, évaluations écrites), Des productions d’élèves (cahiers, évaluations, productions lors d’interrogations au tableau), Les documents produits collectivement (avec ou sans chercheur) dans le cadre du Léa (scénario de séances, activités, évaluations communes), Des vidéos de séances au fur et à mesure de l’année scolaire, pour chaque enseignant, filmées généralement sans la présence du chercheur en classe, Les échanges enregistrés lors des réunions et entretiens avec les chercheurs. Parmi ces données, seuls les enregistrements des entretiens individuels avec les enseignants relèvent d’un dispositif de recueil de données purement à visée de recherche. Les autres dispositifs et les données qui en sont issues, sont conçus pour la formation des enseignants, même s’ils nous servent aussi pour notre recherche. Cette diversité des données nous permet plusieurs types d’analyses de pratiques, quant aux choix de contenus sur l’enseignement de l’algèbre et aux choix de gestion : Suivre l’évolution et les régularités des pratiques d’un même enseignant sur une ou plusieurs années (analyse que nous ne détaillerons pas ici), Comparer la diversité des pratiques sur une même séance discutée préalablement, voire préparée collectivement. Dans les analyses de séances, que ce soit pour repérer des évolutions ou faire des comparaisons, nous intéressons plus particulièrement aux moments de mises en commun des procédures des élèves, organisés par l’enseignant lors de la résolution de tâches en classe, qui, comme nous l’avons déjà souligné, nous paraissent être des moments privilégiés pour rechercher des traces des pratiques d’évaluation, en regardant si et comment chaque enseignant s’appuie sur les productions des élèves (prise d’informations) pour les aider à se situer par rapport à ce qui est attendu (exploitation en vue des apprentissages de chacun). 708 Fonctionnement du Léa et hypothèses Le fonctionnement du Léa consiste à partir des pratiques habituelles des enseignants, à faire des apports issus de la recherche pour essayer de les questionner et de les faire évoluer, puis à convenir ensemble de progressions, situations d’apprentissage, déroulements, qui reposent en grande partie sur les propositions initiales des enseignants. Des situations sont testées en filmées en classe pour être analysées ensemble. Cette analyse conduit à un processus itératif puisque l’analyse réflexive à partir de vidéos conduit souvent à revenir sur les choix de conceptions et à discuter des pratiques. A l’issue de ce processus, la rédaction de documents ressources, à diffuser en dehors du Léa, est entamée. Pour la première année, nous avons choisi de faire des apports principalement sur les contenus et peu sur les pratiques d’enseignement et d’évaluation. Ce choix se justifie par le fait qu’il nous a permis de répondre aux attentes des enseignants en matière de conception de tâches et de séquences directement exploitables pour la classe tout en nous donnant les moyens d’accéder à leurs pratiques initiales d’évaluation. Ainsi nous faisons l’hypothèse que des apports uniquement cognitifs sur les contenus enseignés auront peu ou pas d’influence sur la composante médiative des pratiques. C’est-à-dire qu’en travaillant avec les enseignants sur les tâches, les procédures, les progressions en algèbre, nous pourrons les accompagner dans le choix de tâches pertinentes, notamment vis à vis de leur représentativité du domaine algébrique et dans une meilleure prise d’informations, notamment à travers une analyse plus fine des productions des élèves, davantage tournée vers les connaissances et les conceptions. Mais ces apports cognitifs pourraient ne pas se traduire par une meilleure exploitation en et pour la classe ni par une modification des fonctions données à l’évaluation. Comparaison des pratiques de trois enseignants sur une même séance Grille d’analyse des pratiques relativement à l’évaluation formative pendant les mises en commun Nous listons ici nos critères pour analyser les mises en commun à l’issue des résolutions de tâches. Nous tenons compte de ce qui est organisé par l’enseignant pour exploiter les productions des élèves et les impliquer dans la validation et la construction des connaissances. Ce moment dépend fortement de ce que les élèves auront pu produire, donc des modalités de la recherche qui leur aura été proposée : Modalités de recherche : Temps plus ou moins long Avec ou sans aide Portant sur des tâches plus ou moins complexes Modalités de mise en commun : Quelles productions sont choisies, et comment sont-elles exposées ? Quelle variété des productions (en terme de procédures mais aussi de validité, ce qui pose la question du statut de l’erreur) ? Quels retours sur les productions des élèves : validation / justification, par l’enseignant ou des élèves ? 709 Quels liens sont organisés : entre les questions, les exercices, avec le cours ? Quel bilan est proposé : sur quoi et quels liens avec ce qui précède et ce qui suit ? Une séance d’introduction de la distributivité Nous comparons ici les pratiques de trois des enseignants du Léa lors d’une séance identique, préparée dans le cadre du Léa, et pour laquelle un même énoncé a été proposé aux élèves pour introduire la distributivité algébrique (les élèves ayant déjà utilisé la distribution sur des nombres). La tâche proposée par les trois enseignants est donnée dans la figure 1. Voici un programme : - Choisir un nombre - Ajouter 4 - Prendre le double du résultat - Enlever 8 Exécuter le programme de calcul avec quelques nombres : qu’observez-vous ? Figure 1: Activité d’introduction de la distributivité Les contenus ont été discutés dans le cadre du Léa, à partir de la séance conçue par les enseignants collectivement, mais la gestion de la séance n’a pas été évoquée, au-delà du découpage en étapes prévues par les enseignants : étape 1 : Expérimentation du programme étape 2 : Multiplier les essais à l’aide du tableur, observation des résultats et conjecture étape 3 : Avoir recours à la lettre, nécessité de démontrer (traduire le programme et produire une écriture algébrique pour généraliser) étape 4 : Faire le lien entre les deux expressions (prouver en utilisant la distributivité) La mise en commun des résultats de la première étape Nous nous intéressons dans un premier temps à l’étape 1, dont les différents moments sont synthétisés dans le tableau 1. Si on regarde la prise d’informations que les enseignants ont pu faire pendant la recherche des élèves, on constate que dans les trois classes, le temps de recherche de 6 à 8 minutes a permis à l’enseignant de passer dans les rangs, en aidant ou non les élèves, voire en corrigeant leurs productions, ce qui dénote déjà des pratiques différentes sur une même tâche. Les informations retenues ne sont évidemment pas visibles pour le chercheur à ce stade, mais elles pourront transparaître dans les choix de l’enseignant pour la suite de la séance, à travers les productions utilisées pour la mise en commun. 710 G Temps de recherche précédent 6 minutes Passage dans les rangs sans corriger les erreurs des 34 élèves, peu nombreuses Modalités de mise en commun Productions des élèves interrogés 3 élèves désignés passent au tableau en même temps Retour sur les productions des élèves (in)validation par G qui interroge 1 élève pour corriger Pas d’explication sur les erreurs Bilan Il existe 3 manières de faire 3 écritures différentes correctes M F 6 minutes Passage dans les rangs sans corriger les erreurs des élèves, assez 2 nombreuses 3 élèves désignés passent au tableau 2 écritures différentes correctes (dont 1 élève hyperactif) + 1 écriture incorrecte M sollicite la classe, discussion collective pour aider 1 élève au tableau, explication de M : on n’a pas le droit d’écrire comme ça, cela donne des égalités fausses Pas de bilan de cette tâche 8 minutes Passage dans les rangs, en corrigeant les erreurs des élèves, 2 assez nombreuses F interroge 2 élèves à leur place et écrit leurs réponses au tableau 2 écritures différentes correctes pas de correction nécessaire Sur l’intérêt de chacune des écritures Tableau 1 : Comparaison des moments de recherche et de mise en commun pour l’étape 1 Pour ce qui est de l’exploitation des productions des élèves, on peut constater dans les trois classes que la mise en commun fait appel à des productions différentes, en terme d’écriture des calculs, sans forcément les hiérarchiser suivant les écritures qui vont permettre de faciliter l’étape du passage à l’écriture algébrique. Parmi les productions affichées, on trouve surtout des productions correctes, même si des erreurs ont été affichées (volontairement ou non) au tableau, sans être invalidées par l’intermédiaire d’une justification mathématique par l’enseignant. Les productions semblent avoir été choisies pour leur variété35 du point de vue des écritures, point qui avait largement été discuté au sein du Léa lors des différentes réunions. Nous constatons donc dans ces trois classes un manque relatif de retours sur les procédures des élèves, en particulier pas de hiérarchisation, ni de traitement de l’erreur, ce qui peut s’expliquer par le fait que cette étape numérique ne met pas en jeu des connaissances nouvelles et n’est pas l’enjeu principal de cette séance. Analyse des temps de recherche et des mises en commun dans le reste de la séance En ce qui concerne les étapes suivantes de cette activité, et en particulier les étapes 3 et 4 de généralisation et de preuve, nous avons synthétisé les choix des trois enseignants pour les moments de recherche et de mise en commun dans le tableau 2. Phase numérique Recherche individuelle Appui sur les productions des élèves Phase de traduction Recherche individuelle Appui sur les productions des élèves 34 G x x M x x erreur x F x x x Informations données par les enseignants lors de la réunion du Léa ayant suivi la séance filmée Même si dans l’une des classes un autre critère rentre en jeu : faire passer une élève hyperactive au tableau, ce qui montre la prise en compte de contraintes non directement liées aux apprentissages mathématiques 35 711 Phase de preuve Recherche individuelle Appui sur les productions des élèves x Tableau 2 : Comparaison des moments de recherche et de mise en commun pour toute la séance Si dans la phase numérique, on pouvait voir une utilisation des productions des élèves pour montrer un variété d’écritures (G, M et F), éventuellement incorrectes (M), dans la phase de traduction, même lorsqu’il y a une production algébrique individuelle potentielle pour les élèves qui ont bénéficié d’un moment de recherche (seulement pour M et F), il n’y a pas d’utilisation d’éventuelles erreurs algébriques des élèves (chez M et F). C’est l’enseignant qui gère au tableau l’écriture algébrique correcte parenthésée, sans évoquer des erreurs possibles. Dans la phase de preuve, enfin, on ne trouve pas de recherche individuelle chez F et G, et même si dans la classe de M les élèves cherchent une preuve, les aides apportées par M, utilisant les aires, ne s’appuient probablement pas sur les productions effectives des élèves ni sur leurs erreurs. Cela semblerait indiquer que dans le cas de tâches complexes, les élèves semblent avoir moins d’initiatives en classe, et par conséquent que, paradoxalement, la mise en commun peut difficilement s’appuyer sur les productions des élèves et sur leurs erreurs pour les aider à se rapprocher de ce qui est attendu par l’enseignant ou par l’institution. Ces choix des enseignants peuvent aussi être rapprochés d’autres dimensions que celles directement liées aux apprentissages, et en particulier la contrainte institutionnelle de temps qui peut expliquer que l’enseignant prenne en charge, surtout en fin de séance, une part plus grande de la résolution de la tâche, qui était ici pourtant celle qui faisait l’enjeu d’apprentissages nouveaux. La contrainte liée au public de Zone d’Éducation Prioritaire est certainement à prendre en compte aussi pour expliquer ces choix. Conclusion et perspectives À l’issue de cette première année de travail collaboratif, on peut constater que des nouvelles tâches sont proposées en classe par les enseignants, sous l’impulsion des chercheurs, pour favoriser une entrée dans l’algèbre par des situations de généralisation. Mais nos analyses font ressortir le fait que, globalement, il n’y a pas de nouvelle gestion de la résolution de ces tâches, conformément à nos hypothèses. Nous pouvons cependant pointer pour ces enseignants une meilleure prise en compte des procédures des élèves lors des mises en commun, qui repose sur des critères liés spécifiquement à la notion, mais avec une exploitation qui change peu malgré tout (pas de hiérarchisation des procédures, d’exploitation de l’erreur, ni de validation mathématique). Il faudrait prendre en compte la composante sociale des pratiques, et mettre ce constat en perspective de recherches sur l’enseignement en Zone d’Éducation Prioritaire pour nuancer ce résultat. Les outils que nous avons construits pour analyser les pratiques d’évaluation nous ont donc bien permis de repérer des différences entre ces enseignants, alors qu’ils proposaient une même séance, préparée ensemble en amont. Cela semble indiquer que tout le travail effectué uniquement autour des savoirs algébriques n’est pas suffisant pour faire évoluer la composante médiative des pratiques, ce qui confirme notre hypothèse de départ sur la stabilité des déroulements en classe, et sur les limites de notre dispositif (hybride) en termes de formation, au cours de cette première année du Léa. Or nous faisons l’hypothèse que des pratiques d’évaluation appuyées de façon plus serrée sur les procédures des élèves, en lien avec les connaissances mathématiques qu’elles mobilisent, peuvent favoriser les apprentissages algébriques des élèves. C’est pourquoi nous envisageons le suivi des 712 élèves des classes du Léa ou hors Léa suivant leur parcours dans l’établissement, sur trois ans (5ème, 4ème et 3ème) afin de repérer des effets du travail effectué sur les réussites des élèves à des évaluations (communes ou non) sur les contenus algébriques. Enfin, notre dispositif de travail collaboratif ayant déjà évolué depuis le début de cette 2ème année d’existence du Léa, en laissant plus de place à la discussion autour de la composante médiative des pratiques, et en particulier en ce qui concerne l’évaluation formative, nous essaierons d’en évaluer les éventuels effets sur les pratiques des enseignants, et d’en tirer des pistes pour la formation des enseignants à l’évaluation des élèves. Références Allal, L., Mottier-Lopez, L. (2007). Régulation des apprentissages en situation scolaire et en formation. De Boeck : Belgique. Ash, D., & Levitt, K. (2003). Working within the Zone of Proximal Development: Formative Assessment as Professional Development, Journal of Science Teacher Education, 14(1): 1-313. Bain, D. (1988). L’évaluation formative fait fausse route : De là, la nécessité de changer de cap. Mesure et évaluation en éducation, vol. 10 No 4. Black, P., William, D. (1998). Assessment and Classroom learning, Assessment in Education, vol. 5, No 1. De Ketele J.-M. (2010) Ne pas se tromper d'évaluation. Revue française de linguistique appliquée, XV, 25-37. Ketele, J.-M. (1993). L'évaluation conjuguée en paradigmes. Revue française de pédagogie, 103(1), 59-80. De Ketele, J.-M. (1989). L'évaluation de la productivité des institutions d'éducation. Cahiers de la Fondation Universitaire : Université et société. le rendement de l'enseignement universitaire, 3, 7383. Grugeon-Allys B., Pilet J., Chenevotot-Quentin F., Delozanne E. (2012) Diagnostic et parcours différenciés d'enseignement en algèbre élémentaire. In Coulange, L., Drouhard, J.-P., Dorier, J.-L., Robert, A. (Eds.) Recherches en Didactique des Mathématiques, Numéro spécial hors-série, Enseignement de l'algèbre élémentaire : bilan et perspectives (137-162). Grenoble : La Pensée Sauvage. Horoks, J. (2007) Les Triangles semblables en classe de seconde: de l'enseignement aux apprentissages. Recherches en didactique des mathématiques, Vol. 28. Num. 3. p. 379-416.. Merle, P. (2015). Les notes. Secrets de fabrication. Presses universitaires de France. Monod-Ansaldi, R. et Favelier, N. (2013) Les lieux d’éducation associés à l’IFE ; des laboratoires pour l’action conjointe des chercheurs et des enseignants. Journal de l’IFE de Mars 2013. http://ife.ens-lyon.fr/lea/outils/ressources/productions-internes/presentation-des-lea-mars-2013 Perrenoud, P. (1998). From Formative Evaluation to a Controlled Regulation of Learning Processes. Towards a wider conceptual field, Assessment in Education, Vol. 5, N°1, pp.85-102. Pariès, M., Robert, A., & Rogalski, J. (2009). Comment l’enseignant de mathématiques, en classe, met ses élèves sur le chemin des connaissances: un point de vue méthodologique en didactique des mathématiques [How does the mathematics teacher guide his students towards knowledge inside 713 the classroom: a methodological point of view in mathematics didactics]. Travail et Apprentissages, 3, 95-123. Pilet, J. (2015). Quelles conditions mettre en place pour favoriser des pratiques d'évalaution formative adaptées à des besoins d'apprentissage des élèves en algèbre élémentaire? Dans le symposium organisé par S. Coppé Développer des pratiques d'évaluation formative dans l'enseignement des mathématiques. Actes du 27e colloque de l'Association pour le Développement des Méthodologie En Education (ADMEE Europe), du 28 au 30 janvier 2015 à Liège, 473-477. Robert, A., & Rogalski, J. (2002). Le système complexe et cohérent des pratiques des enseignants de mathématiques: une double approche. Canadian Journal of Math, Science & Technology Education, 2(4), 505-528. Rey, O. et Feyfant, A. (2014). Evaluer pour (mieux) faire apprendre. Dossier de veille de l’IFE, n°94, p.44. http://ife.ens-lyon.fr/vst/DA-Veille/94-septembre-2014.pdf Vygotski, L. S. (1933). Apprentissage et développement: tensions dans la zone proximale. Brossard, M et Clot, Y. Avec Vygotski. Paris: La dispute (2ème éd. Augmentée), 233. COMMUNICATION 2 - RÔLE DU SAVOIR DANS DES PRATIQUES DE RÉGULATION EN CALCUL ALGÉBRIQUE GRUGEOON-ALLYS, Brigitte, Université Paris Est Créteil, LDAR (FR) BEDJA, Soraya, LDAR (FR) Mots clés : approche épistémologique – technologie - formulation / validation. RÉSUMÉ Cette communication s’inscrit dans une recherche (Bedja, 2015) portant sur l’impact d’un travail collaboratif entre enseignants et chercheurs sur les pratiques de régulation d’enseignants dans l’enseignement de l’algèbre élémentaire en classe de 3e en France (élèves de 14 à 15 ans). Au delà de l’enjeu pour les enseignants d’éclairer les difficultés des élèves suite à une évaluation diagnostique (Grugeon 1997, Grugeon-Allys et al., 2012) et de les mettre en relation avec des savoirs implicites peu travaillés, le principal objectif est de proposer des situations pertinentes (Pilet, 2012) dans des moments de reprise (Larguier, 2009) visant la poursuite de la construction des savoirs algébriques visés et d’accompagner les enseignants à étiqueter des procédures et des erreurs pour faciliter les phases de formulation et de validation lors d’épisodes de recherche ou de mise en commun. L’étude est fondée sur une praxéologie épistémologique de référence (Bosch et Gascon, 2005) relative aux expressions algébriques (Pilet, 2012). Elle concerne l’étude de l’évolution des pratiques enseignantes et s’appuie sur une approche multidimensionnelle à deux niveaux de granularité : au niveau global, en ce qui concerne l’itinéraire d’enseignement proposé à la classe et les prises de décision sur le choix des organisations mathématiques et didactiques convoquées pour construire le savoir visé ; au niveau local, en ce qui concerne la dynamique formulation / validation et le niveau 714 technologique engagé dans la gestion des interactions. Il s’agit de caractériser l’action du professeur à engager les élèves à repérer et faire évoluer les techniques et technologies développées, à les valider, les comparer, les hiérarchiser, dans des débats de validation efficaces. Nous montrons que le travail collaboratif initié favorise la mise en place de l’évaluation formative prenant en compte le savoir mathématique et d’un contrat didactique au service des apprentissages des élèves. TEXTE Cette communication s’inscrit dans une recherche (Bedja, 2015) portant sur l’impact d’un travail collaboratif entre enseignants et chercheurs du groupe IREM « Pratiques d’enseignement différencié en calcul algébrique » sur les pratiques de régulation des enseignants dans l’enseignement de l’algèbre élémentaire en classe de 3e en France (élèves de 14 à 15 ans), dans des établissements « ordinaires ». Au delà de l’enjeu pour les enseignants d’éclairer les difficultés des élèves suite à une évaluation diagnostique (Grugeon 1997, Grugeon-Allys et al., 2012 ) et de les mettre en relation avec des savoirs implicites peu travaillés, le principal objectif est de proposer des situations pertinentes (Pilet, 2012) dans des moments de reprise (Larguier, 2009) pour poursuivre la construction des savoirs algébriques visés et d’accompagner les enseignants à étiqueter des procédures et des erreurs afin de faciliter des phases de formulation et de validation efficaces lors d’épisodes de recherche et de mise en commun. Les enseignants ont mis en place pendant deux années consécutives des séquences d'enseignement incluant les ressources d'évaluation et de régulation discutées dans le cadre du groupe IREM. La recherche se situe dans le champ de la didactique des mathématiques et croise principalement comme approches théoriques, la Théorie des Situations Didactiques (Brousseau, 1990), la Théorie Anthropologique du Didactique (Chevallard 1999), la double approche didactique et ergonomique (Robert et Rogalski 2003). Elle concerne l’étude de l’évolution des pratiques des enseignants sur deux années. Pour ceci, Bedja a défini une approche multidimensionnelle à deux niveaux de granularité (Bedja, 2015). L’étude est fondée sur une praxéologie épistémologique de référence (Bosch et Gascon, 2005) relative aux expressions algébriques (Pilet, 2012). Au niveau global, il s’agit d’interroger l’itinéraire d’enseignement proposé à la classe et les prises de décision sur le choix des organisations mathématiques et didactiques convoquées pour construire le savoir visé, mais aussi sur l’adaptation des tâches en fonction des profils des élèves et de leurs besoins d’apprentissage. Cela concerne en particulier, l’évolution de types de tâches convoqués, leur agrégation, tels que ceux de modélisation, preuve, équivalence des expressions et le choix des valeurs de variables didactiques des expressions algébriques mises en jeu. Au niveau local, il s’agit d’étudier la dynamique formulation / validation et le niveau technologique engagé dans la gestion des interactions entre élèves, ou enseignant et élèves. Un enseignant prend-il en compte les techniques proposées par les élèves et comment les gère-t-il ? En quoi la prise en compte du savoir mathématique favorise-t-il l’évaluation formative ? Les interventions du professeur sont étudiées à partir de plusieurs critères : d’une part, la prise en compte des éléments technologico-théoriques dans des débats de validation des techniques pour engager les élèves à les valider, les comparer, les hiérarchiser, les faire évoluer, d’autre part, la nature du milieu créé et des aides apportées. Le corpus très varié de données analysées est constitué, en autres, de trames de séquences, de vidéos avec transcriptions de séances de cours et de séances du groupe IREM, de productions d’élèves. Nous montrons que le travail collaboratif prenant en compte une étude épistémologique, une analyse de vidéos avec étude précise au niveau du discours lors des interactions (Pilet, Coppé et 715 Grugeon-Allys, 2015), favorise la mise en place d’une évaluation formative prenant en compte le savoir mathématique et d’un contrat didactique davantage au service des apprentissages des élèves. Nous mettons aussi en évidence une évolution des pratiques de régulation des enseignants liées à une évolution du rapport au savoir et à son enseignement sur deux ans. Références Bedja, S. (2015) : Parcours d'enseignement différencié en algèbre élémentaire: Usage des ressources en ligne par des enseignants. in Butlen et al. (eds) Rôles et places de la didactique et des didacticiens des mathématiques dans la société et dans le système éducatif. Actes de la 17e école d'été, Nantes, du 19 au 26 Aout 2013. 565-570. Bosch, M., Gascon, J. (2005) La praxéologie comme unité d’analyse des processus didactiques. Dans Mercier A. & Margolinas C. (Dir) Balises pour la didactique des mathématiques (197 – 122). Grenoble : La Pensée Sauvage. Brousseau, G. (1990). Le contrat didactique et le concept de milieu : dévolution. Recherches en didactique des Mathématiques. 9(3) 309-336. Chevallard, Y. (1999) L’analyse des pratiques enseignantes en théorie anthropologique du didactique. Recherches en didactique des mathématiques. 19(2) 221 – 266. Grugeon, B. (1997) Conception et exploitation d’une structure d’analyse multidimensionnelle en algèbre élémentaire. Recherches en didactique des mathématiques. 17(2) 167–210. Grugeon-Allys, B., Pilet, J., Chenevotot-Quentin, F., Delozanne E, E. (2012) Diagnostic et parcours différenciés d'enseignement en algèbre élémentaire. In Coulange L., Drouhard J.P., Dorier J.L. & Robert A. (Eds.), Recherche en Didactique des Mathématiques Enseignement de l'algèbre élémentaire, Bilan et perspectives Hors-série 137–162. Grenoble : La pensée sauvage. Larguier, M. (2013) La connaissance des différents types de nombres : un problème de la profession de seconde. Recherches en didactique des mathématiques. 32(1) Pilet, J. (2012) Parcours d’enseignement différencié en algèbre élémentaire. Thèse de doctorat. Université Paris Diderot-Paris 7. Pilet, J. Coppe, S., Grugeon-Allys, B. (2015) Analyses de situations de classe et de pratiques enseignantes en algèbre élémentaire. in Butlen et al. (eds) Rôles et places de la didactique et des didacticiens des mathématiques dans la société et dans le système éducatif. Actes de la 17e école d'été, Nantes, du 19 au 26 Aout 2013. 333-356. Robert, A., Rogalski, J. (2002) Le système complexe et cohérent des pratiques des enseignants de mathématiques : une double approche, Revue canadienne de l'enseignement des sciences, des mathématiques et des Technologies. 2(04) 505-528. 716 COMMUNICATION 3 - EVALUATION DES APPRENTISSAGES DE ET PAR LA RÉSOLUTION DE PROBLÈMES EN MATHÉMATIQUES. ETUDE DES PRATIQUES ET DES DISCOURS D’ENSEIGNANTS GENEVOIS AUTOUR DE L’ÉVALUATION FORMATIVE CHANUDET, Maud, Université de Genève, Equipe DiMaGE (CH) RÉSUMÉ Notre objectif est d’essayer de mieux comprendre les pratiques d’évaluation des enseignants de l’école secondaire genevoise en lien avec la résolution de problèmes mathématiques dans le cadre contraint d’un cours de « développements en mathématiques » ciblé spécifiquement sur les démarches d’investigation. Ceci fait écho à la thématique plus large de l’évaluation des apprentissages à l’école, qui fait l’objet de plus en plus de recherches en sciences de l’éducation. Actuellement les dimensions certificative et formative de l’évaluation des apprentissages semblent clairement définies et bien distinctes. Pourtant, certains auteurs remettent aujourd’hui en cause une dichotomie trop radicale entre ces deux formes d’évaluation et vont même jusqu’à postuler l’existence de relations entre elles. Notre recherche interroge l’évaluation de la résolution de problèmes mathématiques dans une perspective d’articulation entre évaluations certificative et formative des apprentissages. Une de nos préoccupations est de savoir comment l’enseignant prend en compte les apprentissages des élèves dans ses dispositifs d’évaluation. S’intéresse-t-il et/ou met-il en place des modalités innovantes d’évaluation telles que l’auto-évaluation, l’évaluation entre pairs ou la coévaluation ? Dans quelle mesure l’enseignant prend-il en compte les difficultés rencontrées par les élèves lors de l’évaluation d’activités de résolution de problèmes ? Pour tenter de répondre à ces questions, nous nous appuyons tout d’abord sur une étude exploratoire donnant à voir des discours d’enseignants à propos de leurs pratiques évaluatives (les modalités de travail ; le support évalué ; le recours à des formes d’évaluation originales ou encore la communication aux élèves des critères de correction) sur la base de réponses à un questionnaire en ligne. Dans un deuxième temps, nous analysons les éléments émergeant d’un travail collaboratif avec des enseignants autour de la construction d’un outil d’évaluation certificatif favorisant la mise en œuvre de processus formatifs. Mots-clés : évaluation formative - didactique des mathématiques - résolution de problèmes TEXTE L’objectif de notre recherche est d’essayer de mieux comprendre les pratiques d’évaluation des enseignants de l’école secondaire genevoise en lien avec la résolution de problèmes mathématiques dans le cadre contraint d’un cours de « développement en mathématiques ». Ceci fait écho à la thématique plus large de l’évaluation des apprentissages à l’école, qui fait l’objet de plus en plus de recherches en sciences de l’éducation (Gandit, 2015 ; Mottier Lopez, 2014 ; Pilet, 2012). 717 Le cours de « développement en mathématiques » Présentation du contexte Notre recherche s’effectue dans le canton de Genève, en Suisse romande, au niveau scolaire du Cycle d’Orientation (CO) et concerne en particulier les élèves en classe de 10e (13-14 ans). Dans tous les niveaux d’enseignement en Suisse romande, la résolution de problème est au centre des programmes (CIIP, 2010). Mais l’accent est mis tout particulièrement sur cette dimension du travail mathématique dans un cours centré sur les démarches d’investigation (Dorier & Maass, 2014), sur la résolution de problèmes et qui est appelé cours de « développements en mathématiques ». Ce cours d’une période de 45 minutes hebdomadaire concerne les élèves au profil scientifique de la section littéraire et scientifique, soit environ 800 élèves et 60 enseignants par année. Un cours centré sur les démarches d’investigation L’objectif de ce cours est de contribuer « au renforcement et au développement des capacités et des compétences des élèves dans les stratégies de résolution de problème et les activités de situations mathématiques. » (DIP, 2012, p.18) Le thème de la résolution de problème n’est pas spécifique aux programmes romands et est au cœur de nombreux programmes européens, mais essentiellement comme un moyen de parvenir aux apprentissages visés. Dans ce cours, comme nous pouvons le voir dans cet extrait du programme, il n’y a pas d’enjeux de savoirs disciplinaires, mais des objectifs liés à l’apprentissage de la résolution de problème. C’est le moyen (apprendre par la résolution de problème) mais aussi le but (apprendre la résolution de problème). Or les savoirs en jeu dans la résolution de problème ne sont pas facilement définis comme l’ont montré plusieurs didacticiens. Un des enjeux de ce cours est donc de travailler avec les élèves à l’explicitation des savoirs visés. Un cours nécessitant des évaluations certificatives fréquentes De plus, ce cours fait l’objet d’une évaluation certificative spécifique, indépendante du cours ordinaire, qui doit être fréquente (une évaluation toutes les quatre périodes d’enseignement) et porter sur la dimension recherche du travail des élèves. Or cette dimension n’est pas toujours accessible aux enseignants puisqu’il s’agit souvent d’un travail qui revêt un caractère privé, que l’élève ne montre pas. Pour cela, les présidents de groupe ont choisi la narration de recherche comme dispositif d’évaluation commun afin de donner à voir à l’enseignant la partie recherche du travail de l’élève et donc de lui apporter une possibilité de l’évaluer. La narration de recherche Ce dispositif considéré ici dans un premier temps comme un support pour des évaluations certificatives a été pensé par ses initiateurs comme un moyen de porter une attention particulière aux démarches de résolution des élèves, à la communication de la recherche, des résultats et de les promouvoir. La définition retenue dans le programme cantonal est la suivante : Il s’agit de faire raconter par l’élève lui/elle-même la suite des actions qu’il ou elle a réalisées au cours de sa recherche. Un nouveau contrat est passé avec l’enseignant–e : l’élève s’engage à raconter du mieux possible toutes les étapes de sa recherche, à décrire ses erreurs, comment lui 718 sont venues de nouvelles idées ; en échange, l’enseignant-e s’engage à faire porter son évaluation sur ces points précis sans privilégier la solution. (DIP, 2012, p.22, adapté de Bonafé et al., 2002) Le contrat qui s’établit autour de cet objet est différent de celui qui prévaut habituellement en classe. Il s’agit pour l’élève de tout raconter, même ses erreurs, les impasses empruntées pour tenter de répondre au problème. C’est en ce sens que ce dispositif semble pouvoir favoriser le développement d’un regard réflexif de la part de l’élève. Ce dernier doit en quelque sorte se regarder en train de chercher. Pratiquer la narration de recherche est donc à la fois un moyen d’amener les élèves à mieux expliciter leur démarche de recherche mais aussi un moyen d’en évaluer la qualité. On vise donc ici une double fonction en termes d’évaluation formative et certificative. L’injonction d’évaluations certificatives fréquentes et très ciblées couplée à la nécessité de développer des compétences spécifiques à la résolution de problèmes nous a amené à nous intéresser à l’articulation possible entre évaluation certificative et formative, notamment autour de cet objet a priori certificatif qu’est la narration de recherche en se demandant si cela ne pouvait pas être un support favorisant les processus formatifs. Les dimensions formative et certificative de l’évaluation des apprentissages Actuellement les dimensions certificative et formative de l’évaluation des apprentissages semblent clairement définies et bien distinctes. L’évaluation certificative peut être caractérisée par des critères formels d’évaluation, des conditions de passation hors temps d’enseignement, l’utilisation d’outils formalisés (le contrôle écrit par exemple) et le lien avec des objectifs définis dans les programmes scolaires tandis que l’évaluation formative peut être caractérisé par « all those activities undertaken by teachers, and/or by their students, which provide information to be used as feedback to modify the teaching and learning activities in which they are engaged. » (Black et Wiliam, 1998, p. 7-8) Mais certains auteurs remettent cependant en cause aujourd’hui une distinction trop radicale entre ces deux formes d’évaluation et vont même jusqu’à postuler l’existence de relations entre évaluation formative et certificative (Harlen, 2012 ; Allal, 2011). De plus, dans une perspective élargie de l’évaluation formative, Allal et Mottier Lopez (2005) soulignent la nécessaire implication des élèves dans les processus évaluatifs notamment par des discussions au sein de la classe quant aux raisonnements et aux stratégies de résolution de problèmes mis en œuvre par les élèves pour permettre de réguler les apprentissages et l’enseignement. Dans cette optique, il est ainsi possible d’envisager que des éléments d’une évaluation certificative nourrissent des processus formatifs et inversement que des informations tirées d’une évaluation formative soient utilisées pour certifier des apprentissages. C’est dans cette perspective que nous plaçons notre recherche. Le recours à un outil d’évaluation Pour évaluer les narrations de recherche, qui est un objet très ouvert, il peut s’avérer nécessaire de définir des critères d’évaluation. On peut alors recourir à un outil d’évaluation, tel qu’une grille de critères d’évaluation, qui synthétise et rende plus opérationnels les critères d’évaluation ainsi déterminés. Cet outil est alors un outil d’étayage et d’appréciation du travail de l’élève comme le nomme Mottier Lopez (2015). Comme le souligne Allal, 719 Un outil ou instrument d’évaluation, telle qu’une grille de critères d’appréciation, peut contribuer à la fois à contrôler l’action de l’évaluateur (focaliser son attention sur les aspects pertinents de l’objet à évaluer) et à amplifier sa capacité de jugement (suggérer des attributs à prendre en compte auxquels il n’aurait pas pensé). (2008, p. 72) Il se peut de plus que ces outils permettent de favoriser davantage l’apprenant dans son évaluation que ce soit sous la forme d’auto-évaluation, d’évaluation entre pairs ou de co-évaluation. Cependant, nous savons comme l’a souligné Allal (1999), que ces formes d’évaluation, notamment l’auto-évaluation, peut créer des biais (confusion des rôles, accroissement des inégalités, etc.) auquel il faut être attentif. Un des enjeux de ces grilles de critères d’évaluation est la négociation avec les élèves du sens des critères d’évaluations. Cela doit leur permettre de comprendre les dimensions de leur travail qui vont être observées et évaluées. Cela doit aussi amener les élèves à développer un langage commun autour de l’objet travaillé. Nous cherchons plus particulièrement dans notre recherche à étudier comment la mise en place d’un outil d’évaluation certificatif peut soutenir l’émergence de processus formatifs, tant du point de vue de l’enseignement que des apprentissages des élèves et comment cela peut encourager les discussions autour des stratégies et des raisonnements mis en œuvre par les élèves. Etude des déclarations des enseignants relativement à l’évaluation d’activités de démarches d’investigation Afin tout d’abord de mieux connaitre les pratiques évaluatives effectives des enseignants dans le cadre de ce cours centré sur la partie « recherche » de l’activité mathématique des élèves des enseignants, nous avons mené une étude exploratoire sous la forme d’un questionnaire en ligne. Ce dernier a ainsi été diffusé à l’ensemble des enseignants concernés par le cours de « développement en mathématiques » (donnant ou ayant donné ce cours les années précédentes), avec le soutien du département de l’instruction publique, de la culture et du sport du canton de Genève (DIP). Les résultats de cette étude portant sur 61 questionnaires complets en ce qui concerne : les modalités de travail privilégiées (en groupe, en individuel) ; le support évalué (présentation orale, acétate, cahier de recherche, etc.) ; le recours à des formes d’évaluation originales (autoévaluation, co-évaluation) ou encore la communication aux élèves des critères de correction utilisés par l’enseignant. Modalités d’évaluation En ce qui concerne l’évaluation, nous pouvons dire que la majorité des enseignants évalue plus fréquemment que ce qui est institutionnellement requis et ce malgré le fait que les instructions officielles demandent déjà que les évaluations soient très fréquentes. Les problèmes les plus posés par les enseignants pour évaluer leurs élèves sont des problèmes complétement nouveaux, sans lien selon les enseignants avec les problèmes travaillés pendant les séances en classe. Pour 55% des enseignants, il s’agit de problèmes nouveaux et problèmes proches de ceux travaillés en classe ou des problèmes travaillés en classe mais avec quelques modifications. En ce qui concerne les modalités d’évaluation, 60% des enseignants ne se basent que sur des productions écrites pour évaluer leurs élèves. Pour les autres, ils évaluent aussi un exposé, une présentation orale, la participation à un débat (20%) ou bien la participation, l’attitude, l’implication, le respect des consignes (20%). 30% des enseignants n’évaluent que de façon individuelle, 7% 720 n’évaluent que des travaux en groupe et 62% évaluent avec les deux modalités. 63% des enseignants attribuent une note chiffrée à chaque évaluation. Enfin presque tous les enseignants utilisent la narration de recherche comme support pour évaluer et autour de un quart des enseignants évaluent les acétates, tout comme pour les présentations orales ou pour les cahiers de recherche. Plus de 75% des enseignants ne font pas pratiquer à leurs élèves d’autoévaluation, de coévaluation ou d’évaluation mutuelle. Il y a donc peu d’implication active des élèves dans leur évaluation. Cependant quelques enseignants déclarent vouloir impliquer davantage les élèves dans leur évaluation mais ne savent pas comment y parvenir. Les pratiques d’évaluation relativement à ce cours sont homogènes dans les établissements pour seulement 20% des enseignants. Pour les autres, soit elles ne sont pas homogènes, soit ils ne connaissent pas les pratiques des autres enseignants dispensant ce cours dans leur établissement. Compétences, savoirs, savoir-faire à développer et à évaluer En ce qui concerne les compétences, savoirs, savoir-faire que souhaitent développer les enseignants chez leurs élèves, nous avons choisi de formuler largement la question en utilisant conjointement les termes de savoirs, savoir-faire, compétences pour ne pas orienter les réponses des enseignants. Dans ce qu’ils retiennent comme étant essentiel (réponses citées entre 70% et 85 %), on retrouve mettre en œuvre la démarche scientifique ; respecter les règles du débat scientifique ; rédiger une narration de recherche ; connaître et utiliser différentes stratégies de résolution ; communiquer sa démarche, son raisonnement ; faire preuve de curiosité et d'esprit critique et travailler en groupe. Les objectifs visés par les enseignants restent donc très proches de celles décrites dans les instructions officielles. En ce qui concerne cette fois les savoirs, savoir-faire et compétences à évaluer, nous retrouvons : rédiger une narration de recherche ; communiquer sa démarche, son raisonnement ; mettre en œuvre la démarche scientifique et connaitre et utiliser différentes stratégies de résolution. Comme nous pouvions le penser, les déclarations des enseignants font donc apparaitre une forte corrélation entre le fait de vouloir développer des compétences, savoirs, savoir-faire chez leurs élèves et le fait de les évaluer sur ces compétences, savoirs, savoir-faire visés. Certains items font cependant apparaitre de plus grands écarts que d’autres. Lorsque les enseignants ne déclarent pas vouloir développer et évaluer le même objet, dans la majorité des cas c’est en faveur du développement de compétences c’est-à-dire que les enseignants ont tendance à vouloir développer des compétences, savoirs, savoir-faire chez leurs élèves sans chercher à les évaluer par la suite. Par exemple, beaucoup veulent développer respecter les règles du débat mais ne l’évalue pas. L’inverse ne se présente que pour deux items, rédiger une narration de recherche et communiquer sa démarche qui sont quant à eux évalués mais pas travaillés. Critères de réussite, source de difficultés En ce qui concerne les narrations de recherche, seuls deux enseignants ne font pas rédiger de narration de recherche à leurs élèves. Presque tous les enseignants utilisent des critères pour évaluer les narrations de recherche, beaucoup utilisent des critères très détaillés (86%) et quasiment tous les communiquent à leurs élèves (92%). Voici quelques exemples de critères d’évaluation que les enseignants communiquent à leurs élèves : exhaustivité (tout est justifié, argumenté) ; sincérité, pertinence du récit ; structure de la narration ; clarté du récit ; appropriation du problème ; démarche scientifique (faire des essais, des conjectures ou vérifier) ; utilisation d’outils 721 mathématiques. Les critères cités en exemple par les enseignants portent donc davantage sur comment raconter une recherche que sur comment mener une recherche. Et lorsqu’il est demandé aux enseignants de nous dire quels sont les éléments permettant de réussir un tel exercice, ces derniers citent : toutes les étapes du raisonnement sont détaillées et justifiées ; le contenu du récit est pertinent par rapport au problème ; l’élève s’approprie le problème ; clarté et structure du récit. Nous voyons là encore que les éléments cités concernent presque exclusivement la narration. Les critères que les enseignants communiquent aux élèves sont proches de ce que les enseignants déclarent comme étant les critères de réussite d’une narration de recherche (récit structuré, clair ; tout est justifié, détaillé ; bonne appropriation du problème ; pertinence des propos par rapport au problème). Seule la pertinence des propos apparait comme un élément important pour la réussite d’une telle tâche mais n’est pas communiquée aux élèves comme critère de réussite, d’évaluation. Lorsqu’il est demandé aux enseignants de nous dire ce qui selon eux peut expliquer les difficultés que rencontrent les élèves dans cet exercice, beaucoup attribuent les difficultés rencontrées par les élèves au fait de devoir rédiger, être exhaustif, argumenter, justifier. Il y a ici une cohérence avec les éléments précédents, à savoir que : les enseignants attribuent les difficultés prioritairement à cet aspect du travail (narration), ils estiment que c’est pourtant essentiel pour réussir et ils leurs communiquent des critères en lien avec cette dimension. Un quart des enseignants attribuent les difficultés rencontrées par les élèves au manque d’investissement, de persévérance. Enfin un autre quart attribue ces difficultés à la résolution du problème en elle-même. Enfin beaucoup d’enseignants déclarent que évaluer les narrations de recherche est plus difficile qu'une évaluation classique et que les outils qui leurs sont proposés sont insuffisants. Etudes des pratiques effectives des enseignants Suite aux résultats obtenus par le biais de ce questionnaire et afin de concevoir un outil d’évaluation du cours de « développement en mathématiques » avec les contraintes qui sont celles citées précédemment, une commission a été créée dans le but de constituer une grille d’évaluation de référence à destination des enseignants donnant ce cours. Les objectifs de la commission sont donc d’aider les enseignants chargés de ce cours à évaluer des travaux nécessitant des critères spécifiques ; d’harmoniser les pratiques d’un cours comptabilisé comme une branche principale dans le cursus des élèves de profil LS dans le règlement du cycle d’orientation ; de permettre de porter à la connaissance des élèves des attentes convergentes entre cycles d’orientation sur la manière d’évaluer ce genre de travail. Nous travaillons pour cela de façon collaborative avec deux enseignantes du même cycle d’orientation à établir une grille d’évaluation des narrations de recherche. L’objectif est d’arriver à une grille qui soit un outil commun d’évaluation à visée certificative mais pouvant favoriser les processus formatifs. L’introduction de ces contraintes (démarche d’investigation, narration de recherche, évaluation fréquente) nous semble être une occasion pour mieux comprendre les pratiques évaluatives, les contraintes, les logiques d’action et les marges de manœuvre investies par les enseignants. Pour évaluer les narrations de recherche, les enseignants ont souvent recours à des grilles de critères d’évaluation. C’est pourquoi nous sommes parties d’une grille de critères d’évaluation 722 élaborée dans le cadre du projet Primas afin de construire un outil qui puisse permettre de définir des attentes communes entre les différents établissements autour de l’évaluation de ce cours. Notre travail s’articule autour des retours d’expérience des deux enseignantes qui utilisent cette grille (figure 1) pour évaluer leurs élèves. Dimensions Critères Présentation Soin apporté au travail Narration - Forme - Fond Clarté de la narration (fluidité et cohérence du propos) Consistance de la narration : chaque étape comprend une entrée en matière, un développement et une conclusion Exhaustivité et articulation des étapes Appropriation du problème Reformuler l'énoncé en langue naturelle et/ou représenter les informations sous forme de schéma, croquis, tableau,… pour s’approprier le problème Décrire clairement le but à atteindre et ne pas le perdre de vue au cours de la recherche Recherche Traduire le problème en langage mathématique, représenter la situation de façon mathématique Dégager des pistes pertinentes, mettre en œuvre une stratégie de résolution Faire des essais pertinents et chercher à en éliminer la contingence Articuler essais, conjecture et preuve Tirer les conséquences d’une étape (valider, invalider) avant de passer éventuellement à la suivante ou de conclure Utiliser des outils, concepts, procédures mathématiques pertinentes par rapport au problème Interpréter le résultat mathématique en fonction du problème et évaluer sa plausibilité, sa validité dans le contexte du problème Technique Maitriser les outils et concepts mathématiques utilisés (calculs, graphiques, tracés géométriques, notations, unités) Figure 1. Grille utilisée par les enseignantes Dans le cadre de ce travail collaboratif, les questions qui se posent et dont certaines restent encore en suspens sont : Comment les enseignantes se réfèrent-elles à cet outil d’évaluation lors de la correction des copies ? Comment communiquent-elles avec leurs élèves sur leurs évaluations ? Comment travaillent-elles avec leurs élèves à expliciter les attendus de ce cours ? Quelles régulations semblent favorisées par le recours à un outil d’évaluation? Après quelques mois de travail avec les enseignantes membres de cette commission, nous pouvons voir qu’elles ont choisi de faire un travail progressif quant aux objectifs visés par ce cours, avec une focalisation sur l’aspect narration en début d’année pour aller vers une centration sur la résolution de problème en milieu et fin d’année, la narration ne redevenant qu’un moyen de raconter sa recherche. Pour matérialiser cette centration sur des objectifs différents au fil du temps, le barème qu’elles emploient pour attribuer une note chiffrée aux productions des élèves est lui 723 aussi évolutif : plus de poids accordé à la narration en début d’année puis plus de poids accordé à la recherche en milieu et fin d’année. Les enseignantes ont aussi choisi de travailler spécifiquement la narration dans un premier temps, pour éviter que cela ne soit évalué sans être travaillé comme beaucoup d’enseignants semblent le faire selon les résultats du questionnaire. Les enseignantes se questionnent beaucoup autour des réponses à apporter aux questions des élèves (ne pas en dire trop ni pas assez). On retrouve ici une question qui ne cesse de préoccuper les enseignants : comment assurer le maintien de la dévolution dans des activités de résolution de problèmes ? Pour cela l’une des enseignantes a fait le choix de donner aux élèves l‘accès à la partie théorique des cours (contenu dans un manuel annexe) et de ne pas répondre à leurs questions. Quant au format attendu de la rédaction, les enseignantes ont proposé à leurs élèves un modèle de résolution de problème en trois temps : appropriation du problème, traitement des données, communication des résultats, qui est tiré des documents officiels et qui est communiqué aux élèves. Or ceci se situant en parallèle des critères d’évaluation qui leur ont été distribués, il a été difficile pour eux de faire la distinction entre les deux. Beaucoup d’élèves ont compris qu’une apparition chronologique de tous les éléments permettant de justifier la bonne utilisation des critères était attendue. De plus, lors des premières évaluations beaucoup d’élèves ont eu recours aux critères. Or il s’est avéré nécessaire de préciser aux élèves la façon dont les enseignantes allaient utiliser ces critères pour évaluer leur production (nécessité d’avoir validé tous les critères, points enlevés en cas de mauvaise utilisation de certains critères ou autre). Enfin les enseignantes affirment avoir besoin d’un contrôle en quelque sorte global de la copie, à savoir que la note attribuée à l’aide du barème critérié doit être conforme à l’idée globale qu’elles se font de la copie et notamment en ce qui concerne la hiérarchisation des copies. Pour conclure, nous pouvons dire que les deux enseignantes retirent de l’utilisation de la grille d’évaluation des narrations de recherche une réflexion accrue sur les objectifs visés par des activités de démarches d’investigation ainsi qu’une facilitation de la communication avec les élèves autour de ces objectifs et notamment de la justification de la note attribuée. Références Allal, L. (1999). Impliquer l’apprenant dans le processus d’évaluation : promesses et pièges de l’autoévaluation. In C. Depover & B. Noël (Eds.), L’évaluation des compétences et des processus cognitifs, modèles, pratiques et contextes (pp. 35-56). Bruxelles : De Boeck. Allal, L. (2008). Conceptualiser les outils d’évaluation des apprentissages. In G. Baillat, J. M. De Ketele, L. Paquay & C. Thélot, Evaluer pour former. Outils, dispositifs et acteurs (pp. 71-82). Bruxelles : De Boeck. Allal, L. (2011). « Assessment for learning » culture in the classroom… and beyong. Communication to the International Seminar on Assessment for Learning, (Solstrand, Norway, Juin 2011). Allal, L. & Mottier Lopez, L. (2005). L’évaluation formative de l’apprentissage : revue de publications en langue française. In OCDE (Ed.). L’évaluation formative : pour un meilleur apprentissage dans les classes secondaires (pp. 265-290). Paris : OCDE. 724 Black, P. & Wiliam, D. (1998). Assessment and Classroom Learning, Assessment in Education, 5(1), 7–74. Bonafe, F., Chevalier, A., Combes, M.-C., Deville, A., Dray, L., Robert, J.-P. & Sauter, M. (2002). Les narrations de recherche de l’école primaire au lycée. Montpellier : IREM & Brochure APMEP, 51. Conférence Intercantonale de l’Instruction publique de la Suisse romande et du Tesin (CIIP). (2010). Plan Etudes Romand 3e cycle, Mathématiques et sciences de la nature - Sciences humaines et sociale, CIIP. Département de l’Instruction Publique, de la culture et du sport (DIP) (2012). Spécificité cantonale, Mathématiques 10e LS profil S. Dorier, J-L. & Maass, K. (2014). Inquiry-Based Mathematics Education. In S. Lerman (Ed.). Encyclopedia of Mathematics Education, (pp. 300-304). Springer Dordrecht, Heidelberg, New York, London. Gandit, M. (2015). L’évaluation au cours de séances d’investigation en mathématiques. Recherche en éducation, 21, 67-80. Harlen, W. (2012). On the relationship between assessment or formative and summative purposes. In J. Gardner (Ed.). Assessment and learning (2e éd.) (pp. 87-102). Londres : Sage. Mottier Lopez, L. (2014). L’évaluation pédagogique va-t-elle enfin marcher sur ses deux pieds ? Les enseignements de l’histoire récente de l’école primaire genevoise. Education et francophonie, 42 (3), 85-101. Mottier Lopez, L. (2015). Evaluations formative et certificative des apprentissages. Enjeux pour l’enseignement. Bruxelles : De Boeck. Pilet, J. (2012). Parcours d'enseignement différencié appuyés sur un diagnostic en algèbre élémentaire à fin de la scolarité obligatoire : modélisation, implémentation dans une plateforme en ligne et évaluation (Thèse de doctorat). Université Paris-Diderot. Disponible en ligne : http://tel.archives-ouvertes.fr/tel-00784039. COMMUNICATION 4 - EFFETS DE DIFFÉRENTES MODALITÉS D’ÉVALUATION FORMATIVE SUR L’ÉVOLUTION DU MILIEU DE L’ÉLÈVE GANDIT, Michèle, Institut Fourier, Université Grenoble Alpes (FR) LEPAREUR, Céline, Laboratoire des Sciences de l’éducation, Univ Grenoble Alpes (FR) RESUME L’étude présentée porte sur la mise en œuvre de différentes modalités d’évaluation formative dans le cadre d’un enseignement de mathématique fondé sur l’investigation (EMI). Nous développons l’analyse réalisée sur une même séquence d’enseignement – Le parc – mise en œuvre à deux reprises par trois enseignants de collège impliqués dans le dispositif LéA (Lieu d’Education Associé). Ce dispositif, coordonné par l’Institut Français d’Education (IFé), consiste en une collaboration entre chercheurs/ formateurs et enseignants des premiers et second degrés autour de 725 la question de l’évaluation par compétences dans les démarches d’investigation au collège et à l’école. La communication présente d’abord un état des lieux des recherches menées sur l’évaluation formative ainsi qu’un cadre conceptuel pour son analyse. Plus précisément, nous nous appuierons sur le modèle de Shavelson et al. (2008) pour définir différentes modalités de mise en œuvre de l’évaluation. Afin d’apprécier les effets de celles-ci sur la régulation des apprentissages des élèves et l’évolution du milieu (mésogénèse) (Sensevy, 2007), nous convoquerons les modèles de Carver & Scheier (1998) et Ruiz-Primo & Furtak (2007) Nous exposons dans un second temps la méthodologie utilisée pour le recueil des données puis nous dégageons les effets produits par les différents outils d’évaluation développés en formation. Enfin nous discutons ces résultats à la lumière des cadres théoriques mobilisés et traçons des pistes pour la formation des enseignants. Mots-clés: Enseignement de Mathématiques fondé sur l’Investigation (EMI) ; évaluation formative ; milieu TEXTE Cadre contextuel Notre étude s’inscrit dans le projet de recherche européen ASSIST-ME (Assess Inquiry in Science, Technology & Mathematics Education) qui enquête sur les méthodes d'évaluation formative et sommative afin de soutenir et d’améliorer les approches fondées sur l'investigation dans l’enseignement des sciences expérimentales et des mathématiques. Ce projet vise, entre autres, la création d’outils d’évaluation novateurs pour les enseignants et les élèves et la conception de méthodes d'évaluation combinées. Celles-ci sont testées dans les écoles primaires et secondaires des différents pays européens impliqués. En France, ces méthodes sont testées dans le cadre d’un LéA (Lieu d’Education Associé), dispositif mis en place par l’Institut Français d’Education, visant une coopération entre chercheurs, formateurs et enseignants des premier et second degrés. L’équipe collabore pendant trois ans (2012-2015) sur le thème de l’évaluation par compétences dans les démarches d’investigation au collège et à l’école (LéA EvaCoDICE). C’est dans ce contexte que nous étudions la mise en œuvre de différentes modalités d’évaluation formative par des enseignants de mathématiques. Ancrage théorique Nous étudions la pratique de l’évaluation formative, ou évaluation pour les apprentissages (Stobart, 2008), car elle est souvent annoncée comme un facteur important pour soutenir le développement de l’autorégulation des apprentissages (e.g., Clark, 2012 ; Nicol & Macfarlane-Dick, 2006). Cette évaluation est dite formative si les informations qu’elle produit sont effectivement utilisées par les enseignants et les élèves pour modifier leur activité (Black & Wiliam, 2009). Selon Clark (2012), l’évaluation formative guide la pratique et améliore le processus d'apprentissage par l'élaboration de stratégies d’autorégulation chez les apprenants. Les recherches d’Harlen (2013) se sont centrées sur les liens qu’entretiennent l’évaluation formative et les enseignements scientifiques fondés sur l’investigation (ESFI). Pour l’auteure, ces pratiques poursuivraient les mêmes finalités, à savoir la compréhension et l’acquisition des 726 compétences nécessaires à l’apprentissage. De fait, un enseignement qui vise le développement de la compréhension implique la prise en compte des idées initiales des élèves et de leurs compétences existantes, puis la mise en avant de leurs progrès en ajustant les défis pour prendre en compte ces idées initiales. Shavelson et al. (2008) présentent un modèle de l’évaluation formative comme un continuum, considérant la diversité des modalités de mises en œuvre dans laquelle l’évaluation formative peut prendre place. Ils définissent ainsi un continuum entre des évaluations formatives majoritairement formelles et planifiées (e.g., grilles d’autoévaluation), d’autres moins formelles et prenant place dans l’interaction (e.g., débats), et d’autres dites « on the fly », qui interviennent spontanément à l’initiative du professeur ou d’un élève. La conception actuelle de l’évaluation formative voit celle-ci comme une pratique intégrée au processus d’apprentissage, s’adaptant continuellement pour répondre aux besoins spécifiques des élèves. Dans cette perspective, l’évaluation formative peut intervenir au niveau local, pour gérer les transactions didactiques (Sensevy, 2007). Pour analyser ces dernières, au cours de séances de type ESFI, nous recourons au modèle ESRU, défini par Ruiz-Primo et Furtak (2007). Ces auteurs utilisent ce modèle, qui est un cycle de questionnement en quatre étapes, dans le cadre de ce qu’ils appellent des « Assessement conversations » : 1) E (elicit) traduit que « the teacher elicits a response », ce que nous exprimons par « l’enseignant(e) sollicite la classe pour faire sortir un questionnement, ce que pensent les élèves » ; 2) S (student) exprime que « a student responds » ; 3) R (recognize) signifie que « the teacher recognizes the student’s response », ce que nous interprétons comme « l’enseignant prend en compte cette réponse, rebondit sur celleci pour faire avancer le questionnement dans la classe » ; U (use) exprime que « the teacher uses the student’s response », que nous utilisons comme « l’enseignant utilise cet échange pour relancer la classe dans l’investigation ou expliciter les apprentissages réalisés ». En référence au cadre général proposé par Grangeat (2013), Gandit (2015) décrit un enseignement des mathématiques fondé sur l’investigation des élèves (EMI), sous la forme d’un double modèle d’action scientifique de l’élève (constitué des blocs d’actions : Expérimenter, Généraliser, Questionner, Communiquer) et d’un modèle de conception et mise en œuvre pour le(la) professeur(e), construit sur quatre variables : 1) la problématisation des savoirs, 2) la responsabilité scientifique dévolue à la classe, 3) l’explicitation des apprentissages, 4) la richesse du milieu de l’élève relativement à la pratique scientifique. Ces variables sont décrites à l’aide d’indicateurs portant sur le type de tâche et le doublet contrat-milieu. Nous étudions ici l’évolution de ce milieu – mésogénèse (Sensevy, 2007, p. 30) – au cours des interactions didactiques, en nous appuyant sur les phases de débat scientifiques, qui sont proposés comme des phases d’évaluation formative. Questions de recherche Dans quelle mesure les enseignants et les élèves impliqués dans le LéA s’approprient-ils différentes modalités d’évaluation formative ? Dans quelle mesure permettent-elles de faire évoluer le milieu de l’élève, dans le cadre d’un EMI ? Nous présentons, d’une part, un outil formel d’évaluation : le tableau de progression. Comment les enseignants l’intègrent-ils dans leur pratique ? Quel effet a-t-il sur la perception de progrès des élèves ? Nous analysons, d’autre part, des phases de débat que nous considérons comme des moments d’évaluation « on the fly » : en dégage-t-on des « assessment conversations » ? Les interactions didactiques mettent-elles en avant l’action scientifique de l’élève ? 727 Méthodologie Dans le cadre de ce LéA, l’équipe de mathématiques a mis au point et expérimenté une séquence d’environ cinq heures, dont les objectifs d’apprentissage sont : comprendre qu’un nombre peut avoir différentes écritures ; comparer des fractions ; débattre et argumenter. Cette séquence, intitulée Le parc, est constituée de plusieurs séances, chaque séance étant elle-même décomposée en phases, au cours desquelles les élèves doivent faire des recherches, individuellement ou en groupe, comprendre d’autres réponses que les leurs, se questionner, s’engager sur des réponses (dire s’ils sont d’accord ou pas), débattre avec des arguments scientifiques, éventuellement changer d’avis, communiquer oralement ou par écrit. Cette séquence, relevant ainsi d’un EMI, se situe dans un contexte de mesure d’aires de surfaces quadrillées, avec une unité d’aire « inhabituelle ». La confrontation des réponses des élèves amène à la comparaison des différentes écritures d’un même nombre (écritures fractionnaires, sommes, différences, écritures « à virgule » etc.). Cette séquence a été expérimentée en CM1/CM2 et en 6e, par six enseignants, durant deux années consécutives, le même enseignant reprenant cette séquence améliorée avec une autre classe l’année suivante. Les différentes séances ont été filmées, une caméra couvrant le tableau, le(la) professeur(e) doté(e) d’un micro, voire une partie de la classe, une autre caméra fixée sur un groupe d’élèves. Outre les vidéos, nous avons également recueilli des productions d’élèves : les fiches d’aide à la préparation du débat, les tests de connaissances, avant et après la séquence, les deux tableaux de progression remplis au cours de la séquence et les affiches réalisées en groupes. Nous avons transcrit quelques temps de débat, codés les transcriptions au moyen du modèle ESRU, adapté aux mathématiques. Hypothèses et résultats Partant du postulat que l’évaluation formative peut constituer une régulation (Mottier-Lopez, 2012) au service du développement des compétences des élèves, nous faisons l’hypothèse qu’au regard de la variabilité des modalités d’évaluation formative (Shavelson et al., 2008), les pratiques d’évaluation, offrant des possibilités d’identifier et de combler l’écart entre la performance atteinte et celle désirée (Carver & Scheier, 1998), favorisent le développement des processus d’autorégulation des élèves et permettent l’enrichissement du milieu de l’élève relativement à la pratique scientifique. Notre premier résultat porte sur l’utilisation par les enseignants d’un outil formel, le tableau de progression. Ce tableau est utilisé à deux moments de la séquence, sa forme change légèrement. Il comporte quatre compétences : 1) comprendre le problème, faire des recherches, faire preuve d’initiatives, être original ; 2) donner des réponses, émettre des hypothèses ou conjectures, formuler des questions; 3) prouver que c’est vrai, prouver que c’est faux ; 4) communiquer par écrit ou par oral. Chacune de ces compétences est déclinée en quatre critères, qui changent d’un tableau à l’autre, pour être adaptés au moment de son utilisation. La première utilisation a lieu lors du premier temps 728 de débat, la second lors du débat sur des affiches. En guise de premier résultat, on note une évolution très nette, sur trois enseignants, entre l’année 1 et l’année 2 du projet, dans la façon dont ceux-ci intègrent ce tableau à leur pratique. Nous notons E1, E2 et E3 ces trois enseignants. Nous appuyons ce constat d’évolution sur trois axes. Le premier est la façon dont les enseignants s’expriment sur ce tableau devant leur classe (figure 1), le deuxième est le temps consacré à sa présentation au cours de la séquence, la troisième est la fonction attribuée à ce tableau. Année 1 Année 2 E1 « On va lire ensemble les petits trucs » , « vous devez mettre des croix », « donc première question », « donc dernière ligne ». « vous avez pour chaque compétence », « demain il faudra se positionner pour savoir où vous en êtes », E2 « vous allez cocher des choses dans des cases » « il y a plusieurs compétences qu’on va travailler » E3 « avant de partir vous devez remplir un questionnaire » « vous voyez, on a travaillé des choses mathématiques, mais on a travaillé aussi d’autres compétences ». Figure 1 : Les enseignants s’expriment à propos du tableau de progression Ainsi, lors de l’année 1, les enseignants utilisent du vocabulaire très vague, voire un peu méprisant (« petits trucs ») pour désigner les compétences présentes dans le tableau. E3 parle même d’un questionnaire à remplir. Lors de l’année 2, les trois enseignants utilisent le terme de compétence. Lors de l’année 1, les enseignants ne présentent pas ce tableau aux élèves, avant qu’ils n’aient à le remplir, alors que, lors de l’année 2, un temps de classe important est consacré à la présentation des compétences aux élèves, avant qu’ils aient à s’auto-évaluer, pendant le travail, pour que les élèves aient des points de repère sur leur activité. Le tableau est intégré à l’activité des élèves. Ainsi la fonction d’aide à l’auto-évaluation qu’il constitue est perçue par les enseignants, qui indiquent qu’il n’est pas seulement une fiche d’évaluation, mais doit être considéré comme un moyen de se voir progresser : « L’idée toujours, c’est de faire en sorte d’arriver à la case là, c’est qu’on a vraiment fait l’activité qu’on demandait [lecture de chaque compétence]. Je vous donne cette fiche cette fiche comme ça vous l’aurez à côté de vous pour savoir ce qu’il faut faire, donc je le distribue et celle-là vous pouvez la garder à côté de vous pour savoir ce qu’on attend de vous au niveau du travail à faire […]. C’est pour vous y référer si jamais vous êtes bloqués. » Notre second résultat a trait au ressenti des élèves par rapport à leur progression sur les compétences. Comme le montre la figure 2, de manière significative, les élèves se sentent progresser sur deux compétences au cours de la séquence : 1) comprendre le problème, faire des recherches, faire preuve d’initiatives, être original et 3) prouver que c’est vrai, prouver que c’est faux. Cette mesure du ressenti des élèves a été faite lors de l’année 2 du projet. Les résultats suivants sont tirés des analyses des interactions didactiques au cours des phases de débat, moments d’évaluation on the fly. Tout d’abord on constate que les élèves ont des actions scientifiques qui relèvent des blocs questionner, communiquer du modèle EMI : ils se questionnent spontanément les uns les autres, sans que l’enseignant ait besoin d’intervenir, et ils expriment leur accord ou leur désaccord avec les arguments qui sont avancés. Ensuite, lorsque l’enseignant questionne les élèves pour savoir ce qu’ils ont appris, les élèves sont capables de répondre sur deux 729 plans : les connaissances d’ordre I sur les nombres, leurs différentes écritures, ainsi que sur les connaissances d’ordre II (Sackur et al., 2005). Ceci nous conduit à noter un enrichissement du milieu de l’élève relativement à ce type de connaissance d’ordre II : « Nous avons argumenté… », « Nous avions cru que …, mais c’était faux parce que … ». Figure 2 : Evolution de la perception de progression des élèves sur 2014-2015 Contributions aux connaissances et aux pratiques Dans ces cadres théoriques et méthodologiques, notre recherche vise ainsi à alimenter la littérature concernant les conditions d’efficacité des évaluations formatives sur les apprentissages des élèves dans le cadre d’enseignements fondés sur l’investigation. Dans le cadre du LéA, les enseignants impliqués ont montré une évolution très nette de leur pratique, notamment par rapport à l’intégration de l’évaluation formative, mais pas seulement. On a également noté une implication des élèves dans la préparation de l’évaluation sommative. Par ailleurs la mise en place de phases de débat et de phases de formulation peut permettre d’enrichir le milieu de l’élève par rapport à son action scientifique. Références Black, P. J., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21(1), 5–31. Bloch, I. & Gibel, P. (2011). Un modèle d’analyse des raisonnements dans les situations didactiques. Etude des niveaux de preuves dans une situation d’enseignement de la notion de limite. Recherches en didactique des mathématiques, 31(2), 191-228. Carver, C. S., & Scheier, M. F. (1998). On the self-regulation of behavior. New York: Cambridge University Press. 730 Clark, I. (2012). Formative assessment: Assessment is for self-regulated learning. Educational Psychology Review, 24(2), 205-249. Gandit, M. (2015). L’évaluation au cours de séances d’investigation en mathématiques. Recherche en éducation, 21, 67-80. Grangeat, M. (2013). Modéliser les enseignements scientifiques fondés sur les démarches d’investigation : développement des compétences professionnelles, apport du collectif. In M. Grangeat (Ed.) Les enseignants de sciences face aux démarches d’investigation, Des formations et des pratiques de classe (pp. 155-184), Grenoble: Presses universitaires de Grenoble. Mottier Lopez, L. (2012). La régulation des apprentissages en classe. Bruxelles: De Boeck. Nicol, D. & Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning: A model and seven principles of good feedback practice. Studies in Higher Education, 31, (2) 199-218. Sackur, C., Assude, T., Maurel, M., Drouhard, J-P., & Paquelier, Y. (2005). L’expérience de la nécessité épistémique. Recherches en Didactique des Mathématiques, 25 (1), 57-90. Sensevy, G. (2007). Des catégories pour décrire et comprendre l’action didactique. In G. Sensevy & A. Mercier (Eds.) Agir ensemble. L’action didactique conjointe du professeur et des élèves, (pp.1349), Rennes: Presses universitaires de Rennes. Shavelson, R. J., Yin, Y., Furtak, E. M., Ruiz-Primo, M. A., Ayala, C. C., Young, D. B., Tomita, M. K., Brandon, P. R., & Pottenger, F. (2008). On the role and impact of formative assessment on science inquiry teaching and learning. In J. E. Coffey, R. Douglas, & C. Stearns (Eds.), Assessing science learning: Perspectives from research and practice (pp. 21–36). Washington, DC: NSTA Press. Stobart, G. (2008). Testing Times: The uses and abuses of assessment. London: Routledge. 731 COOMUNICATION 5 - ANALYSES DE L’ÉVOLUTION DE RÉPONSES D’ÉLÈVES LORS D’ÉVALUATIONS FORMATIVES DANS LE CADRE DE LA RÉSOLUTION D’UN PROBLÈME COMPLEXE COPPÉ, Sylvie, Université de Genève FPSE, Equipe DiMaGe (FR) MOULIN, Marianne, UMR ICAR (Université Lyon 2, CNRS, ENS Lyon) (FR) ROUBIN, Sophie, Professeure Collège Ampère Lyon (FR) RÉSUMÉ Dans le cadre du projet européen de recherche ASSIST ME (Assess Inquiry in Science, Technology and Mathematics Education) dont l’objectif est d’une part d’analyser l’influence de nouveaux dispositifs d’évaluations formatives, en lien avec les évaluations sommatives dans le cadre de démarches d’investigations, sur les apprentissages et les pratiques enseignantes en sciences, mathématiques et technologie et d’autre part, de concevoir et de diffuser des méthodes d’évaluations formatives, nous avons expérimenté successivement dans le courant de l’année 2015 une séquence de classe de mathématiques dans quatre classes de 6e (élèves de 11-12 ans) de collèges de Lyon. Il s’agissait de résoudre un problème complexe portant sur les fractions et les aires dans lequel des outils d’évaluation formative étaient proposés : évaluation entre pairs et débats argumentatifs sur les réponses de la classe. Après avoir présenté l’analyse a priori du problème, nous montrons qu’il existe deux grandes stratégies de résolution qui peuvent amener à des réponses diverses, justes ou fausses, ce qui était bien l’objectif. Puis nous analysons l’évolution des réponses écrites de chaque élève avant et après le débat ainsi que les types d’arguments avancés et grâce à l’analyse a priori nous pourrons interpréter les changements ou les résistances. En conclusion, nous nous questionnerons sur les conditions et les contraintes des évaluations formatives entre pairs et par le débat argumentatif. Mots-clés: Didactique des mathématiques – évaluation entre pairs- argumentation TEXTE Nous présentons une analyse de l’évolution de réponses d’élèves lors de la résolution d’un problème complexe portant sur les fractions et les aires (notions dont on sait qu’elles sont difficiles pour les élèves de ce niveau) en classe de 6e (élèves de 11-12 ans) en France. Ce recueil de réponses fait partie d’un dispositif d’évaluation formative basé sur l’évaluation entre pairs et sur un débat argumentatif sur les réponses de la classe. Ce travail a été fait dans le cadre du projet européen de recherche ASSIST ME (Assess Inquiry in Science, Technology and Mathematics Education) dont l’objectif est d’une part d’analyser l’influence de nouveaux dispositifs d’évaluations formatives en lien avec les évaluations sommatives dans le cadre de démarches d’investigations, sur les apprentissages et les pratiques enseignantes en sciences, mathématiques et technologie et d’autre part, de concevoir et de diffuser des méthodes d’évaluations formatives. Nous avons expérimenté ces dispositifs d’évaluation formative en proposant successivement dans le courant de l’année 2015 une séquence de classe de mathématiques dans quatre classes de 6e de collèges de Lyon. Entre chaque passation, nous avons fait des bilans et procédé à des ajustements notamment entre la deuxième et troisième séquence. 732 Toutes les séquences ont été filmées avec deux caméras, une pointée sur le tableau et donc plutôt sur le professeur et une sur la classe. Enfin huit binômes d’élèves par classe ont été enregistrés en audio et on peut suivre leurs interventions lors des travaux de groupes et des moments collectifs. Dans un premier temps, nous présentons l’analyse a priori du problème en montrant qu’il existe deux grandes stratégies de résolution qui peuvent amener à des réponses diverses, justes ou fausses, ce qui était bien l’objectif. Nous analysons ensuite l’évolution des réponses écrites de chaque élève avant et après le débat ainsi que les types d’arguments avancés. En conclusion, nous nous questionnerons sur les conditions et les contraintes des évaluations formatives entre pairs et par le débat argumentatif. Le problème du Parc Le problème proposé aux élèves, intitulé Le Parc (annexe 1), élaborée par M. Gandit, (Université de Grenoble), consiste à déterminer l’aire d’un parc (puis des massifs de fleurs) à l’aide d’une certaine unité d’aire qui amène un résultat non entier que les élèves peuvent écrire sous forme fractionnaire non décimale (ou comme somme d’un entier et d’une fraction). La séquence de classe comporte douze phases et se déroule sur cinq à six séances. En bref, les élèves doivent déterminer l’aire du parc de façon individuelle, puis toutes les réponses (dont on suppose qu’elles seront nombreuses et variées) sont collectées et affichées au tableau par le professeur qui demande alors à chacun de se positionner sur chacune par écrit en justifiant son avis. Le professeur ramasse et annote ces écrits en donnant un feedback sur la nature des arguments mais non sur leur validité. Ensuite, un débat en classe entière est organisé dans lequel les élèves doivent voter sur chaque réponse avant et après la discussion et enfin les élèves remplissent à nouveau une feuille de positionnement. Dans les phases suivantes, on reprend le questionnement et les modalités de vote et de discussion au sujet de l’aire des massifs de fleurs. Enfin, en travail à la maison, les élèves doivent calculer l’aire totale du parc. Après les phases de discussion des réponses, des institutionnalisations sont faites avec les élèves sur ce qui a été appris. Les objectifs de ce problème portent d’une part sur des savoirs mathématiques : comprendre qu’un même nombre peut avoir différentes écritures (fractions décimales ou non, nombre entier, somme ou différence de fractions et de nombres entiers, écriture à virgule), savoir comparer deux fractions. A travers cela, il s’agit de mieux comprendre la notion de fraction notamment en revenant sur des conceptions fausses très répandues chez les élèves qui font obstacle au concept de nombre rationnel (par exemple qu’une fraction ou un nombre décimal correspondent à deux nombres, que toute fraction est pas décimale, etc). Enfin, un dernier objectif mathématique est de savoir prouver que des écritures différentes représentent le même nombre. D’autres objectifs concernent des compétences plus générales et transversales comme expérimenter sur des exemples, argumenter le vrai ou le faux ou bien avoir un regard critique sur des réponses qui ne sont pas les siennes et argumenter ses choix. Analyse des stratégies On peut déterminer deux grands types de stratégies ainsi que les réponses correctes ou non associées, illustrées par la figure 1. 733 • Stratégie de comptage des carreaux : on compte le nombre total de carreaux (118) puis on le divise par le nombre de carreaux présents dans l’unité d’aire (12). On peut ensuite procéder à un traitement fractionnaire de cette division ou à un traitement décimal (avec ou sans arrondis), éventuellement à la calculatrice. En ce qui concerne les réponses, dans le premier cas, on peut obtenir directement l’écriture fractionnaire 118/12 ua (mais cela n’a pas la forme d’une réponse pour des élèves de ce niveau) ou bien la transformer en d’autres écritures fractionnaires (mais c’est peu probable, d’une part parce que le problème ne l’exige pas et d’autre part parce qu’il faut être à l’aise sur le calcul des fractions, ce qui n’est pas la cas à ce niveau). Dans le second cas, les réponses décimales ne peuvent qu’être approchées et seront obtenues en posant une division dont il faut gérer le reste. En revanche, les réponses obtenues ont une forme plus proche de la conception d’une réponse pour des élèves de cet âge. Dans ce cas, on pourra dire que ces réponses sont fausses parce que la valeur n’est pas exacte. Notons enfin que certains élèves peuvent considérer le carreau comme une unité finale et ne pas procéder à la division par 12. Dans ce cas, on aura la réponse 118 carreaux qui est un résultat correct en ce qui concerne le nombre de carreaux mais qui ne peut être une réponse au problème, à la différence des réponses 117 ou 120 carreaux qui elles, sont erronées à cause du comptage. • Stratégie de pavage avec l’unité d’aire : on pave la surface du parc par l’unité proposée. On peut considérer que l’unité n’est pas modulable et la placer 6 fois dans le parc. À l’inverse, en considérant que l’unité est modulable, on peut la placer 9 fois dans le parc. Dans les deux cas, on doit ensuite prendre en compte les carreaux restants. La réponse peut alors être 9 ua + 10 carreaux (ou 6 ua + 46 carreaux) ou bien 9 ua (6 ua) et des carreaux. Il y a ici utilisation de deux systèmes d’unité (et avec des erreurs possibles de comptage comme pour 118 carreaux). Comme précédemment, le reste doit être géré soit par une écriture fractionnaire 10/12, soit décimale. Dans ce dernier cas, on peut retrouver les problèmes d’approximation à l’aide de la division mais on peut aussi avoir la confusion entre les systèmes décimal et « en douzièmes » qui amène soit à la réponse 9,10 ua soit, par le raisonnement suivant « il manque 2 carreaux pour avoir une unité supplémentaire », à la réponse 9,8 ua. Enfin, comme pour la première stratégie, on pourrait retrouver la réponse 118/12 ua à partir de 9 + 10/12 ua en transformant l’écriture mais on peut penser que ce ne sera pas une procédure disponible pour des élèves de ce niveau scolaire. 734 Figure 1 : les stratégies amenant aux réponses A travers cette analyse nous avons voulu montrer que d’une part, certains résultats pouvaient se révéler corrects comme 118 carreaux mais ne pas constituer des réponses au problème. On peut donc penser que dans ce cas les élèves auront du mal à se positionner en vrai/faux. De plus certaines réponses semblables peuvent provenir de stratégies différentes. Enfin, on voit dans cette analyse le jeu entre les aspects sémantique et syntaxique des expressions produites. En conclusion, cette analyse montre que se positionner sur une réponse peut se révéler difficile voire impossible pour un élève sans rentrer complètement dans une autre stratégie qui n’a pas été mobilisée. Or souvent la difficulté est à ce niveau et les travaux de Julo (1995) montrent combien il y a de la résistance à le faire. A partir de là on peut faire des hypothèses sur la plus ou moins grande facilité pour un élève à se prononcer sur les réponses des autres élèves si elles proviennent d’autres stratégies. En résumé voici un tableau (figure 2) qui récapitule les différentes réponses à la fois correctes et incorrectes et par type. Unité d’aire (non arrondi) Valeur correcte Unité d’aire (arrondi) 118/12 ua 9 + 10/12 ua 6 + 46/12 ua 36 Carreaux Mélange 118 c 9 ua + 10 c 6 ua + 46 c Fusion36 Par fusion nous entendons des réponses où le nombre de carreaux est exprimé grâce à une correspondance en écriture décimale : 9,10 correspond à 9 unités et 10 carreaux (0,10) ; 9,8 correspond à 9 unités + « 1 unité moins 2 carreaux » (0,8) 735 Valeur incorrecte 9 ua 10 ua 9,8333.. ua 9,83 ua 9,8 ua 6 ua 9 ua 10 ua Autre nombre de carreaux comme 120 c Autre nombre de carreaux comme 9 ua + 9 c « des morceaux » 9,10 ua 9,8 ua Figure 2 : les réponses possibles Les outils d’évaluation formative choisis Les outils d’évaluation formative choisis dans le cadre du projet et proposés aux professeurs expérimentateurs, sur lesquels portent nos analyses, sont constitués d’une part par deux écrits des élèves (annexe 2) dans lesquels ils doivent se positionner sur toutes les réponses des élèves de la classe (il était prévu qu’au besoin, le professeur pourrait même rajouter quelques réponses qui ne seraient pas apparues dans cette classe mais qui ont un intérêt pour la discussion) en VRAI/FAUX/NE SAIT PAS en argumentant. D’autre part, une phase d’évaluation formative « on the fly » (Shavelson et al., 2008) a été réalisée lors du débat oral collectif sur ces réponses avec des votes avant et après le débat pour mesurer l’évolution du positionnement sur les différentes réponses. Le scénario prévu Nous faisons porter notre analyse sur les phases de début de séquence, les élèves doivent déterminer l’aire du parc avec l’unité proposée. Après une phase de travail individuel, puis en groupe (4 ou 5 élèves), toutes les réponses sont collectées et affichées au tableau. Le professeur rajoute au besoin la réponse correcte (118/12 ua) dont nous avons fait l’hypothèse qu’elle pouvait ne pas apparaître. Chaque élève doit se prononcer par écrit sur toutes les réponses en VRAI/FAUX avec arguments. Le professeur ramasse ces feuilles et les annote seulement sur la qualité de l’argumentation. A la séance suivante, il rend les copies aux élèves et c’est le débat collectif d’argumentation avec des votes à main levée sur chaque réponse. A la fin, le professeur distribue de nouvelles feuilles aux élèves avec les réponses sur lesquelles ils doivent se prononcer en VRAI/FAUX/ NSP avec arguments. Le scénario réalisé dans chaque classe Dans la classe 1 (26 élèves), il n’y a pas eu de réponse juste avant le débat et la professeure a rajouté la réponse 118/12. Le débat ayant duré plus de deux séances, il n’y a pas eu de positionnement écrit après le débat. En revanche il y a eu des votes à main levée au début et à la fin du débat. Dans la classe 2 (23 élèves), il n’y a pas eu de réponse juste avant le débat et deux nouvelles réponses ont été construites à ce moment là. Il y a eu un positionnement écrit avant et après le débat et pas toujours des votes. Dans la classe 3 (24 élèves), une réponse juste (9 ua + 10/12 ua) et dans la classe 4 (25 élèves), deux réponses justes (9 ua + 10/12 ua ; 6 ua et 46 /12 ua) ainsi que deux nouvelles réponses construites pendant le débat. Comme pour la classe 2, il y a eu un positionnement avant et après le débat, mais pas de votes. Nous avons collecté tous ces documents qui nous servent pour l’analyse présentée ici. 736 Analyse des copies des élèves avant après Voici un exemple de grille (figure 3) que nous avons utilisée. Pour chaque classe (ici classe 2), nous avons relevé les réponses sur lesquelles les élèves devaient se positionner (à gauche) puis pour chaque élève (ici Fabien) nous avons relevé les positionnements et arguments avant et après. Nous pouvons ainsi déterminer l’évolution des réponses pour un élève ou pour une classe en nous appuyant sur ce qui s’est passé durant le débat. Dans cette communication, nous ne ferons qu’une comparaison des réponses. Figure 3 : les réponses d’un élève Conclusions sur le problème Ce problème s’est révélé difficile pour les élèves de toutes les classes ; pour preuve, le peu de réponses correctes qui ont été produites dans cette première phase. Ainsi, 118/12 n’est jamais apparu même si 118:12 a été utilisé par certains élèves comme calcul intermédiaire notamment dans la classe 2, ce qui a donc amené aux réponses approchées 9,8 ou 9,83. Pourtant un grand nombre d’élèves ont compté les carreaux en faisant des erreurs et il a fallu recompter les carreaux pour déterminer le résultat correct, ce qui a pris du temps. Les élèves ont aussi fait des pavages et ont trouvé les réponses correctes 9 ua + 10/12 ua et 6 ua et 46 /12 ua dans les classes 2, 3 et 4. Les autres réponses ont été 9 ua et 10 carreaux (ou 9 carreaux) et même 9 ua et des carreaux, ce qui a amené là aussi à des recomptages lors du débat. Voici le récapitulatif des réponses (figure 4). A noter que dans la classe 3 nous avions donné un énoncé légèrement différent pour le contexte (achat de dalles de pelouse), ce qui explique les réponses un peu différentes. Classe 1 118 c 120 c 108 c 133 c 719 m 9,8 ua Classe 2 9 ua + 9 c 10 ua 9 ua 118 c 118 : 12 = 9,83 9 ua + 10 c 9 ua et il reste des Classe 3 9 dalles et 10 c 9 dalles et 10/12 11 dalles 9 d et 10 morceaux 9 d et 10/12 dalles 118/12 dalles 9,8 dalles 737 Classe 4 118 c 9 ua 9 ua et 10 c 10 ua 9.38 ua 6 ua et 46 /12 ua 5 ua et 8/12 ua rajoutées par le professeur 118/12 9 ua + 10/12 carreaux 3 ua 63 / 12 ua 54 c et 10/12 ua rajoutées pendant le débat 118/12 9 ua et 83% ua rajoutées pendant le débat 9,83 ua (en correction de 9,38) 9,10 ua 9 unités et 10/12 d’unités Figure 4 : Les réponses produites dans chaque classe La difficulté du problème et la multiplicité des réponses (notamment fausses) ont eu des conséquences sur le débat. Tout d’abord celui-ci s’est déroulé sur un temps long voire trop long dans la classe 1 ce qui a posé des problèmes de gestion de l’attention des élèves pour les professeurs. De plus nous avons constaté, comme prévu dans l’analyse a priori, que les élèves peinaient pour entrer dans les réponses des autres notamment quand elles provenaient d’une autre stratégie. Certains élèves avaient du mal à envisager que plusieurs réponses pouvaient être justes et donc éliminaient, sans les examiner, les réponses autres que les leurs. Enfin l’idée de rajouter la réponse 118/12 ne s’est pas révélée pertinente car celle-ci semblait trop éloignée des connaissances et conceptions des élèves. Evolution des arguments Comme nous l’avons souligné dans l’analyse a priori, il n’était pas facile pour les élèves de se positionner en vrai/ faux sur certaines réponses comme notamment 118 carreaux. Nous y reviendrons dans le paragraphe suivant. Avant le débat, les arguments se sont révélés assez pauvres. Dans la classe 1, il y en a eu très peu et dans la classe 2 la moitié des élèves n’en a pas donné. Une majorité d’élèves a utilisé comme justification des évidences (« c’est vrai parce que je le sais ») ou bien une comparaison soit des réponses « c’est vrai/faux parce que j’ai trouvé / pas trouvé ça) », soit des méthodes « c’est vrai parce qu’il a compté les carreaux ». Les autres, moins nombreux, ont tenté d’avoir des arguments adaptés à chaque réponse. Notons qu’il est parfois plus facile de justifier qu’une réponse est fausse que vraie. Nous avons noté une évolution importante des types d’arguments utilisés par les élèves pour justifier leur positionnement. Ceci est un point positif à souligner. On peut également remarquer que pour certaines réponses, certains élèves reprennent tels quels des arguments avancés dans le débat (surtout ceux qui ne donnaient pas d’arguments au départ). C’est notamment le cas pour 118 c et pour les réponses avec des arrondis ou « avec des morceaux » ; dans ce cas les élèves indiquent que la réponse est fausse car « pas exacte » ou « on ne sait pas ce que désigne un morceau ». Evolutions de l’évaluation des réponses En revanche, le positionnement en VRAI/FAUX sur les réponses évolue peu (y compris pour des réponses simples) ou pas dans le bon sens malgré des débats qui pourraient le laisser penser. 738 Comme nous l’avons déjà dit, les élèves ont du mal à abandonner leur propre réponse ou à s’en décentrer. Analysons maintenant plus précisément quelques réponses particulières. Tout d’abord la réponse 118 carreaux qui est apparue dans trois classes sur quatre (rappelons que dans la classe 3 l’énoncé avait été modifié ce qui peut expliquer l’absence de cette réponse). Avant le débat, très majoritairement, les élèves se positionnent sur le VRAI à la différence des réponses comme 120 c qui sont souvent rejetées au motif qu’il y a 118 carreaux. Après le débat, les élèves se positionnent encore en VRAI mais également en NSP, ce qui montre un certain malaise à se positionner. Ce sont les arguments qui nous indiquent qu’il y a eu tout de même une évolution : « C’est vrai mais ce n’est pas ce que l’on cherche », « C’est vrai mais ce n’est pas une réponse » ; etc. On peut donc constater ici que les élèves n’arrivent pas à disqualifier cette réponse car elle a une validité dans le comptage et elle constitue une étape dans une des stratégies valides pour trouver l’aire en unité d’aire. On retrouve le même phénomène pour la réponse 9 ua et 10 c qui provient de la seconde stratégie ; comme 118 c c’est un résultat correct mais qui n’est pas une réponse valide. Nous avons constaté la fréquence de réponses du type 9 ua + x c dans la classe 2 avec des erreurs de comptage pour le reste ce qui a amené la professeure à recompter, ce qui a pris beaucoup de temps. Dans cette classe, il y a une augmentation du nombre d’élèves qui pensent que cette réponse est vraie (13 élèves après le débat contre 12 avant) avec des arguments du type « on l’a fait au tableau » ; « c’est vrai on a compté ». On peut donc noter une nouvelle fois ici l’influence de ce qui a été fait durant le débat plutôt que ce qui a été conclu. Enfin examinons la réponse 118/12 qui, rappelons-le, est une réponse fictive ajoutée par l’enseignant dans la classe 1 avant le débat et dans la classe 2 pendant le débat. Un premier argument pour lequel les élèves pensent que cette réponse est fausse est qu’elle n’a pas la forme d’une réponse pour eux. Dans la classe 1, dont voici l’évolution des votes avant et après un débat qui a tout de même duré 14 minutes. Avant débat : 0 VRAI/6 FAUX/15 NSP et après débat : 3 VRAI/19 FAUX. On constate que seuls trois élèves changent d’avis pour le vrai alors que les autres qui majoritairement ne savaient pas, sont convaincus qu’elle est fausse. Dans la classe 3, la tendance est différente puisque les positionnements ne changent que très peu (ce sont pratiquement les mêmes élèves qui choisissent vrai). Avant débat : 11 VRAI/ 9 FAUX/ 4 NSP et après débat : 11 VRAI/ 5 FAUX/ 8 NSP. Notons que dans la classe 2 où la réponse 118/12 n’a pas été discutée (c’est 118 :12 =9,83 qui l’a été), on peut noter une petite évolution lors des votes. Avant débat : 13 VRAI / 6 FAUX / 4 NSP et après débat : 9 VRAI / 8 FAUX / 6 NSP. Une autre évolution a eu lieu lors du positionnement. Avant le débat : 11 VRAI/ 6 FAUX/ 4 NSP et après 4 VRAI/9 FAUX/8 NSP. Là encore il semble qu’après le débat les élèves se prononcent davantage sur le doute. Peut-on penser qu’ils hésitent à changer radicalement d’avis ou que le débat les a fait douter mais n’a pas pu emporter leur conviction ? Discussion Il est encore trop tôt pour pouvoir produire des résultats généraux car nous n’avons pas fini d’analyser toutes les données. Cependant nous pouvons tout de même noter un grand intérêt de développer l’évaluation entre pairs et l’autoévaluation notamment par les changements produits dans la responsabilité de la validation dévolue aux élèves et par l’évolution de l’argumentation. Ceci 739 semble être un résultat général notamment souligné par Allal (1999). On peut penser que si ce changement de responsabilité devient un élément du contrat de la classe, les élèves pourront développer leurs compétences à se prononcer sur leurs réponses. A la suite de cette expérimentation, nous nous posons de nombreuses questions sur les fonctions et les modalités du débat. Or les débats, mises en commun, moments de synthèse sont des dispositifs qui sont très utilisés dans les classes lors des travaux de recherche de problèmes. En effet, à travers ces résultats même partiels, on peut se questionner sur la fonction en ce qui concerne l’évaluation formative puisque nous avons montré que les positionnements en vrai/faux ne changeaient pas beaucoup voire régressaient. Quel enrichissement du milieu (Brousseau, 1990 ou Perrin Glorian & Hersant, 2003) serait nécessaire pour être plus efficace ? On peut aussi se questionner sur les modalités puisque nous avons pu voir qu’il était difficile pour le professeur de garder l’attention de tous pendant ce moment et, à plus forte raison s’il dure longtemps. Cela pose aussi des questions pour la diffusion de cette activité à plus large échelle. Une autre série de questions porte sur les problèmes qui peuvent être proposés aux élèves. Il semble que celui-ci s’est révélé très riche de par les nombreuses réponses mais il est peut être trop difficile pour ce niveau de classe car il met en jeu différentes stratégies et différentes facettes d’un concept. On peut penser qu’un problème plus simple pourrait amener des questions et des débats tout aussi riches mais plus faciles à gérer. Enfin, de façon plus générale nous pensons qu’il est encore trop tôt pour pouvoir diffuser de façon optimale à la fois ces outils (fiches de positionnement, votes) car ils ne peuvent s’intégrer que dans des classes où les responsabilités de l’élève et du professeur peuvent être partagées ce qui suppose de nouvelles pratiques de classe. Il faut donc à la fois former sur l’évaluation formative pour changer les pratiques et changer les pratiques pour introduire des dispositifs d’évaluation formative. Références Allal, L. (1999). Impliquer l’apprenant dans le processus d’évaluation : promesses et pièges de l’autoevaluation. In C. Depover & B. Noel (Eds), L’évaluation des compétences et processus cognitifs, Modèles pratiques et contextes. De Boeck Université. Brousseau, G. (1990). Le contrat didactique et le concept de milieu : dévolution. Recherches en didactique des Mathématiques Vol 9/3, 309-336. Grenoble : La Pensée Sauvage Editions. Julo, J. (1995). Représentation des problèmes et réussite en mathématiques. Rennes : Presses Universitaires de Rennes. Perrin Glorian, M. J. & Hersant, M. (2003). Milieu et contrat didactique, outils pour l’analyse de séquences ordinaires. Recherches en didactique des mathématiques. Vol. 23/2, 217-276. Grenoble : La Pensée Sauvage Editions. Ruiz-Primo, M. A., & Furtak, E. M. (2006). Informal formative assessment and scientific inquiry : Exploring teachers’ practices and student learning. Educational Assessment, 11(3/4), 205–235. Shavelson, R. J., Yin, Y., Furtak, E. M., Ruiz-Primo, M. A., Ayala, C. C., Young, D. B., Tomita, M. K., Brandon, P. R., & Pottenger, F. (2008). On the role and impact of formative assessment on science inquiry teaching and learning. In J. E. Coffey, R. Douglas, & C. Stearns (Eds.), Assessing science learning: Perspectives from research and practice (pp. 21–36). Washington, DC: NSTA Press. 740 ANNEXE 1 Enoncé du problème du Parc La grille représente un parc, avec des massifs de fleurs, dans lequel se trouvent des bâtiments. Les massifs de fleurs sont représentés en gris clair. Les trous dans la grille représentent les bâtiments. On veut mesurer l’aire du parc (sans les bâtiments) avec une certaine unité d’aire. Cette unité d’aire est l’aire de la surface gris foncé qui se trouve en dessous de la grille. 741 ANNEXE 2 Fiche de positionnement Recopie, par Réponds : Explique pourquoi tu penses que c’est vrai ou pourquoi tu ligne, chacune *soit « je pense penses que c’est faux. des réponses que c’est vrai », Ton argument doit être convaincant pour une personne qui qui figurent au * soit « je ne partage pas ton idée. tableau. pense que c’est faux ». 742 LES RECHERCHES COLLABORATIVES AUTOUR DE L’ACCOMPAGNEMENT DES PRATIQUES PROFESSIONNELLES: DÉMARCHES DE CO-CONSTRUCTION DES ACTEURS EN PRESENCE (ID 136) NIEUWEHOVEN, Catherine Van, Université catholique de Louvain (BE) RÉSUMÉ Lors du colloque de Liège 2015, un symposium du réseau thématique centré sur les recherches collaboratives au niveau des pratiques évaluatives a orienté sa réflexion sur une des visées principales de telles recherches à savoir la question du développement professionnel tant du côté des chercheurs que des enseignants-formateurs engagés dans le projet (Morrissette & Tessaro, à paraître). Cette année, dans le cadre du colloque de Lisbonne, la proposition de symposium du RCPE s’inscrit dans le contexte de la formation initiale à l’enseignement et est centré spécifiquement sur la problématique de l’accompagnement et d’évaluation des jeunes enseignants sur le terrain des stages et lors de leurs premiers pas dans le métier. Globalement, peu de prescrits balisent l’accompagnement des futurs enseignants en stage tant du côté des superviseurs de l’institut de formation que des maîtres de stage sur le terrain. Au Québec, un référentiel de compétences pour les superviseurs et les maîtres de stage a néanmoins vu le jour suite à une importante concertation des acteurs des différentes universités (Portelance, Gervais, Lessard et Beaulieu, 2008). Cette initiative offre un cadre aux accompagnateurs qui ne bénéficient pas au départ de compétences en matière d’accompagnement et d’évaluation des pratiques professionnelles d’un jeune adulte en formation. Tant les superviseurs que les maîtres de stage disposent d’atouts pour relever un tel défi sans être directement amenés à collaborer. Ils restent souvent tiraillés entre le suivi formatif qu’ils veulent assurer à leur accompagné et la tâche d’évaluation certificative liée au contexte de formation à laquelle ils contribuent (Van Nieuwenhoven & Colognesi, 2015). Pour garantir un accompagnement authentique aux jeunes enseignants et favoriser une alternance intégrative (Pentecouteau, 2012; Perrenoud, 2001), il s’avère nécessaire d’ouvrir le dialogue entre les deux types d’accompagnateurs mais aussi en concertation avec les acteurs des deux milieux d’accueil. Ainsi Vanhulle, Merhan et Ronveaux (2007) propose de situer toute pratique d’alternance en référence à trois pôles institutionnel, organisationnel et actoriel. Dans le type d’alternance qui nous concerne, au niveau du pôle institutionnel, l’alternance met en présence deux institutions: l’institution de formation initiale et l’école d’accueil, chacune avec des valeurs, une culture, des finalités et des logiques propres. Le pôle organisationnel considère les deux institutions comme des entités dynamiques ayant chacune leurs modes d’organisation et de fonctionnement spécifiques alors que le pôle actoriel se centre sur les acteurs et principalement l’alternant qui se trouve au croisement de deux institutions et deux organisations. Portelance et Van Nieuwenhoven (2010) soulignent que dans le contexte professionnalisant de la formation des enseignants les institutions ne peuvent se soustraire à l’impératif du partenariat et les formateurs à la prescription de la collaboration. Le partage d’une vision des finalités de la formation initiale à l’enseignement semble essentiel pour assurer la cohérence de la formation du stagiaire 743 (Veal et Rickard, 1998). Cependant, les rôles spécifiques attendus des superviseurs et des maîtres de stage restent peu circonscrits et ne permettent pas toujours une pratique d’accompagnement et d’évaluation cohérente et harmonisée entre les deux lieux de formation à l’enseignement (Gervais & Corréa-Molina, 2005 ; Malo, 2011 ; Van Nieuwenhoven & Colognesi, 2013). Des incompréhensions subsistent entre les accompagnateurs au niveau des objectifs de stage, des modalités d’accompagnement, des tâches investies et donnent parfois lieu à des tensions qui peuvent nuire à l’émergence ou au maintien d’un climat de collaboration. Comment se développent les collaborations entre les accompagnateurs? Quelles balises et actions favorisent ou au contraire font obstacle au dialogue attendu? Comment le partage du pouvoir et des responsabilités est-il ressenti par les partenaires? Comment reconnaître et respecter les spécificités des partenaires? Quelle est la nature du travail conjoint d’une équipe d’accompagnateurs autour d’un étudiant? Quelles sont les responsabilités de chacun des partenaires impliqués? Il ne semble pas y avoir de consensus sur la façon de collaborer (Marcel, Dupriez, PérissetBagnoud & Tardif, 2007). Les modalités de collaboration sont de nature et de niveau d’implication différents qui s’inscrivent sur un continuum allant d’un simple échange d’informations entre les acteurs (ex: les réunion d’information sur les stages à destination des maîtres de stage) à des démarches de co-construction qui mobilisent des espaces de confrontation et de négociation comme c’est le cas des recherches collaboratives (Bednarz, 2013 ; Bourassa, Bélair & Chevalier, 2007). De telles recherches collaboratives permettent d’offrir aux chercheurs la possibilité de comprendre, avec les acteurs, dans une perspective située ce qui est au cœur de leur agir (Lave & Wenger, 1991 ; Mottier Lopez, 2008). Ce symposium vise à réunir des chercheurs et des formateurs engagés dans la dynamique d’accompagnement des jeunes enseignants sur le terrain qui explorent les différentes modalités de collaboration. Il s’agit de référencer les pratiques de collaboration, leurs atouts et les leviers à identifier pour les optimaliser. Références Bednarz, N. (2013). Recherche collaborative et pratique enseignante. Regarder ensemble autrement. Paris : L’Harmattan. Bourassa, M., Bélair, L. & Chevalier, J. (2007). Les outils de la recherche participative. Éducation et Francophonie, 35(2), 1-11. Gervais, C., & Correa Molina, E. (2005). De l’enseignant au stagiaire : donner accès à son expérience. In C. Gervais & L. Portelance (Ed.), Des savoirs au coeur de la profession enseignante: contextes de construction et modalités de partage. Sherbrooke : Éditions du CRP. Lave, J. & Wenger E. (1991). Situated Learning: Legitimate Peripheral Participation, Cambridge: Cambridge University Press. Malo, A. (2011). Apprendre en contexte de stage : une dynamique de transformations de son répertoire, Revue des sciences de l'éducation, 37(2), 237-255. Marcel, J-F., Dupriez, V. Périsset-Bagnoud, D. & Tardif, M. (2007). Coordonner, collaborer et coopérer. Bruxelles : De Boeck. Mottier-Lopez, L. (2008). Apprentissage situé. La micro-culture de classe en mathématiques. Berne : Peter Lang. 744 Pentecouteau, H. (2012). L’alternance dans une formation professionnelle universitaire. De l’idéal épistémologique aux contradictions pédagogiques, Revue internationale de pédagogie de l’enseignement universitaire (en ligne), 28, 1, p. 1-11. Perrenoud, Ph. (2001). Articulation théroie-pratique et formation de praticiens réflexifs en alternance in P. Lhez, Millet, D. et B. Séguier (dir.). Alternance et complexité en formation. Paris : Editions Seli Arslan, p.10-27. Portelance, L., Gervais, C. ; Lessard, M. et Beaulieu, P. (2008). La formation des maîtres-associés et des superviseurs universitaires. Cadre de référence. Tables Mels Université. Portelance, L. & Van Nieuwenhoven, C. (2010). Liminaire. Numéro thématique. Fondements théoriques et méthodologiques des conduites de recherche sur la formation professionnelle en alternance. Éducation et francophonie, 38, 2, pp 1-5. Vanhulle, S., Merhan, F. et Ronveaux, Ch. (2007). Alternances en formation, Bruxelles, De Boeck. Van Nieuwenhoven, C. & Colognesi, S. (2013), Une recherche collaborative autour des difficultés des maîtres de stage à accompagner leur stagiaire, Interacçoes, 27, 118-138. Van Nieuwenhoven, C. & Colognesi, S. (à paraître). Une recherche collaborative sur l’accompagnement des futurs instituteurs : un levier de développement professionnel pour les acteurs engagés dans le processus ?, Journal international de recherche en éducation et formation (e-JIREF). Veal, M. L. & Rickard, L. (1998). Cooperating teacher’s perspectives on the student teaching triad. Journal of Teacher Education, 49, 108-119. Consulté le 25 juillet 2007 dans la base de données Sage Full-text Collection. COMMUNICATION 1 - RENFORCER LA DYNAMIQUE COLLABORATIVE ENTRE DES MAÎTRES DE STAGE ET DES SUPERVISEURS PAR LA CO-CONSTRUCTION D’UN MODÈLE D’ACCOMPAGNEMENT NIEUWEHOVEN, Catherine Van, Université catholique de Louvain (BE) COLOGNESI, Stéphane, ENCBW-UCL (BE) BOTHY, Eric, ISPG (BE) WATTIEZ, Rudi, ENCBW (BE) RÉSUMÉ En Belgique, la majorité des instituts de formation font le choix d’une alternance intégrative (Pentecouteau, 2012 ; Bikorindagara & Paquay, 2006) qui vise l'autonomisation progressive des futurs enseignants dans une perspective de professionnalisation. Par ailleurs, peu de prescrits balisent l’accompagnement des futurs enseignants en stage tant du côté des superviseurs de l’institut de formation que des maîtres de stage sur le terrain. Les accompagnateurs ne bénéficient pas de formation spécifique pour assurer cette tâche et sont tiraillés entre le suivi formatif qu’ils veulent assurer à leur stagiaire et la tâche d’évaluation certificative liée au contexte de formation à laquelle ils contribuent. 745 En plus du manque de formation pour assumer leur tâche, ces deux types d’acteurs qui gravitent autour du stagiaire doivent assumer une cohérence dans leurs interventions d'accompagnement (Paul, 2004). En effet, pour les considérer comme des co-formateurs, un dialogue et un partage des responsabilités doivent s’installer entre eux. Le GRAPPE (groupe de recherche sur les pratiques professionnelles enseignantes) s'est emparé de cette problématique des liens de collaboration entre les différents accompagnateurs de stagiaires. Nous avons fait le choix d'une recherche collaborative (Bednarz, 2013 ; Bourassa, Bélair & Chevalier, 2007; Desgagné & Larouche, 2010 ; Morrissette, 2012 ; Van Nieuwenhoven & Colognesi, 2013) étant entendu que pour pouvoir comprendre comment les deux catégories d'acteurs fonctionnent, et cerner au mieux les tensions et les leviers de partenariat entre eux, il semble essentiel de chercher ensemble et de les engager au coeur du processus. Une recherche collaborative a ainsi été initiée, rassemblant les deux types d'accompagnateurs de stage, et avec la visée de favoriser le partage de pratiques et susciter des co-constructions d’outils au service de l’accompagnement. Pour nous engager dans ce travail conjoint, nous nous appuyons sur nos travaux précédents (Van Nieuwenhoven & Colognesi, 2013; 2015; à paraître). Ainsi, d'une part, nous partons des résultats du groupe "maitre des stages du fondamental" qui a permis de comprendre leurs rôles spécifiques, d'identifier leurs préoccupations et leurs besoins de formation. D'autre part, nous considérons les avancées amenées par le groupe "superviseurs des Hautes Ecoles pédagogiques" où nous avons identifié un "genre" superviseur (Clot & Faïta, 2000) : ce qu'ils font tous quand ils réalisent une visite de stage ; et les particularités de chacun, leurs styles - modification du genre - façonnés par les contextes et les circonstances. Cette recherche a aussi permis de faire émerger les tensions que les superviseurs vivent au quotidien quand ils accompagnent des étudiants en stage. Sur ces bases, nous avons donc constitué un groupe d'une quinzaine d'accompagnateurs de stage issus tant des écoles fondamentales que des Hautes Ecoles pédagogiques. Pour cheminer avec ce groupe rassemblant maitres de stage et superviseur, nous avons tenu compte des incontournables à considérer quand on mène une recherche collaborative (Van Nieuwenhoven & Colognesi, à paraître) : l'incitant de départ, les conditions dans lesquelles les acteurs cheminent, le processus et les effets que la recherche occasionne. Ainsi, le premier incontournable, qui renvoie à l'incitant de départ, engage les acteurs autour d'un projet collectif qui répond aux préoccupations des différents milieux en présence. Ici, l'équipe a choisi de mettre au jour un modèle co-construit de l'accompagnement sur base des apports de chacun. En effet, le concept d’accompagnement est polysémique et déployé par de nombreux auteurs. Il n'est donc pas simple de le circonscrire. De notre côté, si nous travaillons sur l'accompagnement depuis 5 ans avec différents partenaires, nous n'avons, pour l'instant, pas encore constitué "notre" modèle de l'accompagnement dans les différents groupes de recherche avec lesquels nous avons travaillé, étant entendu que nous n'avions pas, jusqu'ici, l'ensemble des acteurs pour le construire. Pour répondre au second incontournable que nous avons identifié pour mener une recherche collaborative, à savoir les conditions favorables (une relation symétrique ressentie par les individus, des responsabilités réparties, la perception de l'utilité des rencontres) et pour de permettre aux accompagnateurs s'engager dans le processus collaboratif - troisième incontournable - nous leur avons proposé plusieurs tâches. 746 Ainsi, notamment, ils ont eu l'occasion, via des dispositifs mis en place, d'échanger sur la visite de stage en précisant leur fonctionnement et leurs préoccupations (les gestes que le superviseur pose dès qu'il rentre dans la classe, et la manière dont le maitre de stage conçoit et vit la visite). Ils ont pu également travailler autour d'incidents critiques qu'ils ont rapportés (parfois très semblables mais lus différemment), ou encore observer et analyser ensemble des activité menées par des stagiaires sur base de supports vidéos. Ces temps de travailler conjoints leur ont permis de découvrir la réalité de l'autre et d'isoler non seulement des gestes professionnels d'accompagnement conjoints et mais aussi spécifiques au métier et à la posture de chacun. A l'issue de ces séances, nous avons réalisé un focus group destiné à sonder les représentations des individus et à voir si des transformations se sont opérées dans la connaissance du métier de l'autre. L'analyse des verbatim a montré des modifications intéressantes au niveau des modifications opérées et renvoie au développement professionnel (Mukamurera, 2014) de chacun. De plus, chaque acteur, sur base du cheminement conjoint et des lectures théoriques partagées, a pu développer son modèle à l'accompagnement. Des temps de confrontation des modèles en sous-groupe, et en grand groupe s'en sont suivis pour mettre au jour un modèle co-construit par tous. Nous avons, d'une part analysé, les différentes versions des productions et, d'autre part, considéré les interactions générées par cette construction théorique. La communication a comme visée de présenter la dynamique du groupe, tant dans la manière dont les acteurs s'y sont engagés (constitution du groupe, conditions de travail, ...) que dans les tâches qu'ils réalisent pour (1) appréhender le métier de l'autre et (2) identifier les rôles de chacun à l'échelle d'un stage (aussi bien dans l'observation du stagiaire que dans la rétroaction post-activité). La modélisation à laquelle nous arrivons sera également explicitée, aussi bien dans son processus de co-construction que dans le produit fini (dans sa version actuelle). Références Bednarz, N. (2013). Recherche collaborative et pratique enseignante. Regarder ensemble autrement. Paris : L’Harmattan. Bourassa, B. Leclerc, Ch. & Fournier, G. (2012). Assumer et risque une posture de recherche collaborative. In B. Bourassa & M. Boudjaoui (Ed.), Des recherches collaboratives en sciences humaines et sociales : enjeux, modalités et limites. Québec : Presses universitaires de Laval. Clot, Y. & Faïta, D. (2000). Genres et styles en analyse du travail, Concepts et méthodes, Travailler, 4, 7-42. Desgagné, S., & Larouche, H. (2010). Quand la collaboration de recherche sert la légitimation d’un savoir d’expérience. Recherches en éducation, 1, 7-18. Gervais, C., & Correa Molina, E. (2005). De l’enseignant au stagiaire : donner accès à son expérience. In C. Gervais & L. Portelance (Ed.), Des savoirs au coeur de la profession enseignante: contextes de construction et modalités de partage. Sherbrooke : Éditions du CRP. Mukamurera, J. (2014). Le développement professionnel et la persévérance en enseignement. Éclairage théorique et état des lieux. In L. Portelance, S. Martineau, S. & J. Mukamurera. (Ed.), Développement et persévérance professionnels en enseignement. Oui mais comment? Québec : Les presses de l’Université du Québec. Paul, M. (2004a). L’accompagnement : une nébuleuse. Education permanente, 153, 43-56. 747 Pentecouteau, H. (2012). L’alternance dans une formation professionnelle universitaire. De l’idéal épistémologique aux contradictions pédagogiques, Revue internationale de pédagogie de l’enseignement universitaire (en ligne), 28, 1, p. 1-11. Van Nieuwenhoven, C. & Colognesi, S. (2013), Une recherche collaborative autour des difficultés des maîtres de stage à accompagner leur stagiaire, Interacçoes, 27, 118-138. Van Nieuwenhoven, C. & Colognesi, S. (à paraître). Accompagner les premiers pas des stagiaires de terrain : quels enjeux et quelles tensions pour les formateurs? In L. Ria (Ed.), Former les enseignants du XXIè siècle. Professionnalité des enseignants et de leurs formateurs. Bruxelles : De Boeck. Van Nieuwenhoven, C. & Colognesi, S. (à paraître). Une recherche collaborative sur l’accompagnement des futurs instituteurs : un levier de développement professionnel pour les acteurs engagés dans le processus ?, Journal international de recherche en éducation et formation (e-JIREF). COMMUNICATION 2 – “PROFESSIONN’ALLES”… UN DISPOSITIVE D’ACCOMPAGNEMENT COLLABORATIVE AU SERVICE DES PREMIERS PAS DANS LE METIER DELCAVE, Virginie, École fondamentale libre Sainte Begge à Andenne (BE) MAES, Olivier, HELHa et assistant, UCL (BE) BIÉMAR, Sandrine, HELMo et enseignante vacataire, UCL (BE) LABEEU, Marc, ISPGalilée et assistant, UCL (BE) RÉSUMÉ Au sein de la Fédération Wallonie-Bruxelles, la problématique de l’insertion professionnelle des enseignants est actuellement au centre de nombreuses réflexions des acteurs de l’enseignement, qu’ils soient issus du monde politique, de la recherche ou de la formation. Une récente circulaire (2015) signée par la Ministre de l’éducation, Joëlle Milquet, met d’ailleurs le focus sur l’ « accueil des nouveaux enseignants dans les établissements d’enseignement fondamental et secondaire ». Les propositions s’appuient, entre autres, sur l’étude menée par Delvaux, Desmarez, Dupriez, Lothaire et Veinstein (2013) centrée sur les enseignants débutants en Belgique francophone, et plus particulièrement sur leurs trajectoires, leurs conditions d’emploi et leurs positions sur le marché de l’emploi. Cette recherche met en exergue le pourcentage élevé de sortie des enseignants dans leur première année dans le métier : 7,4% pour la fonction d’instituteur préscolaire, 4,5% pour celle d’instituteur primaire et 6,1% pour celle d’agrégé de l’enseignement secondaire inférieur. Le terme de « sortie » est privilégié par les auteurs au détriment de celui d’ « abandon », car il met davantage en évidence que le départ de la profession peut soit être choisi ou subi par l’enseignant débutant. Au début de sa carrière, ce dernier se voit confronté à de nombreuses difficultés (Van Nieuwenhoven & Doidhino-Vicoso, à paraître ; Labeeu, 2013 ; Veenman, 1984 ; De Stercke, 2010) qui le plonge dans une logique de survie (Katz, 1972) pouvant conduire à une profonde détresse qui peut aller jusqu’à faire émerger, chez lui, un sentiment d’incompétence. Dans ce contexte, et afin de permettre aux instituteurs novices de faire face à ces difficultés, de nombreux dispositifs d’accompagnement se mettent en place selon des modalités variées (groupe 748 de pairs, parrainage, etc.) tout en étant pris en charge, indépendamment, par différentes structures institutionnelles (formation initiale, continuée, accompagnement pédagogique, écoles d’accueil). Plus particulièrement, la HELHa met en place, depuis 2010, un dispositif d’insertion professionnelle appelé « Professionn’ailes » (Maes, Viquin & Watteyne, à paraître). Ce dernier est destiné aux enseignants débutants qui désirent améliorer leurs pratiques et ainsi faciliter leurs premiers pas dans la carrière professionnelle Il est conçu comme « (…) un lieu où il est possible d’être reconnu avec ses craintes, ses doutes et de faire place à ses préoccupations dans un climat de confiance » (Hétu, 1999, p. 76). Il s’apparente au « groupe collectif de soutien professionnelle » (Martineau, 2008 ; Martineau et Vallerand (2011) ; Martineau et Mukamurera, 2012) et rencontre des composantes issues des deux types de groupes envisagés par ces auteurs, à savoir les groupes de discussion et ceux d’analyse réflexive. En effet, à l’intérieur de ces rencontres, des moments sont mis à disposition des participants afin de leur permettre de partager leurs préoccupations et leurs expériences liées à leur vécu professionnel. D’autres moments sont, quant à eux, directement consacrés à l’analyse de pratiques leur permettant ainsi de développer une approche réflexive (Martineau & Vallerand, 2011). D’après une recherche (Delcave, 2015) visant à comparer trois dispositifs d’insertion professionnelle dans l’enseignement fondamental, cette méthodologie (Lebrun, Smidts & Bricoult, 2011) mise en œuvre à l’intérieur de « Professionn’ailes » et décrite cidessus semble être appréciée par les participants. Même si les acteurs principaux restent les instituteurs novices récemment diplômés, la spécificité de ce dispositif est d’avoir créé une synergie entre des acteurs appartenant à des structures institutionnelles qui agissent bien souvent côte à côte (Vifquin & Watthez, 2013). En effet, l’animation de celui-ci est confiée, à la fois, à des formateurs de la HELHa, dont la mission première est la formation initiale, et à des conseillers pédagogiques faisant partie du monde de l’accompagnement. Cette collaboration inter-institutions vise à favoriser un passage de relais entre l’accompagnement proposé aux futurs enseignants lors de leur formation initiale et celui offert sur le terrain dès l’entrée dans le métier. Il tente ainsi d’adoucir le choc de la réalité (Nault, 1999) vécu par les enseignants novices. En outre, un tel dispositif amène l’animateur à changer de posture, en étant davantage accompagnateur que formateur en formation initiale (Maes & al., à paraître). Ce pari plutôt risqué semble réussi ; c’est du moins, ce que mettent en évidence Castilljos Pozo, Delcave et Miceli (2015, p. 14) dans leur recherche, « (…) les enseignants débutants mentionnent l’aspect sécurisant et convivial lié à la connaissance préalable des accompagnateurs et du lieu dans lequel ils professent ». Cette multiplicité d’acteurs présente l’avantage de multiplier l’expertise offerte aux participants. En effet, de par leurs formations respectives (instituteur, psychologue, psychopédagogue) et de par leurs parcours professionnels variés, les animateurs apportent des éclairages différents et complémentaires facilitant la compréhension de la situation par le jeune enseignant. Delcave (2015), dans sa recherche, relève que les participants interrogés pointent les interactions entre acteurs (Lebrun & al., 2011) comme étant une richesse du dispositif. La dimension collaborative au niveau de la prise en charge de dispositif fait la spécificité de ce dispositif. Néanmoins, il résulte d’un processus d’élaboration inscrit dans un temps et dans un contexte relationnel spécifique qui méritent d’être interrogé. En effet, quels éléments ont soutenu ce processus ? Dans quelles temporalités s’est-il inscrit ? Quelles en furent les différentes étapes ? Dans quels réseaux relationnels a-t-il pris sa source ? Le fait de se connaitre, d’identifier et de s’entendre sur un bien commun, font le propre des dynamiques collaboratives. Sont-ils présents au sein du dispositif ? Les accompagnateurs sont-ils conscients de la spécificité et de la 749 complémentarité de leurs apports ? Et du côté des participants à quelles caractéristiques de ce processus collaboratifs sont-ils sensibles ? De multiples questions sont soulevées. Cette communication, inscrite dans le cadre du symposium organisé par le groupe « Recherches Collaboratives sur les Pratiques Evaluatives » (RCPE), par le biais d’une analyse de ce dispositif, tentera d’y apporter des éléments de réponses tout en offrant une opportunité de réflexion sur la mise en place d’une telle dynamique collaborative dans le cadre du soutien à l’insertion professionnelle des enseignants. Des leviers pour l’action pourraient ainsi être dégagés. Références Castilljos Pozo, A., Delcave, V. et Miceli, C. (2015). Travail certificatif dans le cadre du cours « Méthodologie de la formation initiale des enseignants » (non publié). Université Catholique de Louvain, Louvain-la-Neuve, Belgique. De Stercke, J., De Lièvre, B., Temperman, G., Cambier, J.-B., Renson, J.-M., Beckers, J., Leemans, M. et Maréchal, C. (2010). Difficultés d’insertion professionnelle dans l’enseignement secondaire ordinaire en Belgique francophone. Education et formation, 294, 137-148. Récupéré du site de l’université de Mons: ute3.umh.ac.be/revues/index.php?revue=9&page=4 Declave, V. (2015). Etude de cas comparative de trois dispositifs d’accompagnement à l’insertion professionnelle au sein de l’enseignement fondamental (mémoire de master non publié). Université Catholique de Louvain, Louvain-la-Neuve, Belgique. Delvaux, B., Desmarez, P., Dupriez, V., Lothaire, S. et Veinstein, M. (2013). Les enseignants débutants en Belgique francophone : trajectoires, conditions d'emploi et positions sur le marché du travail. Les Cahiers de Recherche du Girsef, 92. Récupéré sur le site de la revue : http://halshs.archivesouvertes.fr/docs/00/97/89/99/PDF/cahier_92_Delvaux.pdf Dumoulin, M.-J. (2014, mai). Un accompagnement mentoral inscrit dans un paradigme d’incertitude. Communication présentée au Symposium sur la transition entre la formation initiale et l’insertion professionnelle des enseignants, Louvain-La-Neuve, Belgique. Hétu, J.-C., Lavoie, M. et Baillauquès, S. (dir.) (1999). Jeunes enseignants et insertion professionnelle. Un processus de socialisation ? De Professionnalisation ? De transformation ? Bruxelles : De Boeck. Katz, L. (1972). Developmental stages of preschool teachers. Elementary School Journal, 73, 50– 55. Labeeu, M. (2013). La construction identitaire des instituteurs primaires lors de la phase d'insertion professionnelle : influence des dimensions liées au contexte et des dimensions liées à l'individu (mémoire de master non publié). Université Catholique de Louvain, Louvain-la-Neuve, Belgique. Lebrun, M., Smidts, D. et Bricoult, G. (2011). Comment construire un dispositif de forametion ? Bruxelles : De Boeck. Maes, O., Vifquin, J.-M. et Watteyne, M. (à paraître). Du diplôme à l’entrée dans le métier : un accompagnement pour « adoucir » le choc de la réalité. 750 Martineau, S. (2008). Chronique sur l'insertion professionnelle en enseignement. Présentation succincte de quelques dispositifs de soutien aux enseignants débutants. Formation et Profession, 15(2), 42-44. Récupéré du site du Centre de recherche interuniversitaire sur la formation et la profession enseignante : www.crifpe.ca/download/verify/71 Martineau, S. & Mukamurera, J. (2012). Les programmes et les dispositifs de soutien à l’entrée dans la carrière enseignante: que savons-nous? Récupéré du site du Carrefour national de l’insertion professionnelle en enseignement : http://www.insertion.qc.ca/?Les-programmes-et-les-dispositifs Martineau, S. et Vallerand, A.-C. (2011). Les groupes collectifs de soutien à l'insertion professionnelle. Formation et Profession, 18(2), 39-40. Récupéré du site du Centre de recherche interuniversitaire sur la formation et la profession enseignante : http://www.crifpe.ca/download/verify/1152. Milquet, J. (2015). Circulaire 5388 : Accueil des nouveaux enseignants dans les établissements d’enseignement fondamental et secondaire. Bruxelles : Fédération Wallonie-Bruxelles. Nault, T. (1999). Eclosion d'un moi professionnel personnalisé et modalités de préparation aux premières rencontres d'une classe. Dans J.-Cl. Hétu, M. Lavoie et S. Baillauquès (dir.), Jeunes enseignants et insertion professionnelle. Un processus. Bruxelles: De Boeck Université, Perspectives en éducation. Veenman, S. (1984). Perceveid problems of beginning teachers. Review of Educationnal Research, 51(2), 143-178. Van Nieuwenhoven, C. Et Doidinho Viçoso (à paraître). … Vifquin, J-M. et Watthez, C. (2013). Le diplôme… Et après ? Une coopération entre conseillers pédagogiques et enseignants de la Haute Ecole en vue de l’insertion des enseignants récemment diplômés. Education et formation, e299. 92-97. Récupéré du site de l’université de Mons: http://ute3.umh. COMMUNICATION 3 - ANALYSE DES OUTILS FACILITANT L’ACCOMPAGNEMENT DES STAGIAIRES EN ENSEIGNEMENT: POINT DE VUE DES FORMATEURS DE TERRAIN MONFETTE, O., BÉLARIE, L. M., BLANCHETTE, S., MIRON, G. , LEBEL, C. RÉSUMÉ Le groupe de recherche collaborative RÉEVES poursuit depuis 3 ans son étude des pratiques de jugement d’évaluation des enseignants associés (formateurs de terrain - FT). À la suite de la mise sur pied de différents chantiers permettant de référentialiser ces pratiques (Lebel, Bélair et Monfette, 2016 ; Lebel, Bélair, Monfette, Hurtel, Miron et Blanchette, à paraître), l’un d’entre eux a porté sur l’analyse de l’outillage susceptible d’aider le FT à accompagner et à évaluer le stagiaire. Ce chantier de recherche né des préoccupations des participants FT au groupe RÉEVES a pour but d’analyser l’impact des outils d’évaluation et des échelles descriptives sur la prise de décision des FT quant au niveau de compétence développé par le stagiaire. Pour ce faire, une première action porte sur les besoins des FT en ce qui a trait à l’outillage leur permettant de mieux accompagner le stagiaire et à prendre une décision équitable et éclairée. 751 Des études font état du processus d’élaboration des guides de stage et des modifications qui y ont été apportées depuis l’avènement du référentiel de compétences (Brochu et Bouvier, 2008; Gagnon et Mazalon, 2008; Mellouki et Gauthier, 2006, Ouellet et al., 2008). Toutefois, bien qu’il soit possible de percevoir les efforts mobilisés pour cadrer avec l’approche par compétences, ces écrits permettent de soulever deux constats préoccupants : 1) les guides de stage divergent d’un programme et d’une université à l’autre et 2) les guides de stages n’ont pas été élaborés en concertation avec les formateurs de terrain. À cet égard, un sondage informel auprès de diverses universités a permis de constater que ces grilles sont conçues par les responsables des programmes concernés, parfois en collaboration avec des superviseurs universitaires et plus rarement avec des FT. Également, on remarque que ces grilles servant de cadre de référence pour le FT, sont le reflet des orientations de ces programmes qui malgré un référentiel de 12 compétences professionnelles unique et prescrit, diffèrent passablement et ce, parfois au sein d’une même université. Camaraire et Cournoyer (2002) indiquent à cet égard que les outils d’évaluation dont disposent les formateurs de terrain prennent des formes très contrastées dépendamment des programmes et des universités. Chaque programme a développé ses propres niveaux qui indiquent le seuil minimum et maximum de compétence ainsi que ses propres descriptions des manifestations attendues face aux compétences du référentiel pour chacun des stages (Mellouki et Gauthier, 2006). Chaque guide de stage est ainsi teinté d’une conception particulière de l’évaluation qui diffère selon les programmes en plus de regrouper des niveaux de compétences et de seuil de réussite divergents (Bélair, 2007; Boyer, 2013 ; Camaraire et Cournoyer, 2002). Outre la nécessité de s’adapter aux différents guides de stage, les formateurs de terrain se retrouvent également seuls pour se les approprier, ce qui a pour effet que chacun d’eux construit sa propre conception des compétences professionnelles et des grilles d’évaluation fournies par les universités (auteurs article RCÉ; Bates et Burbank, 2008; Desbiens, Spallanzani, et Borges, 2013). L’évaluation des stagiaires est d’autant plus teintée de subjectivité que chaque formateur de terrain interprète de manière arbitraire les grilles d’évaluation fournies par les universités, ce qui nuit à la validité et à l’équité du processus (Tardif, 2006; Scallon, 2004). Or, comme un FT est souvent confronté au cours d’une année scolaire à plusieurs guides et grilles provenant de différentes universités, on peut croire qu’il doit constamment s’ajuster à des orientations différentes et des formes d’outils fort diversifiés, ce qui semble causer un malaise ou un flou dans la manière de compléter ces grilles et de prendre une décision éclairée. Une équipe composée de 2 enseignantes participant au projet a ainsi mené des groupes de discussions et des entretiens par questionnaire auprès de 40 FT issus de plusieurs commissions scolaires. À partir des guides de stage élaborés par différentes universités québécoises, l’équipe a répertorié 18 documents comportant des modèles de grilles d’évaluation et d’échelles descriptives afin que les FT puissent identifier et expliquer en quoi tel modèle est plus facilitant, pertinent et utile dans leur prise de décision (Figari et Remaud, 2014 ; Tricot et Tricot, 2000). Ces 18 modèles représentent bien la panoplie qui existe actuellement au travers les programmes de formation à l’enseignement au Québec. Les premiers résultats montrent sans surprise qu’aucun de ces modèles ne répond parfaitement aux besoins des FT. On constate aussi des différences notables entre les enseignants du primaire et ceux du secondaire, notamment dans la manière de coter ou chiffrer le niveau de réussite, ce qui laisse supposer que leur préférence peut être liée aux outils, grilles et orientations associés à leur ordre d’enseignement. Une analyse des verbatim permet cependant de dégager ce qui serait utile, 752 cohérent et facilitant pour prendre une décision éclairée et équitable envers le stagiaire. La discussion mettra en exergue des liens potentiels entre ces choix de modèles de grilles et d’échelles et l’impact potentiel sur la décision du niveau de compétence développé et ouvrira sur des pistes futures d’investigation à cet égard. Références Belnat, K., Leménager, T. et Mermet, L. (2012). Evaluer l’efficacité de politiques et programmes environnementaux : quel cadrage méthodologique proposer ? Le cas du Fonds de partenariat pour le carbone forestier. Division Évaluation et capitalisation, Agence Française de Développement, Paris, 98 pages. Bourassa, M., Chevalier, J. & Bélair, L.M. (2007). Liminaire. Education et Francophonie, 35(2), 111. Chevalier, J. et Buckles, D. (2013). Participatory Action research. London : Routledge Chevalier. J. (2010). L’altermondialisme des savoirs. Conférence d’ouverture au congrès de l’AIPU, Trois-Rivières. Figari, G. et Remaud, D. (2014). Méthodologie d'évaluation en éducation et formation, ou, l'enquête évaluative. Bruxelles : De Boeck. Lebel, C., Bélair, L.M. et Goyette, N. (2012). Accompagnement et reconnaissance professionnelle au service de la persévérance des stagiaires en difficulté. Revue Recherches et Éducation. No. 7, 5568. Lebel, C., Bélair, L.M. et Ducharme, N. (2015). Analyse des postures dans l’accompagnement et l’évaluation par des formateurs de terrain, Communication à l’AFORME, Québec. Rossi, P.H. et Freeman, H.E. (2004). Evaluation: A Systematic Approach, 7e éd. Londres : Sage. Tricot, A. et Tricot, M. (2000). Un cadre formel pour interpréter les liens entre utilisabilité et utilité des systèmes d’information. Actes du 12e colloque ERGO-IHM, Biarritz, 195-202. Récupéré le 17 avril 2010 de http://andre.tricot.pagesperso-orange.fr/TricotTricot_Ergo. IHM.pdf 753 COMMUNICATION 4 – EFFETS ANTICIPÉS DE FORMATION SUR LES PRATIQUES PROFESSIONNELLES D’ENSEIGNANTS ASSOCIÉS PORTELANCE, Liliane, Université du Québec à Trois-Rivières (CA) GERVAIS, Colette, Université de Montréal (CA) VIVEGNIS, Isabelle, Université du Québec à Trois-Rivières (CA) RÉSUMÉ Dans le contexte de l’alternance des lieux d’apprentissage, milieu universitaire et milieu scolaire, la formation à l’enseignement accorde une importance cruciale aux activités qui se déroulent pendant les stages dans l’école et dans la classe. Le stagiaire est encadré par deux formateurs, l’enseignant associé et le superviseur universitaire. Chacun a la responsabilité de soutenir le développement des compétences professionnelles du futur enseignant (Gouvernement du Québec, 2008). L’enseignant associé, nommé ailleurs maitre de stage ou cooperating teacher, est considéré par les stagiaires comme la personne qui contribue le plus concrètement à leur apprentissage du métier d’enseignant. Il exerce une influence marquée sur le stagiaire (Boutet et Pharand, 2008). Du point de vue du stagiaire, sa connaissance concrète de la classe et de l’école le rend apte à donner une image réaliste de ce que représente l’enseignement et la profession enseignante. L’enseignant associé, présent au quotidien auprès du stagiaire, a certainement un rôle important à jouer (L’Hostie et Guillemette, 2011). Dans son passage d’un lieu de formation à l’autre, le stagiaire réclame du soutien des enseignants associés pour amortir ses difficultés à concilier les savoirs véhiculés par l’école et par l’université (Desbiens, Borges et Spallanzani, 2012). Des attentes à l’égard du formateur de terrain sont également formulées par les instances ministérielles (Gouvernement du Québec, 2002, 2008). Pour y répondre et assumer le mieux possible leur rôle auprès des stagiaires, les enseignants associés réclament qu’on se préoccupe de leurs principaux besoins (Caron, Portelance et Martineau, 2013), qui peuvent être comblés en grande partie par la formation continue. Des besoins de formation des enseignants associés ont été identifiés auprès des personnes concernées au fil des ans (BrauAnthony, 2000; Lacroix-Roy, Lessard et Garant, 2003; Portelance, 2005, 2011; Gouvernement du Québec, 2008). En fait, la formation des enseignants associés s’avère nécessaire à la qualité de la formation des stagiaires (Gouvernement du Québec, 2008). Le Cadre de référence de la formation des formateurs de stagiaires au Québec (Portelance, Gervais, Lessard, Beaulieu et collaborateurs, 2008) comporte les orientations et les compétences professionnelles attendues. Il vise l’harmonisation de la formation offerte dans les différents milieux et son arrimage aux orientations de la formation à l’enseignement de sorte à assurer à tous les stagiaires l’encadrement requis, sans égard à leur université de provenance. Une équipe de recherche, subventionnée par le Ministère de l’Éducation , a produit des dispositifs de formation portant sur l’un ou l’autre des besoins de formation identifiés par des acteurs de la formation des enseignants associés dans les différentes universités québécoises (Portelance et al., 2008). Chaque dispositif consiste en une capsule vidéo portant sur l’une ou l’autre des compétences professionnelles attendues des enseignants associés, tournée avec un stagiaire et son enseignant 754 associé en contexte naturel de stage, et une fiche d’accompagnement. Ces dispositifs ont été expérimentés et validés, dans le cadre d’une recherche-développement utilisant une approche collaborative avec des communautés de pratique composées d’enseignants associés et de leurs formateurs. À chacune des expérimentations, les membres de ces communautés se sont investis dans une démarche de réflexion et de coconstruction de sens. En s’appuyant sur les dimensions du développement professionnel de l’enseignant de Shulman et Shulman (2004) et les variables d’utilisabilité et d’utilisation de Tricot et Tricot (2000), une analyse rigoureuse des données collectées auprès des participants a été effectuée. Les dispositifs de formation peuvent dorénavant être utilisés dans les activités de formation des enseignants associés au Québec. Bien que l’analyse des données révèle une appréciation positive de leur pertinence, de leur utilité et de leur efficience probables au regard du développement des compétences des enseignants associés, il n’est pas possible d’avoir une bonne connaissance de leurs effets sur la professionnalité de l’enseignant associé. L’équipe de recherche poursuit donc son investigation en vérifiant au moyen d’un questionnaire, administré aux enseignants associés, les effets anticipés des dispositifs de formation. Le choix des thèmes du questionnaire émane des données collectées auprès des communautés de pratique qui ont participé à la validation des dispositifs. Ils sont regroupés en trois catégories : le rôle de l’enseignant associé, ses pratiques de formation du stagiaire et ses interactions avec le superviseur universitaire. Les résultats, collectés auprès de 15 groupes d’enseignants associés, indiquent que les effets anticipés varient selon le dispositif de formation utilisé par le formateur, mais aussi selon le thème de formation et les outils didactiques qu’il intègre dans l’animation de l’activité. Réferénces Boutet, M. et Pharand, J. (2008). L’accompagnement concerté des stagiaires en enseignement. Québec, Québec: Presses de l’Université du Québec. Brau-Antony, S. (2000). Évaluer des enseignants d’éducation physique: une question de normes et d’éthique professionnelles. Recherche et formation, n°35, pp. 181-194. Caron, J. et Portelance, L. (2012, printemps). Appropriation et intégration des changements en formation par les enseignants associés dans leurs pratiques de formation des stagiaires. Dans M-A Deniger (rédacteur invité) « La gestion et l’appropriation du changement en éducation », Éducation et Francophonie, XL(1), 176-194. Caron, J., Portelance, L. et Martineau, S. (2013, mai). Comment les enseignants associés et les superviseurs aident-ils les stagiaires à établir des liens entre théorie et pratique? Communication présentée au Symposium Articulation théorie-pratique HEP Vaud-UQTR, Lausanne, Suisse. Desbiens, J.-F., Borges, C. & Spallanzani, C. (2013). Introduction. Dans J.-F. Desbiens, C. Spallanzani & C. Borges (dir.), Quand le stage en enseignement déraille : regards pluriels sur une réalité trop souvent occultée. Sainte-Foy, Québec : Presses de l'Université du Québec. Gouvernement du Québec (2008). La formation à l’enseignement. Les orientations relatives à la formation en milieu de pratique. Québec, Ministère de l’Éducation, du Loisir et du Sport. Gouvernement du Québec. (2002). Encadrement des stagiaires de la formation à l’enseignement. Rapport d’évaluation de programme. Québec, Québec: Ministère de l’Éducation, du Loisir et du Sport. 755 Lacroix-Roy, F., Lessard, M. et Garant, C. (2003). Étude sur les programmes de formation à l’accompagnement des stagiaires. Québec, Ministère de l’Éducation. L’Hostie, M. et Guillemette, F. (2011). Introduction. Du tâtonnement à l’acte professionnel. Dans M. L'Hostie et F. Guillemette (Dir.), Favoriser la progression des stagiaires en enseignement (p. 1–4). Québec: Presses de l’Université du Québec. Portelance, L. (2005). Savoirs et besoins de formation d'enseignants associés en période de mise en œuvre d’une réforme du curriculum. In C. Gervais et L. Portelance (dir.), Des savoirs au cœur de la profession enseignante. Contextes de construction et modalités de partage (p. 105-128). Sherbrooke : CRP. Portelance, L. (2011). Analyse du soutien de l’enseignant associé à la formation du stagiaire. Dans L. Portelance et C. Van Nieuwenhoven (réd.) Fondements théoriques et méthodologies des conduites de recherche portant sur la formation professionnelle en alternance, Éducation et francophonie, XXXVIII(2), 21-38. Portelance, L., Gervais, C., Lessard, M. et Beaulieu, P. (2008). La formation des enseignants associés et des superviseurs universitaires : cadre de référence. Rapport de recherche présenté à la Table MÉLS-Universités. Shulman, L. S. et Shulman, J. H. (2004). How and what teachers learn : a shifting perspective. Journal of curriculum studies, 36(2), 257-271. Tricot, A. et Tricot, M. (2000). Un cadre formel pour interpréter les liens entre utilisabilité et utilité des systèmes d’information. Actes du 12e colloque ERGO-IHM, Biarritz, 195-202. Récupéré le 17 avril 2010 de http://andre.tricot.pagesperso-orange.fr/TricotTricot_Ergo. IHM.pdf 756 COMMUNICATION 5 - SPÉCIFICITÉS ET ENJEUX DU TRAVAIL CONJOINT DES FORMATEURS/TRICES EN MILIEU DE STAGE PASCHE-GOUSSUIN, Françoise, HEP Béjune (CH) RÉSUMÉ Mettre en œuvre une formation par alternance, c’est donc – au-delà des aspects structurels et organisationnels - réfléchir à la nature des partenariats. Mais qu’en est-il plus précisément de cette notion de partenariat entre les formateurs lorsqu’ils sont mis en situation de travailler ensemble avec le formé ? Par cette question, nous cherchons à clarifier le concept, à préciser les formes de partenariat, à identifier les types de résistances ou obstacles. Pelletier (1997) insiste avant tout sur l’idée que le partenariat est une question liée à la dimension d’ouverture d’une entité à son environnement. Au regard de la formation professionnelle à l’enseignement et pour les fins du présent texte, nous nous limiterons à deux définitions complémentaires du partenariat. Selon Zay (1994), le partenariat se définit comme une « action commune négociée entre les institutions ». Cela signifie qu’au sein d’un système de formation fortement centralisé, on utilisera le terme de partenariat pour aborder l’action commune négociée entre deux lieux de formation et d’apprentissage, à savoir le centre de formation et le terrain de stage. Selon Kaddouri (1997), le partenariat se définit comme une « construction négociée entre acteurs faites d’ententes, de compromis, mais aussi de tensions sociales ». Cette définition met en avant les acteurs du partenariat et les effets d’un travail conjoint. Relevons au passage que la négociation suppose qu’on respecte l’hétérogénéité et l’autonomie d’action de chacun tout en contribuant à des objectifs communs et à une responsabilité collective (Pasche Gossin, 2009). Nous avons montré lors d’une précédente étude consacrée à l’entretien tripartite de stage que le risque d’une activité partenariale était de mettre au centre du dispositif les partenaires et de reléguer le formé dans un rôle plutôt passif, en fin de compte de non apprenant (Pasche Gossin, 2009). Ces deux définitions nous rappellent que ce qui fonde un partenariat, c’est autant l’engagement réciproque de deux entités indépendantes qui décident de s’entendre sur un projet commun que l’identification et la participation des acteurs à travailler conjointement et faire ensemble. Pour Mérini (2005), « travailler conjointement, c’est partagé, être associé et étroitement lié par des opérations mais surtout par des valeurs ou des significations symboliques » (p.3). L’existence du travail conjoint est donc à la base du partenariat et est à considérer comme une forme de travail qui se développe principalement dans un modèle d’alternance intégrative. Mais encore, cette notion de partenariat se traduit par le souci de rapprocher la formation professionnelle au monde du travail et, à ce titre, d’accorder une valeur spécifique à la formation sur le lieu de travail, tant pour la construction des compétences professionnelles que pour l’insertion des étudiants au monde professionnel. Plusieurs typologies portant sur les pratiques partenariales ont également été classées par différents chercheurs. Nous retenons celle issue de la recherche de Demailly et Verdière (1999) - qui s’intéresse à la réalité et la qualité des partenariats existants dans les zones d’éducation prioritaires entre différents acteurs sociaux - aboutie à cinq pratiques partenariales que nous reprenons ci-après : 1) le simple compromis matériel sans convergence d’objectifs communs réels ; 2) la convergence d’objectifs est très faible et leur mise en œuvre est conflictuelle ; 3) la convergence d’objectifs est 757 présente mais sans collaboration (chacun travaille séparément) ; 4) la convergence d’objectifs est présente et s’ajoutent des échanges réguliers d’informations (les partenaires communiquent mais il n’y a pas de mise en œuvre conjointe) ; 5) la convergence d’objectifs, la mise en œuvre et l’évaluation sont présents (tout se fait en commun). Pour conclure, nous dirons que le partenariat tel que nous le concevons impose un mode de relation (collaborative, coopérative de concertation) résultant d’une entente et d’une égalité tout en privilégiant et respectant les différences entre les partenaires. En ce sens, nous rejoignons les positions de Zay (1994), de Maroy (1997) et de Landry et Mazalon (1997), qui considèrent que dans le partenariat chacun dispose d’un pouvoir de prise de décision, maintient une pluralité de valeurs et d’objectifs propres, tout en contribuant à la réalisation d’un projet commun. Notre communication dans le cadre du symposium consiste à mettre la focale sur l’activité collaborative pratiquée et vécue par les formateurs et les formatrices dans une institution de formation professionnelle à l’enseignement lorsqu’ils travaillent conjointement dans la perspective de promouvoir davantage d’articulation entre l’univers de stage et l’univers du centre de formation. Le processus de rapprochement de ces deux lieux de formation demande aux formateurs de s’inscrire, à certains moments, dans un travail conjoint sans pour autant ignorer ou réduire les logiques de travail qui les guident, les positionnements ou les identités qui les caractérisent. De ce fait, il y a d’une part, à initier des pratiques partenariales dans une visée de professionnalisation des formations et, d’autre part, à construire des modes de relation coopérative ou collaborative entre formateurs. Par l’analyse de deux dispositifs d’organisation des stages et de suivi des étudiantsstagiaires (dispositif de formation par l’emploi et dispositif de formation en équipe pédagogique), mis en œuvre et situés dans une Haute école pédagogique en Suisse, nous investiguons les pratiques réelles et questionnons leurs genèses, leurs processus et leurs effets sur les formateurs, sur les étudiants ainsi que sur les formations en alternance. Références Demailly L., Verdière J., (1999). Les limites de la coopération dans les partenariats en ZEP, Ville, École, Intégration (Migrants formation), n°117, juin, pp. 28-44 Kaddouri, M. & Zay, D. (coord). (1997). Le partenariat : définitions, enjeux, pratiques. Éducation Permanente, n°131. Landry, C & Mazalon, E. (1997). Les partenariats école/entreprise dans l’alternance au Québec : un état des recherches. Éducation permanente, 131, 37-50. Maroy, C. (1997). Le partenariat : concept ou objet d’analyse ? Éducation permanente, 131, 2936. Mérini, C. (2005). Travail conjoint et professionnalité enseignante. Rapport d’étude, Inspection Académique des Hauts de Seine et Union Industrielle des Métiers de la Métallurgie (UIMM). Mérini, C. (1999). Le partenariat en formation : de la modélisation à une application. Paris : l’Harmattan. Pasche Gossin, F. (2009). L’entretien tripartite de stage en formation initiale des enseignants : un espace-temps de développement professionnel pour l’étudiant-stagiaire. Actes de la recherche, 7, 115-138. Pelletier, G. (1997). Le partenariat : du discours à l’action. In Revue des échanges, 14, pp. 21-36. 758 Zay, D. (dir) (1994). La formation au partenariat. Une réponse à la demande sociale ? Paris : PUF. 759 PARTICIPAÇÃO INFANTIL E PRÁTICAS AVALIATIVAS (ID 143) ANGELO, Adilson De, Universidade do Estado de Santa Catarina / Universidade do Minho (BR/PT) O presente simpósio tem por objetivo problematizar a avaliação e a aprendizagem escolar, a partir das pesquisas e experiências de um conjunto de investigadores. Partindo da compreensão da estreita relação que se põe entre a aprendizagem e a avaliação, partes indissociáveis do processo de construção de conhecimento, a proposta central é trazer como fio condutor da nossa discussão as contribuições que os Estudos da Criança têm proporcionado às temáticas educacionais e, em particular, ao papel da participação infantil em todos os cenários nos quais os interesses das crianças estão em jogo. O viés da discussão corre pelo seguinte questionamento que nos colocamos na nossa prática cotidiana enquanto professores e investigadores: o que realmente constitui práticas avaliativas no âmbito da educação infantil? Dentro dessas práticas, como se efetiva a participação das crianças? Para tanto, buscamos discutir a questão da participação nas práticas avaliativas sob o olhar interdisciplinar, contemplando as pesquisas e experiências práticas desenvolvidas em diferentes realidades. Nessa premissa, no primeiro estudo se interrogam as possibilidades de promoção, em contexto pedagógico, da participação infantil, enquanto condição da cidadania infantil e da constituição da educação da infância a partir dos direitos da criança. Tais interrogações remetem para os quotidianos do trabalho pedagógico e para as práticas de avaliação. Sustentamos uma orientação da educação da infância centrada nos direitos da criança, concebendo a ação educativa como um campo de possibilidades de ação, onde o diálogo entre culturas é sempre realizado a partir das culturas da infância e onde as formas de participação se estruturam em contextos dinâmicos, abertos às possibilidades educativas da cidade e à plenitude das condições de realização das crianças, no presente, como atores sociais e sujeitos culturais. É neste âmbito que as práticas avaliativas são interpretadas e projetadas: como momentos onde perpassa a voz das crianças, através das suas formas culturais e da expressão da sua experiência. A segunda discussão parte duma análise da documentação oficial brasileira com o objetivo de identificar na configuração da infância, da criança e da sua educação, como se expressa a participação infantil nas questões que tocam especificamente à avaliação das crianças, percebendo o lugar que as mesmas ocupam nestes processos. Importa compreender se, no endereçamento das práticas cotidianas na Educação Infantil, a participação das crianças é também defendida nos processos que refletem as suas aprendizagens e as suas conquistas. A terceira discussão, sob o olhar da Educação Física busca refletir sobre o resgate das culturas lúdicas infantis e a importância da participação das crianças nesse contexto. Torna-se crucial que as mesmas conheçam e compartilhem as diferentes linguagens através de suas brincadeiras e de seus jogos e que, através da interação com os pares, possam efetivamente fazer emergir, refletir e, simbolicamente, comunicar sua cultura lúdica, projetando seus modos próprios de viverem suas infâncias. A quarta reflexão, com base em estudos empíricos, relata uma experiência na qual teve como elemento chave a participação das crianças na avaliação da escola, cujo objetivo foi conhecer os seus desejos, receios e opiniões através de um modelo de entrevista. O estudo destaca a relevância da escuta da criança, captando suas experiências e pontos de vista sobre a estrutura escolar em suas regras, valores e organização pedagógica. Somando-se a essa discussão, o último estudo apresenta uma investigação etnográfica que tem por objetivo dar visibilidade a questões emblemáticas em torno da ilusão docente no espaço institucional da creche, no sentido de 760 controlar e silenciar as crianças. Avalia a estruturação da rotina diária, as imagens e concepções de infância e criança latentes e manifestas nesta estruturação, circunscrevendo-se e olhando de dentro o cotidiano vivido na e da creche, problematizando por que e como, na contemporaneidade, ainda insistimos num modus operandi pedagógico que tenta, via formas de controle e subordinação, negar às crianças o direito à participação. COMUNICAÇÃO I - EDUCAÇÃO DE INFÂNCIA, DIREITOS DA CRIANÇA E PRÁTICAS EDUCACIONAIS PARTICIPATIVAS SARMENTO, Manuel Jacinto, Universidade do Minho (PT) RESUMO A educação da infância concretiza o direito à educação, consagrado na Convenção sobre os Direitos da Criança, aprovada em 20 de novembro de 1989 pela ONU. No entanto, não concretiza apenas aquele direito. A intensa teorização que tem vindo a ser produzida sobre a educação das crianças entre os 0 e os 6 anos de idade tem assinalado a importância fundamental da relação entre educação e cuidado, enquanto traço diferenciador deste nível de educação. Sendo assim, a educação de infância orienta-se para a totalidade dos direitos da criança e não apenas, num sentido estrito, para o direito à educação. Numa orientação pedagógica centrada nos direitos da criança a aceitação da autonomia da criança assume uma dimensão crítica. A participação autónoma das crianças emerge como uma condição, simultaneamente organizacional e pedagógica, da realização da educação da infância assente nos direitos da criança. Só há participação infantil se existirem contextos de participação. É neste quadro que se interrogam as possibilidades de promoção, em contexto pedagógico, da participação infantil, enquanto condição da cidadania infantil e da constituição da educação da infância a partir dos direitos da criança. Aquela interrogação remete para os quotidianos do trabalho pedagógico e para as práticas de avaliação. Sustentamos uma orientação da educação da infância centrada nos direitos da criança, concebendo a ação educativa como um campo de possibilidades de ação, onde o diálogo entre culturas é sempre realizado a partir das culturas da infância e onde as formas de participação se estruturam em contextos dinâmicos, abertos às possibilidades educativas da cidade e à plenitude das condições de realização das crianças, no presente, como atores sociais e sujeitos culturais. É neste âmbito que as práticas avaliativas são interpretadas e projetadas: como momentos onde perpassa a voz das crianças, através das suas formas culturais e da expressão da sua experiência. TEXTO A educação da infância concretiza o direito à educação, consagrado na Convenção sobre os Direitos da Criança, aprovada em 20 de novembro de 1989 pela Assembleia Geral das Nações Unidas. No entanto, não concretiza apenas aquele direito. A intensa teorização que tem vindo a ser produzida sobre a educação das crianças entre os 0 e os 6 anos de idade tem assinalado a importância fundamental da relação entre educação e cuidado, enquanto traço diferenciador deste 761 nível de educação. Sendo assim, a educação de infância orienta-se para a totalidade dos direitos da criança e não apenas, num sentido estrito, para o direito à educação. Poderá mesmo dizer-se, com propriedade, que o direito à educação em educação da infância só se concretiza na exata medida em que nos contextos educativos são mobilizados todos os outros direitos da criança, nomeadamente, os direitos de proteção da sua integridade física e psicológica, o direito a brincar, o direito à saúde, o direito de ser informada, o direito a ter voz, o direito de participar ativamente em todos os aspetos relevantes da vida coletiva na creche e jardim-de-infância. No entanto, a conceção holística dos direitos da criança enquanto eixo irradiante das práticas educativas em educação da infância não é frequentemente considerada como determinante. O campo pedagógico encontra-se largamente dominado por conceções que subordinam a orientação educativa das creches e (especialmente) dos jardins-de-infância a uma visão desenvolvimentista que assenta, nos seus fundamentos, a uma ideia da criança não como “ser” pleno, mas como um ente em processo de transformação. Por outras palavras, perspetiva-se a criança menos como sujeito de direitos e mais como ser humano em formação, destinatário da ação adulta que o visa transformar no ser pleno que ela ainda não é. A crítica às conceções desenvolvimentistas e à ideia da criança como “projeto de ser” e não como ser pleno tem feito o seu caminho e consolidado uma outra imagem social da criança, como ator social, sujeito de cultura, competente no seu modo próprio de ser, correspondente à sua condição geracional (James, Jenks e Prout, 1998). Esta renovada imagem social da criança tem, igualmente, gerado formas alternativas de pensar a educação de infância, enfatizando já não apenas as dimensões ativas e participativas das crianças nas rotinas diárias das creches e jardins-de-infância, mas as dimensões políticas e de cidadania que a participação infantil nas instituições educativas implica (Dhalberg, Moss e Pence, 2003). Numa orientação pedagógica centrada nos direitos da criança a aceitação da autonomia da criança assume uma dimensão crítica. Esta autonomia não significa independência no quadro das relações com os adultos, nomeadamente com as educadoras de infância. Significa, outrossim, a realização de interações intergeracionais marcadas por uma ética de respeito, que, simultaneamente, possa garantir a proteção que a vulnerabilidade estrutural da infância exige ser prestada e a possibilidade de livre-expressão da criança (Renaut, 2002), em todos os seus domínios e com múltiplas manifestações, garantindo uma efetiva influência das crianças sobre a condução das ações coletivas nos espaços institucionais da educação. A participação autónoma das crianças emerge, deste modo, como uma condição, simultaneamente organizacional e pedagógica, da realização da educação da infância assente nos direitos da criança. Na verdade, só há participação infantil se existirem contextos de participação. Com efeito, a participação não é nunca espontânea, autotélica ou dependente exclusivamente da boa vontade dos atores. Corresponde a uma forma de estabelecimento dos laços sociais e das relações humanas que se sustenta numa visão necessariamente política do espaço comum enquanto espaço liberto de dominação. Desde logo, da dominação paternalista. Mas também de qualquer outra forma de dominação: social, de classe, cultural, patriarcal, étnica, etc. A constituição dos estabelecimentos de educação da infância como Pólis corresponde à forma de expressão mais avançada desta ideia de contextos de participação infantil no campo educativo. É neste quadro que se interrogam as possibilidades de promoção, em contexto pedagógico, da participação infantil, enquanto condição da cidadania infantil e da constituição da educação da infância a partir dos direitos da criança. E, por consequência como uma dimensão estrutural do bemestar infantil, entendendo-o num duplo sentido: bem-estar individual (“wellbeeing”) e bem-estar 762 coletivo (“wellfare”). Aquela interrogação remete para os quotidianos do trabalho pedagógico e para as práticas de avaliação. Em rutura com as visões escolarizantes da educação infantil e com os modelos instrumentalizadores da ação pedagógica quotidiana, e em contrapé com as orientações provenientes de uma teleologia desenvolvimentista já ultrapassada ou das versões de cartilha de neurociências projetadas em prescrições de pendor universalista, temos vindo a sustentar uma orientação da educação da infância centrada nos direitos da criança, concebendo a ação educativa como um campo de possibilidades de ação, onde o diálogo entre culturas é sempre realizado a partir das culturas da infância e onde as formas de participação se estruturam em contextos dinâmicos, abertos às possibilidades educativas da cidade e à plenitude das condições de realização das crianças, no presente, como atores sociais e sujeitos culturais (Sarmento 2013). É neste âmbito que as práticas avaliativas são interpretadas e projetadas: como momentos onde perpassa a voz das crianças, através das suas formas culturais e da expressão da sua experiência. Nesta visão a “documentação pedagógica” torna-se especialmente relevante, não como forma de parametrização da experiência, mas como modo de promoção da expressão autónoma das crianças e como confronto delas próprias com o seu labor comunicacional. Nesse sentido, a avaliação educativa em educação de infância pode ser, ela própria, um momento de participação infantil. Referências Dahlberg, Gunilla; Moss, Peter; Pence, Alan (2003). Qualidade na Educação da Primeira infância: perspectivas pós-modernas. Porto Alegre. Artes Médicas. James, Allison; Jenks, Chris & Prout, Alan (1998). Theorizing Childhood. Cambridge. Polity Press. Renaut, Alain (2002). La Libération des Enfants. Paris. Calman-Lévy Sarmento, Manuel Jacinto (2013). Infância contemporânea e educação infantil: uma perspectiva a partir dos direitos da criança. In M.A. Salmaze& O. A. Almeida (Org.). Primeira Infância no Século XXI: direito das crianças de viver, brincar, explorar e conhecer o mundo. (131-148). Campo Grande: Editora Oeste/OMEP Brasil. COMUNICAÇÃO 2 – A PARTICIPAÇÃO DAS CRIANÇAS NOS PROCESSOS AVALIATIVOS: “POR ONDE ANDA A EDUCAÇÃO INFANTIL?” ANGELO, Adilson De, Universidade do Estado de Santa Catarina / Universidade do Minho (BR/PT) RESUMO Nas últimas décadas, no contexto brasileiro, o atendimento à infância tem assinalado em sua trajetória uma significativa mudança paradigmática. Essas transformações, ainda em curso, se traduzem na explicitação de uma Educação Infantil que se consolida como resultado de um intenso processo de revisão de concepções sobre a educação de crianças pequenas em espaços coletivos, e de seleção e fortalecimento de práticas pedagógicas mediadoras de aprendizagens e do desenvolvimento das crianças. Este texto visa contribuir com intensificação do debate da Educação Infantil como espaço e tempo de acolhimento da criança, sujeito histórico e de direitos que se 763 desenvolve no encontro com o outro e com os contextos culturais nos quais se insere. A investigação aqui apresentada toma como procedimento metodológico principal a análise da documentação oficial, produzida no âmbito nacional, com o objetivo de identificar na configuração da infância, da criança e da sua educação, como se expressa a participação infantil nas questões que tocam especificamente à avaliação das crianças, percebendo o lugar que as mesmas ocupam nestes processos. Importou compreender se, no endereçamento das práticas cotidianas na Educação Infantil, a participação das crianças é também defendida nos processos que refletem as suas aprendizagens e as suas conquistas. A investigação permitiu identificar algumas tensões no interior dos próprios documentos. No que tange especificamente à questão da concepção e dos procedimentos para avaliação do trabalho pedagógico e das conquistas das crianças, é possível assinalar o enfraquecimento de um posicionamento que defende incondicionalmente a participação das crianças nos processos que se vinculam à sua educação. Ou seja, nos documentos analisados a defesa dos direitos das crianças de serem consultadas e ouvidas, de exercerem sua liberdade de expressão e opinião, e o direito de tomarem decisões em realidades que lhes dizem respeito diretamente, perde eminente força quando se trata das questões da avaliação. TEXTO Ao refletir sobre o panorama da Educação Infantil no contexto brasileiro, dialogando com as questões suscitadas em documentos oficiais, e também na continuidade do debate sobre a Educação Infantil como dever do Estado e o atendimento em creches e pré-escolas como direito social das crianças pequenas, Cerisara (1999) questionava: “por onde anda a Educação Infantil?”. Esta indagação somava-se, à época, às discussões mais ampliadas sobre os direitos das crianças, a eficácia dos serviços a elas destinados e a intensidade dos estudos e debates sobre as experiências pedagógicas. Foi também em torno de questionamentos como esse que diferentes atores se mobilizaram no processo de elucidação das concepções de infância, criança e educação, defendo a Educação Infantil como primeira etapa da Educação Básica, oferecida em espaços institucionais não domésticos de creches e pré-escolas, que educam e cuidam de crianças de zero a cinco anos, na sua condição de sujeito histórico e de direitos. Sujeito, portanto, dotado de potencialidades e percebido em sua concretude histórica como alguém que brinca, imagina, fantasia, deseja, aprende, observa, experimenta, narra, questiona e constrói sentidos sobre a natureza e a sociedade, produzindo cultura (ROCHA, 2010). A publicação de uma coletânea de textos organizados por Ana Lúcia Goulart de Faria e Marina Silveira Palhares – “Educação Infantil pós-LDB: rumos e desafios” (1ª edição de 1999) – já chamavam a nossa atenção, naquela altura, para a necessidade de “documentar uma importante polêmica dos nossos tempos: currículo e Educação Infantil” (FARIA; PALHARES, 1999, p. 1). Os textos desta coletânea trazem e fomentam, direta ou indiretamente, discussões importantes sobre questões de currículo, formação de professores, gestão, participação das famílias e da comunidade, critérios de qualidade, avaliação de resultados, material didático, legislação, entre outros temas que envolvem essencialmente a Educação Infantil. Pretenderam suas organizadoras que as reflexões daí advindas pudessem contribuir de “forma mais contundente, na formulação de políticas e práticas de Educação Infantil que respeitem os direitos das crianças” (op.cit., p.4). A consolidação das Diretrizes Curriculares Nacionais para a Educação Infantil (DCNSEI), de caráter mandatório, fixada na sua primeira versão em 1999 e na sua revisão e atualização em 2009, foi 764 importante no sentido de reunir as conquistas no campo da política, da produção científica, da prática pedagógica e da vigilância dos movimentos sociais. Confirmando algumas questões já asseguradas em documentos anteriores, as DCNEI propõem o entendimento da Educação Infantil como a primeira etapa da Educação Básica, oferecida espaços institucionais não domésticos de creches e pré-escolas, que educam e cuidam de crianças de zero a cinco anos de idade, regulados e supervisionados por órgão competente do sistema de ensino e submetidos a controle social. Toma por definição a criança na sua condição de sujeito histórico e de direitos que, nas interações, relações e práticas cotidianas que vivencia, se constrói e é construído em sua identidade pessoal e coletiva. Sendo produzida na e sendo produtora de cultura, à criança se confere, portanto, a condição de sujeito dotado de potencialidades e percebido em sua concretude histórica como alguém que brinca, imagina, fantasia, deseja, aprende, observa, experimenta, narra, questiona e constrói sentidos sobre a natureza e a sociedade, produzindo cultura. Decorre daí a necessidade de se encaminhar a garantia de uma formação integral orientada para as diferentes dimensões humanas, cujas práticas busquem articular as experiências e os saberes das crianças com os conhecimentos que fazem parte do patrimônio cultural, artístico, ambiental, científico e tecnológico, de modo a promover o desenvolvimento integral dos sujeitos infantis. Este encaminhamento pressupõe alguns movimentos de ruptura com políticas e práticas pedagógicas que historicamente tomaram a criança como objeto de tutela, que precisa ser conduzida, governada, ajuizada, vigiada pelos adultos, estes, sim, os únicos detentores dos saberes, com poder de governar os tempos e de determinar as possibilidades de ser criança (BATISTA, 1998). É preciso levar em conta que o processo de intensificação das ações das crianças relativas aos contextos sociais e naturais, no sentido de ampliá-los e diversificá-los, sobretudo através das interações sociais, da brincadeira e das mais variadas formas de linguagem e contextos comunicativos, exige considerar as crianças como ponto de partida e de chegada, inseridas, como não poderia deixar de ser, no âmbito de uma infância determinada (ROCHA, 2010). Ou seja, orientase à elaboração de vivências educacionais-pedagógicas que tornem possíveis às crianças a apropriação de elementos significativos de sua cultura, a par e passo com a apropriação ou a construção de novos conhecimentos, sendo necessária a observação das ações infantis, individuais e coletivas, acolhendo suas perguntas e suas respostas, buscando compreender o significado de sua conduta. Exige-se, portanto, a garantia do desenvolvimento e da aprendizagem das crianças a partir da diversificação das experiências próximas e cotidianas, “em direção à apropriação de conhecimentos no âmbito mais ampliado e plural, sem finalidade cumulativa ou com caráter de terminalidade em relação à elaboração de conceitos” (ROCHA, 2010, p. 13). Na tarefa de se pensar as ações e metas no que tange a aprendizagem e o desenvolvimento das crianças, como endereçar práticas de Educação Infantil que respeitem os direitos das crianças, sobretudo no que tange à sua participação efetiva no planejamento, no desenvolvimento e na avaliação dos cotidianos educativos e dos seus diferentes sujeitos? Como se tem dado os processos avaliativos das crianças, no que se refere ao seu desenvolvimento e a sua aprendizagem? Que lugar as crianças são desafiadas a ocupar nos processos que refletem sobre suas aprendizagens e suas conquistas? A construção de possíveis respostas a estas questões requer que se leve em conta que, conforme as realidades nos informam, as instituições de Educação Infantil, sob a ótica da garantia de direitos, 765 são responsáveis por criar procedimentos para avaliação do trabalho pedagógico e das conquistas das crianças. A avaliação, assim, deve ser tomada como ferramenta de reflexão sobre a prática pedagógica na busca de melhores caminhos para orientar as aprendizagens das crianças, sem violentar os direitos infantis. Ela deve perpassar todo o contexto de aprendizagem, tornando possível uma reflexão sobre as atividades propostas e o modo como foram realizadas, as instruções e os apoios oferecidos às crianças individual e coletivamente, a forma como o profissional docente respondeu às manifestações, às interações e os agrupamentos das crianças, o material oferecido e o espaço e o tempo garantido para a realização das atividades. Como se pode observar, as orientações acima descritas fazem alusão à necessidade de observação sistemática, “crítica e criativa” da vivência de cada criança e dos grupos de crianças, considerando as brincadeiras e as interações entre as crianças no cotidiano. A utilização de múltiplos registros realizados por adultos e crianças é apresentada como condições necessárias para compreender como a criança se apropriam de modos de agir, sentir e pensar culturalmente constituídos. Do conjunto de documentos que serviram de base para esse estudo, ao produzirmos o presente texto, optamos por referenciar as questões suscitadas na análise das DCNEI. No nosso entendimento, tal documento tem importância sobremaneira por reunir as principais conquistas no campo da política, da produção científica, da prática pedagógica e da vigilância dos movimentos sociais, conforme já referido anteriormente. As orientações presentes nas DCNEI são contundentes aos recordar que, conforme estabelecido na Lei de Diretrizes e Bases da Educação Nacional - LDBN nº 9.394/96 (BRASIL, 1996), a avaliação na Educação Infantil deverá ter a finalidade de acompanhar e repensar o trabalho realizado. Assim se expressa tal diretriz: Art. 10. As instituições de Educação Infantil devem criar procedimentos para acompanhamento do trabalho pedagógico e para avaliação do desenvolvimento das crianças, sem objetivo de seleção, promoção ou classificação, garantindo: I - a observação crítica e criativa das atividades, das brincadeiras e interações das crianças no cotidiano; II – utilização de múltiplos registros realizados por adultos e crianças (relatórios, fotografias, desenhos, álbuns etc.); III - a continuidade dos processos de aprendizagens por meio da criação de estratégias adequadas aos diferentes momentos de transição vividos pela criança (transição casa/instituição de Educação Infantil, transições no interior da instituição, transição creche/pré-escola e transição pré-escola/Ensino Fundamental); IV - documentação específica que permita às famílias conhecer o trabalho da instituição junto às crianças e os processos de desenvolvimento e aprendizagem da criança na Educação Infantil; V - a não retenção das crianças na Educação Infantil (BRASIL, 2009, p. 22). Como se pode observar, as diretrizes acima descritas não fazem alusão à participação das crianças nos processos avaliativos, muito embora oriente a “utilização de múltiplos registros realizados por adultos e crianças”. Romper com concepções e práticas de avaliação inadequadas de “verificação da aprendizagem” com vistas à “promoção ou a retenção” das crianças na Educação Infantil pressupõe adotar como princípio educativo, nas creches e pré-escolas, a construção de outros olhares e de outras escutas em relação às crianças. Significa tomá-las “como ator ativo e criativo, como um sujeito e cidadão de potenciais, direitos e responsabilidades, com sua própria inclinação e poder para aprender, investigar e se desenvolver como ser humano em uma relação ativa com outras pessoas” (MOSS, 2002, p. 243). Uma criança que pode ser parte ativa no processo de criação de conhecimento, que em interação com o mundo ao redor é também ativa na construção, na criação de si mesma, de sua 766 personalidade e de seus talentos; uma criança que se constitui protagonista “sobre o seu próprio processo de aprendizagem e tendo o direito de interpretar o mundo” (Id. ib.). As reflexões advindas da consolidação da Pedagogia da Educação Infantil (ROCHA, 2001, 2010; CERISARA, 2004) tem-se mostrado fundamentais na defesa e na construção de práticas pedagógicas menos centradas nos pontos de vista dos adultos, uma vez que legitima a voz das crianças, além de considerá-las sujeitos de suas práticas. Ou seja, a Educação Infantil como um espaço e um tempo que valha por si mesmo, que tenha seu foco nas relações pedagógicas, no cuidar e educar e no direito das crianças, considerando-as como atores sociais. Um espaço e um tempo [...] para a ampliação do repertório vivencial e cultural das crianças a partir de um compromisso dos adultos, que se responsabilizam por organizar o estar das crianças em instituições educativas que lhes permitam construir sentimentos de respeito, troca, compreensão, alegria, apoio, amor, confiança, solidariedade, entre tantos outros. Que lhes ajudem a acreditar em si mesmos e no seu direito de viver de forma digna e prazerosa (CERISARA, 2004, p. 14). Assim se encaminhará, no âmbito deste estudo, a reflexão acerca dos processos avaliativos das crianças no contexto da Produção teórica e dos documentos oficiais, apresentados nos últimos tempos. É importante se ter em conta que os processos que envolvem a avaliação das crianças presentes nas instituições de Educação Infantil estão em constante movimento, tendo como elementos estruturais a observação, o planejamento, o registro, a análise avaliativa e a sua partilha e o replanejamento das ações educativas propostas. Ponderando a dimensão polissêmica que a palavra “avaliação” pode ter, não se pode perder de vista neste estudo que nos processos pedagógicos, incluindo aí os avaliativos, não há neutralidade, pois as escolhas feitas estarão sempre vinculadas às trajetórias humano-profissionais, a posicionamentos políticos e pedagógicos. Sobre a possibilidade de participação infantil nos contextos educativos, incluindo aí os seus processos de planejamento, execução e avaliação das diferentes vivências, temos consciência de que este movimento não se apresenta como “uma mera estratégia pedagógica nem um modismo”, mas advinda de “uma renovada concepção da infância como geração constituída por sujeitos activos com direitos próprios (não mais como destinatários passivos da acção educativa adulta) e um eixo de renovação da escola pública, das suas finalidades e das suas características” (SARMENTO, TOMÁS, SOARES, 2007, p. 197). Ouvir as crianças no interior das instituições é uma condição para a garantia dos direitos infantis e para um diálogo justo, de compartilhamento do poder (MOSS, 2002). Considerando a criança como ator social, permitir que sua voz se faça ouvir é condição fundamental para a conhecermos e compreendermos como se constituem e se organizam estas apreensões, construções e significações, ao mesmo tempo em que passamos a percebê-la para além de nossas certezas pré-estabelecidas configuradas em uma lógica adulta. Verifica-se, portanto, nos documentos oficiais, o enfraquecimento da participação das crianças nos processos que se vinculam à sua educação como um direito. A defesa dos direitos das crianças de serem consultadas e ouvidas, de exercerem sua liberdade de expressão e opinião, e o direito de tomarem decisões em realidades que lhes dizem respeito diretamente, perde eminente força quando se trata das questões da avaliação. 767 Referências Alves, Fábio Thomaz (2011). O processo de avaliação das crianças no contexto da educação infantil. Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro de Ciências da Educação, Florianópolis. Batista, Rosa. (1998), A rotina do dia a dia da creche: entre o proposto e o vivido. Florianópolis, SC. Dissertação (Mestrado em educação) Universidade Federal de Santa Catarina, BRASIL (1999). Ministério da Educação e Cultura. Secretaria de Educação Básica. Diretrizes curriculares nacionais para a Educação Infantil; Resolução CNE/CEB 1, de 7 de abril de 1999. Diário Oficial da União, Brasília. BRASIL (2009a). Ministério da Educação e Cultura. Secretaria de Educação Básica. Diretrizes curriculares nacionais para a Educação Infantil; Resolução CNE/CEB 5/2009. Diário Oficial da União, Brasília. BRASIL. (2009b). Ministério da Educação e Cultura. Secretaria de Educação Básica. PARECER CNE/CEB nº 20/2009. Revisão das Diretrizes Curriculares Nacionais para a Educação Infantil, Cerisara, Ana Beatriz (1999). Educar e cuidar: por onde anda a educação infanti?. In: Revista Eletrônica PERSPECTNA. Florianópolis, n. 17, n. Especial, p. 11 - 21, jul./dez, p. 11-22. Moss, Peter (2002). Reconceitualizando a infância: crianças, instituições e profissionais. In: Machado, Maria Lúcia de A. (Org.). Encontros e desencontros em educação infantil. São Paulo: Cortez, p. 235-248. Rocha, E. A. C. (2010) Diretrizes Educacionais-Pedagógicas para a Educação Infantil In: Diretrizes educacionais pedagógicas para educação infantil / Prefeitura Municipal de Florianópolis. Secretaria Municipal de Educação. – Florianópolis: Prelo Gráfica& Editora Ltda, P. 12. Sarmento, Manuel Jacinto; Fernandes, Natália; Tomás, Catarina. (2007) Políticas públicas e participação infantil. In Educação, Sociedade & Culturas, nº 2. Porto: Edições Afrontamento Lda, p.183-206 COMUNICAÇÃO 3 – CULTURAS LÚDCAS INFANTIS NO CONTEXTO DA EDUCAÇÃO FÍSICA PALMA, Míriam Stock, Universidade Federal do Rio Grande do Sul (BR) RESUMO O texto em tela é um ensaio que busca refletir sobre o resgate das culturas lúdicas infantis no cenário da educação infantil, nomeadamente nas aulas de educação física, e a importância da participação das crianças nesse contexto. No âmbito da pesquisa e da docência em Educação Física só recentemente surgiram debates que buscam superar as concepções de criança como um adulto em miniatura, como um vir a ser para considerá-la um ator social portador de inúmeras e singulares capacidades e linguagens. Em se tratando de crianças pequenas, a linguagem verbal não é central e nem única, sendo muitas vezes acompanhada - ou substituída - por outras expressões gestuais, corporais, bastante comuns em seus jogos e brincadeiras. Torna-se, portanto, crucial que no seio das instituições educativas para a infância, seja reconhecida e fomentada a participação das crianças no 768 sentido de conhecerem e compartilharem as diferentes linguagens através de suas brincadeiras e de seus jogos e que, através da interação com os pares e com os adultos, possam efetivamente fazer emergir, refletir e, simbolicamente, comunicar sua cultura lúdica. Nesse sentido, a escola e, em especial a educação física, deve promover tempo e espaço para que as crianças, desde tenra idade, tenham a oportunidade de projetarem seus modos próprios de viverem suas infâncias - brincando, jogando, dançando, criando e recriando ritmos, construindo brinquedos, discutindo regras, dramatizando e ritualizando, dando asas à sua imaginação - sendo protagonistas de suas aprendizagens e desvelando, através dos corpos em movimento, as culturas lúdicas infantis. TEXTO O texto em tela é um ensaio que busca refletir sobre o resgate das culturas lúdicas infantis no cenário da educação infantil, nomeadamente nas aulas de educação física, e a importância da participação das crianças nesse contexto. Somente a partir das últimas décadas, as concepções de criança(s) e de infância(s) têm sido revistas no âmbito da Sociologia, da Antropologia, da Filosofia, da Educação; na Educação Física esse processo não é diferente, ocorrendo ainda mais tardiamente. Para Corsaro (2011), até recentemente, predominava um modelo universal de criança, no qual esta era pensada e tratada como um ser que se adaptava e internalizava a sociedade de forma passiva, reproduzindo a cultura em que estava inserida, devendo, por isso, ser moldada para tornar-se um membro competente e contribuinte dessa cultura. Diferentemente da ideia de que as crianças são meramente as depositárias dos valores e dos modelos de comportamentos transmitidos pelos adultos, Belloni (2007) aponta para a apropriação criativa das mesmas quanto às informações vindas dos adultos, reconstruindo os conteúdos que lhes chegam e construindo uma cultura específica. Sobre essa cultura específica, Brougère (2002) afirma que, no contexto de suas vivências lúdicas, a criança não se contenta em contemplar as imagens advindas da realidade ou em simplesmente reproduzir seus códigos, mas seleciona-os, adapta-os, modifica-os e, ao fazê-lo, transforma-os e lhes dá novas significações. Daí concordarmos com o autor que a cultura lúdica infantil é uma estrutura complexa, constituída por brincadeiras, costumes lúdicos, brinquedos, mas também por estruturas simbólicas, suporte de representações. As formas e os conteúdos dos jogos e brincadeiras infantis não se dão num vazio social e ganham diferentes contornos, uma vez que são atravessados por relações de classe, de gênero, de religião, de proveniência étnica, de configurações políticas e econômicas (Sarmento, 2003; Brougère, 2002; Simão e Gomes-da-Silva, 2008). Essa diversidade pode ainda ser ampliada, quando observamos de quê e como as crianças brincam em casa, no parque e na escola ou, ainda, dentro da própria escola quais as vivências lúdicas permitidas, incentivadas e, até mesmo, proibidas. Considerando a variedade de ações e representações nos distintos universos, propomos a pluralização e multidimensionalidade do conceito: culturas lúdicas infantis. 769 Advogado mundialmente, o brincar é um direito socialmente reconhecido às crianças (ONU, 1959) e inúmeros estudos (Debortolli, 1999; Moyles, 2006; Silva, 2008, 2011) têm evidenciado a necessidade de a ludicidade ser vivenciada e promovida como dimensão fundamental da formação humana. É contraditório, entretanto, que a escola, concebida como um espaço crucial de vida das crianças e lócus de socialização por excelência, ainda considere como um GRANDE desafio (e/ou como uma impossibilidade) abarcar as culturas lúdicas das crianças e inseri-las em sua organização curricular. Nessa direção, Ribeiro (2005) argumenta que o brincar é compreendido como um fator que desencadeia motivações importantes para as aprendizagens e, por isso, acredita ser fundamental retirá-lo da clandestinidade, explicitando-o como meta da escola e não como pertencente ao seu currículo oculto. É notória a pluralidade cultural do mundo em que vivemos e a escola se revela como um dos importantes espaços sociais em que essa pluralidade converge e se transforma, alimentando e retroalimentando continuamente os sujeitos que dela fazem parte, através da produção e do compartilhamento de significados das diferentes práticas ali vivenciadas. Assim, pensamos não ser mais possível a elaboração de currículos escolares sem considerarmos, como afirma Neira (2008), as diversas heranças culturais dos alunos acolhidos pela escola, evitando que nela cheguem e se deparem com hábitos, valores e costumes estrangeiros. Durante muito tempo, professores e pesquisadores da área da Educação Física desconsideraram a necessidade de uma reflexão sobre a(s) criança(s) e as culturas infantis que emergem e se ramificam no âmbito escolar. E, em especial, na Educação Infantil, foi somente a partir da década de 1990 que autores como Freire (1991), Sayão (1999; 2002), Ayoub (2001), Darido e Rangel (2005), Gomes-da-Silva (2005) propuseram um debate mais crítico sobre as diversas formas de expressão infantil nas aulas de Educação Física. Tem-se, assim, gradativamente, a superação das concepções de criança como um adulto em miniatura, como um vir a ser, como alguém que se prepara para o futuro, para compreendê-la como um ator social que, através de diferentes linguagens, faz emergir, refletir e, simbolicamente, comunicar sua cultura. Ora, em se tratando de crianças pequenas, a linguagem verbal não é central e nem única, sendo muitas vezes acompanhada - ou substituída - por outras expressões gestuais, corporais, bastante comuns em seus jogos e brincadeiras. Nessa perspectiva, Sayão (1999) propõe o resgate das brincadeiras infantis no contexto das instituições educativas para a infância como eixo principal do trabalho a ser desenvolvido, possibilitando o conhecimento sobre as diferentes linguagens de movimento expressas pelas crianças que, na interação umas com as outras, contribuem para a produção das culturas infantis, alicerçadas em valores como a criatividade, a ludicidade e a alegria. Reconhecer a importância da participação das crianças em rotinas do seu cotidiano passa necessariamente por acolher esses sujeitos de múltiplas linguagens e promover tempo e espaço para que brinquem, joguem, dancem, criem e recriem ritmos, construam brinquedos, discutam regras, dramatizem e ritualizem, deem asas à imaginação nas interações com seus pares e com os adultos, ampliando o seu repertório cultural e sendo protagonistas de suas aprendizagens. Brincando, jogando, manipulando e compartilhando seus brinquedos, a criança experimenta sua capacidade de comunicação, busca soluções para os desafios impostos em seu ambiente, confrontase com seus limites e com suas qualidades, desenvolve autonomia, liderança e competências de adaptação social, além de vivenciar experiências diversificadas, livre de preocupações relacionadas aos efeitos de suas ações. 770 Para ilustrar, citamos um recente estudo por nós realizado no Brasil (ainda não publicado) do qual participaram cento e seis crianças entre 5 e 12 anos, matriculadas em uma escola da rede estadual do Rio Grande do Sul. Ao serem questionadas sobre se aprendem algo enquanto brincam e jogam nas aulas de educação física, a grande maioria respondeu que sim; relataram que, ao brincar e jogar, aprendem a respeitar as regras e a opinião dos colegas, a fazer amigos, a correr mais rápido, a pular corda e a dançar, a esperar a sua vez de brincar, a fazer coisas para quando forem grandes, a brincar em grupo, a ganhar e a perder, a imaginar muitas coisas. Essas falas vão ao encontro das ideias de Sayão (1999), Brougère (1998) e Gaitán (2006), os quais afirmam que o brincar é fonte inesgotável de aprendizagens e de produção cultural. Está sobejamente documentado na literatura que a vida das crianças - de forma muito marcada as de primeira infância (até aproximadamente os 5/6 anos) - gira em torno de seus jogos e brincadeiras, os quais são, em grande parte, baseados no movimento e considerados o principal meio pelo qual elas aprendem sobre seus corpos e suas capacidades. Brincar é algo que dá sustentação ao desenvolvimento infantil, seja na escola, em casa, na rua, em grupo ou individualmente, de forma livre ou orientada; por isso, faz todo sentido considerar que não contemplar o brincar na educação das crianças é ignorar suas necessidades básicas. Acreditamos que programas de Educação Física escolar que acolham as diferentes linguagens corporais infantis e proporcionem um ambiente rico em experiências inserido no universo de jogos e brincadeiras podem se configurar como elemento fundamental nos processos de aprendizagem e desenvolvimento infantil. Moyles (2002), que se dedica a estudar a inserção das diferentes manifestações do brincar no contexto da educação de crianças pré-escolares, propõe a interessante metáfora da espiral de brincar e aprender: a partir do brincar livre da criança, o professor canaliza as explorações e aprendizagens já realizadas por ela, agora através do brincar dirigido, levando-a a um estágio mais avançado em termos de entendimento. As novas aquisições provenientes desse processo interventivo manifestam-se, então, num novo brincar livre, ainda mais enriquecido, o qual dará ao educador outros subsídios para desafiar a criança para um nível mais elevado. E assim, as ondulações entre as diferentes formas de brincar permitem que uma espiral de aprendizagem se espalhe para fora, em novas experiências para a criança, e para cima, na aquisição de conhecimentos e habilidades, sejam eles de natureza predominantemente cognitiva, motora ou psicossocial. Observando as manifestações das culturas lúdicas das crianças e resgatando-as no cenário educativo, o professor proporciona à criança os recursos necessários e apropriados, estimulando o surgimento de vários novos ciclos no processo de desenvolvimento infantil. É crucial que os educadores, e de forma especial, os professores de Educação Física, que tanto utilizam jogos em suas aulas, reflitam sobre a importância que exercem como mediadores das aprendizagens e do desenvolvimento de seus alunos e sobre as oportunidades que têm dado às suas crianças, no sentido de essas poderem ser os verdadeiros atores de sua infância, de poderem reproduzir, criar e recriar sua cultura através do jogar, construir, desconstruir e reconstruir seus brinquedos e brincadeiras. Acreditamos fortemente que a Educação Física pode, assim, propiciar às crianças, desde tenra idade, a oportunidade de projetarem seus modos próprios de serem crianças e de desvelarem, através dos corpos em movimento, as culturas lúdicas infantis. 771 Referências Ayoub, E. (2001). Reflexões sobre a educação física na educação infantil. Revista Paulista de Educação Física, supl.4, p.53-60. Belloni, M. (2007) Infância, mídias e educação: revisitando o conceito de socialização. Perspectiva, v.25, n.1, p.57-82. Brougère, G. (1998). Jogo e educação. Porto Alegre: Artes Médicas. _____. (2002). A criança e a cultura lúdica. In: Kishimoto, T. O brincar e suas teorias. São Paulo: Pioneira Thomson Learning, p.19-32. Corsaro, W. (2011) Sociologia da Infância. Porto Alegre: Artmed. Darido, S.; Rangel, I. (2005). Educação Física na Escola: implicações para a prática pedagógica. Rio de Janeiro: Guanabara Koogan. Debortoli, J. (1999). Com olhos de crianças: a ludicidade como dimensão fundamental da construção da linguagem e da formação humana. Licere, v. 2, n.1, p.105-117. Freire, J. (1991). Educação de corpo inteiro: teoria e prática da educação física. São Paulo: Scipione. Gaitán, L. (2006) Sociologia de la infancia: análisis y intervención social. Madrid: Sintesis. Gomes-da-Silva, E. (2005). Educação (física) infantil: se-movimentar e significação. Dissertação (Mestrado em Educação Física). Universidade Federal de Santa Catarina. Florianópoils. Moyles, J. (2006). A excelência do brincar. Porto Alegre: Artmed. _____. (2002). Só brincar? O papel do brincar na educação infantil. Porto Alegre: Artmed. Neira, M. (2008). A cultura corporal popular como conteúdo do currículo multicultural da Educação Física. Pensar a prática, v.11, n.1, p.81-89, 2008 Organização das Nações Unidas (ONU). (1959). Declaração dos Direitos da Criança. Disponível em: http://www.unicef.org/brazil/decl_dir.htm. Acesso em: 01 ago. 2007. Ribeiro, M. (2005). O jogo na organização curricular para deficientes mentais. In: Kishimoto, T. Jogo, brinquedo, brincadeira e a educação. 8ed. São Paulo: Cortez, p.133-142. Sarmento, M. (2003). Imaginário e culturas da infância. Cadernos de Educação, n.21, p.51-69. Sayão, D. (2002). Corpo e movimento: notas para problematizar algumas questões relacionadas à educação infantil e a educação física. Revista Brasileira de Ciências do Esporte, v.23, n.2, p.55-67. _____. (1999). Educação Física na Educação Infantil: riscos, conflitos e controvérsias. Motrivivência, ano XI, n.13, p.221-238. Silva, A. (2008). Crianças, escola, recreação e lazer: uma relação inquietante. In: Pereira, B., Silva, A., Carvalho, G. Atividade física, saúde e lazer: o valor formativo do jogo e da brincadeira. Braga: Universidade do Minho, p.11-26. ____ (2011). Jogos, brinquedos e brincadeiras: trajectos intergeracionais. Vila Verde: ATAHCA. Simão, M.; Gomes-da-Silva, E. (2008). Pesquisa com crianças na Educação Física: questões teóricas e desafios metodológicos. Inter-Ação, v.33, n.2, p.395-416. 772 COMUNICAÇÃO 4 – AVALIANDO A ESCOLA SOB O OLHAR DA CRIANÇA ALMEIDA, Ana Rita Silva, Instituto Federal da Bahia/Capes (BR) RESUMO O estatuto da criança enquanto ator social é um conceito cujo debate abrange todas as situações nas quais estão em jogo o bem-estar infantil. Portanto, a Sociologia da Infância propõe uma atenção especial ao papel que as crianças ocupam tanto nas instituições que organizam as suas vidas, como por exemplo a escola e a família, quanto nas políticas governamentais e leis que as afetam. O presente estudo resulta de uma pesquisa qualitativa e teve por objetivo conhecer os desejos, os receios e as opiniões das crianças sobre a sua própria escola. Participaram da pesquisa vinte e sete crianças com idades que variavam entre três e cinco anos de uma escola pública. O instrumento utilizado para a recolha de dados foi uma entrevista com oito perguntas, cujas respostas tinham por alternativas figuras com imagens que representavam crianças e adultos em atividades escolares e reações emocionais infantis. Os resultados revelaram que a maioria dos participantes tem sentimentos positivos em relação à escola, à professora, às suas práticas e aos seus “coleguinhas”. Na investigação em causa, destacou-se a importância das práticas lúdicas para as crianças. Esse aspecto é, provavelmente, um caminho para se repensar o modelo de escola que exerce um exacerbado controle sobre a liberdade das crianças. Descobrir o modo como a criança avalia a sua escola, ouvindo sua opinião, captando suas experiências e ponto de vista sobre a estrutura escolar em suas regras, valores e organização pedagógica é um modo de entendê-la como protagonista da sua própria realidade. Mais ainda importa saber que, como participantes ativos, são competentes e capazes de “fazer”, de “opinar”, de exercer um movimento sobre uma determinada situação na qual seus interesses estão envolvidos. Introdução O estatuto teórico da criança enquanto ator social constitui um paradigma que transita na literatura especializada (Neyrand, 2000; Kirby & Woodhead, 2003; Christensen & James, 2005; Sarmento, 2005) e pontua diferentes desafios e desdobramentos aos estudos da criança e à práxis educacional. Segundo Kirby e Woodhead (2003), esse conceito abrange tanto as questões de “agência” de crianças em situações individuais e de seu próprio bem-estar quanto sobre o papel que exercem nas instituições como, por exemplo, a escola, família, e nas políticas governamentais e leis que afetam suas vidas. No campo da Psicologia, as abordagens vigotskiana e walloniana também defendem que as crianças são sujeitos sociais, comunicadores e produtores de sentido, desde o início da sua vida. A concepção de criança enquanto sujeito capaz de (re)significiar, dar sentido e negociar aceita “as perspectivas, visões e sentimentos infantis como sendo uma evidência genuína e válida”. (Woodhead & Faulkner, 2005, 23). Ancorados na Sociologia da Infância e na Psicologia Histórico cultural acreditamos que a participação da criança é um momento também de aprendizagem, ou seja, “elas crescem em competência através da participação” (Woodhead & Faulkner, 2005, p.18). Portanto, descobrir, 773 perceber, identificar, buscar conhecer a perspectiva infantil sobre o mundo e as coisas ancora-se na ideia de que “o olhar das crianças permite revelar fenômenos sociais que o olhar dos adultos deixa na penumbra ou obscurece totalmente” (Pinto & Sarmento, 1997, p. 25). Este trabalho resulta de uma pesquisa qualitativa e tem por base dois princípios que aqui defendemos: o primeiro, a criança é competente e capaz de comunicar o seu ponto de vista, participando das decisões que lhe dizem respeito. O segundo princípio refere-se à concepção de avaliação como um processo, um meio e não um fim, que é dimensionado por uma teoria, uma concepção de mundo, e traduzido pelas práticas pedagógicas que circulam na escola (Luckesi, 2000). Enquanto processo dialógico, a avaliação envolve “ação, movimento, provocação, na tentativa de reciprocidade intelectual entre os elementos da ação educativa" (Hoffmann, 1991: 67). O objetivo deste estudo foi conhecer os desejos, os receios e as opiniões das crianças sobre a sua própria escola, ou seja, buscou-se saber como as crianças da educação infantil avaliam a sua escola, cujo discurso pedagógico inclui práticas que exercem um exacerbado controle sobre a liberdade de expressão das crianças. Metodologia O Contexto da investigação Este estudo realizou-se dentro de um projeto de pesquisa etnográfico “Práticas Pedagógicas: diversidades e multiplicidades do contexto educacional” realizado por uma equipe interdisciplinar em um bairro periférico de uma capital brasileira. O referido bairro apresenta problemas de infraestrutura, saneamento básico e altos índices de violência, destacando a violência contra a mulher e o abuso às crianças. A maioria da população não tem emprego fixo, são catadores de lixo, ambulantes, etc. A escola investigada integra um complexo educativo criado para acolher um quantitativo de crianças que ainda estavam fora da escola. Ela possui uma excelente estrutura física que se destaca entre as construções da comunidade e “representa uma oportunidade ímpar” para as famílias. Para se proteger das adversidades sociais e da violência do seu entorno, essa instituição impunha regras de comportamento sociais e excluía o espaço livre do recreio. É em meio a essa realidade que buscamos escutar as crianças, ou seja, dar voz à percepção que elas tinham da sua própria escola. Participantes, instrumento Participaram da pesquisa vinte e sete crianças com idades que variavam entre três e cinco anos de uma escola pública. O instrumento utilizado para a recolha de dados foi uma entrevista com oito perguntas, cujas respostas tinham por alternativas figuras com imagens que representavam crianças e adultos em atividades escolares e reações emocionais infantis. Optou-se por chamar tais figuras de cartões fotográficos que expressavam: alegria, tristeza, raiva e medo; e as atividades ilustradas eram: o desenhar, o pintar, o contar histórias, o brincar, a professora ensinando, crianças reunidas e a hora da merenda. A ideia de criar cartões fotográficos como opções de resposta surgiu da necessidade de poder escutar a opinião das crianças, utilizando-se de um recurso que poderia auxiliá-las a relatarem 774 suas opiniões sobre as atividades que vivenciam na sua escola. Para cada pergunta existiam três opções de resposta, ou seja, três opções de cartões fotográficos, além da opção “outro”. O percurso de construção do instrumento envolveu as seguintes etapas: - Observação das práticas culturais que circulavam na escola, afim de identificar uma forma de linguagem acessível às crianças. Optou-se por utilizar na entrevista uma combinação do visual com o verbal; - cuidado com a escolha do tema, da linguagem das perguntas, das opçõs de resposta, tendo como base o contexto no qual estavam inseridas as crianças; - Encontros com as crianças para explicar os objetivos, mostrar o instrumento, esclarecer as dúvidas, convidá-las a participar e negociar a forma de participação. O consentimento das crianças foi tomado durante estes diálogos; - A escolha da brinquedoteca como o lugar para realização da entrevista. Em relação ao processo de aplicação da entrevista, esta ocorreu da seguinte maneira : após a identificação de todos os cartões pelas crianças, os entrevistadores lia a primeira sentença e logo após pedia a cada uma que escolhesse, nas opções oferecidas, qual delas melhor representava sua resposta. Por exemplo, na primeira sentença: “Quando eu chego à escola, eu fico assim...”, a criança teria que responder como ela ficava e/ou se sentia ao chegar à escola, apontando para uma das opções dos cartões, que nesse caso eram os de: alegre, triste ou com raiva. A cada resposta da criança, os pesquisadores registravam a opção no roteiro de cada participante. No entanto, caso a resposta da criança fosse diferente das opções oferecidas, ao preencher as respostas do roteiro, os entrevistadores marcavam a opção “outro”. E assim ocorreu com as demais questões do roteiro. A análise dos dados compreendeu o agrupamento das respostas por blocos de questões, que se transformaram em três categorias definidas, a saber : Resultados e discussão Como se sentem na escola Quando as crianças foram questionadas sobre como se sentem “quando chegam à escola”; quando veem a professora; quando estão na hora da merenda, a maioria afirmou sentirem-se alegres. Apenas quatro crianças mencionaram sentir raiva e uma declarou sentir tristeza. A opção “outro” também foi escolhida, mas por apenas duas crianças, que declararam ficarem “quietas” quando chegam à escola e do mesmo modo quando veem a professora. Em relação ao questionamento como se sentem “na hora de ir embora da escola”, o sentimento de alegria também prevaleceu nas respostas das crianças. A raiva e a tristeza continuaram sendo mencionadas, nesse caso por duas e três crianças respectivamente. Percebeu-se que as emoções das crianças acerca da escola foram, em sua maioria, positivas. Como eu me sinto quando estou aprendendo A tristeza foi a segunda emoção mais citada entre as respostas das crianças. Duas declaram ficarem tristes durante os dois processos de aprendizagem (ler e “fazer continhas”) e alegres em relação aos outros aspectos da escola (por exemplo “na hora da merenda” e “quando veem a professora”). Algumas crianças afirmaram sentirem-se alegres durante os processos de 775 aprendizagem de leitura e “continhas”. Outras declararam respostas diferentes das opções dadas, quando disseram ficarem “Quietinha” ou “Fazendo o dever”. O que eu mais gosto na escola Treze crianças responderam “a hora da merenda”, nove responderam “a professora”, quatro responderam “meus coleguinhas” e apenas um respondeu a opção “Outro”, declarando gostar mais de “ficar na escola”. A hora da merenda destacou-se como o maior fator motivacional da frequência das crianças na escola. Essa resposta pode nos levar a entender essa informação sob o foco de duas possíveis conjecturas. A primeira diz respeito ao fato de se tratar de uma escola localizada num bairro periférico, na qual muitas crianças se alimentam apenas no momento em que estão na escola. Essa carência de tipo “nutricional” pode ser um dos motivos da opção “merenda” ter se destacado. Outro ponto fortíssimo a considerar é de natureza interindividual, ou seja, à importância que estas crianças dão às relações sociais, quando afirmam gostarem de estar com seus professores e colegas numa escola onde a hora do recreio foi extinta. Atividades que mais gosta de fazer em sala de aula Dos vinte e sete entrevistados, nove participantes disseram “gostar de brincar em sala de aula”; nove de “desenhar e pintar”, oito preferem as “histórias”, e um escolheu a opção “Outro”, dizendo gostar quando a professora “passa dever”. Percebe-se, desse modo, um equilíbrio nas respostas das crianças, o que nos evidencia a importância de o espaço para as crianças conhecerem algumas e construírem tantas outras práticas lúdicas com seus pares. Mais, ainda, interessante seria se a escola nas suas práticas pedagógicas, espaço de relações interindividuais, conseguisse resgatar o que a origem da sua palavra carrega: um espaço para atividades prazerosas. Considerações Finais A maioria dos participantes tem sentimentos positivos em relação à escola, à professora, às suas práticas e aos seus “coleguinhas”. Descobrir o modo como a criança avalia a sua escola, ouvindo sua opinião, captando suas experiências e ponto de vista sobre a estrutura escolar em suas regras, valores e organização pedagógica é torná-la protagonista da sua própria realidade. É importante saber que são competentes e capazes de “fazer”, de “opinar”, de exercer um movimento sobre uma determinada situação na qual seus interesses estão envolvidos. Desse modo, o que fazer com a opinião das crianças sobra a escola? As respostas das crianças foram encaminhadas à gestão com sugestões para o repensar a organização/estrutura da escola e também como inspiração para a formação de todos os profissionais da escola. Na investigação em causa, compreender os sentidos e significados das práticas lúdicas para as crianças é, provavelmente, um dos caminhos para se repensar o modelo de escola criado para elas. Referências Christensen, P. e Allison James (org) (2005). Investigação com Crianças. Perspectivas e Práticas. Porto: Escola Superior de Educação de Paula Frasinetti. 776 Hoffmann, Jussara M.L (1991). Avaliação, mito e desafio: uma perspectiva construtivista. Educação e Realidade, Porto Alegre. Kirby, P. & Woodhead, M. (2003). Children’s participation in society In: Montgomery, H; Burr, R. & Woodhead, Martin. Changing Chidhoods.Local and Global. London: Wiley, The Open University. Luckesi, C. C (2000). Avaliação da aprendizagem escolar: estudos e proposições. São Paulo: Cortez. Neyrand, G. (2000). L’enfant, lamère et laquestiondupère. Unbilan critique de l’èvolution des saviors sur la petite enfance. Paris: PUF. Pinto, Manuel & Sarmento, Manuel Jacinto (coord.) (1997). As crianças: contextos e identidades. Braga, Portugal: Instituto de Estudos da Criança da Universidade do Minho Sarmento, M. J. (2005). Gerações e alteridade: interrogações a partir da sociologia da infância. Educação e Sociedade, vol.26, n.91, p.361-378. Woodhead, m; Faulkner, Dorothy (2005). Sujeitos, objetos ou participantes? In: Christensen, P. e Allison James (org) (2005). Investigação com Crianças. Perspectivas e Práticas. Porto: Escola Superior de Educação de Paula Frasinetti. COMUNICAÇÃO 5 – A ROTINA NA EDUCAÇÃO INFANTIL: AVALIANDO A ILUSÃO DOCENTE NA TENTATIVA DE CONTROLAR E SILENCIAR AS CRIANÇAS DIAS, Julice, Universidade do Estado de Santa Catarina (BR) RESUMO Este trabalho tem por objetivo dar visibilidade a questões emblemáticas em torno da ilusão docente no espaço institucional da creche, no sentido de controlar e silenciar as crianças. Avalia a estruturação da rotina diária, as imagens e concepções de infância e criança latentes e manifestas nesta estruturação. Utilizando dos procedimentos etnográficos, circunscreve-se e olha de dentro o cotidiano vivido na e da creche, problematizando por que e como, na contemporaneidade, ainda insistimos num modus operandi pedagógico que tenta, via formas de controle e subordinação, negar às crianças o direito à participação. Ancorado no aporte conceitual e metodológico da Sociologia da Infância, busca captar as diferentes formas expressivas das crianças e seus modos de viver a infância na creche, lugar marcado pela insistência ilusória do adulto/professor, que, via dispositivos de controle, tenta enquadrar, tornar invisível e silenciar as crianças pelo uso de rotinas rígidas e estanques. Apresenta, pois, os modos como as crianças implodem, via seus recursos afetivos e em suas diferentes linguagens, no cotidiano da creche, os regramentos de sua institucionalização. As rotinas de creche e pré-escola estruturam-se de modo a não favorecer a interação e a cooperação entre as crianças, na medida em que se prendem, em seu fluxo, a rituais, tempos ritmados pelo ato mecânico do relógio, predomínio de atividades rotineiras como higienizar, alimentar-se e repousar. Por sua vez, mesmo nessas condições, as crianças veem na estrutura da rotina, possibilidades, canais, espaços, tempos e interações para brincar, imaginar, transgredir a rigidez imposta pelos adultos. Entretanto, pelo estudo realizado, identificamos que esta não é ação fácil para as crianças. 777 Assim, ao longo do estudo, os registros de diário de campo e fílmicos apontam as formas expressivas com e pelas quais as crianças resistem às tentativas dos adultos em lhes tolher a iniciativa, a tomada de decisão, a participação no dia a dia educativo. Sinaliza também as estratégias complexas que as crianças utilizam não só para introduzir seus repertórios próprios nas propostas que os adultos lhes impõem, como também o esforço individual e coletivo que fazem para manter, sustentar suas ações e sua cultura de pares. Deste modo, o estudo contribui para que percebamos a riqueza e a competência das crianças na ocupação do ambiente institucional que dividem com os adultos, ambiente este que tenta, inútil e ilusoriamente, silenciar as crianças e, portanto, negar as diferenças e a diversidade. Embora a instituição insista em construir e manter uma rotina rígida, estanque, fechada em si mesma, as crianças, em seus agrupamentos e interações próprios, produzem um vasto quadro de rotinas culturais que elas próprias conduzem e reiteram no cotidiano institucional vivido. Entendemos, neste sentido, que estas rotinas culturais nas quais engendram seus imaginários, seus repertórios, suas formas próprias de agir, sentir, pensar, construir, brincar, são simbólicas das culturas infantis, pois que se constituem em atividades coletivas, eivadas de expressões singulares. Algumas delas se transformam, ao longo do estudo, também em rituais, isto é, ações repetitivas que se manifestam, notadamente, no jogo simbólico. Ações cujo conteúdo circula em torno de carga valorativa, de modos interpretativos acerca do contexto em que vivem. Na brevidade deste texto, tomamos por referência para nosso quadro analítico, uma dessas rotinas: as interações na casa da árvore, lugar em que as crianças ocupavam regularmente na rotina institucional proposta pelos adultos. As brincadeiras na casa da árvore refletem uma série de episódios e conteúdos da cultura de pares das crianças de 3 a 5 anos de uma creche pública de um município do interior do Estado de Santa Catarina (Brasil). Além do conteúdo desse jogo interativo, os excertos de diário de campo permitem também identificar e analisar o sentimento de pertença que as crianças constroem não só com os artefatos culturais engendrados nas brincadeiras, como também o vínculo e a segurança emocional que criam e fortalecem na teia relacional criançacriança. Embora o adulto circule pelo espaço do parque (onde situa-se a casa da árvore) e tente insistentemente controlar o espaço-tempo do brincar infantil com falas do tipo: “não pule”, “não se pendure”, “desça agora!”, “esse brinquedo não é da casa”, dentre outros, as crianças conquistam o próprio controle de seu enredo brincante, de várias maneiras, como mostraremos ao longo do texto. Enquanto os adultos insistem o tempo todo em chamar atenção das crianças para o que pode e o que não pode, elas estão envoltas na preocupação com outros perigos: o monstro do lago que quer invadir a casa, a bruxa que passou a noite na creche, a chuva forte e o vento que pode derrubar a casa, dentre outros sentimentos, expectativas partilhados entre pares. Todo esse jogo interativo é retratado nos registros de diário de campo, indicando sua potencialidade do ponto de vista cultural, sociológico e pedagógico. Destarte, o estudo contribui para percebermos a resistência das crianças quanto às regras adultas e o quanto isto desequilibra institucionalmente o adulto, na medida em que interpreta a ação criativa das crianças como sendo desrespeito à autoridade do professor. Por sua vez, as crianças, que orquestram em comum a brincadeira, tem ciência das regularidades e imperativos manifestos pelo adulto. Ou seja, as crianças reconhecem os limites de seu poder decisório no que tange aos tempos e espaços institucionais demarcados pela rotina institucional. Entretanto, ao fazê-lo, identificam também, pistas, brechas, formas, lugares e artefatos que criam assim, ciclos brincantes que no jogo interativo tornam-se rotinas culturais próprias. Assim, tanto o adulto quanto as crianças criam rotinas. A diferença é que a rotina estruturada pelo adulto atribui invisibilidade e silenciamento para a agência das crianças. A rotina que as crianças constroem, por outro lado, é um tempo-espaço controlado pelas próprias crianças, numa produção partilhada, 778 conjunta. Outro fator que o estudo aponta é que a estrutura da rotina institucional, que os próprios adultos criaram e que julgam muito difícil de reorganizar, constitui-se como tempo-espaço tenso, disciplinador e desprovido de emoção. Quanto mais tempo de observação do cotidiano vivido, mais atitudes tensas eram captadas por nossos instrumentos de coleta. Essa tensão também sinaliza as tentativas frustradas dos adultos no controle das ações infantis ao longo do fluxo da rotina. Introdução O estudo ora em tela discute a relação adulto-criança no interior das rotinas institucionais de espaços coletivos de educação infantil. Por meio da análise das interações cotidianas e da própria estruturação das rotinas, opera um estudo qualitativo envolvendo cinco municípios catarinenses, no que tange ao contexto institucional de creches e pré-escolas. Foram analisados diferentes momentos que compõem a rotina institucional, analisando os diferentes estilos interativos entre adultos e crianças, crianças-crianças, ancorados em três categorias centrais de análise: forma da rotina, conteúdo das interações, clima relacional. Os resultados indicaram modos interativos dos adultos que tolhem a iniciativa infantil, desconsideram as competências sócio -culturais das crianças, inibem a participação infantil nas decisões que envolvem os momentos da rotina. Indicaram também a rigidez ainda imperrante dos fluxos espaço-temporais estruturantes das rotinas institucionais, tanto da creche quanto da pré-escola. Isto posto, identifica-se ainda no interior dessas rotinas, práticas adultocentradas, tempos fragmentados, espaços culturalmente empobrecidos. Ao mesmo tempo, identificamos conteúdos riquíssimos na interação criança – criança, o que reitera a perspectiva de que as crianças, embora não tenham rotinas que as respeitem em seus direitos fundamentais, sobretudo, no que tange ao respeito à participação, transgridem a rigidez, e encontram, no tempo e espaço institucional, formas de produzir culturas próprias na interação entre pares. Objetivo e Método O artigo apresenta um estudo exploratório sobre contextos institucionais de educação infantil em cinco municípios catarinenses. Tem como objetivo a análise dos modos interativos constitutivos das rotinas institucionais, no que tange à interação adulto-criança e criança-criança. Esses modos são analisados segundo as categorias: forma da rotina, conteúdo das interações, clima relacional. Sujeitos do estudo Em se tratando de estudo ainda em andamento, foram observados até o presente momento, 180 horas, durante as quais acompanhamos o fluxo espaço-temporal da rotina de turmas de 0 a 5 anos, em espaços coletivos de educação infantil. Foram pesquisados cinco municípios catarinenses, tendo 4 unidades investigadas para cada município. Em cada unidade, a pesquisadora permaneceu das 7h30min às 17h30min, três vezes por semana. As idades das professoras observadas variaram entre 26 e 51 anos, com uma media de 44 anos e o tempo de magistério variou de 8 a 35 anos, correspondendo a 16,5 anos em média. Em se tratando das crianças, foram observados um grupo de cada faixa etária, somando 18 grupos observados, compreendendo dos bebês às crianças de 5 anos. 779 Locais Uma das instituições localizava-se na capital do Estado de Santa Catarina (Brasil) e atendia a crianças de classe média e média baixa. As demais instituições, localizavam-se no interior do Estado, três na região norte e outra na região leste. As instituições da região norte recebiam notadamente crianças do extrato de classe social baixa. A instituição da região leste recebia crianças de classe média baixa. Todas as instituições funcionavam em regime integral. Procedimentos O estudo foi feito ao longo de um semestre. Agendava-se com a instituição os dias no início do semestre letivo. Os dias eram segunda, quarta e sexta-feira. Selecionamos um agrupamento etário de cada instituição, de modo que todas as idades fossem contempladas no estudo. Os cuidados éticos foram resguardados e esclarecidos, mediante apresentação e assinatura do termo de consentimento esclarecido para participação em pesquisa acadêmica. Os dados foram registrados em notas de diário de campo e em registros fílmicos, constituídos por três partes: forma da rotina, conteúdo das interações, clima relacional. A metodologia que norteou o estudo inspirou-se nos estudos etnográficos e na abordagem da Sociologia da Infância. O processo interativo Bem estar e envolvimento podem parecer conceitos subjetivos, mas é perfeitamente possível avaliá-los na relação adulto – crianças em instituições de educação infantil. Nas instituições em que desenvolvemos o estudo ora em tela, temos observado que boa parte das crianças, durante as atividades de rotina, recebe pouco suporte do adulto para apoio em suas iniciativas, tomadas de decisão, escolhas, interações e brincadeiras. O adulto atua muito mais na condição de interruptor dessas ações infantil, de controlador e disciplinador do que efetivamente um profissional que concentra em sua ação docente a especificidade do trabalho com crianças de 0 a 5 anos de idade. Por outro lado, embora o adulto não atue na condição de apoiante e desafiador das potencialidades infantis, percebemos também que as crianças, em seus grupos de pares, notadamente nas interações de pequenos grupos, realizam atividades lúdicas eivadas de concentração, envolvimento, riqueza de repertório cultural. Nas cinco instituições observadas durante o estudo realizado, identificamos certa regularidade no tempo de ocupação da rotina, de modo que 65% desse tempo institucional é ocupado com atividades mecanicistas, sem intervenção pedagógica de qualidade, com poucos materiais, com pouca variedade de repertório. Por intervenção pedagógica entendemos a agência do adulto, a qual circunscreve-se numa cadeia de ações, que geram interações de qualidade entre adulto e criança. Considerando o horário das 7h30min às 17h30min, tempo em que realizamos as observações e acompanhamento das interações adulto-criança e criança-criança, consideramos que a rotina é empobrecida, de modo que o adulto tenta, por várias vias, tolher a iniciativa das crianças, desencorajar suas escolhas e inibir sua tomada de decisão. 780 Em nosso entendimento, tal feito do adulto ainda se faz presente em virtude do árduo e conflitante processo de reconfigurar a imagem que tem da criança. Embora tenhamos, no Brasil, avançado qualitativamente no que diz respeito ao texto legal/oficial que emana da Constituição Federativa (1988) e dos documentos que constituem o que emana do Ministério da Educação, em boa parte das instituições e das práticas pedagógicas, o que impera é a imagem da criança-aluno, imatura, desprovida de competências, cuja educação deve pautar-se na relação de subordinação à autoridade do adulto. Isto, em nosso ponto de vista, ocorre pela dificuldade que ainda temos de respeitar efetivamente a criança como parceira de uma sociedade que todos nós estamos a reproduzir/construir/reconstruir. O episódio a seguir retrata essa concepção adultocêntrica: Criança: “Profe, eu não quero desenhar da história, eu quero arrumar para festa.” Professora: “Agora é hora do desenho.” Criança: “Mas eu não quero. Quero ir lá na sala do mano fazer enfeite.” Professora: “Não, agora é hora do desenho.” Criança: “Não quero.” Professora: “Vai fazer e pronto, todo mundo tá fazendo, por que só você não?” (DIAS, Diário de campo, 2013) A criança ora em tela tinha, à época da observação, quatro anos de idade. Ela deixa claro na interação com a professora, que, naquele momento, em vez de desenhar, preferia estar com outro agrupamento de crianças, que na ocasião, estavam produzindo enfeites para festa junina da creche. Neste episódio, a professora atuou na condição de limitadora da ação infantil. Qual o propósito? Qual a finalidade educativa? Homogeneizar a produção das crianças? Utilizar o desenho infantil como atividade com fim nela mesma? Sim, porque o propósito da atividade era desenhar o que as crianças mais gostaram de uma história contada pela professora. Neste curto episódio, identifica-se uma ação docente de silenciamento, de tolhimento das iniciativas das crianças. O menino em nenhum momento estava infringido alguma regra institucional. Estava apenas propondo envolver-se em outra proposta, que naquele momento, parecia-lhe mais interessante, mais motivadora, mais desafiadora, e do ponto de vista do repertório cultural, mais atrativa. No entanto, como para boa parte dos adultos ainda é difícil respeitar a criança como parceira do cotidiano institucional, o adulto atuou na condição de controlador, disciplinador. De fato, a construção de instituições educativo pedagógicas para todos e todas, em uma perspectiva inclusive e democrática, demanda reflexão sistemática sobre as relações entre professores/adultos e crianças/crianças. Sonia Kramer, por exemplo, enfatiza que uma educação de qualidade para crianças de pouca idade deve visar à educação para a cidadania. Resultados Os registros produzidos foram analisados sob as categorias forma da rotina, conteúdo das interações, clima relacional. Para este texto selecionamos três episódios que retratam a forma da rotina, o conteúdo das interações e o clima relacional entre as crianças e os adultos. 781 Forma da rotina – rigidez A rotina é definida seguindo o fluxo do relógio e a necessidade temporal dos adultos. É constituída basicamente de rituais, os quais não são discutidos/negociados com as crianças, mas impostos, diariamente, do mesmo modo. É atribuída ênfase para alimentação, parque, higiene e repouso. O tempo restante é ocupado com atividades dirigidas pelas professoras. Conteúdo das interações – compartilhamento Embora a professora oriente-se pelo tempo do relógio, suas necessidades e rigidez dos rituais, as crianças criativamente, inventam e reinventam o cotidiano. Numa das observações de uma das instituições da região norte, no grupo de crianças de 5 anos, deparei-me com a seguinte situação: as crianças estavam no parque. O parque era ocupado diariamente a partir das 9h30min. Ficavam por lá, cerca 1h20min. Nesta instituição o parque é um espaço externo bastante arborizado e as crianças adoram explorar as árvores, embora os adultos não façam nenhuma investidura nas mesmas. Ou seja, não oferecem às crianças propostas desafiadoras, lúdicas, que possam ser experimentadas nas e entre as árvores. Neste dia, um grupo de 6 crianças, organizou-se para brincar numa goiabeira. A ideia das crianças consistia em brincar de “casa na árvore”. A professora, cada vez que passava por perto dizia: “não subam, não pode”. As crianças por sua vez, coletavam pelas caixas de brinquedos, potes, panos, bonecos e bonecas. Segundo elas, iam levar toda a família para descansar, já que tinham ido à feira e estavam muito cansadas. Tinham comprado muitas coisas e os potes estavam pesados. Abaixo um excerto do episódio registrado: Professora: Já disse que na goiabeira não vale! Anete: A gente não cai não profe. Professora: Nem tenta! Clarisse: Pode e pode. Nossa casa tá lá em cima. Professora: Se insistir, volta para a sala. Diante da “ameaça” da professora, Clarisse, Anete, Pedro, Giulia, Ricardo e Sofia, pegam vários panos que tinham em mãos. Pedem auxílio para o professor de educação física. Este os auxilia a construírem uma cabana aos pés da goiabeira. Quando fica pronta, Ricardo assim fala: “pronto! Agora nossa casa desceu. Isso é bom. Nossa casa quando o elevador funciona é lá em cima. Quando ele não tem força, fica aqui embaixo. Vem filhas, vamo guardar as coisas para preparar a comidinha. No episódio descrito acima, identificamos rica interação entre as crianças. Elas fizeram várias tentativas, todas tolhidas pela professora referência. Mesmo assim, não desistiram. Apenas reorganizaram, num sistema de compartilhamento, suas intenções. O conteúdo de suas brincadeiras não se perdeu. A ideia de ir à feira, voltar para casa, guardar as compras e preparar a comida se manteve. O que alterou foi o espaço, a forma de organização. As crianças permaneceram neste espaço brincante por mais de 30 minutos, o que reitera nossa ideia de bem estar e envolvimento. Conteúdo das interações – espírito coletivo Em outro dia, na instituição da região leste, a professora do grupo de crianças de quatro anos retomou uma atividade inerente ao projeto que vinham operando. O projeto versava sobre a água. O grupo estava estudando lugares do Planeta onde existem água. Na roda de conversa, neste 782 dia, a professora apresentou um vídeo (projetado no telão) que mostrava o interior de cavernas, onde encontrava-se água. Ariel, sentado ao lado de Marjorie, assim disse para ela: “parece um lago. No lago tem monstro, igual no desenho do cachorro” (ele referia-se ao personagem de desenho animado Scobydoo). Marjorie fez um movimento positivo com a cabeça. A professora, percebendo a interação assim pronunciou-se “psssssssssssssssssssss” (colocando o dedo indicador sobre os lábios, pedia silêncio). Ariel e Marjorie voltaram a olhar para o vídeo. Encerrado o vídeo, a professora disse às crianças que fariam um texto coletivo sobre o que tinham já aprendido sobre cavernas e água. Marjorie e Ariel continuaram sentados lado a lado. Não deram nenhuma ideia para o texto. Foram repreendidos pela professora. A professora disse que eles não tinham “espírito coletivo”. Os dois entreolharam-se e nada disseram. Terminado o texto, as crianças foram para o parque. Eram 9h18min. Por lá ficaram até as 10h48min. No parque, Ariel brincava com Filipe e Gustavo. Brincavam com escavadeiras, pás e baldes. Marjorie aproximou-se deles e disse: vamos contruir o lago? Filipe perguntou: “que lago”? Ariel de pronto respondeu: “já sei, o lago do monstro!” Marjorie disse: “simmmmm”. E eles passaram então a cava, cavar, cavar a areia. Quando já tinham um buraco considerável, Marjorie disse: “agora pega água”. Filipe e Ariel correram, pegaram baldes e foram para dentro da creche. Voltaram com os baldes cheios d’água. Começaram a encher o buraco. A expressão deles era de pura felicidade. Dentro em pouco a professora percebe a interação e chama a atenção das crianças: “Quem é que tá pegando água e trazendo para fora?” Mas vai já parar com isso!” As crianças explicam que estão construindo um lago. E que tem que ter o lago, se não o monstro vai invadir a casa delas. A professora diz: “quanta bobagem”. Agora é hora de parque. No parque não brinca com água. E pronto. Olha quanto brinquedo tem aqui. Por que têm que inventar de mexer com água? Ariel olha para os amigos e diz: “a Susan (professora) não deixa porque a gente não fez coletivo no texto. Mesmo com pouca água no lago, as crianças pegam um dinossauro de plástico que estava numa caixa de brinquedos. Colocam o dinossauro no buraco com água e gritam: “Vai monstro, vai monstro. Afunda no lago e não vem mais para nossa casa” Clima relacional Num dos episódios retratados numa das creches da capital catarinense, um grupo de crianças de 3 anos brinca num pequeno grupo auto organizado no canto bruxólico. O canto bruxólico é um canto temático construído pelas professoras para explorar a cultura local. As crianças gostam muito desse ambiente e reiteradamente se organizam para nele brincar. De todas as observações realizadas enquanto este espaço ficou estruturado, em nenhum momento vimos a professora apoiando, desafiando ou brincado junto com as crianças. Mesmo assim, percebíamos a riqueza cultural que as crianças impunham a essas interações. No episódio ora em tela, registramos a seguinte interação, que demonstra clima relacional positivo, de troca de ideias e pontos de vista entre crianças tão pequenas: Gabrielly: eu sou a buxa Isa: e eu? Gabrielly: tu é a fada. Eu sou a buxa. Eu vou dormir aqui (na creche). Isa: e eu? Gabrielly: tu e eles (Ney, Genildo e Elisa) vão pro mato. 783 As crianças então começam a interagir com potes e livros que estão na estante desse canto temático. Gabrielly pega o livro. Isa organiza os potes. Ney e Genildo botam chapéus na cabeça. Elisa vai botando bolinhas e pedrinhas nos potes. Gabrielly diz: “patas de morcego”. E joga pedrinhas dentro do pote. “Orelha de elefante”. E põe em outro pote. “Perna de aranha”. E joga no mesmo pote do morcego. Depois faz um movimento com a mão e os lábios e assopra na direção dos amigos. E diz: “hahhahahhha, pó de buxa. Agora vocês sumir e vão pro mato. E eu vou dormir aqui, hahhahahha”. Os amigos entram no enredo de Gabrielly, e saem correndo do canto bruxólico e escondem-se no banheiro da sala. Isa diz: “prontoooo! A gente já sumimo pro mato. Pode dumi Dona Buxa”. Discussão Na análise dos diferentes episódios aqui retratados, observou-se o potencial criativo, inventivo, brincante das crianças. Tal riqueza, nem sempre é potencializada pelo zelo e planejamento pedagógico que deveria ter por parte dos adultos. A relação adulto-criança nos contextos observados tem se revelado muito rígida, muito disciplinadora, e menos interativa, no sentido formativo do termo. Em relação ao conteúdo das interações, percebemos que o modo disciplinador por parte do adulto ainda é imperativo. Na estrutura da rotina, o professor privilegia e prioriza o tempo do relógio e os rituais. E deixa de potencializar o que tem de mais importante diante de si – as culturas infantil, os enredos brincantes das crianças. Embora os adultos zelem pelos cuidados e bem estar das crianças, sua atuação vai na direção contrária do que propõem as diretrizes curriculares nacionais para educação infantil, que toma justamente com eixos do trabalho pedagógico as interações e as brincadeiras. Assim, lamentavalmente, o adulto distancia-se das potencialidades e competências das crianças, e insiste em rotinas rígidas, em atividades estéreis, em materiais e espaços empobrecidos culturalmente. Além disso, por não atuar na condição de observador atento e interventor competente do ponto de vista pedagógico, o adulto perde oportunidades ótimas de brincar junto com as crianças, de se enveredas por sua imaginação, sua fantasia, desperdiçando o caldo cultural que emerge das brincadeiras infantis e suas descobertas cotidianas. Concluindo, constatamos que em cada uma das categorias abordadas, é possível identificar claramente indicadores que mostram pouca participação das crianças na estruturação das rotinas. Mas ao mesmo tempo, muita energia das crianças no que diz respeito à criação e transgressão da ótica e da ética adultocentrada. Por sua vez, o adulto, no cotidiano da creche, parece exercer pouco seu potencial inventivo/criativo, uma vez que insiste em práticas e rituais da rotina, desprovidos de emoção, de riqueza cultural e aprendizagem para as crianças. Torna-se essencial, em nosso ponto de vista, trabalhar em favor da participação infantil nas decisões que dizem respeito à estruturação das rotinas. Para isso, é fundamental redimensionar o conteúdo da formação de professores, tanto em nível inicial , quanto na modalidade continuada, de modo a colaborar com a redefinição da imagem de criança e função social das instituições de educação infantil na contemporaneidade. 784 Referências Barbosa, Maria Carmen Silveira (2006). Por Amor e por Força - Rotinas na Educação Infantil. PortoAlegre: Artmed, 240 p. Corsaro, William A. (2011). Sociologia da infância. Tradução de Lia Gabriele Regius Reis. São Paulo: Artmed, 384 p. Moss, Peter (2002). Reconceitualizando a infância: crianças, instituições e profissionais. In: Machado, Maria Lúcia de A. (Org.). Encontros e desencontros em educação infantil. São Paulo: Cortez. p. 235-248. Sarmento, M.J. As culturas da infância nas encruzilhadas da 2ª modernidade. In: Sarmento, M.J.; Cerisara, A.B. (Org.). Crianças e miúdos: perspectivas sócio-pedagógicas da infância e educação. Porto: Asa, p. 9-34. Sarmento, M. J. (2009). Sociologia da Infância: correntes e confluências. In: Sarmento, M.; Gouvea, M. C. S. (Org.) Estudos da Infância: educação e práticas sociais. Petrópolis: Vozes. 785 A AVALIAÇÃO EM EDUCAÇÃO INFANTIL A PARTIR DA AVALIAÇÃO DE CONTEXTO (ID 157) COUTINHO, Angela Scalabrin, Universidade Federal do Paraná (BR) Palavras-chave: Avaliação de contexto, Educação Infantil, Pesquisa colaborativa RESUMO A avaliação de contexto na educação infantil é o tema central deste simpósio, que tem por objetivo colocar em evidência e discutir uma experiência de pesquisa em rede desenvolvida em quatro cidades brasileiras, Curitiba, Florianópolis, Belo Horizonte e Rio de Janeiro, embora para as comunicações tenham sido selecionadas apenas duas, em articulação com uma abordagem de avaliação desenvolvida na Universidade de Pavia- Itália. Tal abordagem tem como escopo a participação democrática dos sujeitos envolvidos no processo educacional, com a finalidade de debate e definição do que seja a qualidade educativa. O processo de avaliação, desenvolvido por meio da pesquisa, utilizou duas escalas italianas - ISQUEN (Strumenti e Indicatori per Valutare il Nido) e AVSI (Auto Valutazione della Scuola dell’Infanzia) - e seguiu as orientações metodológicas da abordagem, contando ainda com a contribuição direta de duas de suas autoras, Anna Bondioli e Donatella Savio. Um dos objetivos da pesquisa era contribuir para a formulação e proposição de indicadores de avaliação de contexto na Educação Infantil comprometidos com o debate acadêmico e com a política nacional de Educação Infantil no Brasil, o que implicou um diálogo constate com a Coordenação Nacional da Educação Infantil - COEDI, instância vinculada à Secretaria da Educação Básica – SEB e ao Ministério da Educação – MEC. O confronto entre a abordagem elaborada a partir da experiência italiana, os contextos de educação infantil brasileiros e a definição de uma política nacional de avaliação da educação infantil, definiu contornos complexos, mas extremamente férteis sobre o debate sobre a avaliação. As três propostas que compõem o simpósio estão articuladas pela perspectiva de avaliação de contexto participativa. A primeira abordará o percurso da avaliação de contexto a partir da experiência desenvolvida por um grupo de pesquisadores da Universidade de Pavia – Itália, dando ênfase aos pressupostos teóricos, princípios e aos aspectos metodológicos desta abordagem. A segunda comunicação enfatizará as escolhas metodológicas da pesquisa desenvolvida em contextos brasileiros a partir da abordagem já apresentada na primeira comunicação. Para tal apresentação, tomará por base a experiência de investigação realizada em uma instituição pública municipal de educação infantil em Curitiba, apresentando os resultados a partir das falas das profissionais participantes do processo. A terceira e última tratará da experiência de pesquisa em uma instituição pública municipal de Florianópolis dando ênfase às fases do processo de pesquisa, assim como aos indicativos das profissionais participantes do estudo no que tange à utilização de instrumentos que promovem a auto avaliação e à potencialidade de uma metodologia que permite às profissionais se verem como protagonistas do processo. Os resultados provenientes dos campos de pesquisa, assim como a abordagem desenvolvida em Pavia, constituem o foco das apresentações deste simpósio, na perspectiva de adensar o debate sobre as articulações entre a avaliação e a aprendizagem no âmbito das políticas educativas. 786 COMUNICAÇÃO 1 – AVALIAÇÃO A PARTIR DE UMA EXPERIÊNCIA DE PESQUISA EM UMA INSTITUTIÇÃO PÚBLICA DE EDUCAÇÃO INFANTIL CURITIBA COUTINHO, Angela Scalabrin, Universidade Federal do Paraná (BR) MORO, Catarina, UFPR (BR) RESUMO A presente comunicação sobre avaliação de contexto em educação infantil, apresenta dados relativos à pesquisa desenvolvida em Curitiba. O objetivo foi analisar a potencialidade de dois instrumentos italianos ISQUEN (Strumenti e Indicatori per Valutare il Nido) e AVSI (Auto Valutazione della Scuola dell’Infanzia) e a metodologia de trabalho específica, de pesquisadoras da Università Degli Studi di Pavia. Para elas a qualidade educativa deve partir do contexto e dos sujeitos que a realizam. Becchi (2000) enfatiza um trabalho de negociação, ancorado no compartilhamento de critérios e objetivos, partindo da ideia de qualidade transativa. A avaliação de contexto requer um percurso metodológico que assegure seu princípio fundante: a participação. A rede de pesquisa foi formada por quatro grupos vinculados a distintas universidades e núcleos de pesquisa, todos deveriam seguir os mesmos princípios e procedimentos, tendo em vista o objetivo de analisar a pertinência do processo no contexto brasileiro. Essa demanda, deu origem a um material que foi fundamental para a organização de todo o processo e para a consolidação da rede: o “Manual de Pesquisa de Campo”. Definiram-se os critérios de seleção das instituições campo após muito debate sobre os diferentes contextos. A pesquisa de campo foi composta por seis fases, organizadas a partir da experiência desenvolvida pelo grupo de pesquisadoras de Pavia, adequadas às condições para a pesquisa multi-campos no Brasil. Em sequência à adesão dos docentes da instituição à pesquisa constituíram-se os grupos de trabalho - conjunto de pessoas que discute os instrumentos, observa a realidade e a avalia, composto pelos pesquisadores e assistente de pesquisa (pesquisadores externos) e pelos profissionais docentes (pesquisadores internos). O pesquisador externo tem um papel específico de formador/facilitador nas etapas de meta avaliação e de restituição dos dados, que é ajudar os participantes a reconstruir uma imagem compartilhada da realidade na qual atuam, que consista de prospectar o futuro pensando/tendo consciência sobre «porque se faz e como se faz» e «como se poderia fazer melhor». Muitas são as potencialidades do processo de avaliação de contexto, que propicia o empowerment dos profissionais e permite um debate rico e situado sobre a qualidade. Tal potencialidade é assegurada pela metodologia e pelo uso de instrumentos que permitem, a partir de uma dada ideia de qualidade, confrontar concepções, pontos de vista a partir de uma dada realidade. Nessa perspectiva, tanto o ISQUEN quanto o AVSI, tiveram um papel fundamental para que as profissionais olhassem para a realidade e a analisassem. Tomaremos por base o percurso vivido em Curitiba para apresentar e debater as potencialidades e desafios desta abordagem. Dentre as potencialidades destacamos o confronto de pontos de vista e o debate sobre a ideia de qualidade de cada profissional; a possibilidade de descentramento e tomada de consciência a partir da análise da realidade da qual fazem parte. Já no que tange os desafios, encontram-se o tempo para a organização de espaços de debate entre as profissionais, assim como o papel do facilitador/formador, que deve privilegiar a mediação e fazer emergir os diferentes pontos de vista. 787 COMUNICAÇÃO 2 – AVALIAÇÃO DE CONTEXTO EM UMA INSTITUIÇÃO PÚBLICA DE EDUCAÇÃO INFANTIL EM FLORIANÓPOLIS ABREU, Geysa Spitz Alcoforado de, UDESC (BR) DIAS, Julice, UDESC (BR) RESUMO Esta comunicação apresenta a trajetória da pesquisa de campo desenvolvida em Florianópolis – SC, ao longo do ano de 2014, em uma instituição de Educação Infantil pertencente à Rede Pública Municipal. Insere-se em uma pesquisa mais abrangente intitulada: “FORMAÇÃO DA REDE EM EDUCAÇÃO INFANTIL: AVALIAÇÃO DE CONTEXTO”, que promoveu o estudo simultâneo em quatro capitais brasileiras (Curitiba, Rio de Janeiro, Belo Horizonte e Florianópolis) com a finalidade de examinar a viabilidade do uso de dois instrumentos italianos de avaliação de contexto em determinadas realidades de Educação Infantil no Brasil. Os objetivos da pesquisa de campo foram: Utilizar os instrumentos italianos ISQUEN (Strumenti e Indicatori per Valutare il Nido) e AVSI (Auto Valutazione della Scuola dell’Infanzia) de avaliação de contexto, em turmas de creche e pré-escola, para observar sua pertinência e necessidade de adequações à utilização no contexto de instituições de Educação Infantil brasileiras; analisar as potencialidades de utilização dos instrumentos italianos de avaliação de contexto na Educação infantil a partir da experiência das quatro instituições; contribuir para a formulação e proposição de indicadores de avaliação de contexto na Educação Infantil comprometidos com o debate acadêmico e com a política nacional de Educação Infantil brasileira. Trata-se de uma pesquisa pautada em princípios básicos de participação, negociação e diálogo entre todos os envolvidos e se constituiu em um processo participativo de análise, no qual professoras da Universidade e professoras que trabalham diretamente com as crianças atuaram como pesquisadoras. A pesquisa de campo foi estruturada em seis fases: 1) plenária para a apresentação dos instrumentos e do processo de pesquisa, com entrega dos instrumentos impressos e das orientações aos professores, assim como do “Questionário de Meta-avaliação ISQUEN e do AVSI”; 2) recolha dos “Questionários de Meta-avaliação preenchidos por aqueles que aderiram à pesquisa; 3) realização de três encontros de discussão acerca de cada instrumento (ISQUEN – 0 a 3 anos – e AVSI – 3 a 6 anos); 4) período de observação das turmas, entrevistas e consulta à documentação. Ao longo de uma semana, cada profissional da instituição fez a observação e a pontuação de uma área do instrumento correspondente à sua turma; 5) dois encontros de restituição sobre a observação e pontuação da área escolhida; 6) plenária para balanço geral do processo com a participação do coletivo da instituição. A metodologia utilizada, ao mesmo tempo que foi um desafio para todos os envolvidos, foi mobilizadora de um debate entre os indivíduos comprometidos e atuantes na instituição. Foi um verdadeiro exercício de escuta na medida em que a análise dos instrumentos remetia a discussão sobre a qualidade. Tratava de uma qualidade não abstrata, mas referenciada nos itens e critérios apresentados pelos instrumentos e, por assim ser, resultou em reflexão e trocas de pontos de vista contextualizados. O trabalho de campo foi estruturado em seis fases, cujo detalhamento para a sua realização foi amplamente discutido e negociado com a participação de toda equipe de pesquisa das quatro universidades brasileiras que integraram este estudo, em diversas reuniões que ocorreram no Brasil e na Itália. Pode-se concluir 788 que o percurso da pesquisa, as reflexões e discussões que este suscitou sobre o contexto da Educação Infantil e suas especificidades foi de grande valia para o processo formativo de modo individual e para a instituição na condição de corpo profissional que se debruça sobre o alcance de um trabalho cada vez mais coletivo. Os encontros realizados para estudo dos instrumentos, os tempos de observação em cada grupo etário, as reuniões de trabalho para aprofundar a reflexão sobre a área escolhida e os processos de devolução da avaliação realizada evidenciaram não só a pertinência dos instrumentos para avaliação de contexto em espaços coletivos de Educação Infantil, como também suscitaram importantes reflexões acerca da política de Educação Infantil brasileira, tanto em âmbito local quanto nacional. Os sujeitos envolvidos na pesquisa manifestaram a necessidade cada vez mais premente do trabalho coletivo, de um elo mais efetivo entre universidade e instituições de Educação Infantil. O percurso da pesquisa realizada contribuiu sobremaneira, de acordo com a avaliação das profissionais, para essa proximidade, para troca de experiências formativas, bem como para discutir/estudar novas possibilidades de constituição do dia a dia educativo da creche e da pré-escola. Dentre as questões sinalizadas, surgiu como demanda a formação continuada em serviço, na própria unidade educativa, para além da formação já oferecida pela Rede Municipal de Florianópolis. Outra contribuição da metodologia foi a construção de profícuo diálogo das pesquisadoras com as professoras participantes da pesquisa. Trocas, entendimentos e também divergências, cumplicidade no trato com a questão ética do estudo. Os instrumentos se mostraram férteis para promover um diálogo produtivo, a troca e a partilha, que, em alguns momentos, foram permeados por tensões e pontos de vista divergentes. Assim, identificou-se não só a pertinência do instrumento para avaliar o contexto brasileiro, bem como da metodologia proposta pelas pesquisadoras italianas, pois, notadamente, identificou-se o valor formativo para a instituição de modo geral e para cada profissional em particular que o trabalho desenvolvido promoveu. Para as professoras, sobretudo, enxergar-se como protagonistas do processo foi bastante salutar, pois encontraram nos encontros de estudo e debate espaço-tempo para serem ouvidas e consideradas como possuidoras de saberes e experiências docentes. Este envolvimento e este protagonismo foram incorporados pelas profissionais e fez com que estas assumissem lugar de reciprocidade e responsabilidade com o trabalho realizado. Neste sentido, embora a unidade de análise fosse a pertinência dos instrumentos para avaliação de contexto na educação infantil brasileira, o processo desencadeado permitiu, com maturidade profissional e análise crítica, desenvolver o olhar de dentro para o cotidiano vivido. Dessa análise referenciada nos instrumentos identificou-se a necessidade de promover mais estudos focados na relação crechefamília e em torno da inovação pedagógica, ambas as questões reiteradas ao longo dos encontros. São temáticas recorrentes no âmbito da formação de professores e na prática pedagógica nas instituições, as quais requerem mais atenção da política nacional e local. 789 COMUNICAÇÃO 3 - UMA ABORDAGEM REFLEXIVA E DIALÓGICA SOBRE A AVALIAÇÃO DE CONTEXTOS EDUCATIVOS: A “PROMOÇÃO DO INTERNO” BONDIOLI, Anna, Università di Pavia (IT) SAVIO, Donatella, Università di Pavia (IT) RESUMO O presente trabalho representa uma incursão teórico-conceitual sobre os processos metodológicos de avaliação de contextos educativos, fruto dos longos anos de investigação realizada em estudos da Universidade de Pavia em contato direto com várias redes de educação em instituições de educação infantil italiana. Nesta perspectiva, é fundamental explicitar os pressupostos teóricos e os princípios que orientam esta perspectiva de avaliação reflexiva e dialógica – nomeada aqui “da promoção do interno”. A qualidade das instituições educativas para a infância é o centro de um amplo debate em nível internacional a partir dos anos 80 do século passado seja no âmbito acadêmico, seja no das políticas educativas. Junto a tal debate, e entrelaçado a ele, é adicionado uma nova questão da exigência de avaliar a qualidade dos contextos educativos para as crianças em idade pré-escolar em uma ótica seja de controle que de promoção das instituições. No que diz respeito à definição do que se deve entender por “qualidade”, quais são os seus indicadores significativos, a quem cabe delineá-los e promovê-los, seja em relação aos modos de conceber e praticar a avaliação, avançou-se em diversas propostas e realizou-se múltiplas experiências, não todas e não sempre fundamentadas em precisos quadros de referência e clareza dos objetivos, e, sobretudo, não todas inspiradas nos mesmos pressupostos. No curso de cerca de 30 anos um grupo de pesquisa da Universidade de Pavia elaborou uma abordagem peculiar, relativa à qualidade das instituições educativas para a infância, realizando experiências avaliativas e desenvolvendo instrumentos específicos de avaliação para as instituições de educação para a infância 0 a 6. Quanto aos seus pressupostos, a abordagem, chamada de “promoção do interno”, é inspirada na avaliação de quarta geração e na avaliação participada democrática, mas possui também traços peculiares no que diz respeito às finalidades específicas, a tipologia dos participantes, aos princípios de fundo, aos instrumentos e às metodologias adotadas no desenvolvimento do processo. A abordagem proposta se funda em alguns pressupostos dos quais derivam escolhas precisas de campo. Em relação à qualidade, lhe caracteriza a natureza negociada, participativa, “plurivocal” e contextual. A qualidade não é, de fato, determinada objetivamente. Depende dos pontos de vista. Possui uma natureza política. Tem a ver com os valores e as inspirações das pessoas que estão envolvidas em uma instituição, em um serviço, em uma realidade educativa particular. A qualidade para um pai não é a mesma coisa para um educador ou para a criança; para o dirigente ou para o gestor. Mas todos estes pontos de vista são levados em conta. Daí a ideia que a qualidade deve ser “negociada” envolvendo todos que estão implicados e “tem no coração” o bem-estar de uma instituição (stakeholders). É a negociação que permite alcançar consensualmente critérios e conteúdos da qualidade, processo que está na base da possibilidade de uma avaliação participada e de ações para melhorias compartilhadas e sinérgicas. A qualidade, então, não é uma adequação a um padrão estabelecido pelo outro e a priori, é determinada intersubjetivamente através de processos democráticos de negociação, envolvendo a todos para os 790 quais se constitui como um “arbítrio” (stakeholders). Em relação à avaliação, a abordagem aceita a definição mais creditada no âmbito da educational evaluation, segundo a qual a avaliação determina o valor de um certo objeto (evaluandum), requer uma recolha sistemática de informações, comporta a atribuição de um juízo sobre a base de critérios transparentes, tem uma finalidade pragmática, orientada à tomada de decisão, à ação futura, à inovação, mas adiciona elementos peculiares. Em primeiro lugar a natureza participativa da avaliação, isto é, o caráter democrático do processo mediante o qual mais sujeitos se confrontam e discutem os próprios juízos sobre a realidade educativa a qual pertencem, com base nos critérios definidos consensualmente. Em segundo lugar a especificidade da avaliação no sentido educativo, que requer que o foco de atenção – a evaluandum - seja o “contexto educativo” entendendo com este termo o conjunto complexo de recursos materiais, humanos e simbólicos que uma instituição ou uma agência organiza e coloca em jogo com o objetivo de produzir uma consequência formativa sobre os destinatários da ação educativa. Em terceiro lugar a natureza formativa. Avaliar implica uma reflexão sobre a prática: contextos, atitudes, usos, tradições de uma instituição para verificar o significado em relação aos propósitos e às intenções, uma reflexão que não acontece no abstrato, mas sempre com uma precisa referência à realidade dos fatos, aquilo que concretamente se faz e se realiza no interior das instituições. O caráter reflexivo e participado da avaliação a faz um instrumento de formação para quem participa, que sai enriquecido profissionalmente. A aquisição de consciência, a troca de saber, o confronto construtivo de pontos de vista, o hábito do acordo e o exame da realidade, a capacidade de cooperar, constituem outros tantos aspectos do “efeito formativo” que se pretende induzir por meio do processo avaliativo. Enfim o caráter transformativo. A avaliação é orientada à mudança de melhoria através da elaboração de projetos de inovação fundamentados e realizáveis. As finalidades democrática, formativa, transformativa atribuída à avaliação na abordagem delineada requerem, por ser adequadamente perseguidas e realizadas, a figura de um facilitador que promova todo o processo desenvolvendo funções de apoio da participação, do confronto, da reflexão, do empenho transformativo. Se trata de uma figura que não é chamada ela mesma a avaliar, mas que colabora com grupos de trabalho no desenvolvimento dos percursos avaliativos através de estratégias de “promoção do interno”, desenvolvendo funções maiêuticas e de apoio da reflexão. 791 APPRENTISSAGE ACCOMPAGNÈ ET ÉVALUATION… UN DUO EN ÉQUILIBRE INSTABLE? (ID 161) GREMION, Christophe, Institut fédéral des hautes études en formation professionnelle (IFFP) (CH) MAUBANT, Philippe, Université de Sherbrooke (CA) Mots-clés: Apprentissage accompagné, Évaluation-contrôle, Évaluation-développement RÉSUMÉ Dans de nombreuses formations à l’enseignement tout comme dans nombre de formations professionnelles, un accompagnement des personnes est proposé (très souvent imposé) pour apporter de la souplesse et de l’adaptabilité aux dispositifs de formation souvent trop linéaires, pour aider à construire des liens entre les “savoirs de la pratique, ceux sur la pratique et ceux [...] pour la pratique” (Maubant, 2007, p. 41), pour développer une pratique réflexive… Mais si l’accompagnement « suppose la reconnaissance de l’autonomie » de l’Autre (Jorro, 2012), les intentions des institutions poussent ce même Autre à contribuer plus ou moins volontairement « à la normalisation de son action » (Maulini & Vincent, 2014, p. 204). Ces deux formes d’étayage, accompagnement pour le premier et guidance pour le second sont contradictoires (Vial & CaparrosMencacci, 2007), sont en tension. De plus une autre tension se manifeste également dans les dispositifs d’accompagnement, au niveau cette fois non de cet étayage, mais de l’évaluation. Composante indispensable de tout dispositif de formation, elle impose à tout acteur de devoir conjuguer avec deux logiques elles aussi contradictoires : la logique de contrôle d’une part, fonction indispensable à tout institut de formations certifiantes, et « tout ce qui reste quand on ne fait pas du contrôle » d’autre part (Vial, 2010), fonction de l’évaluation primordiale pour le développement des compétences. Sur le terrain, accompagnateurs et accompagnés impliqués dans ces dispositifs doivent soit choisir une de ces deux logiques évaluatives, soit tenter de les articuler au mieux. Ces deux tensions – accompagner ou guider / contrôler ou développer – sont au centre de ce symposium qui s’inscrit dans l’axe 2 du présent colloque. En effet, l’enjeu de former des praticiens réflexifs pose de nouveaux problèmes, fait apparaître de nouvelles tensions. Ainsi, à travers les différentes contributions, nous aborderons l’une ou l’autre des questions suivantes: - L’accompagné cherche-t-il plutôt à réussir ou apprendre? (Perrenoud, 1998) - Se retrouve-t-il piégé dans une autoévaluation trop fortement socialisée ? (Saussez & Allal, 2007) - Dans ce qu’il donne à voir de sa pratique, est-il tenté de se montrer à travers une vitrine ou à travers un reflet? (Gremion, 2012) - Par l’évaluation et l’étayage adoptés dans le dispositif, quelle symétrie ou asymétrie s’installe dans la relation pédagogique? (Serres, 2012) - L’accompagnateur se sent-il plutôt dans le rôle de guide ou dans le rôle de « passeur », sorte de compagnon réflexif? (Donnay & Charlier, 2008) Les cinq communications proposées nous permettront de questionner la perception de symétrie ou d’asymétrie de la relation d’accompagnement, les tensions entre intentions et paroles des accompagnateurs, les effets des postures de formateur-accompagnateur-évaluateur sur les apprentissages des personnes en formation. 792 Références Donnay, J., & Charlier, E. (2008). Apprendre par l’analyse de pratiques : Initiation au compagnonage réflexif (2nd ed.). Namur: Presse Universitaire de Namur. Gremion, C. (2012). Développer la réflexion dans la formation des enseignants en utilisant un ePortfolio. Presented at the Colloque scientifique international portant sur les TIC en éducation : bilan, enjeux actuels et perspectives futures, Montréal. Jorro, A. (2012). Préface. L’accompagnement, comme processus singulier et comme paradigme. In E. Charlier & S. Biémar (Eds.), Accompagner. Un agir professionnel (pp. 5–7). Bruxelles: De Boeck. Maulini, O., & Vincent, V. (2014). Du travail réel aux pratiques souhaitées: rapport au savoir et rapport au devoir en formation des enseignants. In L. Paquay, P. Perrenoud, M. Altet, R. Etienne, & J. Desjardins (Eds.), Travail réel des enseignants et formation : Quelle référence au travail des enseignants dans les objectifs, les dispositifs et les pratiques ? Louvain-la-Neuve: De Boeck. Maubant, P. (2007). Sens et usages de l’analyse des pratiques d’enseignement: entre conseil et accompagnement réflexif des enseignants en formation. Les Dossiers Des Sciences de l’Education, (18), 39–48. Perrenoud, P. (1998). Réussir ou comprendre ? Les dilemmes classiques d’une démarche de projet. Genève: Faculté de psychologie et des sciences de l’éducation. Saussez, F., & Allal, L. (2007). Réfléchir sur sa pratique : le rôle de l’autoévaluation? Mesure et Évaluation En Éducation, 30(1), 97–124. Serres, M. (2012). Petite poucette. Paris: Le Pommier. Vial, M. (2010). Vocabulaire pour la direction des ressources humaines. Retrieved May 15, 2010, from http://www.michelvial.com/vocabulaire_RH/VocabulaireRH.html Vial, M., & Caparros-Mencacci, N. (2007). L’accompagnement professionnel ? Méthode à l’usage des praticiens exerçant une fonction éducative. Bruxelles: De Boeck. COMMUNICATION 1 – EQUILIBRES ET DÉSÉQUILIBRES DANS LES MEANDERS DE L’ÉVALUATION: LA VISÉE DES FORMATEURS ACCOMPAGNANT LES STAGIAIRES LORS DES ENTRETIENS FORMATIFS ET CERTIFICATIFS TOMINSKA, Edyta, Groupe de recherche TALES, FPSE, Université de Genève (CH) BALSLEV, Kristine, Groupe de recherche TALES, FPSE, Université de Genève (CH) DOBROWOLSKA, Dominika, Groupe de recherche TALES, FPSE, Université de Genève (CH) VITÉ, Anne Perréard, Groupe de recherche TALES, FPSE, Université de Genève (CH) VANHULLE, Sabine, Groupe de recherche TALES, FPSE, Université de Genève (CH) RÉSUMÉ Notre contribution s’intéresse à l’évaluation des enseignants en formation (EF) dans les entretiens tripartites de stage et le rôle qu’y jouent les formateurs : formateur du terrain ou tuteur 793 (T) et formateur universitaire ou superviseur (S). Nous nous questionnons sur les différences entre les entretiens de stage visant une évaluation formative et ceux visant une évaluation certificative. En effet, dans les formations à l’enseignement, les stages sont généralement évalués de manière formative et/ou certificative lors d’entretiens dyadiques ou triadiques. L’apport de ces entretiens, notamment ceux qui visent l’évaluation certificative, est controversé : certains considèrent que la dimension certificative empêche un développement professionnel parce qu’elle pousse EF à ne montrer que le meilleur de lui-même et à occulter ses faiblesses (« montrer la vitrine » chez Gremion, 2012). D’autres constatent que l’évaluation peut être un « levier de développement professionnel » à condition de ne pas concevoir l’évaluation comme un jugement ou un regard normatif (Jorro, 2005). Nous nous plaçons dans cette deuxième perspective. Depuis les années 1990, les interventions et les rôles des formateurs dans les dispositifs de formation constituent un sujet central d’un nombre croissant de travaux étudiant l’activité d’accompagnement qui s’intéressent notamment : aux différents rôles endossés par les formateurs (Hennissen & al., 2008); aux dilemmes qu’ils rencontrent : aider EF ou l’évaluer, transmettre les savoirs de la profession ou faire EF réfléchir sur la profession, aider EF à enseigner ou aider EF à apprendre comment enseigner (Chaliès & al., 2009); aux enjeux des entretiens de stage : épistémique – orientation vers la construction du savoir, relationnelle – orientation vers la relation entre EF et tuteur, pragmatique – orientation vers l’organisation de l’échange (Vinatier, 2012). De plus, lors des dialogues à deux ou à trois se manifestent des différences de statut (Jewett & Goldstein, 2008) et se négocient des rapports de force (Bullough, Robert & Draper, 2002). Nos données provenant d’une recherche FNS constituent des enregistrements audiovisuels d’entretiens de stage tripartites en formation des enseignants du primaire à Genève. Pendant leur dernière année, les EF effectuent trois stages en responsabilité. Lors de chaque stage, deux entretiens ont lieu, un formatif (ETF) et un certificatif (ETC). Le premier consiste en une discussion portant sur les objectifs spécifiques du stage et en un moment de régulation formative de la pratique du stagiaire. Le second se centre sur une analyse de la pratique menée par EF qui a pour tâche notamment de faire des liens avec les éléments théoriques issus de la formation. Pour cette contribution, nous présentons les données concernant 2 EF lors de leur dernier stage. Nous comparons les deux entretiens pour chaque EF afin de dégager les intentions et les objectifs des interventions des formateurs. Nous analysons les extraits sélectionnés (segments d’entretiens) d’après 4 catégories de la grille ADAP (Analyse des Discours d’Apprentissage Professionnel ; Vanhulle, 2013) : 1) interventions verbales des formateurs reflétant différentes stratégies d’accompagnement (questionner, demander de précision, réorienter, souligner, répéter, reformuler, donner l’exemple etc.) ; 2) contenus des discours ; 3) rôles des formateurs ; et 4) régulations effectuées. Le questionnement qui nous intéresse est le suivant : Quelles sont les différences entre un entretien formatif et certificatif au niveau des interventions verbales et des stratégies d’accompagnement des formateurs ? Comment se positionnent-ils face aux préoccupations des EF ? Les légitiment-ils, les investiguent-ils, les empêchent-ils de se déployer ? A quel moment de l’entretien interviennent-ils ? Quel est l’objet, autrement dit, sur quoi portent leurs interventions ? Finalement, quel effet régulateur ont ces interventions sur la pratique de l’EF ? Nos résultats indiquent que les formateurs interviennent différemment en fonction de type d’entretien et ils y prennent plusieurs rôles. Ceux-ci dépendent des situations rencontrées sur le terrain et celles relatées par les EF, des besoins de ces derniers, des préoccupations relevées et de la 794 compréhension des formateurs du rôle qu’ils jouent auprès des EF dans ce dispositif d’encadrement. Ainsi, ce qui se joue autour des interventions verbales des formateurs et leurs rôles dans les entretiens tripartites, au-delà de l’évaluation formative ou certificative elle-même, indique la présence d’une différenciation dans l’accompagnement des stagiaires, fortement dépendante des contextes et des situations rencontrées. Pour nous, cette variation renforce le besoin de formation des formateurs, qu’ils soient tuteurs ou superviseurs. Références Bullough J., Robert V., & Draper, R. J. (2004). Making Sense of a failed Triad. Mentors, university supervisors, and positioning theory. Journal of Teacher Education, 55(5), 407-420. Chaliès, S., Cartaut, S., Escalié, G., & Durand, M. (2009). L'utilité du tutorat pour de jeunes enseignants: la preuve par 20 ans d'expérience. Recherche et Formation, 61, 85-129. Gremion, C. (2012). Développer la réflexion dans la formation des enseignants en utilisant un ePortfolio. Presented at the Colloque scientifique international portant sur les TIC en éducation : bilan, enjeux actuels et perspectives futures, Montréal Hennissen, P., Crasborn, F., Brouwer, N., Korthagen, F. A. J., & Bergen, T. (2008). Mapping mentor teachers' roles in mentoring dialogues. Educational Research Review (3), 168-186. Jewett, P., & Goldstein, N. (2008). Catching sight of talk: Glimpses into discourse groups. Teaching and Teacher Education, 24(5), 1232-1243. Jorro, A. (2005). Les compétences évaluatives des formateurs d'enseignants. [Accédé le 30.05.2015, de https://hal.archives-ouvertes.fr/file/index/docid/112326/filename/Competences05.pdf] Vinatier, I. (2012). Réflexivité et développement professionnel. Toulouse: Octarès. Vanhulle, S. (2013). Dialoguer avec les discours des professionnels en devenir. IKASTARIA, 19, 3767. COMMUNICATION 2 - DU PROCESSUS DE RECONNAISSANCE À L’ÉVALUATION DE LA PRATIQUE PROFESSIONNELLE, LE CAS DE SÉMINAIRES D’ANALYSE DE L’ACTIVITÉ POUR UNE PRATIQUE PROFESSIONNELLE EN DEVELOPPEMENT FRISTALON, Isabelle, Institut fédéral des hautes en formation professionnelle (IFFP) (CH) RÉSUMÉ Dans cette communication, nous interrogeons la pratique d’accompagnement que nous menons dans le cadre de la formation pédagogique d’enseignants d’écoles professionnelles suisses. Notre accompagnement est orienté par une posture d’analyse de l’activité issue de l’ergonomie francophone (Leplat, 2002 ; Clot, 1999 ; Jobert, 2001 ; Leblanc et Sève, 2012). L’analyse de l’activité de l’enseignant en formation dans le cadre de cet accompagnement constitue une démarche transversale à l’ensemble de la formation. Dans quelle mesure est-elle compatible avec la pratique 795 évaluative et certificative d’un dispositif de formation ? Nous constatons chez les personnes en formation de nombreuses tensions entre un regard prescriptif porté et attendu, et une posture d’analyse souhaitée par les formateurs. Les postures d’accompagnateur, ami critique, certificateur mobilisées au fil de la formation se confrontent. Comment s’opère le détachement d’une posture évaluative dans la pratique de l’analyse de l’activité ? Notre réflexion sur la formation nous amène à considérer avec Jobert le formateur d’adultes comme « un agent de développement » (2013). Interroger notre pratique professionnelle de formation de formateurs permet de ne pas tomber dans un impensé pédagogique où les méthodes et les dispositifs ne sont plus envisagés comme construction sociale, et la pratique prend le risque de s’enfermer dans une logique d’objectifs (2015). Former à la pratique des enseignants s’inscrit dans la perspective d’un développement professionnel. Or il s’agit de former à une pratique professionnelle sans finaliser un développement de la personne (Bronckart, 2008). L’analyse de l’activité repose sur quatre considérations fondamentales : il existe un écart irréductible entre le travail prescrit et le travail réel (Leplat, 2002) ; le travail est une épreuve de soi au double sens d’éprouvé et de mise à l’épreuve (Schwartz, 2000) ; le travail est une activité située, dirigée et productrice d’identité. Le sujet est pris dans une dynamique de reconnaissance (Clot, 1999 ; Dejours, 1995 ; Jobert, 2002, 2013). Ainsi notre pratique de l’accompagnement de la pratique professionnelle et de la mise en projet de formation repose sur une mobilisation de l’expérience et la création d’espaces de subjectivation. Dans le cadre des séminaires, qui regroupent dans notre dispositif les personnes en formation suivies par un accompagnant, des séquences vidéos de différents types sont analysées : séquences professionnelles des participants travaillées avec l’accord des intéressés et commentées collectivement ; séquences filmées issues de plateformes de formation externes (néopass@ction, Ria et Leblanc, 2012). Le travail porte sur la description de l’activité et ses observables, l’identification de similitudes ou de différences entre les situations montrées et les situations vécues. L’enjeu est de permettre une identification, une reconnaissance de l’autre pour une reconnaissance de soi. Ce travail relève d’un processus de médiation formative (Bronckart, 2008). Il accorde une place fondamentale à la mise en langage par le formateur et la personne en formation. Le séminaire constitue un espace d’expérientialisation où la mobilisation de l’expérience peut se réaliser de manière discursive (Fristalon, 2012). Dans cet espace de confrontations multiples, s’élabore une sémiotisation de sa pratique par un double mouvement d’identification de récurrences (processus de typification, reconnaissance du genre professionnel) et de reconnaissance de singularité (stylisation). Nous constatons dans ce travail d’analyse de l’activité enseignante, un double mouvement de distanciation et de renormalisation (Schwartz, 2000). La distanciation est portée par une exigence méthodologique « d’abstention du jugement » qui permet d’identifier les caractéristiques des situations. La renormalisation quant à elle s’appuie sur le processus de reconnaissance et d’attribution de sens et de valeur à l’activité observée (Roger, Jorro et Maubant, 2014), le travail de mise en patrimoine (Schwartz, 2000). La formation de formateurs procède d’un travail de conscientisation et de développement. Elle permet de faire œuvre de soi (Lenoir, 2015) dans une démarche de reconnaissance de soi et de sa compétence (Dejours, 1995 ; Jobert, 2002, 2013). Elle s’inscrit à l’instar de l’évaluation dans un dialogue autour du souhaitable et dans un indépassable inachèvement du processus interprétatif (Jorro, 2007). Cette analyse de l’activité constitue une forme d’herméneutique de la pratique qui permet la création d’un espace de JE autant qu’un espace 796 de JEU d’expériences personnelles et constitutives de l’apprentissage du métier (Roger, Jorro et Maubant, 2014). Quel en est le ressort ? Il s’agit de créer un espace où puisse se réaliser la conflictualité entre savoirs quotidiens et savoirs savants ou scientifiques, afin d’en faire un objet de pensée (Jobert, 2013). Ainsi le but n’est plus de vérifier la conformité au système de norme, mais de s’interroger sur le rapport à la norme et à se positionner. Le rôle du formateur accompagnant n’est plus celui de l’ami critique qui dit des vérités, ni celui du vérificateur qui valide l’acquisition, mais bien celui du médiateur /passeur (Bronckart, 2008, Serres, 1992). Le travail de l’expérience nécessite la déstabilisation et s’inscrit dans un double mouvement de décentrement et de recentrement (Maillot, 2013). Il réhabilite l’étonnement parfois initié dans le vécu de la situation et le prolonge (Thievenaz, 2013). Le travail du formateur est bien alors d’accompagner la personne dans cet étonnement. Comment articuler dans le processus de formation ce travail sur l’étonnement et la sémiotisation de la pratique, la renormalisation de l’activité, avec le dispositif évaluatif certificatif ? Peut-on encore maintenir ces deux positions, en quelles temporalités ? Former ne consiste plus seulement à distinguer des temps, clarifier des postures ou des rôles, mais permettre ce travail de la conflictualité et de la reconnaissance. La démarche développementale peut-elle s’accommoder du travail de la norme ? L’activité industrieuse située et singulière, faite de subjectivité, de récurrence et d’éprouvé, de savoirs et d’empêchements, de délibérations, de valeur et de technicité peut-elle être évaluée ? L’évaluation ne porte-t-elle pas alors uniquement sur la compréhension d’une technicité et la capacité à interpréter sa réalisation et à la dépasser ? L’analyse de l’activité impose de maintenir en tension les postures du formateur : le détachement d’une posture évaluative par « l’abstention du jugement » comme exigence éthique et technique (Jobert, 2001), le travail de renormalisation pour construire. Références Bronckart, J.-P. (2008). Un retour nécessaire sur la question du développement. Dans J. Fijalkow et M. Brossard (Coord.) Vygotski et les recherches en éducation et en didactiques des disciplines (pp.237-250). Bordeaux : Presses Universitaires de Bordeaux. Bcuheton, D. (2009). L’agir enseignant : des gestes professionnels ajustés. Toulouse : Octarès. Clot, Y. (1999). La fonction psychologique du travail. Paris : PUF. Dejours, C. (1995). Le facteur humain. Paris : PUF, Que Sais-je ? Fristalon, I. (2012). Mobilisation de l’expérience dans des formations se référant à l’analyse du travail. Thèse de doctorat en sciences de l’éducation. Université de Genève. Jobert, G. (2014). Exister au travail. Les hommes du nucléaire. Toulouse : Erès. Jobert, G. (2013). Le formateur d’adultes : un agent de développement. Nouvelle revue de psychosociologique, 15, 31-44. Jobert, G. (2002). La professionnalisation entre compétence et reconnaissance sociale. In M. Altet, L. Paquay et P. Perrenoud (s/d). Formateurs d’enseignants. Quelle professionnalisation? (pp. 247-260). Bruxelles : De Boeck. Jobert, G. (2001). L’intelligence au travail. In P. Carré et P. Caspar (dir.). Traité des sciences et des techniques de la formation (pp. 347-363). Paris : Dunod. 797 Jorro, A. (2007). L’évaluation génératrice de développement professionnel ?. In Evaluation et développement professionnel (pp.. 11-31). Paris : L’Harmattan. Leblanc, S. et Sève, C. (2012). Vidéo-formation et construction de l’expérience professionnelle. Recherche et formation, 70, 47-60. Lenoir, H. (2015). Penser et agir pour l’éducation des adultes. Education permanente, n°203, pp. 17-24. Leplat, J. (2002). Psychologie de la formation. Jalons et perspectives. Choix de Textes 1955-2002. Toulouse : Octarès. Maillot, S. (2013). La transition professionnelle, « expérience de soi » face au changement. Education permanente, 197, 41-50. Ria, L. et Leblanc, S. (2012). Professionnalisation assistée par vidéo : les effets d’une navigation sur néopass@ction. Recherches et éducations. 99-114. Roger, L., Jorro, A., Maubant, P. (2014). De l’expérience formatrice à l’expérience apprenante: genèse et perspectives pour une mise en récit d’un processus de professionnalisation. Phronesis, 3, 28-37. Schwartz, Y. (2013). Conceptions de la formation professionnelle et double anticipation. Education permanente, 197, 11-27. Serres, M. (1992). Le tiers instruit. Paris : Gallimard. Schwartz, Y. (2000). Le paradigme ergologique ou un métier de Philosophe. Toulouse : Octarès. Thievenaz, J. (2013). Le rôle de l’étonnement dans la construction de l’expérience. Education permanente, 197, 113-123. Veyrunes, P. et Yvon, F. (2014). « Générique » et « typique ». Recherche et formation, 75, 111126. COMMUNICATION 3 – DES STAGIAIRES EN QUÊTE D’APPRENTISSAGES AU CONTACT DES FORMATEURS? PORTELANCE, Liliane, Université du Québec à Trois-Rivières (UQTR) (CA) CARON, Josianne, Université du Québec à Trois-Rivières (UQTR) (CA) RÉSUMÉ Dans un contexte de formation en alternance, le stagiaire en enseignement est accompagné par un enseignant associé et un superviseur universitaire, qui sont appelés à se prononcer sur le développement des compétences professionnelles du futur enseignant. À l’Université du Québec à Trois-Rivières, l’évaluation du développement des compétences en enseignement secondaire vise, notamment, l’identification et la prise de conscience par le stagiaire des forces et des lacunes qu’il manifeste. Elle a ainsi pour but de susciter chez lui un véritable engagement dans sa formation, la consolidation de ses forces et la capacité à pallier ses lacunes. En concordance avec cette orientation, l’appréciation globale de l’évaluateur comporte deux cotes, succès et échec, de sorte 798 que l’étudiant n’est pas incité à viser une note élevée, mais à se centrer sur ses apprentissages et son développement professionnel. Pour que le jugement des deux formateurs évaluateurs soit le plus utile possible à la progression du stagiaire, il est essentiel qu’ils exercent leurs rôles en étroite collaboration. Or, des obstacles entravent la voie de la collaboration, tels le manque de temps, les représentations floues des rôles respectifs, la méconnaissance de la culture professionnelle et institutionnelle de l’autre formateur, une hiérarchie apparente qui place le superviseur en position haute, des objectifs spécifiques de exhaustive, on peut ajouter que les objets d’évaluation des deux formateurs ne sont pas exactement les mêmes (Portelance, Martineau et Caron, 2014), et ce, malgré les attentes officielles. La collaboration entre deux formateurs appartenant à deux milieux de formation représente clairement un défi. De plus, elle impose à l’étudiant une acculturation à deux mondes (Laot et Orly, 2004). Alors qu’il est mis en contact à l’université avec des approches pédagogiques soutenues par des connaissances issues de la recherche récente en éducation, le futur enseignant se heurte parfois dans les écoles à des approches traditionnellement utilisées (Grossman, Smagorinsky et Valencia, 1999; Tremblay-Wragg, 2013). Les discours discordants peuvent alors devenir une source de tension cognitive (Wittorski, 2009) et entrainer un inconfort chez l’étudiant. Les messages des formateurs peuvent-ils avoir des effets sur l’investissement cognitif du stagiaire et sur la qualité de ses apprentissages? Kaufmann (1992) affirme la nécessité de l’harmonisation des discours des deux formateurs, universitaire et scolaire, particulièrement en ce qui concerne les attentes à l’égard du stagiaire. Les rencontres de rétroaction constituent une occasion pour le stagiaire de prendre connaissance du jugement évaluatif de l’enseignant associé et du superviseur universitaire. Elles représentent aussi le moment de mettre en mots ses actions et ses raisons d’agir et de situer sa progression dans le développement de ses compétences professionnelles. S’il se trouve dans une logique d’action (Perrenoud, 1998), le stagiaire vise la réussite, l’accueil positif de ses formateurs, la satisfaction des attentes de l’université. S’il se trouve dans une logique de formation (Perrenoud, 1998), il analyse sa pratique et cherche à expliciter ce qu’il a appris. Ses représentations de l’évaluation diffèrent selon la logique dans laquelle il s’inscrit. Il est possible qu’elles ne correspondent pas à la fonction officiellement accordée à l’évaluation, un outil du développement professionnel du futur enseignant (Gervais et Correa Molina, 2004). Ainsi considérée, l’évaluation met l’accent sur le processus de formation plutôt que sur le produit de la formation (Leat, 1993; Burchell, 1995). Dès lors, elle est partie prenante du processus de formation à l’enseignement, supposant une régulation continue des stratégies d’apprentissage du stagiaire. Une telle régulation nécessite le soutien des formateurs évaluateurs par des interventions appropriées, adaptées aux besoins détectés chez l’étudiant (Allal, 2007). Pour un développement professionnel satisfaisant du stagiaire, formateur et formé sont appelés à être proactifs, à exercer des rôles exigeants. Or, de nombreux étudiants de l’enseignement supérieur orientent principalement leurs efforts vers des buts de performance ou une simple réussite (Maunier, 2015). Les apprentissages en surface prennent alors le dessus sur les apprentissages en profondeur. Un stagiaire, par exemple, pourrait être porté à s’inscrire dans une logique d’action sans s’engager sur la voie d’une véritable formation. Dans l’intention de mieux comprendre la logique du stagiaire, nous avons tenté de répondre aux questions suivantes : vise-t-il avant tout à réussir son stage ou est-il en quête d’apprentissages sur l’enseignement? Cherche-t-il à mettre en mots ses actions pour exposer exclusivement ses bons 799 coups ou aborde-t-il, dans une analyse réflexive de sa pratique, les défis à relever pour assurer son développement professionnel? Nous avons mené une investigation auprès de stagiaires en enseignement secondaire et de leurs deux formateurs. La recherche, de nature qualitative interprétative, s’est déroulée en 2010-2011 dans le milieu naturel du stage. L’enregistrement sonore de conversations entre les trois acteurs de la triade, en l’absence du chercheur, a permis d’analyser différentes facettes du processus d’évaluation. Les résultats mettent en évidence que les stagiaires manifestent un souci d’apprendre, de progresser et de développer les compétences professionnelles. Les modalités d’évaluation pourraient expliquer ce résultat. Références Allal, L. (2007). Introduction. Régulations des apprentissages : orientations conceptuelles pour la recherche et la pratique en éducation Dans L. Allal et L. Mottier Lopez (Éd.), Régulation des apprentissages en situation scolaire et en formation (pp. 7-23). Bruxelles : De Boeck. Burchell, H. (1995). A useful role for competence statements in post-compulsory teacher education?, Assessment and evaluation in higher education, 20 (3), 251-259. Gervais et Correa Molina (2004). L'argumentation pratique comme accompagnement réflexif du stagiaire. Récupéré de http://www.inrp.fr/biennale/7biennale/Contrib/ Grossman, P. L., Smagorinsky, P. et Valencia, S. (1999). Appropriating tools for teaching English: a theoretical framework for research on learning to teach. American Journal of Education, 108(1), 129. Kauffman, D. (1992). Supervision of student teachers. ERIC Digest, ED344873. Récupéré le 13 juillet 2007 de http://www.ericdigests.org/1992-4/student.htm Laot, F. et Orly, P. (2004). Éducation et formation des adultes. Paris, France : Institut national de recherche pédagogique. Leat, David, J. K. (1993). Competence, teaching, thinking and feeling, Oxford Review of Education, 19(4), 499- 510. Maunier, S. (2015). L’évaluation formative en classe, dans les interactions entre enseignant et étudiants, selon une perspective ethnométhodologique. Mémoire de maitrise. Université du Québec à Trois-Rivières. Perrenoud, P. (1998). Réussir ou comprendre? Les dilemmes classiques d’une démarche de projet. http://www.unige.ch/fapse/SSE/teachers/perrenoud/php_main/php_1998/1998_39.html Portelance, L., Martineau, S. et Caron, J. (2014, mai). Tensions entre formation et évalution en contexte de stage. Points de vue des trois acteurs de la triade. Colloque « Évaluation, accompagnement et contrôle dans la formation pratique à l’enseignement », 82e congrès de l’ACFAS. Montréal, Québec. Tremblay-Wragg, E. (2013). Conception des étudiants en formation initiale des maîtres du rôle des formateurs universitaires dans leur utilisation d'approches pédagogiques diversifiées en stage. (Mémoire, Université du Québec à Montréal, Canada). 800 Wittorski, R. (2009). À propos de la professionnalisation. Récupéré dans l’archive ouverte HAL : https ://hal.archives-ouvertes.fr/hal-00601567. COMMUNICATION 4 – ACCOMPAGNER ET CONTRÔLER: ÉTUDE D’UN CAS PROBLÉMATIQUE GREMION, Christophe, Institut fédéral des hautes études en formation professionnelle (IFFP) (CH) RÉSUMÉ L’IFFP, dans sa filière diplômante de formation des enseignants dans les écoles professionnelles (DBP, 60 crédits ECTS), forme en cours d’emploi les enseignants des branches professionnelles. Les participants (ci-dessous étudiants) sont au bénéfice d’une formation professionnelle supérieure et d’une expérience en entreprise. En acceptant un poste d’enseignant comme emploi principal, ils se doivent légalement de suivre cette formation pédagogique et didactique au rythme de un jour par semaine pendant trois ans. La formation comporte 10 modules théoriques validés indépendamment les uns des autres, un module consacré à la recherche en éducation et validé par un travail de mémoire et, enfin, un module « accompagnement de la pratique » validé par une leçon d’épreuve et servant de terrain à cette recherche. Dans un premier temps, cette contribution présentera le dispositif d’accompagnement actuel. Celui-ci voit intervenir principalement 3 référents autour de l’étudiant soit : 1. L’accompagnateur : formateur de l’institution, il accompagne l’étudiant sur le terrain (leçons observées et entretiens réflexifs) et regroupe régulièrement les étudiants qu’il accompagne dans des ateliers transversaux (AT) qui sont le lieu d’analyses de pratiques principalement. Il sera de plus l’examinateur lors de la leçon d’épreuve qui valide la fin de la formation pratique. 2. Le mentor : collègue chevronné travaillant dans la même école professionnelle que l’étudiant, il est souvent perçu comme le parrain ou le grand frère. Il effectue également des visites (leçons observées), accueille l’étudiant dans ses cours (observation de sa propre pratique) et mène des activités formatrices hors du temps de classe (préparation de cours, de programme, d’évaluation…) 3. L’expert de l’examen pratique : autre formateur de l’institut ou enseignant chevronné mais pas collègue de l’étudiant, il n’intervient que lors de la leçon d’épreuve. Un des intérêts de cette recherche, qui s’inscrit dans l’axe trois du présent colloque (les rôles dans la formation), réside dans le double rôle que doit jouer l’accompagnateur dans ce dispositif, soit accompagner puis certifier (Gremion & Coen, 2014), double rôle qui crée deux tensions, comme le décrivent Vial et Caparros-Menacci (2007). La première, c’est le besoin ressenti par certains accompagnateurs de dissocier accompagnement de certification afin de ne pas piéger l’étudiant dans une autoévaluation par trop socialisée (Saussez & Allal, 2007), situation qui le conduit à montrer ce qu’il sait plutôt que de demander conseil (ou donner à voir) ce qui lui pose problème (Gremion, 2012). La deuxième, partant du principe que les deux rôles ne peuvent être dissociés, certains accompagnateurs ressentent le besoin de clarifier l’objet de certification : certifier le cheminement, certifier la posture réflexive ou certifier la 801 prestation le jour de la leçon d’épreuve ? Ou en d’autres termes s’intéresser au processus ou au produit? La deuxième partie de cette contribution présentera une analyse de cas récent dans notre institution. Un accompagnateur et un expert qui, en fin de leçon d’épreuve, signifient un échec à l’étudiant. Suite à cette évaluation, une prolongation de formation et d’accompagnement est décidée, mais la confiance entre l’accompagnateur et l’étudiant semble difficile à retrouver. Par des entretiens compréhensifs (Kaufmann, 2004) avec les quatre acteurs de cette situation, nous tenterons de comprendre de manière systémique (Crozier & Friedberg, 1977) ce qui se vit pour l’accompagné, pour l’accompagnateur, pour le mentor, pour l’examinateur dans cette situation conflictuelle. Cette discussion alimentera le premier axe du colloque (les acteurs de l’évaluation). Références Crozier, M., & Friedberg, E. (1977). L’acteur et le système : les contraintes de l’action collective. Paris: Edition du Seuil Gremion, C. (2012). Développer la réflexion dans la formation des enseignants en utilisant un ePortfolio. Presented at the Colloque scientifique international portant sur les TIC en éducation : bilan, enjeux actuels et perspectives futures, Montréal. Gremion, C., & Coen, P.-F. (2014). De l’influence du contrôle dans les dispositifs d’accompagnement. Presented at the Évaluation, accompagnement et contrôle dans la formation pratique à l’enseignement, Montréal: 82e du Congrès de l’Acfas. Kaufmann, J.-C. (2004). L’entretien compréhensif. Paris: Armand Colin. Saussez, F., & Allal, L. (2007). Réfléchir sur sa pratique : le rôle de l’autoévaluation? Mesure et Évaluation En Éducation, 30(1), 97–124. Vial, M., & Caparros-Mencacci, N. (2007). L’accompagnement professionnel ? Méthode à l’usage des praticiens exerçant une fonction éducative. Bruxelles: De Boeck. COMMUNICATION 5 – L(‘A)SYMÉTRIE DANS LA RELATION D’ACCOMPAGNEMENT Boucenna, Sephora, Université de Namur (BE) RÉSUMÉ L’accompagnement est un terme qui désigne un processus qui concerne des acteurs évoluant dans les sphères les plus variées et recouvre des réalités multiples (Paul, 2004, Vial et CaparrosMencacci, 2007 ; Boucenna, 2014). En effet, on parlera d’accompagner, par exemple, des chômeurs, des patients, des élèves, des chercheurs ou encore des enseignants. Les accompagnateurs, occuperont des postes de travailleur social, de médecin ou d’infirmière, d’enseignant, de technicien informatique, d’inspecteur ou de conseiller pédagogique. Ainsi il est difficile d’identifier ou de convoquer « la » démarche d’accompagnement comme une notion générique et facile à définir car cette dernière est tributaire du contexte et des enjeux propres à la situation particulière d’accompagnement. 802 Dans le secteur éducatif, l’accompagnement est conçu comme une démarche qui produit des effets formatifs, participant au « développement personnel et professionnel » des accompagnés (Charlier et Biémar, 2012, p. 154). L’accompagnement suppose dès lors une adhésion partenariale et engage un rapport de nécessité réciproque (Charlier et Biémar, 2012) entre l’accompagnateur et l’accompagné. Udave (2002) définit l’accompagnement comme un espace où l’accompagnateur doit renoncer à la tentation du pouvoir et à celle de la toute-puissance et Berger (2002) va affirmer le caractère partenarial de la relation d’accompagnement où se construit un rapport hiérarchique entre les partenaires dans lequel il n’y a pas de rapport d’égalité ou de soumission mais où celui qui est accompagné donne le rythme et la mélodie (Berger, 2002). La recherche présentée dans cette communication a mobilisé un protocole de recherche qui s’inscrit dans une approche par l’activité. En effet, trois séquences d’entretiens d’accompagnement ont été filmées, suivies de six entretiens d’autoconfrontation simple (Theureau, 1992) dont trois menés avec les accompagnés (une formatrice à l’entretien d’explicitation, un directeur et une étudiante) et trois menés avec les accompagnateurs (une formatrice/enseignante universitaire, un conseiller pédagogique, et une enseignante en master en haute école). L’objectif de ces entretiens visait à accéder à la partie non visible de l’activité des sujets, à savoir, leur activité de penser durant les entretiens. Nous avons volontairement invités les sujets à s’exprimer sur les mêmes épisodes de manière à confronter les vécus de l’accompagnateur et de l’accompagné dans ce qu’ils vivent et perçoivent de la nature de leur relation à l’autre. Le champ de l’éducation et des ressources humaines exprime clairement sa volonté d’extraire la notion d’accompagnement du marquage social caractérisant la formation en la caractérisant par la forme symétrique de la relation entre l’accompagnateur et l’accompagné. Le premier ne possède pas de statut qui lui confère « le savoir » et le rapport d’influence ou de pouvoir qui lui est corrélé. Dès lors, même s’il est question de « se mettre au service » de l’accompagné ou encore d’engager une relation partenariale, peut-on cependant affirmer que l’entretien d’accompagnement est une situation qui convie à un rapport symétrique entre les protagonistes ? Comment caractériser la symétrie ou l’asymétrie ? Est-ce le produit d’un statut exogène (ou social) ? Est-ce le produit des contenus de l’interaction ? Ou est-ce le produit des caractéristiques des personnes engagées dans l’entretien? Nous présenterons nos résultats de recherche en interrogeant la dimension symétrique ou asymétrique (De Paolis et Mugny, 1985 ; De Paolis et Girotto, 1988) de la situation vécue et d’en inférer la nature de la relation dans une approche subjective. Ce qui nous intéresse n’est pas tant d’étiqueter la relation mais de comprendre comment les sujets vivent l’entretien d’accompagnement dans lequel ils entrent en relation. L’accompagnement visant le développement professionnel (ou scolaire) de l’accompagné, comment sont perçues les relations entre les protagonistes par eux-mêmes et quels sont les effets perçus ou inférés à partir du discours de la nature de cette relation sur ce même développement ? Références Berger (2002) Le concept d’innovation dans le système éducatif, dans Accompagner les démarches innovantes, Pratiques innovantes, Montpellier. Boucenna S. (2014). Analyser les activités mentales de conseillers pédagogiques en situation d’entretien d’accompagnement individuel de direction. Louvain-la-Neuve : PUL. 803 Charlier E., Biémar S. (2012). Accompagner. Un agir professionnel, Bruxelles : De Boeck. De Paolis P. et Girotto V. (1988), Asymétries sociales et relations spatiales : expériences de marquage social, in A.-N. Perret-Clermont et M. Nicolet (éd.), Interagir et Connaître : Enjeux et Régulations sociales dans le Développement cognitif, Delval, 107-121. De Paolis P. et Mugny G. (1985), Régulations relationnelles et sociocognitives du conflit cognitif et marquage social, in G. Mugny (éd.), Psychologie sociale du Développement cognitif, p. 93-108, Berne : Peter Lang. Paul, M. (2004). L'accompagnement : une posture professionnelle spécifique. Paris : L'Harmattan. Theureau, J. (1992). Le cours d’action : analyse sémiologique. Essai d’une anthropologie cognitive située. Berne : Peter Lang. Udave J.-P. (2002), L’accompagnement est un humanisme, dans Accompagner les démarches innovantes, Pratiques innovantes, Montpellier. Vial M., Caparros-Mencacci N. (2007). L'accompagnement professionnel ? Méthode à l'usage des praticiens exerçant une fonction éducative. Bruxelles : De Boeck. Communication 6 - Discussion finale gérée par: MAUBANT, Philippe, Université de Sherbrooke (CA) 804 A FORMAÇÃO DE PROFESSORES: UMA AVALIAÇÃO SOBRE POLÍTICAS PÚBLICAS INSTITUÍDAS EM PORTUGAL E NO BRASIL (ID 174) MACHADO, Jane do Carmo, Universidade Católica de Petrópolis - Universidade Federal Fluminense (BR) Palavras-chave: Formação de Professores; Políticas de formação inicial e continuada; Avaliação de políticas públicas RESUMO Este simpósio integra três diferentes propostas de avaliação sobre políticas de formação de professores em níveis macro e micro, e, em particular, trata da avaliação de políticas públicas estabelecidas para a formação e valorização dos profissionais da educação, especialmente de professores, como também de competências necessárias a formadores, considerados os contextos brasileiro e português. As preocupações com as políticas de formação de professores estão presentes nas três propostas, a partir da especificidade de que cada uma possui, de acordo com o foco privilegiado. Destaca-se também a necessidade de se perceber a formação e a valorização de profissionais da educação a partir de uma dimensão que demanda políticas instituídas, para que diversas ações possam se tornar concretas, de modo a promover a melhoria da educação oferecida aos alunos e possibilitar o desenvolvimento profissional desses sujeitos. Assume-se que a formação implica pensar sobre a articulação formação e trabalho que exige desses profissionais não só conhecimentos próprios relacionados à sua atividade docente, mas também condições de trabalho que possam viabilizar suas ações no terreno da prática pedagógica. Tais abordagens, a políticas de formação inicial e continuada de professores e de valorização dos profissionais da educação, como de competências exigidas aos formadores, refletem modos de perceber e avaliar processos de formação distintos que podem contribuir para a reflexão crítica sobre os mesmos, com vistas a romper alguns paradigmas e a oportunizar novas aprendizagens nesse campo. A partir do exposto, tem-se na rede municipal de ensino de Petrópolis, RJ-Brasil, a proposta de formação continuada e em serviço de professores, prevista no Plano de Cargos, Carreiras e Salários (PCCS), realizada no próprio local de trabalho, sendo elaborada, desenvolvida no coletivo de professores e dinamizada pelo orientador pedagógico, que se mostra ainda em processo de reconhecimento e validação. Assim, trouxe à baila algumas questões relacionadas às fragilidades, desafios e potencialidades percebidas pelos sujeitos envolvidos nessa proposta de formação, que podem contribuir para a ampliação e aprofundamento do conhecimento sobre o potencial de propostas de formação desenvolvidas, elaboradas e implentadas na própria escola para a transformação e ressignificação de algumas práticas, sem que isso inviabilize a formação na universidade, mas se configure como mais uma possibilidade. Apontou também o potencial da formação continuada como condição sine qua non para que os professores possam melhorar a qualidade do processo de ensino-aprendizagem e de seu desenvolvimento profissional. Na proposta apresentada no Plano Estadual de Educação do Rio de Janeiro (PEE/RJ-Brasil), os resultados indicam a necessidade de se postular uma articulação de ações políticas que conduzam a uma valorização dos profissionais da educação para se alcançar a melhoria da educação pública, sendo preciso implementar um sistema estadual público de formação dos profissionais da educação, capaz de contemplar a formação inicial, condições de trabalho, salário e carreira e formação continuada, como condições de melhoria da qualidade da Educação 805 Básica. Além disso, identificam-se como políticas previstas no Plano, mas ainda não totalmente normatizadas, as seguintes abordagens: Formação continuada; Pós-graduação para todos os professores; Fórum permanente e políticas de valorização salarial; Plano de Carreira; Qualificação profissional; Formação dos gestores; Fórum permanente de discussão das condições de trabalho; Repasse e aplicação de recursos para a formação inicial e continuada; Formação dos gestores; entre outros temas que são destacados na Lei, mas que ainda não lograram efetividade nas políticas públicas, tornando realidade os ordenamentos jurídicos. No referente aos desafios que se colocam nos dias de hoje aos formadores para a utilização das ferramentas digitais no contexto da formação, de modo particular na formação em regime de eLearning, evidencia-se uma perspectiva na formação/ensino que contemple uma aprendizagem ao longo da vida em qualquer lugar e a qualquer hora, permitindo a atualização da formação sem grandes custos. Desse modo, a relação que existe entre a tecnologia e a pedagogia mudou os paradigmas das teorias educativas, o que exige do formador uma atualização permanente e exige também uma alteração dos recursos a utilizar para adaptar a pedagogia às tecnologias educativas atuais utilizando as tecnologias digitais. A oferta dessa formação em Portugal em nível do eLearning passou a ser uma realidade, que demanda serem atendidos critérios de qualidade, para que possa vir a ter efeito na aprendizagem dos indivíduos que privilegiam essa modalidade de formação. Palavras-chave: Formação de Professores; Políticas de formação inicial e continuada; Avaliação de políticas públicas COMUNICAÇÃO 1 - A FORMAÇÃO CONTINUADA NAS ESCOLAS BRASILEIRAS: UMA POLÍTICA PÚBLICA EM PROCESSO DE RECONHECIMENTO E CONSOLIDAÇÃO NA CIDADE DE PETRÓPOLIS, RJ – BRASIL MACHADO, Jane do Carmo, Universidade Católica de Petrópolis, Universidade Federal Fluminense - RJ (BR) RESUMO: O presente estudo apresenta a avaliação sobre a experiência de formação continuada e em serviço de professores da Educação Básica na rede municipal de Ensino de Petrópolis, RJ – Brasil que foi objeto da pesquisa de Tese de doutorado em Educação (2015) intitulada “Ateliês de formação continuada e em serviço de professores: desafios e possibilidades”, vinculada ao Programa de Pósgraduação em Educação da Universidade Federal Fluminense, Niterói, RJ, Brasil, com realização de Doutorado Sanduíche na Universidade de Aveiro, Portugal (2013-2014). A pesquisa desenvolvida é de natureza qualitativa e o tratamento dos dados ancora-se nos pressupostos teóricos da Análise de Conteúdo (Bardin, 2013), segundo uma perspectiva interpretativa das alocuções dos professores e das orientadoras pedagógicas que participam dos denominados Ateliês de formação (Machado, 2012; 2015). A recolha de dados é decorrente de questionários, com perguntas fechadas e abertas, de observação participante e de entrevistas semiestruturadas individuais. Utilizou-se o apoio do software WebQDA (versão 2.0.0) na organização, agrupamento e codificação dos dados, o que permitiu um trânsito mais dinâmico do pesquisador sobre os dados. Os resultados levam a inferir que os participantes desses Ateliês de formação reconhecem e validam a escola como um dos 806 principais locus de formação continuada, assim como atribuem ao orientador pedagógico o papel de líder, mediador e coordenador desse processo de formação. A partilha de experiências entre os professores é apontada como um caminho de reflexão sobre a prática pedagógica e de melhoria do processo de ensino-aprendizagem. Indicam os diversos desafios que atravessam essa formação como as condições de trabalho dos professores, especialmente no que tange à distribuição da carga horária e às atribuições próprias da prática pedagógica; como também apresentam as potencialidades dessa perspectiva coletiva de formação para o desenvolvimento profissional dos professores. Introdução A formação continuada de professores apresenta-se como expressivo desafio de um lado por exigir uma redefinição das condições de trabalho dos professores, e por outro como valioso potencial, especialmente, quando articulada às demandas cotidianas desse trabalho docente, tornase capaz de promover a transformação das práticas instituídas e apontar caminhos que possibilitam a melhoria do processo de ensino-aprendizagem. Para além do prescrito nos documentos oficiais que sustentam e validam políticas e ações de formação continuada, aponta-se que propostas de formação somente ganham sentido quando os professores conseguem estabelecer pontes com sua própria prática pedagógica (Imbernón, 2009). No Brasil, é notório os avanços conquistados, principalmente a partir da LDBEN n. 9.394/96, em relação à discussão, elaboração e implementação de políticas que possam responder às demandas de formação implicadas na atividade docente com vistas ao enriquecimento do processo de ensinoaprendizagem em uma perspectiva de melhoria da educação básica na esfera pública. Nessa linha, quando se traz a experiência de formação continuada e em serviço de professores levada a cabo na rede municipal de ensino de Petrópolis, RJ, Brasil, busca-se apontar que essa iniciativa não está somente atendendo às prerrogativas legais, mas, de outro modo, tenta criar condições concretas para que os professores e as orientadoras pedagógicas dessa rede de ensino possam, a partir de suas próprias experiências, saberes e conhecimentos, ter a oportunidade de construir novos conhecimentos capazes de dialogar com o seu próprio trabalho. Historicamente, os professores, no desenvolvimento de sua prática pedagógica, têm recebido muitas orientações pedagógicas, prescrições didáticas, externas, prontas, elaboradas por outros sujeitos, considerados experts, sobre as quais não conseguem, muitas vezes, proceder com intervenção alguma, e isso os torna, de certo modo, sujeitos passivos, apenas executores em seu próprio trabalho docente. Assim, considerando essa como uma realidade que é ainda de muitos professores brasileiros, torna-se relevante apresentar tal proposta de formação continuada como sendo um dos caminhos apontados pelos próprios professores e orientadoras pedagógicas que viabiliza uma imersão no próprio trabalho docente por eles desenvolvido, tendo esse mesmo trabalho como conteúdo de formação, no sentido de ressignificar e transformar essa prática por eles instituída. Importa trazer tal proposta de formação para o centro da discussão sobre políticas de formação de professores em esferas micro e macro por essa ser desenvolvida na própria escola onde os professores e as orientadoras pedagógicas atuam e também por ser pensada, elaborada e implementada por eles mesmos, o que, em certa medida, faz surgir algumas fragilidades e desafios, talvez até relacionados à própria configuração da proposta que ainda se encontra em processo de 807 construção. Algumas dessas fragilidades são devidas, principalmente, ao fato de as escolas sofrerem constantes mudanças no quadro de professores, o que dificulta, muitas vezes, a participação efetiva por parte dos professores de modo a garantir um certo protagonismo; às condições organizacionais e estruturais das próprias escolas; e às condições de trabalho desses profissionais no que diz respeito à carga horária distribuída, em muitos casos, por mais de 3 unidades escolares, especialmente os professores que atuam no segundo segmento do ensino fundamental. As condições de trabalho dos professores acaba por dificultar e, às vezes, até impedir a socialização e o aprofundamento coletivo das experiências de trabalho e de formação desses sujeitos que poderiam usar esses momentos para demontrarem e garantirem seu protagonismo nesse processo de formação continuada e coletiva. Se por um lado a referida proposta de formação apresenta fragilidades, por outro, apresenta potenciais, especialmente quando os envolvidos que participam dessa formação percebem seu valioso sentido para a articulação trabalho-formação, quando a troca de experiências agrega valor à própria prática viabilizando redimensioná-la e torná-la mais significativa. Sustentam que essa partilha do vivido ajuda a concretizar e significar a reflexão sobre o próprio trabalho, muitas vezes, promovendo novas aprendizagens e tomadas de posição. Placco e Sarmento (2010), Alarcão (1998; 2001; 2010a), Nóvoa (1997; 2006; 2009), Imbernón (2009; 2010; 2011) dentre outros autores consideram que a escola, local de trabalho dos professores, é também seu valioso espaço de formação continuada. Tal atribuição não desmerece ou reduz o papel da universidade como instituição privilegiada de formação, especialmente inicial, mas, pelo contrário, amplia sua responsabilidade no sentido de buscar um diálogo mais próximo e significativo com a escola, contribuindo na potencialização dessa formação. Nessa mesma perspectiva está o papel das Secretarias de Educação na promoção de cursos de formação continuada para o professorado, especialmente sobre o que se refere aos novos conteúdos que os professores precisam aprender, a partir de parcerias com os professores no sentido de criar políticas e instituir ações que viabilizem a realização da formação continuada na escola segundo a demanda e escolha feita pelos próprios professores. Assim, este estudo objetiva apresentar uma experiência de formação continuada de professores na rede municipal de ensino de Petrópolis, RJ, Brasil, que apesar de se encontrar ainda em processo de validação, reconhecimento e garantia, tem criado meios para que os professores e as orientadores pedagógicas tenham a possibilidade de ampliar seu campo de visão, de entrar em estreita intimidade com a sua docência e a dos pares, a fim de buscarem outros caminhos para o exercício pleno de sua docência de modo a enriquecer seus próprios repertórios e melhorar sua atividade mesmo que esse impacto não possa ser dimensionado e avaliado de imediato. Simples mudança do locus privilegiado de formação ou possibilidade de outros caminhos? 37 A formação continuada e em serviço de professores , realizada na própria escola, apresenta-se como caminho capaz de propiciar oportunidades coletivas de reflexão sobre o próprio trabalho. Tal perspectiva de formação quando pensada, planejada e implentada com e para os professores pode contribuir para que, tanto coletiva como individualmente, identifiquem não só necessidades de 37 Optamos por utilizar o conectivo e por considerar que reforça a ideia de a formação ser realizada no próprio local de trabalho. 808 aprofundamento teórico, mas também, a partir de experiências de trabalho e formação partilhadas, possam embasar e fortalecer sua ação pedagógica, potencializando-a. A sala de aula constitui-se como locus onde eclodem-se inúmeras questões de ordem subjetiva e objetiva, exigindo dos professores respostas que nem sempre se sentem preparados para respondêlas. No caso brasileiro, com o processo de universalização do ensino, os professores que atuam na educação básica, especialmente, deparam-se cotidianamente com demandas diversas que precisam ser consideradas em sua atividade docente, muitas vezes, em curtos espaços de tempo, o que poderia ir na contramão de uma formação realizada na universidade devido às características dessa formação. Assim, reafirma-se que a formação que acontece na escola pode significar muito mais que uma simples mudança de lugar da formação (Imbernón,2009). Pode agregar um outro valor ao trabalho docente ao reunir o coletivo de professores para tomarem juntos decisões, aprofundarem questões teóricas, partilharem experiências, saberes e inquietações, o que pode significar, para muitos, um outro modo de perceber o próprio trabalho e de promover o seu desenvolvimento profissional dependendo do modo como participam e validam essa formação. Segundo Machado (2011; 2015), os momentos dedicados à formação continuada no próprio ambiente de trabalho podem ser denominados Ateliês de formação continuada e em serviço de professores por se caracterizarem a partir de oficinas temáticas, estudo, socialização de experiências de formação e de trabalho, de estratégias e de ações para que os professores desenvolvam práticas formativas no intuito de consolidar não só a sua autoformação, como também a formação de seus pares. Nesses ateliês, os professores podem potencializar um fazer voltado à pesquisa, criando oportunidades de estudo e pesquisa tanto individual, como coletiva. Nessa linha, a partir de espaços consagrados como ateliês, cada professor, dependendo das condições inerentes à própria participação, tem a possibilidade de agregar valor a si e aos outros, segundo um movimento que faz transitar o conhecimento e as experiências vividas de um lado para outro com vistas a construção de sentidos para o trabalho e a formação ao mesmo tempo. Sendo assim, a opção pela formação no próprio local de trabalho tem implicações de ordem organizacional e requer mudanças conceituais e paradigmáticas por parte dos professores em relação aos seus processos de trabalho e formação. Inscrever-se nessa nova dinâmica de formação vai exigir dos professores a retomada de suas experiências por meio da memória literal ou exemplar (Todorov, 2011a; 2011b). Para Todorov (2011a; 2011b), existem dois modos de rememoração, um por meio da memória literal que faz uma representação do passado de forma estática, tal como o fato ocorreu; enquanto o outro acontece por intermédio da memória exemplar que possibilita uma inserção no passado de modo a buscar na leitura desse passado algum aprendizado, alguma pista para o presente. O autor não indica ficar preso às rememorações do passado sem que se possa retirar algo que contribua para o viver de um indivíduo ou de um grupo. Na sua perspectiva, essas rememorações devem ser usadas para poder viver melhor o presente, independentemente se esse resgate for de algum acontecimento trágico, negativo ou positivo. Nesse sentido, se nos ateliês de formação, os professores tomarem a memória como exemplar terão a oportunidade de pensar e viver o presente com os pés fincados no passado de modo a poderem explorar todas as possibilidades de se aprender a partir do que um dia foi vivido. 809 Assume-se que essa formação centrada na escola, tendo o trabalho como principal conteúdo, pode fazer com que os sujeitos coloquem as cartas sobre a mesa, ou seja, possam integrar em seus discursos e ações as aprendizagens advindas das experiências vividas no próprio chão da escola, no terreno de sua ação pedagógica, aprofundando-as e ressignificando-as a partir de outros aportes teóricos e práticos, de modo a vislumbrarem desenvolvimento profissional, melhores condições de trabalho e de formação continuada, com foco em processos de ensino e de aprendizagem mais significativos, considerando as principais questões que fazem parte desses processos. Na atual conjuntura, considerando as múltiplas representações sociais em relação à docência, que evidenciam aspectos positivos e negativos no que diz respeito às condições de trabalho, de formação inicial e continuada, ao desenvolvimento profissional dos professores, às políticas públicas instituídas, no Brasil, especialmente depois da LDBEN n. 9.394/ 1996, a formação e o trabalho docentes acabaram por ser atravessados por mudanças que demandam um outro modo de pensar e atuar na docência. Essa experiência de formação continuada vivida por professores e orientadoras pedagógicas que atuam na educação básica abre espaço para se articular trabalho e formação, viabilizando outras possibilidades para a superação dos principais desafios e para o aproveitamento das potencialidades de uma proposta dessa envergadura. Da metodologia, da recolha e da análise dos dados: percepções e aprendizagens possíveis sobre os ateliês de formação continuada e em serviço de professores A metodologia adotada neste estudo pretendeu contribuir para o alargamento das discussões, reflexões e estudos em relação ao tema da formação continuada de professores. Privilegiou-se uma pesquisa de natureza qualitativa, orientada por pressupostos teóricos da análise de conteúdo (Bardin, 2013), com construção de categorias, organizadas com apoio do software WebQDA que, reagrupados, contribuíram para a compreensão da situação estudada e a elaboração de algumas inferências, feitas com rigor e objetividade. O contato direto do pesquisador com a situação estudada surgiu como principal facilitador da recolha de dados descritivos, em que se preserva a preocupação em construir um retrato da realidade a partir da perspectiva dos participantes (Bogdan & Biklen, 2010). Para a recolha dos dados, foram utilizados questionários, observação participante e entrevistas com o objetivo de estabelecer uma aproximação mais expressiva com o objeto de pesquisa, especialmente no que tange a perceber como os sujeitos, professores e orientadoras pedagógicas, construíram suas percepções sobre o processo de formação vivido nas escolas de educação básica onde atuam. Dos questionários: Foram distribuídos um total de 204 questionários, dos quais 153 eram destinados a professores e 51 a orientadores pedagógicos em 51 escolas. Desse quantitativo, foram respondidos 71 questionários pelos professores e 37 pelas orientadoras pedagógicas, perfazendo um total de 108, no segundo semestre de 2012, de 31 escolas da rede municipal de ensino de Petrópolis, RJ. O objetivo foi compreender como se organizava tal proposta de formação continuada e em serviço de professores e qual a perspectiva desses professores e orientadores pedagógicos sobre essa formação que acontece na própria escola. 810 Da observação participante: A observação participante dos chamados por Machado (2011; 2015) ateliês de formação transcorreu de julho de 2011 a novembro de 2012 em duas escolas dessa mesma rede de ensino, objetivou-se observar e compreender a percepção dos professores e orientadoras pedagógicas em relação ao processo de formação por eles vivido a partir do modo como participavam desses encontros instituídos a partir de uma dinâmica pensada e construída pelas próprias escolas e sujeitos envolvidos. A participação dos sujeitos de modo mais ou menos ativo estava relacionada ao tema de formação e ao grupo participante, já que, devido às condições de trabalho, especialmente pela carga horária distribuída em outras escolas, o grupo alterava-se. Tal contastação apesar de fragilizar o aprofundamento de algumas questões, não impedia a busca por uma articulação do tema tratado com a prática pedagógica por eles desenvolvida. O papel das orientadoras pedagógicas na dinamização desses momentos revelou-se essencial, pois além de responsáveis pela organização dos encontros – sensibilização dos sujeitos, planejamento e preparação do material de apoio, condução dos ateliês, essas profissionais também, segundo elas próprias e os professores, ajudavam os professores a tornar o trabalho docente conteúdo de formação, promovendo idas e vindas da prática para a formação e da formação para a prática. Assim, durante os ateliês, foi possível verificar que as discussões ganhavam mais significado quando conseguiam estabelecer um diálogo concreto com a sala de aula, quando os referenciais teóricos faziam emergir respostas, inquietações e outros saberes sobre o próprio trabalho. Pelas alocuções, os professores revelavam a necessidade de estar junto com os pares, de ter oportunidade de aprender com a experiência do outro à medida que acabava ao escutar o relato do outro professor por rever e ressignificar sua própria prática. A dinâmica dos ateliês, por vezes, tornava esses momentos pontuais, não estabelecendo relação de um encontro com o outro, o que tentava ser amenizado pelas orientadoras pedagógicas que sempre retomavam a temática do encontro anterior e tentavam estabelecer uma ponte com a atual. Para que esses momentos de formação se fortaleçam e atribuam sentido à articulação trabalhoformação, é preciso garantir a participação concreta dos professores. Das entrevistas: Foram realizadas 19 entrevistas semiestruturadas, 10 com orientadores pedagógicos e 09 com professores, no segundo semestre de 2013. Nessa etapa, buscou-se uma aproximação mais focada na perspectiva individual dos sujeitos sobre a experiência de formação por eles vivida. Nas entrevistas, foram incluídas mais 3 (três) escolas, totalizando um quantitativo de 34 (trinta e quatro) escolas. O que dizem os dados: dos desafios aos potenciais De um modo geral, os professores quase sempre receberam prescrições externas para a realização de sua atividade docente, não acreditando poderem interferir diretamente no planejamento de seu trabalho, o que acabou por fragilizar o peso atribuído à sua voz quando das 811 decisões tomadas em relação à sua prática pedagógica, à sua profissão, por isso, muitos, mantiveram-se e, ainda, mantem-se calados, optando por assumirem uma posição de executores passivos. O alargamento dos espaços de discussão sobre a profissão, a formação, as condições de trabalho, pode apontar e potencializar algumas ações para que os professores não só passem a acreditar no potencial de suas vozes, mas também, e especialmente, no potencial de suas experiências, de seus saberes, de seus apontamentos, de suas escolhas e de suas intervenções para o trabalho cotidiano e para seu desenvolvimento profissional. A partir dos dados, foi possível constatar que os professores e orientadoras pedagógicas participantes dos ateliês de formação buscavam apresentar em suas alocuções, para além dos desafios e fragilidades vividas, outras possibilidades de desenvolvimento de sua atividade docente, apontando, inclusive, que a partilha de experiências promove a reflexão sobre práticas passadas e o enriquecimento de práticas futuras. Assim, pode-se inferir que os ateliês quando assumidos pelos participantes como espaços de integração trabalho e formação, onde, individual e coletivamente, pudessem valorizar a sua própria palavra e a dos pares, pois, a palavra tem força ideológica e ajuda a sedimentar transformações, contribuíram para um ressignificar da atividade docente por esses profissionais desenvolvida. Muitos desses profissionais aproximaram-se da perspectiva defendida por Machado (2012) em que como profissionais responsáveis por todas as etapas de sua docência devem rechaçar o discurso da passividade, que os coloca como meros receptores de outros discursos, sem que tenham a oportunidade de imprimirem uma ação responsiva responsável sobre os processos de trabalho e de formação no qual estão implicados. Nesse sentido, a mesma autora chama a atenção para a necessidade de os professores incorporem um discurso problematizador-ativo, a partir do qual se busque implementar um processo discursivo que evolui em seu pensar e agir, tendo como ponto de partida suas ações concretas, de um mundo escolar concreto, com alunos concretos, com políticas públicas concretas. Durante os momentos de observação participante nos ateliês de formação, alguns professores usavam um discurso problematizador-ativo, em que a prática pedagógica cotidiana era problematizada, colocando os professores em posição de protagonistas. Mesmo que tal prática não tenha se confirmado em todos os encontros, o discurso problematizador-ativo esteve presente na fala de muitos professores, sendo possível inferir que esses profissionais estão conseguindo ampliar seu campo conceitual, quando usam o próprio trabalho como conteúdo de formação continuada, não de modo isolado em suas próprias salas de aula, mas coletivamente, em diálogo com seus pares. Essa dinâmica de formação que cria espaços para que os professores possam falar sobre seu trabalho docente, levantar questões, apontar caminhos, contribui para que se percebam como intelectuais transformadores (Giroux, 1997) que precisam assumir-se não como receptores de prescrições feitas por outros sujeitos externos à sua atividade, mas como sujeitos que participam de todas as etapas implicadas nessa atividade. Usar a própria palavra, tornando-a reconhecida pelos pares, apresentou-se como um desafio que os professores e orientadoras pedagógicas participantes desses ateliês tiveram que assumir como essencial para o enriquecimento da própria prática de formação. Pôde-se perceber que discurso de cada um legitimava-se a partir do lugar que era colocado pelos pares, que, na maioria dos casos, 812 atribuíam-no valor à medida que iam associando-o à prática docente desenvolvida pelo sujeito que tinha a palavra. Enquanto a maioria dos professores buscavam ter seu trabalho reconhecido por meio do uso de sua palavra, alguns outros mantiveram-se presentes apenas fisicamente, não interferindo em nenhum momento. Tal fato pode estar relacionado às experiências de formação desses professores, ao não reconhecimento de uma proposta de formação realizada na própria escola, mesmo que seja pensada pelos próprios participantes, à recusa de se perceber como ser inconcluso (Freire, 2005), dentre outras razões que não foram reveladas. Ao se constatar que essa formação ainda se encontra em processo de reconhecimento, não se pode esperar que tenha o mesmo impacto em todos os participantes, pois esse impacto vai depender de como participavam desses momentos, e também participam, já que essa proposta não se configurou como pontual, mas faz parte de uma política de formação assumida pelas escolas dessa rede de ensino. Considerações finais Das fragilidades e desafios Os professores e as orientadoras pedagógicas apresentaram como uma das principais fragilidades e desafios para a realização desta formação no espaço escolar a carga horária de trabalho, que, na maioria dos casos, é distribuída por diversas unidades escolares, dificultando a organização, a participação e, especialmente, a inserção significativa desses profissionais nos ateliês. Pelos dados, pode-se inferir que esses professores reconhecem e validam a importância dessa formação continuada para o trabalho docente, no sentido de que percebem que ajuda a responder questões advindas dessa atividade, entretanto, têm, muitas vezes, sua participação ou engajamento mais significativo inviabilizado por tais condições trabalho. No decorrer dos ateliês, foram apontados também como necessidade e, ao mesmo tempo, fragilidade a falta de conhecimento sobre alguns conteúdos teóricos que podem não terem sido contemplados na formação inicial e/ou continuada, ou tratados de forma mais rasa, que precisavam ser agregados nesses momentos de formação. Entretanto, mesmo os professores apresentando tal necessidade, por conta da pouca disponibilidade de tempo para o aprofundamento, estudo e reflexão, muitos desses conteúdos acabavam por ser tratados mais superficialmente. Verificou-se também que o enriquecimento das práticas pedagógicas instituídas e a instituir, com articulação trabalho e formação, em muitos momentos ficou limitado a situações de caráter mais pontuais, impedindo ou tornando menos frequente as possibilidades de esses sujeitos colocarem em xeque suas questões, aprendizagens e experiências. Um outro aspecto levantado foi a não total unidade entre os professores em relação à concepção de formação continuada na escola, levando à participação, em alguns casos, por obrigação e não por reconhecimento de sua validade para a melhoria do trabalho. A visão mais restrita sobre essa formação apresentada por parte de alguns que a pensavam somente a partir de sua disciplina pode ter dificultado o entrecruzamento de saberes entre os professores responsáveis pelas diversas disciplinas do currículo. O descompasso presente entre os modos de ver e atuar dos participantes nessa formação pode ter sido promotora de uma assunção da posição de passividade por parte de alguns que optavam por receber orientações prontas para a realização de sua atividade docente, 813 deixando de lado a possibilidade de se tornarem intervenientes ativos (Leite, 2001), como também intelectuais transformadores (Giroux, 1997). Essa proposta de formação encontra-se ainda em processo de reconhecimento, legitimidade e validação, o que de certo modo leva a alguns momentos serem percebidos de modo mais pontual e não muito ampliado a dar margem a ações prospectivas, essa realidade torna menos perceptível a avaliação sobre o impacto dessa formação para a melhoria do processo de ensino-aprendizagem e do desenvolvimento profissional dos professores. Das potencialidades Nos ateliês foi possível constatar, em muitos momentos e por parte de muitos dos envolvidos, o esforço e a disponibilidade para fazer desses espaços coletivos espaços de formação abertos ao debate crítico que viabiliza a avaliação, a ressignificação e a significação de propostas, projetos, ações que têm como objetivos principais a melhoria do processo de ensino-aprendizagem, das condições de trabalho e do desenvolvimento profissional de cada um dos envolvidos. Pode-se afirmar, a partir dos dados, que os ateliês representam um espaço de constatações, reflexões e aprendizagens sobre a docência e suas implicações e, mesmo que ainda não possam ser mensurados e avaliados em termos de impacto no trabalho docente e em cada sujeito envolvido, por si mesmos já se constituem como um avanço. Esse avanço é constatado pelo movimento em prol da problematização da própria atividade docente, do trabalho desenvolvido na escola e com os pares, de modo a encontrar caminhos de melhoria e enriquecimento das práticas a partir da articulação teoria-prática. Pode-se inferir que se potencializou a reflexão sobre o trabalho no trabalho com os envolvidos, sobre a permanência do status quo ou a transformação da realidade vivenciada, mesmo que ainda não possa ter sido considerada profunda em todos os momentos. Nessa dinâmica de olhar para o trabalho a partir da formação continuada, as experiências vividas e incorporadas e a memória de trabalho e, também, de formação inicial, surgiram como promotoras desse pensar o status quo e vislumbrar outros caminhos e alternativas para a prática docente. Nessa linha, a memória foi concebida na perspectiva exemplar (Todorov, 2011a; 2011b), especialmente quando concretizada por meio da narrativa de experiências como impulsionadora de uma visão retrospectiva e, também, prospectiva do próprio trabalho e do dos pares. Importa dizer que o papel desempenhado pelo orientador pedagógico como principal formador e dinamizador dessa proposta foi essencial para que tal prática de formação continuada pudesse avançar para além das exigências legais. Assim, segundo os inquiridos, esse profissional contribui significativamente para a promoção, a garantia e o fortalecimento da escola como espaço de formação que tem como objetivo principal o enriquecimento da articulação formação-trabalho e trabalho-formação. Nessa linha, apesar de muitos desafios e fragilidades apontados neste estudo para a formação de professores centrada na escola, é possível assumir, considerando os dados, a perspectiva de Almeida (2015) quando reafirma […] a potência formativa da escola, tanto para alunos como para professores; afirmando que uma proposta coletiva gestada na escola, para atender à sua 814 singularidade, às suas necessidades, aos seus recursos, contando com apoio de literatura especializada e da contribuição da expertise de pessoas de dentro e de fora da escola, pode levar a uma aprendizagem de sucesso para alunos e professores (Almeida, p. 23, 2015). Sendo assim, a pesquisa realizada na rede de ensino de Petrópolis, RJ-Brasil, buscou desenhar um retrato da realidade a partir da ótica dos sujeitos investigados e também do pesquisador em que, a partir dos dados, pode-se sustentar que as fragilidades e os desafios dessa opção de formação serão superados à medida que essa formação for assumida como essencial para o exercício da atividade docente, não apenas para os participantes professores e orientadoras pedagógicas, mas para toda a comunidade escolar, de modo a implementar ações e políticas concretas que de fato viabilizem a participação dos professores, dando condições para que signifiquem cada momento vivido no trabalho e na formação. Referências Alarcão, I. (1998). Formação continuada como instrumento de profissionalização docente. In I. P. A. Veiga (Org.). Caminhos da profissionalização do magistério. (pp. 99-122). Campinas, SP: Papirus – Coleção Magistério: Formação e trabalho pedagógico. Alarcão, I. (2001). Escola reflexiva e supervisão. Uma escola em desenvolvimento e aprendizagem. In I. Alarcão (Org.). Escola reflexiva e supervisão. Uma escola em desenvolvimento e aprendizagem. (pp.11-23). Porto, Portugal: Porto Editora – Coleção Cidine. Alarcão, I. (2010a). Professores reflexivos em uma escola reflexiva. (Vol.. 8).7 ed. São Paulo: Cortez, - Coleção questões de nossa época. Almeida, L. R. (2015). Formação centrada na escola: das intenções às ações. In L. R. de Almeida & V. M. N. de S. Placco (Org.). O coordenador pedagógico e a formação centrada na escola. 2 ed. (pp. 9-24). São Paulo: Edições Loyola. Bardin, L. (2013). Análise de Conteúdo. Lisboa: Edições 70. Bogdan, R & Biklen, S. (2010). Investigação Qualitativa em Educação: uma introdução à teoria e aos métodos. Porto, Portugal: Porto Editora. Freire, P. (2005). Pedagogia da Autonomia. Saberes necessários à prática educativa. 31 ed. Rio de Janeiro: Paz e Terra. Giroux, H. A. (1997). Os Professores como intelectuais: Rumo a uma pedagogia crítica da aprendizagem. Porto Alegre: Artes Médicas. Imbernón, F. (2009). Formação permanente do professorado: novas tendências. São Paulo: Cortez. Imbernón, F. (2010). Formação continuada de professores. Tradução Juliana dos Santos Padilha. Porto Alegre: Artmed. Imbernón, F. (2011). Formação docente e profissional: formar-se para a mudança e a incerteza. (Vol. 14). Tradução Luciana Cobucci Leite. 9 ed. São Paulo: Cortez, Coleção questões de nossa época. Machado, J. do C. (2011). O potencial da memória exemplar para a formação continuada e em serviço de professores. Trabalho de conclusão de estudos de Teoria da Educação do Curso de Doutorado em Educação da Universidade Federal Fluminense. Niterói, RJ: PPGEUFF. 815 Machado, J. do C. (2012). O discurso de professores: uma contribuição para a formação continuada e em serviço de professores. Trabalho de conclusão de estudos de Tópicos especiais em LSC - subjetividade e cultura: leituras de Bakhtin do Curso de Doutorado em Educação da Universidade Federal Fluminense. Niterói, RJ: PPGEUFF. Machado, J. do C. (2015). Ateliê de formação continuada e em serviço de professores: desafios e possibilidades. Tese (Curso de Doutorado em Educação) – Faculdade de Educação. Universidade Federal Fluminense, Niterói, RJ. Nóvoa, A. (Org). (1997). Os professores e sua formação. Lisboa: Publicações Dom Quixote, 1997. Nóvoa, A. (2006) Desafios do trabalho do professor no mundo contemporâneo. In Conferência no Sindicato dos professores de São Paulo. São Paulo. Disponível em <http://www.sinprosp.org.br/arquivos/novoa/livreto_novoa.pdf>. Acesso em: 20 nov 2013. Nóvoa, A. (2009). Para uma formação de professores construída dentro da profissão. Revista Educación. Disponível em <http://www.revistaeducacion.mec.es/re350/re350_09por.pdf>. Acesso em: 21 fev 2014. Placco, V. M. N. de S. & Sarmento, M. L. de M (2010). Outro jeito de dar aulas: Orientação de Estudos. In E. B. G. Bruno & L. H. da S. Christov (Orgs). O coordenador Pedagógico e a Educação continuada. (pp. 41-50). São Paulo: Edições Loyola. Todorov, T. (2011a). Los abusos de la memoria. Barcelona: Paidos. Todorov, T. (2011b). La memoria amenazada. Barcelona: Paidos. COMUNICAÇÃO 2 - AVALIAÇÃO DE POLÍTICAS PÚBLICAS: A FORMAÇÃO E VALORIZAÇÃO DE PROFESSORS NO PEE/RJ/BRASIL VASCONCELOS, Maria Celi Chaves, Universidade do Estado do Rio de Janeiro, Programa de Pós-Graduação em Educação (Proped) (BR) RESUMO: O presente trabalho trata da avaliação das políticas públicas estabelecidas para a formação e valorização dos profissionais da educação no Estado do Rio de janeiro, notadamente aquelas decorrentes do Plano Estadual de Educação do Rio de Janeiro (PEE/RJ). Em um Plano mais específico aborda-se o que prevê o PEE/RJ e o que tem sido realizado na rede pública oficial de ensino, a partir da análise da situação dos profissionais da educação apresentada no relatório anual dos gestores. Os procedimentos teórico-metodológicos identificam o estudo como uma pesquisa de natureza qualitativa, essencialmente bibliográfica, destacando-se como fontes os documentos legais, particularmente, o Plano Estadual de Educação do Rio de Janeiro. Os resultados indicam que, de acordo com o PEE/RJ, para alcançarmos uma articulação de ações políticas que conduzam a uma valorização dos profissionais da educação e, como consequência, uma melhoria da educação pública, é preciso que seja implementado um sistema estadual público de formação dos profissionais da educação, capaz de contemplar a formação inicial, condições de trabalho, salário e carreira e formação continuada, como condições de melhoria da qualidade da Educação Básica, na 816 perspectiva de construir uma política de profissionalização e valorização do magistério para os profissionais da educação. Além disso, identificam-se como políticas previstas no Plano, mas ainda não totalmente normatizadas, as seguintes abordagens: Formação continuada; Pós-graduação para todos os professores; Fórum permanente e políticas de valorização salarial; Plano de Carreira; Qualificação profissional; Formação dos gestores; Fórum permanente de discussão das condições de trabalho; Repasse e aplicação de recursos para a formação inicial e continuada; Formação dos gestores; entre outros temas que são destacados na Lei, mas que ainda não lograram efetividade nas políticas públicas, tornando realidade os ordenamentos jurídicos. TEXTO A legislação vigente As políticas públicas para a formação, inicial e continuada, e a valorização dos profissionais de educação no Brasil possuem ampla normatização, tanto com Atos Legislativos de âmbito federal, quanto estadual, ou seja, normas específicas para o Estado do Rio de Janeiro. Desde a Constituição Federal de 1988, em seu artigo 206, inciso V, a valorização dos profissionais da educação se apresenta como um princípio constitucional. A Emenda Constitucional n° 53/2006, alterou sua redação original, com alguns acréscimos no que se refere à valorização e profissionalização dos professores da educação pública, evidenciando a necessidade e urgência dessa concretização. Em seu inciso V, dispõe que a valorização dos profissionais da educação escolar deve ser garantida através de “planos de carreira, com ingresso exclusivamente por concurso público de provas e títulos, aos das redes públicas” e, no inciso VIII, traz a necessidade de um “piso salarial nacional para os profissionais da educação escolar pública, nos termos de lei federal”. A Lei de Diretrizes e Bases da Educação Nacional, Lei nº 9.394, de 20 de dezembro de 1996, apresenta em um de seus títulos diversos artigos sobre os profissionais da educação, no qual se destacam as disposições que determinam a “valorização dos profissionais da educação”, por meio de “estatutos e planos de carreira do magistério público”. O artigo 61 da Lei nº 9.394/1996 foi alterado pela Lei Federal nº 12.014, de 06 de agosto de 2009, e passou a considerar “como profissionais da educação escolar básica os que, nela estando em efetivo exercício e tendo sido formados em cursos reconhecidos, são: I – professores habilitados em nível médio ou superior para a docência na Educação Infantil e nos ensinos fundamental e médio; II – trabalhadores em educação portadores de diploma de pedagogia, com habilitação em administração, planejamento, supervisão, inspeção e orientação educacional, bem como com títulos de mestrado ou doutorado nas mesmas áreas; III – trabalhadores em educação, portadores de diploma de curso técnico ou superior em área pedagógica ou afim”. O Decreto Federal nº 6.755, de 29 de janeiro de 2009, em seu artigo 1º, instituiu a Política Nacional de Formação de Profissionais do Magistério da Educação Básica, com a finalidade de “organizar em regime de colaboração entre a União, os Estados, o Distrito Federal e os Municípios, a formação inicial e continuada dos profissionais do magistério para as redes públicas da Educação Básica”. A Resolução nº 2, de 28 de maio de 2009, do Conselho Nacional de Educação, fixou as diretrizes nacionais para os planos de carreira e remuneração dos profissionais do magistério da Educação Básica pública. No âmbito do Estado do Rio de Janeiro, a Lei Estadual nº 4.528, de 28 de março de 817 2005, estabeleceu as diretrizes para a organização do Sistema de Ensino no Estado do Rio de Janeiro, definindo, em seu artigo 56, como “profissionais da educação todos aqueles que atuam nas instituições educacionais do Sistema de Ensino do Estado do Rio de Janeiro e nos órgãos que tenham como atribuição a avaliação pedagógica da escola e a qualidade dos seus currículos”. Já na legislação estadual, a Lei nº 5.451, de 22 de maio de 2009, estabelece a responsabilidade educacional do poder público e determina que a Secretaria de Estado de Educação do Rio de Janeiro (Seeduc), “apresente, na Comissão de Educação da Assembleia Legislativa do Estado do Rio de Janeiro, relatório anual, que conterá os indicadores educacionais da rede pública estadual, após o término de cada ano letivo”. Em relação aos docentes, os indicadores educacionais a serem apresentados são o número total de professores, discriminando o quantitativo de professores em contrato temporário; o número de professores com pós-graduação “lato sensu”, em percentual; o número de professores com mestrado e com doutorado e a remuneração modal, média, piso e teto salarial dos professores por nível de ensino. Ainda em 2009, foi publicado o Plano Estadual de Educação do Rio de Janeiro (PEE/RJ), Lei nº 5.597, de 18 de dezembro de 2009. De acordo com Valle, Menezes & Vasconcelos (2010), o Plano Estadual de Educação do Estado do Rio de Janeiro, em setembro de 2001, teve instituídas as primeiras determinações jurídicas relativas à constituição de uma Comissão para sua elaboração. No entanto, a minuta definitiva somente foi entregue, pela Seeduc, à Assembleia Legislativa do Estado, em setembro de 2009, portanto oito anos depois do primeiro movimento governamental. As autoras assinalam que: Durante este período, sua construção foi perpassada por episódicos movimentos de trabalho efetivo. A falta de solução de continuidade que caracterizou o processo que envolveu sua elaboração se deveu, entre outros aspectos, ao grande número de titulares que passaram pela pasta da educação, fato que dificultou a construção e implementação de políticas educacionais voltadas para o avanço da educação no Estado do Rio de Janeiro (Valle, Menezes & Vasconcelos, 2010, p.42-43). Essa Lei dedica um capítulo à formação e valorização dos profissionais de educação, dividido em três eixos temáticos: formação inicial e continuada, condições de trabalho e salário e carreira. O PEE/RJ estabelece também 18 objetivos e metas a serem alcançados no Estado, a fim de atingir um patamar de condições adequadas para a atuação dos profissionais da educação, as quais se constituem no foco principal deste estudo. Dessa forma, o presente trabalho trata da avaliação das políticas públicas estabelecidas para a formação e valorização dos profissionais da educação no Estado do Rio de janeiro, notadamente aquelas decorrentes do PEE/RJ. Em um Plano mais específico aborda-se o que prevê o PEE/RJ e o que tem sido realizado na rede pública oficial de ensino, a partir da análise da situação dos profissionais da educação apresentada no relatório anual dos gestores. Os procedimentos teórico-metodológicos identificam o estudo como uma pesquisa de natureza qualitativa, essencialmente bibliográfica, destacando-se como fontes principais os documentos legais já citados, particularmente, o Plano Estadual de Educação do Rio de Janeiro. Na sessão a seguir analisa-se o disposto no PEE/RJ e o relatório apresentado pela Seeduc para o ano de 2015. 818 A formação e valorização de professores no PEE/RJ/Brasil Após um diagnóstico detalhado no PEE/RJ sobre a situação dos profissionais da educação no Estado do Rio de Janeiro, com foco nas categorias de formação inicial e continuada, condições de trabalho, e salário e carreira, são traçados 18 objetivos e metas, envolvendo formação e valorização dos profissionais de educação. Entre esses objetivos e metas destacam-se a criação de um Fórum Estadual Permanente de Apoio à Formação Docente, com efetiva atuação através de sessões semestrais ordinárias, com o objetivo de discutir a Política Estadual de Formação de Profissionais do Magistério da Educação Básica e o plano estratégico da educação do Estado do Rio de Janeiro. Contudo, não se pode afirmar que passados seis anos da publicação do Plano, essa instância tenha se consolidado no Estado, exercendo as funções determinadas. Além disso, o PEE/RJ estabelece a necessidade de parceria com os sistemas municipais de educação e as Instituições de Ensino Superior, para a implantação de políticas de incentivo e valorização da formação docente. O que se verifica na prática, é que, Estado e municípios, na maioria das vezes, limitam suas parcerias sob o critério da geopolítica partidária, ou seja, os municípios mais beneficiados são aqueles cujos prefeitos e deputados fazem parte da bancada do governo estadual. Um aspecto priorizado no Plano refere-se à elevação do nível de titulação dos docentes nas suas respectivas áreas de atuação, de acordo com um plano trienal, ampliando as condições de acesso dos profissionais da educação, em efetivo exercício, aos cursos de mestrado e doutorado, nas modalidades à distância e presencial, em instituições educacionais sediadas no Rio de Janeiro. No Relatório anual de 2015, apresentado pela Seeduc à Comissão de Educação da Assembleia Legislativa do Estado do Rio de Janeiro (Alerj), cumprindo o que determina a Lei de Responsabilidade Educacional, é informado que de 2011 a 2014, a Seeduc ofereceu um total de 2736 vagas de especialização, 1064 vagas de MBA e 48 vagas de Mestrado. Em 2014, foram oferecidas 112 novas vagas de especialização, 220 novas vagas de MBA e 5 novas vagas de Mestrado. Neste mesmo ano, segundo o Relatório, a Seeduc teria oferecido também 1740 novas vagas de formação continuada regular para professores com possibilidade de complementação da carga horária para obtenção do grau de especialização. Contudo, os números do Quadro 1, apresentado pela Seeduc a Alerj, demonstram o quanto ainda é pequeno o quantitativo de professores com pós-graduação, especialmente mestrado e doutorado, atuando na rede estadual, diante do total de professores em efetivo exercício: 819 Quadro1 - Número de professores com Pós-Graduação na rede estadual Em que pese o PEE/RJ determinar o incentivo à continuidade de estudos de todos os profissionais envolvidos no processo educativo e o investimento em formação, dentro da carga horária dos profissionais da rede estadual de ensino, além da implementação de estratégias de formação continuada a todos os docentes da rede, de forma descentralizada e em todas as regiões e municípios, com periodicidade informada no calendário letivo oficial; a realidade ainda precisa avançar bastante em relação a esse objetivo. Nem todos os professores tem acesso aos programas de formação continuada, assim como a burocracia em relação às licenças para estudos de pósgraduação não está alinhada ao que prevê o Plano. 38 A parceria com o Consórcio Cederj , que administra a realização de cursos de formação continuada sob a modalidade de educação a distância, permitiu a efetivação uma política de formação continuada, na perspectiva de descentralizar as ações para o interior do Estado, mas sua abrangência ainda não contempla todos os segmentos e categorias profissionais, bem como as opções de formação são limitadas. Ainda assim, pode-se dizer que a articulação interinstitucional com órgãos e Instituições de Ensino Superior públicas, com vistas à realização de ações governamentais para a implementação de programas de formação continuada dos profissionais da rede estadual, se restringe ao Consórcio Cederj, que procura dar conta de cursos destinados aos professores priorizados pelo PEE/RJ para formação continuada, ou seja, aqueles que atuam em classes de educação de jovens e adultos, de Ensino Médio Inovador, de Ensino Médio Integrado, de educação prisional e sócio educativas, de educação especial, de educação indígena, de educação afro-brasileira e de educação no campo. No que diz respeito à educação especial, vale ressaltar que consta dos objetivos e metas do Plano dar condições materiais e de formação docente para a melhoria no atendimento a alunos com deficiência e/ou aqueles com defasagem de idade/série, contribuindo para o desenvolvimento e a manutenção de uma política educacional inclusiva, eficiente e eficaz. Na prática, os problemas com a inclusão de alunos deficientes ocorrem em grande parte das escolas, havendo denúncias que chegam ao Conselho Estadual de Educação do Rio de Janeiro (CEE/RJ), por falta de atendimento adequado na rede estadual, bem como na rede privada. Embora a Seeduc informe a realização de diversas ações, constata-se que criação de fóruns específicos e permanentes de discussão em relação à formação inicial de professores, com os docentes dos cursos de nível médio, na modalidade Normal e os dos cursos de Pedagogia e 38 FUNDAÇÃO CECIERJ / CONSÓRCIO CEDERJ – Centro de Ciências e Educação Superior a Distância do Estado do Rio de Janeiro, órgão vinculado à Secretaria de Estado de Ciência e Tecnologia – (SECT), desenvolve projetos nas áreas de Graduação a Distância (Consórcio Cederj); Divulgação Científica; Pré-Vestibular Social; Extensão (Formação Continuada de Professores) e Ceja – Ensino de Jovens e Adultos. Disponível em: http://cederj.edu.br/fundacao/fundacao-cecierj-consorcio-cederj/ 820 licenciaturas das Instituições de Ensino Superior do Estado do Rio de Janeiro, como estabelece o Plano, ainda não ocorreu, bem como a determinação de assegurar espaços, tecnologias e programas de desenvolvimento profissional e de apoio à pesquisa, de modo que favoreçam e colaborem com o diálogo interdisciplinar, com a transformação da prática pedagógica e com a melhoria da organização curricular, em que pese seu caráter subjetivo, também parece enfrentar inúmeros obstáculos para a sua realização. Mesmo a efetivação de convênios que favoreçam a integração dos profissionais da Secretaria de Estado de Saúde com os profissionais da Secretaria de Estado de Educação, por meio de Fóruns, Seminários e atividades afins, de forma que possam ser identificadas e desenvolvidas ações e condições que colaborem com a saúde do professor, nas dimensões física, mental, social e emocional; tem sido uma meta distante de ser alcançada, seja pelas condições, muitas vezes, precárias de trabalho do professor, seja pela falta de aporte financeiro para a realização de programas preventivos. Com relação ao pessoal técnico-administrativo da rede pública de ensino, para os quais o Plano assegura uma política de formação profissional, tais medidas esbarram nos baixos salários que fazem com que haja significativa rotatividade entre esses servidores. Na rede pública estadual de educação, após a realização do concurso, os profissionais são lotados nas escolas sem que haja um programa de capacitação para adaptá-los ao novo local de trabalho e ao alunado que irá ser o foco do fazer docente. Esse impacto, muitas vezes, faz com que os professores desistam da carreira por se sentirem incapazes e solitários para resolver os problemas do dia a dia nas escolas. O PEE/RJ já previa a realização, durante o estágio probatório dos professores recém-concursados, programas de formação que visassem a sua integração ao cargo e ao contexto das políticas públicas da rede estadual de ensino e a programas que estimulassem e colaborassem com o seu desenvolvimento profissional permanente. Todavia, o que se verifica é que, com raríssimas exceções, o estágio probatório não passa de uma experiência burocrática para a efetivação definitiva do professor como servidor do quadro do magistério do Estado do Rio de Janeiro. Caso fossemos hierarquizar os problemas que assolam o magistério público brasileiro, certamente o salário estaria entre os principais problemas listados como interferente no estímulo à carreira docente. No PEE/RJ essa preocupação já estava assinalada com a previsão de um Plano de Cargos e Salários único para todos os professores da rede pública estadual, independente da Secretaria em que estivessem atuando, garantindo carga horária semanal, isonomia salarial e enquadramento por formação e tempo de serviço. Além disso, também está estabelecida no PEE/RJ, a definição de políticas sobre a jornada de trabalho do professor, preferencialmente em tempo integral, incluindo incentivo à dedicação exclusiva. Passados seis anos, a situação tanto da jornada de trabalho, como salarial, não se alterou substancialmente e os mesmos problemas listados no final da década, em 2009, permanecem em pauta, ainda que a Seeduc informe reajustes salariais de 2011 a 2014, conforme Quadro 2: 821 Quadro 2 : Reajustes salariais de 2011 a 2014 na rede estadual Fonte: Relatório Anual Seeduc / 2015. No que concerne à direção das escolas da rede estadual, o PEE/RJ determina que todos os diretores possuíssem formação específica na área da gestão da educação. No bojo dessa indicação, a Seeduc instituiu um controverso programa de capacitação de diretores, os quais se tornam os únicos profissionais da educação aptos a dirigir as escolas da rede estadual, descartando a consulta pública à comunidade para a escolha dos dirigentes. Embora o PEE/RJ não faça previsões relativas à eleição de diretores de escolas, tendo em vista a concepção jurídica da impossibilidade dessa prática, não se pode alijar a comunidade do processo decisório sobre o gestor da escola, entretanto, a Seeduc ainda não encontrou estratégias para viabilizar essa participação mais efetiva. Considerações finais Os resultados indicam que, de acordo com o PEE/RJ, para alcançarmos uma articulação de ações políticas que conduzam a uma valorização dos profissionais da educação e, como consequência, uma melhoria da educação pública, é preciso que seja implementado um sistema estadual público de formação dos profissionais da educação, capaz de contemplar a formação inicial, condições de trabalho, salário e carreira e formação continuada, como condições de melhoria da qualidade da Educação Básica, na perspectiva de construir uma política de profissionalização e valorização do magistério para os profissionais da educação. Além disso, identificam-se como políticas previstas no Plano, mas ainda não totalmente normatizadas, as seguintes abordagens: Formação continuada; Pós-graduação para todos os professores; Fórum permanente e políticas de valorização salarial; Plano de Carreira; Qualificação profissional; Formação dos gestores; Fórum permanente de discussão das condições de trabalho; Repasse e aplicação de recursos para a formação inicial e continuada; Formação dos gestores; entre outros temas que são destacados na Lei, mas que ainda não lograram efetividade nas políticas públicas, tornando realidade os ordenamentos jurídicos. 822 Referências Constituição da República Federativa do Brasil de 1988 (1998). Diário Oficial da União [da] República Federativa do Brasil, Brasília, 5 out. 1988. Decreto nº 6.755, de 29 de janeiro de 2009 (2009). Institui a Política Nacional de Formação de Profissionais do Magistério da Educação Básica, disciplina a atuação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior -CAPES no fomento a programas de formação inicial e continuada, e dá outras providências. Diário Oficial da União [da] República Federativa do Brasil, Brasília, 30 jan. 2009. Emenda Constitucional nº 53, de 19 de dezembro de 2006 (2006). Dá nova redação aos arts. 7º, 23, 30, 206, 208, 211 e 212 da Constituição Federal e ao art. 60 do Ato das Disposições Constitucionais Transitórias. Diário Oficial da União [da] República Federativa do Brasil, Brasília, 20 dez. 2006. Lei nº 9.394, de 20 de dezembro de 1996 (1996). Estabelece as Diretrizes e Bases da Educação Nacional. Diário Oficial da União [da] República Federativa do Brasil, Brasília, 23 dez. 1996. Lei nº 12.014, de 6 de agosto de 2009 (2009). Altera o art. 61 da Lei no 9.394, de 20 de dezembro de 1996, com a finalidade de discriminar as categorias de trabalhadores que se devem considerar profissionais da educação. Diário Oficial da União [da] República Federativa do Brasil, Brasília, 07 ago. 2009. Plano Estadual de Educação do Rio de Janeiro (2009). Rio de Janeiro, Secretaria de Educação. Relatório anual de 2015 (2015). Apresentado pela Secretaria de Estado de Educação do Rio de Janeiro à Comissão de Educação da Assembleia Legislativa do Estado do Rio de Janeiro, cumprindo o que determina a Lei de Responsabilidade Educacional. Resolução nº 2, de 28 de maio de 2009 (2009). Ministério da Educação. Conselho Nacional de Educação/Câmara de Educação Básica. Fixa as Diretrizes Nacionais para os Planos de Carreira e Remuneração dos Profissionais do Magistério da Educação Básica Pública, em conformidade com o artigo 6º da Lei nº 11.738, de 16 de julho de 2008, e com base nos artigos 206 e 211 da Constituição Federal, nos artigos 8º, § 1º, e 67 da Lei nº 9.394, de 20 de dezembro de 1996, e no artigo 40 da Lei nº 11.494, de 20 de junho de 2007. Diário Oficial da União [da] República Federativa do Brasil, Brasília, 29 mai. 2009. Rio de Janeiro. Lei nº 5.597, de 18 de dezembro de 2009 (2009). Institui o Plano Estadual de Educação – PEE-RJ, e dá outras providências. Diário Oficial [do] Estado do Rio de Janeiro, Rio de Janeiro, 19 dez. 2009. Rio de Janeiro. Lei nº 4.528, de 28 de março de 2005 (2005). Estabelece as diretrizes para a organização do sistema de ensino do Estado do Rio de Janeiro. Diário Oficial [do] Estado do Rio de Janeiro, Rio de Janeiro, 12 ago. 2005. Rio de Janeiro. Lei nº 5.451, de 22 de maio de 2009 (2009). Estabelece normas voltadas para a Lei de Responsabilidade Educacional do Estado do Rio de Janeiro. Diário Oficial [do] Estado do Rio de Janeiro, Rio de Janeiro, 25 mai. 2009. Valle, B. de B. R. do, Menezes, J. S. da S. & Vasconcelos, M. C. C. (2010). Plano Estadual de Educação do Rio de Janeiro: a trajetória de uma legislação. Rio de Janeiro: Quartet; Outras Letras. 823 COMUNICAÇÃO 3 - AS COMPETÊNCIAS DIGITAIS DOS FORMADORES PARA UMA FORMAÇÃO EM REGIME DE E-LEARNING OLIVEIRA, Nuno Ricardo – Laboratório de Educação a Distância e eLearning (PT) RESUMO: A influência e predominância das tecnologias digitais no nosso quotidiano faz-nos refletir sobre a utilização das ferramentas digitais, de forma especial, os aplicativos da web 2.0, redes sociais e ambientes virtuais numa perspetiva de formação e perceber quais as competências digitais adequadas de um formador que pretenda utilizar o regime de eLearning. Este artigo pretende refletir sobre os desafios que se colocam nos dias de hoje aos formadores para a utilização das ferramentas digitais no contexto da formação, de modo particular na formação em regime de eLearning. O eLearning começa a ter uma maior evidência na formação/ensino com uma perspetiva de aprendizagem ao longo da vida em qualquer lugar e a qualquer hora. Pelas exigências que cada indivíduo vai tendo, há uma maior necessidade de formação ao longo da vida e o eLearning é a forma que permite a atualização da formação sem grandes custos devido ao formando não se ter que deslocar. Por isso, a oferta da formação em Portugal em nível do eLearning passou a ser uma realidade. Mas essa realidade exige que a formação seja de qualidade para que possa vir a ter efeito na aprendizagem dos indivíduos à formação a que se propõem. Nessas condições, os formadores terão que desenvolver competências digitais para poder facilitar este processo de aprendizagem. O formador no mundo digital passa a ter um papel mais exigente e uma maior necessidade de atualização por parte das ferramentas que estão ao seu dispor e de todos os meios digitais. A pedagogia como a forma de avaliar varia da forma presencial, por isso, a grande necessidade de atualização por parte do formador. Introdução Com o avanço da tecnologia e a vivência num mundo digital em que o recurso à tecnologia por parte dos formadores e formandos é uma realidade, passa a ser necessário que os próprios formadores tenham a consciência de uma verdadeira atualização para uma nova política educativa no âmbito da formação. Essa atualização passa pela capacitação dos formadores nas suas competências digitais para poder transmitir aos formandos os seus conhecimentos, bem como facilitar o processo de ensinoaprendizagem por meio da criação de recursos didáticos mais apelativos e tecnologicamente mais acessíveis, criando também elementos de avaliação digitais e contínuos. Na era do mundo digital é exigido ao formador uma nova pedagogia em que se deixe de lado a perspetiva do único conhecedor do saber e passe a ter uma outra postura a de facilitador do conhecimento. Em que produz os conteúdos, seleciona e organiza materiais facilitadores da apreensão do saber, a ser transmitido através de uma interação do formando com os meios tecnológicos ao dispor, com os seus pares e o formador. Nesse sentido, o formador deve adaptar-se a uma nova realidade, renovando e adaptando a sua pedagogia à realidade digital (Oliveira, 2014). 824 A formação em eLearning Atualmente, o eLearning é um conceito muito mencionado e referido quando se fala de formação, mas nem sempre bem aplicado à realidade deste regime de formação, nesse sentido e antes de mencionar as competências digitais do formador, existe a necessidade de explicar o conceito de eLearning no âmbito da formação. O termo eLearning consiste numa aprendizagem eletrónica e nos últimos tempos também a poderemos mencionar como digital, pois assenta num ambiente digital e online. Aproveitando as valências da evolução da web dos últimos dez anos, Leal & Amaral (2004, p. 4) fazem uma definição de eLearning sendo “o processo pelo qual, o aluno aprende através de conteúdos colocados no computador e/ou Internet e em que o professor, se existir, está à distância utilizando a Internet como meio de comunicação (síncrono ou assíncrono), podendo existir sessões presenciais intermédias”, sendo esta ultima modalidade definida como b-learning. A utilização das Tecnologias de Informação e Comunicação na formação é uma realidade e no decorrer da evolução da internet e dos aparelhos tecnológicos veio surgir uma nova forma de encarar o potencial desses aplicativos para a formação. O eLearning está intimamente relacionado com a internet e o serviço web que permite ter uma maior facilidade de acesso à informação a qualquer hora e em qualquer lugar. Esta realidade permite uma maior facilidade de publicação, distribuição, atualização dos conteúdos e colaboração entre os intervenientes do processo de aprendizagem (Gomes, 2005). Nesse conceito, o eLearning não é considerado como uma extensão da sala de aula, mas sim como um espaço online ou sala virtual para o processo de aprendizagem, o que exige alguma frequência e presença (online) registada nos espaços próprios. No conceito atual de formação, o regime b-learning e/ou eLearning passaram a ser mais interventivos e representativos da vivência e oferta de formação. As principais características que demonstram a importância do regime de eLearning na formação é a sua orientação para um público globalmente disperso, em que as publicações e o custo de distribuição é reduzido. No entanto, o custo da formação em regime de eLearning não deve ser descurada, em troca de uma formação menos exigente. A realidade da diminuição dos custos consiste puramente na não deslocação por parte dos formandos e do formador, sendo uma mais-valia para os empregadores, pois não têm os custos de deslocação nem retiram horas do expediente para se deslocarem para a sala de formação. Além destes custos, para as empresas de formação a redução de custo passa pela não ocupação de sala, nem pela impressão dos recursos necessários. O eLearning permite uma aprendizagem personalizada, indo ao encontro das preferências e necessidades individuais de aprendizagem de cada formando. Esse regime permite aceder a um grupo elevado de formandos de forma diversificada e com uma grande facilidade de proporcionar uma aprendizagem diferenciada. Essa realidade leva a formação ter um novo paradigma pedagógico que se enquadra nos seguintes eixos essenciais: o foco na aprendizagem; o reforço da interação formador-formando, formando-formando, formando-conteúdo; estratégia de trabalho colaborativo, que permite uma aprendizagem mediada pelos dispositivos digitais e por uma pesquisa autónoma para processamento da informação recolhida. O eLearning é um grande desafio para a formação nos dias de hoje, por isso, o número de instituições de ensino e formação estarem a aderir a esta modalidade de formação. Segundo Gomes (2005) os desafios podem ser sistematizados em quatro vertentes: 825 1- Infraestruturas e apoio técnico; 2- Gestão administrativa; 3- Competências e reconhecimento profissional 4- Recursos pedagógicos e e-conteúdos Em cada uma destas dimensões o formador deve ter certas competências para ser um membro facilitador do processo de aprendizagem. Neste sentido, faremos uma análise de cada vertente segundo a autora já mencionada. A nível das infraestruturas e apoio técnico refere-se à existência de sistemas de rede e acesso à internet, a existência de uma plataforma de gestão de aprendizagem (Learning Management System) requerendo requisitos técnicos e pedagógicos para assegurar um bom funcionamento e manutenção do serviço, incluindo um serviço de help-desk para todos os utilizadores da plataforma. Essa plataforma permite uma flexibilidade a nível espácio-temporal de vinte e quatro horas todos os dias da semana, o que exige que o serviço de manutenção seja assegurado permanentemente. Os desafios de gestão administrativa incluem todos os serviços mais burocráticos e administrativos como o próprio nome indica. O facto de ser em formato eLearning é de extrema importância, pois serão a marca e a credibilidade da instituição de formação que está em risco. Não sendo esta função uma de maior relevância por parte do formador é importante que ele seja o elo de ligação entre a instituição e o formando. A formação em eLearning deve ser reconhecida profissional e ter um apoio institucional, por ser necessário estimular as primeiras iniciativas e criar condições para que as que já existem perdurem e que surjam novos formadores a quererem implementar a sua área específica à realidade do eLearning. Como diz Gomes (2005, p. 74): “os aspectos ao nível do desenvolvimento de competências específicas para formar “e-professores” e, principalmente, os aspectos relacionados com um reconhecimento profissional acrescido aos docentes que investem neste domínio são talvez dos desafios de resposta mais complexa e menos consensual”. No eLearning, a grande questão refere-se à produção dos conteúdos digitais específicos. A necessidade de disponibilizar os e-conteúdos com uma metodologia didática online para um processo de aprendizagem mais autónomo e baseado no autoestudo é o processo mais complexo e moroso, devido à falta de formação dos formadores para a produção desses e-conteúdos. O grande desafio como menciona Gomes (2005, p. 74) é assegurar que os materiais didáticos sejam adequados às tecnologias disponíveis e à natureza da formação, evitando uma simplificação do processo com algumas digitalizações dos recursos utilizados no âmbito de formações presenciais. Neste sentido, há a necessidade de acautelar a literacia digital dos formadores para a produção de recursos didáticos específicos e dinamização de uma formação em regime de eLearning. Literacia digital A importância da literacia digital para um formador em regime de eLearning é uma condição importante para poder cumprir com as suas funções, pois terá que mediar e facilitar o processo de criação de uma rede com os seus formandos para uma aprendizagem colaborativa, como é pretendido e já foi mencionado anteriormente. 826 Os formandos fazem uso da web para diversos usos pessoais, bem como profissionais ou académicos, tal como refere Dias (2012) a imersão em ambientes digitais numa perspetiva educacional pode promover e sustentar o desenvolvimento de pedagogias abertas, com evidência para interações entre os membros do grupo e a criação de interações colaborativas utilizando ferramentas gratuitas da web 2.0. Nesse sentido, existe uma grande necessidade de literacia digital e tecnológica para a utilização dessas ferramentas para a formação em eLearning por parte do formador. No entanto, todos esses fenômenos existentes e emergentes, bem como as pedagogias emergentes (Anderson, 2007; Siemens, 2007) promovem e exigem uma literacia digital ao formador de eLearning para ser o facilitador do processo de aprendizagem por meio de interações sociais e colaborativas, com uma visão critica para selecionar as ferramentas necessárias à formação em questão, tendo como exemplo o prezi e o emaze como ferramentas para utilização nas apresentações, o googledocs ou word do office 365 para elaboração de documentos online e colaborativos, entre outras. Dias (2012, p. 5) refere que a abertura dos espaços de aprendizagem formal para a interação social da web representam a possibilidade de membros de comunidades tradicionais participarem em novas atividades, utilizando o potencial das tecnologias digitais para criar redes de interação social e aprendizagem colaborativa. Isto permite um novo design e experiência de cenários de aprendizagem e conhecimento através do digital. A cultura digital é um conceito de uma diversidade recente e extensa de pontos de vista e de diversas interpretações. Para Ala-Mutka, Punie & Redecker (2008), Martin (2008) e Goodfellow (2011), a literacia digital é o domínio de ferramentas e incentiva o uso da tecnologia no contexto da educação e formação exigindo novas competências digitais orientadas para uma aprendizagem, promovendo a consciência crítica na criação e utilização dos conteúdos digitais. Por outro lado, implica o uso efetivo da tecnologia em vários formatos digitais, de uma variedade de fontes e dispositivos computador, tablet ou smartphone, etc., utilizando sempre a web para obter informações e conhecimento (Oliveira & Morgado, 2014) Ter uma literacia digital exige mais do que apenas ter a capacidade ou competência para usar um software ou utilizar os dispositivos digitais. A literacia digital é a competência que o individuo, seja ele formador ou formando, adquire para poder utilizar diversas ferramentas digitais. Num modelo conceptual descrito por Aviram & Eshet-Alkalai (2006) é exposto que a literacia digital compreende cinco competências digitais: competências do visual - onde a importância é dada à imagem e à capacidade de leitura gráfica bem como o manejar essa imagem; habilidades de reprodução –a utilização da reprodução digital de novos conteúdos ou recriar conteúdos a partir de outros já existentes; navegação hipertextual – construindo conhecimento de forma não-linear, ramificando habilidades na pesquisa cientifica; validação das competências através da avaliação da qualidade e da informação recolhida na pesquisa; e habilidades sócio emocionais – em que se pretende compreender as "regras" que prevalecem no ciberespaço e aplicando esta compreensão no ciberespaço, utilizando a comunicação online (Eshet-Alkali & Amichai-Hamburger, 2004). A literacia digital neste contexto e segundo a literatura especializada inclui sete elementos (literacia dos media, comunicação e colaboração, gestão da carreira e da identidade, literacia em TIC, conhecimento digital, competências digitais e literacia da informação) demonstrados e especificados na Figura 1. 827 Literacia da informação Encontrar, interpretar, avaliar, gerir e par˜lhar informações Literacia dos media ler de uma forma cri˜ca e produzir comunicações académicas e proﬁssionais de forma cria˜va e dinâmica com recurso a diversas ferramentas de media Competências digitais U˜lização no âmbito académico de ambientes digitais, tanto a nível formal como a nível informal Conhecimento digital U˜lização dos meios digitais numa prá˜ca emergente a nível académico, proﬁssional e de inves˜gação Comunicação e colaboração Par˜cipar em redes sociais académicas e de inves˜gação Literacia Digital Gestão da carreira e da idenpdade Gerir a reputação digital e a iden˜dade digital Literacia em TIC U˜lizar disposi˜vos digitais e adotar e adaptar aplica˜vos e ferramentas online Figura 1 - Adaptado de Infokits (2014), in https://www.jisc.ac.uk/guides/developing-digital-literacies A literacia digital permite que se faça uso de conhecimentos, técnicas, atitudes e qualidades pessoais, o que implica a capacidade de planear, executar e avaliar ações digitais num processo de aprendizagem ao longo da vida. Esse é um processo dinâmico que exige uma assimilação da informação em contexto digital e a construção de novos conhecimentos e lógicas de comunicação num contexto em rede. 828 Atitudes Motivação “Eu sou…” Experiência “Eu faço…” Apropriação “Eu posso…” “Eu Figura 2- Adaptação da Pirâmide do desenvolvimento da literacia digital (Sharpre & Beetham, 2010) A literacia A literacia digital para Sharpre & Beetham (2010) é um processo de desenvolvimento de acesso e as capacidades funcionais para as capacidades de um nível superior e de identidade. Mas esse processo altera-se consoante o contexto e a necessidade de cada um, motivando para desenvolver novas competências e práticas. Neste sentido, poderemos falar de partilha de conhecimento através de uma colaboração, dando-lhe o nome de aprendizagem colaborativa que se realiza através da rede de uma forma informal, no âmbito social da rede pessoal de aprendizagem de cada utilizador como meio de aprendizagem ao longo da vida. Aprendizagem colaborativa No âmbito do e-learning, promove-se um espaço de aprendizagem ativo e interativo entre os formandos, formadores e conteúdos de uma forma síncrona e/ou assíncrona. É fundamental, e para o êxito do processo de ensino-aprendizagem, que os intervenientes consigam construir um ambiente saudável de interação, em que a confiança e a cooperação mútua sejam uma constante. É por isso necessário, que o e-formador seja criterioso na escolha das ferramentas a utilizar, para assim fomentar este princípio de interajuda (Tarouco, Schuh, & Axt, 2003). Os ambientes síncronos têm como característica principal a interatividade entre os intervenientes (formador e formando), criando um clima social propício à criação de comunidades de aprendizagem, utilizando as ferramentas disponibilizadas pela internet e das plataformas de ensino. A aprendizagem assíncrona consiste numa forma de comunicação que decorre da diferença temporal e espacial, sendo das mais antigas formas de comunicação no eLearning. Por meio dela, os 829 formandos têm possibilidade de refletir, estudar, pesquisar mais informação e de redigir os seus textos de uma forma mais elaborada e fundamentada. A aprendizagem colaborativa através de uma rede de conexões sociais depende de uma correta utilização dos meios digitais, por parte dos formadores e formandos (Castells, 2001). Nesse sentido, existe uma tendência para otimizar a aprendizagem com o recurso às tecnologias digitais ao dispor dos intervenientes e através da rede. A evolução permite uma consciencialização da necessidade de promover novas formas de aprendizagem, colaboração e divulgação do trabalho realizado, como parte da sua marca digital, tanto a nível pessoal, como académico e profissional (Costa & Torres, 2011). As ferramentas para construção dos e-conteúdos As inovações decorrentes do avanço da tecnologia permitem criar e-conteúdos mais dinâmicos e apelativos para os formandos, recorrendo a recursos e ferramentas cada vez mais fáceis de utilizar e explorar. Aumentadas as funcionalidades e diminuídos os custos, a aprendizagem na utilização dessas ferramentas vai-se tornando cada vez mais facilitada, permitindo o uso por parte de formadores e formandos que não tenham conhecimentos técnicos ou específicos. Com a evolução da internet chegamos à web 2.0 que permite enriquecer as práticas pedagógicas, através de um potencial de ambientes virtuais de ensino-aprendizagem com características próprias e que diferem em função dos recursos e das funcionalidades. Através da web 2.0 e dos seus aplicativos os formadores e formandos tornam-se produtores de informação, distribuindo e partilhando conhecimentos e ideias de forma fácil e rápida (Coutinho, 2008). Desta forma, o formador beneficia nos dias de hoje de um manancial de ferramentas na web, que podem ser utilizadas para a construção de e-conteúdos, sendo exigido um certo nível de competências. Competências Digitais Hoje em dia vivemos num mundo digital, em que a tecnologia faz parte integrante da vida dos formadores e formandos. Essa nova realidade requer do formador novas competências pedagógicas específicas devido às exigências que lhe são feitas ao nível da construção de conteúdos, gestão de curso e avaliação a ser realizada. A construção dos conteúdos deve recorrer ao suporte da tecnologia digital multimédia, possibilitando uma maior interação por parte dos formandos. Assim, o formador orienta os formandos para uma autoaprendizagem orientada através de algumas estratégias pedagógicas dinâmicas, tais como fazer perguntas diretas, dar conselhos e oferecer sugestões, promovendo uma autorreflexão e uma partilha dessa reflexão com os outros formandos por meio dos espaços construídos para o efeito, não descurando nunca o feedback por parte do formador dessa reflexão exposta. As competências digitais do formador devem promover, estimular, orientar e apoiar as diversas interações do formando: • Interação entre formando vs formador • Interação entre o formando e os conteúdos • Interação entre os formandos • Interação do formando e a plataforma de aprendizagem. 830 Para que essas interações existam, é necessário que a escolha das ferramentas ou recursos a utilizar sejam bem escolhidos para que o processo de aprendizagem seja bem-sucedido. Neste sentido, o formador deve ter as competências digitais sobre as ferramentas e recursos que irá utilizar, para que seja um facilitador de aprendizagem e não seja um entrave ao processo de autoaprendizagem do formando. Segundo Hywel Thomas um formador deve ter quatro qualidades que são transversais na perspetiva presencial e online, utilizando uma mnemónica dos 4 P’s: 1. Positivo – o formador deve gerar entusiamo, incentivar à participação e ajudar nas dificuldades sentidas ao longo do processo de aprendizagem; 2. Proactivo – identificar quando é preciso agir e fazê-lo de forma a transmitir entusiasmo e motivação para os conteúdos disponibilizados; 3. Paciente – para compreender as necessidades dos formandos, ser flexível para poder adaptar o curso às necessidades dos formandos e adaptar os prazos à medida possível da resolução das tarefas propostas; 4. Persistente – focar-se no essencial e resolver qualquer problema que possa surgir de ordem técnica ou de outra ordem. Além destes 4 P’s sugiro mais uma outra qualidade mais direcionada para o ambiente digital, dando-lhe o nome de Perito digital. Perito digital consiste na perícia que o formador deve ter em âmbito de eLearning relativamente às tecnologias digitais. Deverá demonstrar a capacidade de explorar ao máximo as ferramentas que existem ao seu dispor para criar conteúdos digitais e poder avaliar os conhecimentos dos formandos através de ferramentas digitais. Competências formativas do formador online Com base nas qualidades acima descritas o formador deve ter quatro competências para permitir desempenhar melhor as suas funções em nível: • Pedagógico – o processo de integração de uma pedagogia de eLearning deve contemplar um percurso que apoie e auxilie o formador no planeamento e gestão do curso a nível tecnológico, de conteúdos, pedagogia, processo de avaliação e de certificação. Só com competências pedagógicas e conhecimentos científicos é que um formador poderá ter sucesso na transmissão do seu conhecimento através de um ensino dinâmico, flexível, inovador e de excelência. • Social – na perspetiva do eLearning a dimensão social é de extrema importância, por isso é importante surgirem espaços onde surja a dimensão social, que permita a partilha e colaboração entre todos os formandos. É importante para o sucesso da aprendizagem em regime de eLearning um ambiente social e amigável, fomentando um ambiente de uma verdadeira comunidade virtual. • Organizativo – o formador é chamado a gerir as ações dos formandos para a realização das tarefas propostas; gerir a parte administrativa, avaliativa e o bom funcionamento do ambiente virtual onde decorre a formação. • Técnico – sendo o ambiente virtual e dependente de várias tecnologias digitais o formador deve ser detentor de uma especialidade para manejar essas ferramentas ao seu dispor, permitindo assim um ambiente confortável no espaço online ou comunidade virtual. A relação que existe entre a tecnologia e a pedagogia nos tempos modernos, mudou os paradigmas das teorias educativas, o que exige do formador uma atualização permanente e exige 831 também uma alteração dos recursos a utilizar para adaptar a pedagogia às tecnologias educativas atuais utilizando as tecnologias digitais. O formador como construtor dos seus conteúdos deve ter conhecimento e domínio das diversas ferramentas e das diferentes tecnologias para a criação dos conteúdos digitais, devendo ser mais dinâmicos e apelativos de fácil interpretação e leitura em ecrã (Oliveira, 2014). Considerações Finais Nos dias de hoje, a sociedade sofre constantes transformações na forma de se relacionar, em muito devido à tenologia. A internet e o rápido acesso a meios tecnológicos inovadores são, por vezes, a fonte dinamizadora dessa evolução. A formação é um espaço privilegiado para a utilização da evolução tecnológica associada a uma pedagogia mais inovadora. Os formadores devem munir-se de novas ferramentas para inovar e dinamizar as suas formações, pois com a web 2.0 surge uma mudança na atitude e no conceito de aprender, dado que se passa a aprender em rede. Assim, alterou-se a forma como os formandos aprendem, como os formadores ensinam e como as instituições interagem com os seus formandos e comunidade. A formação permanente é um elemento fundamental para o formador ter competências digitais para exercer as suas funções. Referências Ala-Mutka, K., Punie, Y., & Redecker, C. (2008). Digital Competence for Lifelong Learning. Seville: Institute for Prospective Technological Studies (IPTS), European Commission, Joint Research Centre. Retrieved from http://ftp.jrc.es/EURdoc/JRC48708.TN.pdf Anderson, T. (2007). Personalized Learning Systems and you. Retrieved September 30, 2013, from http://blip.tv/josemota/terry-anderson-personalized-learning-systems-and-you-2226113 Aviram, A., & Eshet-Alkalai, Y. (2006). Towards a Theory of Digital Literacy: Three Scenarios for the Next Steps. European Journal of Open, Distance and E-Learning, 9(1). Retrieved from http://www.eurodl.org/index.php?p=archives&year=2006&halfyear=1&article=223 Castells, M. (2001). La galaxia Internet. Barcelona, Spain: Areté. http://ebookbrowse.com/castells-manuel-la-galaxia-internet-pdf-d172561764 Retrieved from Costa, C., & Torres, R. (2011). To be or not to be, the importance of Digital Identity in the networked society. Educação, Formação & Tecnologias - ISSN 1646-933X, 47–53. Retrieved from http://eft.educom.pt/index.php/eft/article/view/216 Coutinho, C. P. (2008, October 1). Web 2.0 : uma revisão integrativa de estudos e investigações. Retrieved from http://repositorium.sdum.uminho.pt/handle/1822/8462 Dias, P. (2012). Comunidades de educação e inovação na sociedade digital. Educação, Formação & Tecnologias, 5(2), 3–9. Retrieved from http://hdl.handle.net/10400.2/2330 Eshet-Alkali, Y., & Amichai-Hamburger, Y. (2004). Experiments in digital literacy. Cyberpsychology & Behavior : The Impact of the Internet, Multimedia and Virtual Reality on Behavior and Society, 7(4), 421–9. http://doi.org/10.1089/cpb.2004.7.421 Gomes, M. J. (2005). Desafios do e-learning: do conceito às práticas. In B. D. Silva & L. S. Almeida (Eds.), Actas do VIII Congresso GalaicoPortuguês de PsicoPedagogia (pp. 66–76). Braga: CIEd/IEP/UM. Retrieved from 832 http://www.educacion.udc.es/grupos/gipdae/documentos/congreso/VIIIcongreso/pdfs/paineis/onli ne.pdf Gomes, M. J. (2005). E-learning : reflexões em torno do conceito. In Challenges’05 : actas do Congresso Internacional sobre Tecnologias da Informação e Comunicação na Educação (pp. 229– 236). Universidade do Minho. Centro de Competência Nónio Século XXI. Retrieved from http://repositorium.sdum.uminho.pt/handle/1822/2896 Goodfellow, R. (2011). Literacy, literacies, and the digital in higher education. Teaching in Higher Education, 16(1), 131–144. Retrieved from http://oro.open.ac.uk/26758/2/TiHE_review_final.pdf Leal, D., & Amaral, L. (2004). Do ensino em sala ao e-Learning. Braga: Universidade do Minho. Retrieved from http://www.sapia.uminho.pt/uploads/do ensino em sala.pdf Martin, A. (2008). Digital Literacy and the “Digital Society. In C. Lankshear & M. Knobel (Eds.), Digital Literacies: Concepts, Policies and Practices. New York, NY, USA: Peter Lang. Retrieved from http://www.google.pt/books?hl=pt-PT&lr=&id=doVQq67wWSwC&pgis=1 Oliveira, N. R. (2014). Literacia digital através de projetos com recurso às TIC. In C. Ferreira & J. A. Diniz (Eds.), Livro de Resumos do VIII Semime (Exclusão Digital) (pp. 29–30). Lisboa: Faculdade de Motricidade Humana. Retrieved from http://www.fmh.ulisboa.pt/semimelisboa/images/AtasSEMIME_2014.pdf Oliveira, N. R., & Morgado, L. (2014). Digital Identity of researchers and their Personal Learning Network. In P. Zaphiris & A. Ioannou (Eds.), Learning and Collaboration Technologies. TechnologyRich Environments for Learning and Collaboration (pp. 467–477). Switzerland: Springer. http://doi.org/10.1007/978-3-319-07485-6 Sharpre, R., & Beetham, H. (2010). Understanding students’ uses of technology for learning: Towards creative appropriation. In R. Sharpe, H. Beetham, & S. de Freitas (Eds.), Rethinking learning for a digital age: How learners are shaping their own experiences (pp. 85–99). Routledge. Retrieved from https://radar.brookes.ac.uk/radar/items/4887c90b-adc6-db4f-397f-ea61e53739e0/1/ Siemens, G. (2007). PLEs – I Acronym, Therefore I Exist. Retrieved September 30, 2013, from http://www.elearnspace.org/blog/2007/04/15/ples-i-acronym-therefore-i-exist/ Tarouco, L. M. R., Schuh, E. M. M., & Axt, M. (2003). Linhas de Fuga no Processo Artístico com a Tecnologia Digital. RENOTE - Revista Novas Tecnologias na Educação, 1(1). Retrieved from http://seer.ufrgs.br/index.php/renote/article/view/13622 833 ÉCOLE PREMIÈRE SOUS LA LOUPE: QUELLE ÉVALUATION POUR QUELS APPRENTISSAGES? (ID 203) VEUTHEY, Carole, Université de Genève (CH) MARCOUX, Géry, Université de Genève (CH) Mots-clés: École première, École maternelle, Évaluation, Progression RÉSUMÉ Plus que jamais, au niveau européen voire mondial, l’école première (CITE 0 ) est considérée comme un enjeu d’avenir. Elle est investie comme le lieu qui, en jetant les bases pour l’apprentissage ultérieur, peut améliorer l’équité des résultats, relever le niveau global des compétences et, partant, prévenir le décrochage scolaire (Commission Européenne, 2006). Dans cette perspective, trois éléments emblématiques de l’éducation font débat : les pratiques d’enseignement, les modes d’apprentissages et l’évaluation de ces derniers. En ce qui concerne les deux premiers aspects, un consensus croissant prêche pour des programmes éducatifs privilégiant l’approche développementale centrée sur l'enfant pour les plus jeunes (moins de cinq ans) et pour des programmes intégrant les matières scolaires (cf. littéracie et numératie émergentes) dans un curriculum plus planifié avec une intervention plus marquée de l’enseignant (Eurydice, 2009), pour les plus grands (cinq-six ans). Si certains systèmes éducatifs semblent suivre ce chemin, d’autres semblent tenté par une introduction plus précoce des acquisitions scolaires et à la soumission à des normes académiques de plus en plus tôt, mettant à mal l’approche développementale (Marcon, 2002). L’évaluation, même si certains questionnent la nécessité d’évaluer à ce niveau (Zerbato-Poudou, 2007), est pour la littérature en sciences de l’éducation une composante importante à la fois du processus d’enseignement et de celui de l’apprentissage. Dans cette perspective, une bonne coordination entre, les attendus du programme, les pratiques d’enseignement et les évaluations semble souhaitable (Marsh, 2009). Toutefois, des études récentes sur les pratiques à l’école première tendent à montrer que cette coordination ne va pas de soi. En effet, même si en accord avec les programmes, les enseignants considèrent bien souvent la socialisation comme un des objectifs fondamentaux des premières années de scolarité, ils lui réservent peu de place dans les évaluations formelles - ces dernières mesurant en grande majorité des contenus disciplinaires (Grange, Veuthey & Marcoux, à paraitre). Dès lors, et dans la suite de nos symposiums précédents (Adméé 2014, 2015), il nous a semblé pertinent d’approfondir la relation "attendus du curriculum", "pratiques effectives d’enseignement" et "évaluations en classe" au travers de trois recherches complémentaires. La première, réalisée en Belgique francophone sous le mode d’une recherche-action, portera sur l’évaluation comme levier à l’enseignement et, partant, à l’apprentissage. La seconde, réalisée en France sous la forme d’analyse de documents, interrogera l’inflexion possible des pratiques d’évaluation des enseignants suite à l’introduction d’un nouveau programme désireux de remettre le développement de l’enfant au centre des attendus. Enfin, la troisième recherche, réalisée dans le canton de Genève sur base d’interviews, tentera d’analyser la difficulté apparente des enseignants à concilier "évaluation pour l’apprentissage" et "évaluation de l’apprentissage" (le rendre-compte) en lien avec le plan d’études 834 romand et la possibilité ou non d’y intégrer la notion de progression. L’ambition de ce symposium est d’articuler ces trois communications dans une volonté de rapport cohérent et intégré: curriculum, enseignement, évaluation, apprentissage. Références Commission Européenne. (2006). Efficacité et équité des systèmes européens d’éducation et de formation, COM 481 final, 8 septembre 2006. Consulté en ligne le 09.09.2014 : http://europa.eu/legislation_summaries/education_training_youth/general_framework/c11095_fr. htm. Eurydice (2009). Réduire les inégalités sociales et culturelles par l’éducation et l’accueil des jeunes enfants en Europe. Bruxelles: Eurydice Grange, T., Veuthey, C. & Marcoux, G. (à paraitre). Entre jugement professionnel et évaluation standardisée : quels enjeux pour l’école enfantine ?, Fernelmont (Belgique) : Editions Modulaires Européennes (EME). Marcon, R.A. (2002). Moving up the grades: Relationship between preschool model and later school success. Early Childhood Research & Practice, 4(1), 1-24 Marsh, C.J. (2009). Key Concepts for Understanding Curriculum. Routledge : London. Meirieu, Ph. (2008). Ecole maternelle, école première. Intervention au congrès de l’Association Générale des Enseignants des Ecoles et classes Maternelles publiques (AGEEM), Tarbes (France), juillet. Perrenoud, Ph. (1999). Le rôle de l’école première dans la construction de compétences. Revue Préscolaire (Québec), 38(2), 6-11. Zerbato-Poudou, M.T. (2007) En maternelle, penser l’évaluation comme un dispositif créateur d’événements. Cahiers pédagogiques, L’école maternelle aujourd’hui, 456. COMMUNICATION 1 - DOSSIERS D’ÉVALUATION: RENDRE VISIBLE LA PROGRESSION DE L’ÉLÈVE POUR QUI ET POUR QUOI? MARCOUX, Géry, Université de Genève (CH) VEUTHEY, Carole, Université de Genève (CH) MARMET, Ariane Favre, DIP, Genève (CH) RÉSUMÉ Les résultats présentés dans cette contribution s’inscrivent dans le prolongement de nos recherches antérieures, exposés à l’Adméé en 2014 et 2015, sur les pratiques évaluatives des enseignantes enfantines (4-6 ans) dans le canton de Genève. Ainsi, suite à l’introduction d’un nouveau plan d’études (PER) recouvrant l’ensemble de la scolarité obligatoire (CIIP, 2010), il nous a semblé intéressant d’approfondir la question des changements entrainés par cette réforme curriculaire sur le plan de l’enseignement et de l’évaluation. En effet, alors que l’ancien plan d’études, en vigueur durant les vingt dernières années 835 mettait l’accent sur une approche globale de l’enfant (Objectifs et activités préscolaires, 1992), le PER propose une compréhension différente du rôle des apprentissages fondamentaux dans les deux premières années de scolarité. Il est maintenant défini que "les enjeux de cette étape essentielle [l’entrée dans l’école] s’articulent autour de trois aspects : la socialisation, la construction des savoirs, la mise en place d’outils cognitifs" (PER, 2010, présentation générale, p.24). In fine, ce plan d’études propose à l’enseignant non plus des activités visant le développement global de l’enfant, mais un réseau d’objectifs à atteindre dans chaque domaine disciplinaire, organisés dans une progression sur un cycle de quatre ans (4 à 8 ans) et aboutissant à des attentes de fin de cycle. Par exemple, en mathématiques, nous pouvons lire : "Au cours, mais au plus tard à la fin du cycle, l’élève reconnait et nomme le rond, le carré, le rectangle, le triangle" (PER, 2010). Dès lors, nos études précédentes ont montré que si l’intégration des deux premières années de la scolarité (4-6 ans) dans un plan d’études qui recouvre toute la scolarité obligatoire donne une visibilité plus grande aux apprentissages des tous jeunes élèves, elle a pour effet d’augmenter dans les pratiques l’utilisation de traces écrites pour évaluer les élèves et informer leurs parents de leur évolution (Gilliéron-Giroud, Meyer & Veuthey, 2013; Veuthey, 2011). De même, elles ont mis en évidence un décalage entre le contenu des dossiers d’évaluation (prédominance d’outils mesurant des acquis cognitifs "facilement" quantifiables) et le discours des enseignantes sur les objectifs prioritaires des deux premières années de scolarité (socialisation et entrée dans le métier d’élève) relevant d’avantage de leur "jugement professionnel" (Lafortune & Allal, 2007). En effet, pour une part, l’analyse effectuée de contenu de dossiers d’évaluation montre que les traces présentes dans les dossiers d’élèves sont très majoritairement des activités-bilan mesurant des connaissances disciplinaires. En complément, et pour une autre part, les premiers entretiens réalisés avec ces mêmes enseignantes ont permis de relever que lorsqu’elles s’expriment sur leurs pratiques pédagogiques, elles soulignent l’importance des aspects transversaux et socio-affectifs dans leur enseignement à l’école première, alors que cette importance ne se retrouve pas dans l’analyse des dossiers. De plus, lorsqu’il s’agit d’informer les parents sur le comportement ou l’attitude de l’élève face au travail, elles reconnaissent se baser principalement sur des observations personnelles, gardées en mémoire ou consignées. Autrement dit, lorsqu’il s’agit d’évaluer les aspects cognitifs, les enseignantes utilisent des outils de mesure facilement quantifiables, alors qu’elles font davantage appel à leur jugement professionnel et à une vision plus globale en ce qui concerne les apprentissages transversaux (Veuthey & Marcoux, à paraitre). En conséquence, nous observions des enseignantes tiraillées entre leur conception du développement de l’enfant, leurs perceptions des attentes définies dans le nouveau plan d’études en vigueur en suisse romande (PER) et les fonctions attribuées à leurs outils d’évaluation. Ce sont ces tensions que nous analysons dans cette contribution. Pour ce faire, nous avons interviewé 5 enseignantes ayant enseigné à ce niveau au cours des dernières années et qui ont suivi une formation continue en évaluation. Nous avons cherché à comprendre pourquoi, malgré la formation reçue, ces enseignantes maintiennent une logique d’évaluation du « rendre-compte » et, comment, dans ce cadre, elles tentaient de mettre en évidence la progression de l’élève. La discussion portera dès lors, pour une part, sur la difficulté apparente à concilier « évaluation pour l’apprentissage » et « évaluation de l’apprentissage » (le rendre-compte), et, pour une autre-part sur la possibilité ou non d’y intégrer la notion de progression qui, elle-même, a évolué au cours du temps dans les documents officiels. 836 Références Gilliéron Giroud, P, Meyer, A, & Veuthey, C. (2013). Scolariser des enfants de 4 et 5 ans en Suisse romande. Les spécificités des pratiques d’évaluation en question. Le cas du canton de Vaud et de Genève. Cahier du CERFEE, Varia. Lafortune, L. & Allal, L. (2008). Le Jugement professionnel en évaluation : Pratiques enseignantes au Québec et à Genève. Québec : Presses de l’Université du Québec. Objectifs et activités préscolaires. (1992). Conférence intercantonale des chefs de départements de l’instruction publique de la Suisse romande et du Tessin. Neuchâtel : Institut de Recherche et de Documentation Pédagogique. PER, plan d’études romand, (2010) Consulté le 10 septembre 2015 dans CIIP, Conférence intercantonale de l’instruction publique de la Suisse romande et du Tessin, Accès : http://www.plandetudes.ch/web/guest/PG2-contexte Veuthey, C. (2011). Scolariser des enfants dès 4 ans: tensions entre attentes et conséquences. Actes du Colloque Cerfee – Lirdef, L’éducation de la petite enfance: enjeux sociaux et éducatifs de l’accueil dans les différentes formes institutionnelles (Montpellier, 9-10 septembre 2011) [http://www.lirdef.univ-montp2.fr/cerfee/IMG/pdf/PG-AM_Actes_colloque_Montpellier.doc.pdf] Veuthey, C. & Marcoux, G. (à paraitre) Evaluation à l’école première: une clarification des objectifs porteuse d’échec ? In T. Grange, C. Veuthey & G. Marcoux (Eds), Entre jugement professionnel et évaluation standardisée : quels enjeux pour l’école enfantine ?, Fernelmont (Belgique) : Editions Modulaires Européennes (EME). COMMUNICATION 2 - VERS UNE ÉVALUATION DIAGNOSTIQUE POUR L'ACTION PÉDAGOGIQUE ? L'ÉCOLE MATERNELLE EN FÉDÉRATION WALLONIE-BRUXELLES À LA RECHERCHE D'UN MODÈLE D’ÉVALUATION LINT, Sylvie Van, CRSE - ULB – Galilée (BE) RÉSUMÉ Les évaluations à l’école maternelle, en Belgique francophone, sont le plus souvent informelles, basées sur des observations diffuses de l’enfant « dans sa globalité » (Bouko & Van Lint, 2016). Les institutrices maternelles répugnent généralement à pratiquer l'évaluation des élèves désirant les préserver d'un jugement assorti assez rapidement d'un classement tout aussi prématurés l’un que l’autre. Toutefois, ne peut-on pas envisager un autre objectif à l’évaluation? Le médecin qui ausculte un patient ne pratique-t-il pas également une forme d’évaluation ? L'architecte qui arpente la maison que vous venez d'acheter et prend tout un panel de mesures n'évalue-t-il pas ? L'évaluation, dans ce sens, est un recueil d'informations diverses à examiner en fonction d'une action future. Trop souvent, dans le monde scolaire, l'évaluation est comprise uniquement comme un jugement, souvent sans appel, de la personne même de l'élève. Que penserait-on d'un médecin qui se contenterait de vous annoncer que votre taux de cholestérol est trop élevé par rapport à la norme ? 837 Comment réagirait-on face à un architecte qui se contenterait d'acter que votre maison n'est pas salubre car les caves sont très humides ? Toute évaluation est toujours sous-tendue par un objectif : il nous semble évident qu'une évaluation certificative/sommative n'a pas lieu d'être à l'école maternelle. Aucune connaissance et/ou compétence ne sont à certifier à cet âge : Quels seraient, en effet, ces apprentissages ? Quand auraient-ils été construits et par qui? De plus, une telle certification a pour fonction soit de préparer l'entrée sur le marché, soit de préparer l'orientation. Jusqu'à ce jour, bien heureusement, l'orientation et les filières ne sont pas à l'horizon des écoles maternelles. Une évaluation normative/critériée a pour fonction de classer les individus et de mesurer un écart avec une norme. Dans cette acception également, l'intérêt de l'évaluation ne nous semble absolument pas pertinent : quel serait l'avantage d'introduire les enfants de cet âge dans une logique de compétition ? Quelle norme serait pertinente ? Nous écarterons également la fonction formative de l'évaluation tant il nous semble que, trop souvent, le poids de la réponse à apporter à une telle évaluation incombe à l'élève seul. Comment un enfant de 4 – 5 ans peut-il prendre à sa charge ce genre d'information ? Il reste cependant l'évaluation diagnostique. Là encore, il s'agit d'être prudent et précis : l'objectif de l'évaluation diagnostique n'est absolument pas de repérer les élèves en difficulté et encore moins de les montrer du doigt comme étant les élèves qui risquent d'échouer dans leur carrière d'élève qui n'a même pas encore véritablement commencé (obligation scolaire à 6 ans). L'évaluation diagnostique a pour fonction de déceler et analyser les différences voire les difficultés éprouvées. L’intention de cette fonction particulière peut s'inscrire dans la définition d’une action pédagogique ciblée. Pour pouvoir apporter des réponses adéquates, encore faut-il avoir un questionnement précis pour, d'une part, orienter adéquatement le recueil d'informations et, d'autre part, adapter l'interaction pédagogique en fonction de ces informations. La démarche d'enseignement apprentissage de l'enseignant, tout comme la démarche du médecin ou de l'architecte dans notre exemple, sont des transactions humaines ce qui veut dire que l'action à entreprendre se négocie, se co-construit entre les différents intervenants : le médecin ne proposera pas exactement le même plan thérapeutique si le patient a 15 ou 85 ans, vit dans un squat ou dans une villa, même si les données médicales sont identiques ; de même, l'architecte ne proposera pas les mêmes projets en fonction du budget mais aussi du type de famille et des habitudes de vie des clients. Au cours de notre accompagnement de trois équipes d’enseignants, nous avons donc proposé une « évaluation diagnostique pour l'action pédagogique» : nous avons recueilli un ensemble d’informations quant au rapport au savoir et au rapport à l’apprentissage de 58 élèves de 4 à 5 ans. Ensuite, nous avons analysé ces données dans le but d'adapter l'action pédagogique en fonction des individus. Cette action pédagogique « adaptée » à l'individu, ne veut absolument pas dire qu'elle s'ajuste, que l'on va se montrer moins exigeant ou qu'on va proposer une autre action mais bien qu'on va entreprendre l’action en l’ancrant dans la réalité de l'individu, en partant de cette réalité. Ainsi, le recueil de données nous apprend que Prince, 4 ans 6 mois, pense qu'à l'école, on attend de lui d'apporter le plus rapidement possible une réponse. Comme on lui demandait de compter « jusqu'où il pouvait », il demanda s'il devait le faire en espagnol ou en français. « En espagnol, je sais aller très vite mais pas en français », affirma-t-il. L’adulte lui dit : « Montre-moi » et Prince de s'exécuter effectivement très rapidement en espagnol mais avec des omissions ; moins rapidement et moins loin dans la chaîne numérique en français mais sans faute. Pour Prince, l'action 838 pédagogique a été ciblée sur cette information : l’enseignante a insisté, par exemple, sur le fait qu'à l’école, on attend de lui qu'il réfléchisse bien, en prenant tout son temps, pour les tâches qu’on lui propose. Une telle forme d’évaluation diagnostique ne pourrait-elle pas constituer un « levier qui permettrait à l’action pédagogique d’éviter voire lever l’opacité qui peut se construire entre l’élève et le savoir, entre l’élève et l’apprentissage scolaire » (Kahn, 2010)? Références Bouko, Ch. et Van Lint, S. (2016). Quelles pratiques d’évaluation à l’école maternelle en Belgique francophone ? In T. Grange, C. Veuthey & G. Marcoux (Eds), (à paraître). Entre jugement professionnel et évaluation standardisée : quels enjeux pour l’école enfantine ?, Fernelmont (Belgique) : Editions Modulaires Européennes (EME) Kahn, S. (2010). Pédagogie différenciée. Bruxelles : De Boeck COMMUNICATION 3 - NOUVEAUX PROGRAMMES, NOUVELLES ÉVALUATIONS? L'ÉCOLE MATERNELLE FRANÇAISE À LA RECHERCHE D'UN NOUVEAU MODÈLE PÉDAGOGIQUE JOIGNEAUX, Christophe, Escol-UPEC (FR) MINASSIAN, Laure, Escol-UPEC (FR) RÉSUMÉ Par la publication de nouveaux programmes de l'école maternelle au début de 2015, les responsables politiques français ont cherché à initier la "refondation" de l'école "par le bas". La lenteur de l'élaboration de ces nouveaux programmes est cependant un nouvel indice des débats persistants dont est l'objet la préscolarité en France. Faisant suite à un rapport de l'inspection générale et de multiples consultations des enseignants de maternelle à propos des programmes de 2008 ou de premiers projets de nouveaux programmes, dans lesquels était souvent dénoncé le mouvement de "primarisation" qui aurait fait "perdre son âme" à l'école maternelle française, ces nouveaux programmes semblent constituer une rupture de ce point de vue : ils prônent un retour aux "fondamentaux" de l'école maternelle française, mettant au centre le développement de l'enfant par le jeux, le langage, les activités artistiques et physiques. Moins spectaculaire, la volonté de révolutionner l'évaluation pratiquée dès ce premier niveau de la scolarité est pourtant notable. Elle fait en effet l'objet d'un paragraphe autonome dès le préambule de ces nouveaux programmes, intitulé "une école qui pratique une évaluation positive". Son contenu semble dénoncer de façon à peine implicite les pratiques actuelles en la matière, en rappelant ce que l'évaluation ne doit pas être : "elle n'est pas un instrument de prédiction ni de sélection". Par opposition à l'approche "positive"prescrite : "Chaque enseignant s'attache à mettre en valeur, au-delà du résultat obtenu, le cheminement de l'enfant et les progrès qu'il fait par rapport à lui-même". A travers l'antagonisme de ces deux pratiques d'évaluation, on retrouve les tensions générées par la coexistence actuelle de deux modèles de la préscolarité en tension en France (et ailleurs), 839 mettant en avant, respectivement, le développement de l'enfant et la continuité des apprentissages scolaires (Eurydice, 2009, p. 138). Tensions que nous avions mises en lumière lors de nos précédentes communications aux colloques de l'ADMEE, à la suite notamment de l'analyse d'un échantillon d'une cinquantaine de livrets en usage des écoles maternelles du Pas de Calais et de Seine-Saint-Denis durant les années scolaires 2013-2014 et 2014-2015. Nous avions en effet dégagé deux idéaux-types : d'un côté des livrets très "scolaires", composés de compétences relativement ponctuelles, associées à des activités et des disciplines scolaires clairement délimitées et évaluées sur une seule (période de l') année ; de l'autre, des livrets davantage "développementalistes" car composés de compétences davantage transversales, au sens où elles peuvent plus difficilement être associés à des exercices ou des connaissances relevant des disciplines scolaires présentes à l'école élémentaire, dont l'évaluation est beaucoup moins ponctuelle, donnant à voir des "progrès" tout au long d'une année ou de plusieurs années préscolaires (Joigneaux, 2016). A la lumière de ces premiers constats et de cette analyse des nouveaux programmes, nous nous proposons de compléter l'étude ainsi déjà engagée : observe-t-on une inflexion dans les pratiques d'évaluations manifestées dans les livrets qui seront utilisés durant l'année scolaire 2015-2016 ? Moins d'évaluations sommatives réalisées à partir du degré de réussite à des exercices déjà très scolaires ? Et plus d'évaluations centrées sur les progrès de chaque élève, voire sur son développement ? Voire des évaluations qui s'inscriraient dans une perspective plus clairement vygostkienne, comme semblent y inviter les nouveaux programmes, à travers des recommandations du type : "L'enseignant (...) est attentif à ce que l'enfant peut faire seul, avec son soutien (ce que l'enfant réalise alors anticipe sur ce qu'il fera dans un avenir proche) ou avec celui d'autres enfants", allusion très claire à la zone proximale de développement telle que l'a conceptualisée Vygotski (Vygotski, 1997). On aurait alors affaire à un nouveau modèle d'évaluation centré davantage sur des processus interactifs et transversaux d'apprentissage et de développement que sur des produits mesurés à partir d'un écart par rapport à une norme fixée extérieurement. Comment peut-il se matérialiser en termes d'organisation pédagogique, de supports et de modes d'évaluation? Nous nous proposons donc de constituer un nouvel échantillon et de l'analyser à la lumière de ces nouvelles questions. Ce nouvel échantillon sera composé des livrets utilisés, dans la mesure du possible, dans les mêmes écoles que précédemment. En outre, comme lors de nos communications précédentes, ce sont les évaluations des domaines d'apprentissage relevant du langage oral et écrit qui seront le plus systématiquement analysées. Dans la continuité de nos précédents travaux dans ce domaine (Joigneaux, 2013a; 2013b), ces choix doivent permettre permettre de comparer plus rigoureusement les résultats obtenus, par la réduction du biais que pourraient constituer trop de variations concomitantes (anciens/nouveaux programmes, changement d'enseignants et/ou d'écoles, différents contextes d'exercice du métier de professeur des écoles, domaines d'apprentissage analysés...). Références Eurydice (2009), Réduire les inégalités sociales et culturelles par l’éducation et l’accueil des jeunes enfants en Europe. Bruxelles: Eurydice. Joigneaux C. (2013a), « Littératie, forme et inégalités scolaires : le cas de la « scolarisation » de l'école maternelle », Le Français aujourd'hui, n°183, pp.41-50. 840 Joigneaux C. (2013b), « La littératie précoce. Ce que les enfants font avec l'écrit avant qu'il ne leur soit enseigné », Note de synthèse, Revue Française de Pédagogie, n°185. Joigneaux (2016) : "L'évaluation dans les écoles maternelles françaises : quelles cohérences pour quels effets ?" in T. Grange, C. Veuthey & G. Marcoux (Eds), Entre jugement professionnel et évaluation standardisée : quels enjeux pour l’école enfantine?, EME. A paraître Vygotski (1997), Pensée et langage. Paris : La Dispute. 841 ÉVALUER LES DISPOSITIFS DE FORMATION: DES ENJEUX POUR LES RECHERCHES COLLABORATIVES (ID 206) Aussel, Lucie, Université Toulouse Jean-Jaurès (FR) RÉSUMÉ Des évolutions dans le financement de la recherche ainsi qu’une volonté de créer des interrelations entre le champ académique et le champ social amènent les équipes de recherche à étendre leurs activités à « l’intervention » entendue ici comme une forme particulière de l’activité scientifique. Ces recherches sont dites « finalisées », « commanditées », « recherche action », « recherche-intervention », etc. Elles ont en commun leurs orientations heuristique et praxéologique qui répondent à l’interpellation d’une demande sociale entendue comme « un système d’attente de la société à l’égard de problèmes quotidiens » (Castel, 2004, p. 70). Les recherches collaboratives supposent une démarche de coconstruction d’un objet de connaissance entre chercheurs et partenaires. Elles établissent ainsi une « certaine dialectique entre les préoccupations du monde de la recherche et celles du monde de la pratique » (Desgagné & Bednarz, 2005, p. 245). Dans le cadre de ce symposium « évaluer les dispositifs de formation : des enjeux pour les recherches collaboratives » nous souhaitons aborder l’évaluation comme une forme particulière de ces recherches collaboratives. Nous nous intéresserons à l’évaluation des dispositifs de formation compris comme une organisation ouverte de la formation nécessitant une approche évaluative écologique (Younès, 2010) et la prise en compte du point de vue des acteurs impliqués à différentes phases de leurs développements : initiation, création, préparation, diffusion, expérimentation (Aussel, 2015). Si l’on s’accorde sur la double visée de ce type de recherche « sur » et « pour » (Marcel, 2010) l’action dans une perspective d’accompagnement du changement (Bedin, 2013) ou d’amélioration de l’existant ; ce champ de recherche reste en évolution et en expansion. Il présente différents enjeux: - éthico-épistémologique, particulièrement dans les liens science-action, à travers les questions de posture des chercheurs-intervenants ; des relations chercheurs- commanditaires- partenaires; - heuristique et praxéologique à travers la coconstruction des savoirs « relatifs à la transformation du réel » (Marcel, à paraître), la traduction et la restitution des connaissances produites dans des démarches interactionnistes (Bedin, à paraître); - méthodologique, dans les façons de faire (dire, écrire, parler) des chercheurs-intervenants à l’interface de différents mondes; - socio-politique, par le positionnement de notre discipline avec les risques et les enjeux que cela comporte. Ainsi, il s’agira d’interroger la pratique évaluative de chercheurs en éducation en situation de commande institutionnelle (passée par une instance politique, académique, etc.) à travers ces questions: - quels sont les enjeux pour les Sciences de l’éducation? - comment s’émanciper de la demande et négocier la commande ou le contraire? 842 - comment construire sa posture de chercheur-intervenant-évaluateur? - quel statut pour des résultats produits dans ce contexte? - quels sont les enjeux de la restitution des savoirs? Telles sont quelques unes des questions auxquelles cinq communications tenteront d’apporter des éléments de réponse. La première examinera les effets d’un dispositif de formation à long terme à travers les expériences d’apprentissages de ses participant-e-s et mettra en perspective les enjeux théoriques, méthodologiques et pragmatiques de son évaluation. La deuxième recherche reviendra sur une évaluation menée en contexte multi-partenarial (endogène et exogène) et exposera les enjeux et tensions d’une telle démarche. La troisième communication reprendra à travers les résultats de deux recherches collaboratives l’émergence et la centralité de l’évaluation dans les conceptions exprimées de la professionnalisation des concepteurs de politiques, de dispositifs de formation mais aussi des professionnels à qui ces dispositifs se destinent. La quatrième communication présentera une réflexion critique de l’évaluation en recherche partenariale à travers une analyse de pratique pour penser l’évaluation d’enseignements universitaires de formation continue. Enfin, la dernière communication proposera une démarche d’élaboration d’un dispositif d’évaluation d’une recherche collaborative particulière : la recherche-intervention. Enfin, un discutant mettra en perspective ces contributions qui abordent l’évaluation de dispositifs de formation et ses enjeux au sein de recherches collaboratives. COMUNICATION 1 - ÉVALUER LES EFFETS D’UN DISPOSITIF DE FORMATION À LONG TERME. LE POINT DE VUE DE VUE DES PARTICIPANT-E-S, ENJEUX THÉORIQUES, MÉTHODOLOGIQUES ET PRAGMATIQUES LAMBERT, Marie, Centre de Didactique Universitaire, Université de Fribourg (CH) CHARLIER, Bernardette, Centre de Didactique Universitaire, Université de Fribourg (CH) RÉSUMÉ Organisée depuis l'année 2003-2004, la formation Did@cTIC en enseignement supérieur et technologie de l'éducation offre la possibilité de s'initier à la pédagogie universitaire ou de se perfectionner dans ce domaine. Elle s'adresse aux enseignant-e-s de l'enseignement supérieur (universités et hautes écoles) de toutes disciplines. Elle vise le développement de compétences de base dans trois domaines principaux : la scénarisation pédagogique, l’évaluation et le développement professionnel. Trois filières sont proposées en français, en allemand et de manière bilingue : un certificat (Certificate of Advanced Studies - CAS) à 15 ECTS, un diplôme (Diploma of Advanced Studies - DAS) à 30 ECTS et une participation à la carte (choix de modules isolés). La formation comprend quatre modules obligatoires dans le cadre du CAS et du DAS; une palette de modules à option permettant d'approfondir différentes thématiques spécifiques complète l'offre. L'équipe qui organise et anime la formation (appelée ci-après équipe Did@cTIC) est composée de la professeure responsable, qui dirige le dispositif et supervise le parcours des participant-e-s, et d'une collaboratrice scientifique, chargée de la coordination du dispositif et des aspects administratifs. 843 En vue de l'obtention du CAS ou du DAS, les participant-e-s rédigent un travail de fin d'étude (TFE) qui peut prendre deux formes différentes: soit un portfolio d'enseignement et/ou de recherche, soit la description et l'analyse d'un projet pédagogique. Les TFE varient en ampleur et en degré d'approfondissement en fonction du parcours du participant (CAS ou DAS). Pour cette dernière étape de leur parcours, les participant-e-s disposent d'un guide récapitulant les informations pratiques nécessaires (p. ex. étapes de travail, délais, critères d'évaluation); ils/elles sont surtout accompagné-e-s par la professeure responsable de la formation, qui lit tous les TFE et fournit un feedback individualisé à chaque participant-e. Lorsque la version finale est acceptée, le/la participant-e présente et défend oralement son TFE devant un jury composé de la professeure responsable et d'un-e expert-e externe en sciences de l'éducation. Depuis le début de la formation, plus de 160 TFE ont été défendus avec succès (statistiques au 22 mai 2015). Or, en tant que membres de l'équipe Did@cTIC, nous n'avons que peu d'informations au sujet des expériences d'apprentissage des participant-e-s lors de la réalisation de leur TFE. Cela est dû principalement à la nature de l'activité: comme le TFE est réalisé de manière individuelle par chaque participant-e à la fin de son parcours de formation, le processus n'est pas évalué en tant que tel; à titre de comparaison, tous les modules de formation du dispositif sont évalués, car il s'agit d'activités collectives. Par ailleurs, nous ne savons pas non plus dans quelle mesure ces expériences ont un impact sur les pratiques ultérieures des participant-e-s et de leur équipe de travail. En effet, comme le parcours de formation se termine par la soutenance du TFE, nous n'avons plus vraiment de contact avec la plupart des participant-e-s, dont une bonne partie quitte de surcroît l'Université de Fribourg, ayant été engagé-e-s par elle sur des contrats à durée déterminée. Intentions de recherché C'est pourquoi nous avons souhaité réaliser une recherche-évaluation sur les expériences des participant-e-s à la formation Did@cTIC lors de la dernière phase de leur parcours et sur les effets perçus de ces expériences. Notre projet s'inscrit dans la lignée des travaux dédiés au phénomène de l’apprentissage de l’enseignement au supérieur par la réflexion et l’analyse de ses pratiques. Ainsi, dans le cadre de ce projet de recherche, la réalisation du TFE Did@cTIC est considérée comme la mise en œuvre d’une démarche rigoureuse et méthodique de réflexion et d’analyse de ses pratiques, centrée sur une problématique d’enseignement-apprentissage dans l'enseignement supérieur; orientée par les buts poursuivis par l’enseignant-e, elle peut avoir des effets sur ses propres pratiques et sur celles d'autres personnes, en fonction de différents facteurs. De manière générale, la présente recherche visait à répondre à la question suivante : Dans quelles conditions (individuelles, de l’environnement de formation et de travail, relatives à l’interaction individu/environnements) l’expérience du TFE Did@cTIC apporte-t-elle une contribution au développement professionnel des participant-e-s et en quoi consiste cette contribution? Deux sous-questions en lien avec le Scholarship of Teaching and Learning (SoTL) ont également été formulées: Les conditions d’apprentissage s’apparentent-elles à une démarche de type SoTL? Dans quelle mesure les effets perçus et/ou observés s’apparent-ils aux effets attendus d’une telle démarche ? Pour tenter d'y répondre, plusieurs questions plus spécifiques ont été investiguées : • QR 1: Quelles sont les caractéristiques du dispositif Did@cTIC en ce qui concerne la réalisation des TFE? • QR 2: Quelles sont les caractéristiques individuelles des participant-e-s au dispositif Did@cTIC? 844 • QR 3: Quelles configurations d'interactions peut-on mettre en évidence: o QR 3.1… entre les participants et le dispositif (expérience d'apprentissage)? o QR 3.2… entre les participants et leur environnement de travail (perception de l'environnement)? • QR 4: Quels sont, de leur point de vue, les effets de la réalisation du TFE: o QR 4.1... sur leur développement professionnel? o QR 4.2… sur les pratiques d’autres personnes? Le présent projet de recherche offrira des contributions à différents niveaux. Les résultats obtenus permettront d’identifier des pistes de développement pour le dispositif Did@cTIC, afin d’améliorer, si nécessaire, les conditions offertes aux participant-e-s lors de la réalisation de leur TFE. Les analyses réalisées à partir du modèle du SoTL permettront aussi de mener une réflexion critique à ce sujet : dans l’expérience des participant-e-s retrouve-t-on des démarches propres au SOTL ? Si, oui, dans quelle mesure selon les participant-e-s ces démarches ont-elles contribué à leur développement professionnel ? Notre cadre théorique sera décrit en deux temps. Dans un premier temps, pour situer le dispositif Did@CTIC par rapport à d’autres dispositifs possibles et ainsi assurer une certaine transférabilité à notre recherche quelques modèles permettant de situer le dispositif Did@cTIC en ce qui concerne la réalisation des TFE seront mobilisés, parmi lesquels le Scholarship of Teaching and Learning (SoTL) et le modèle du projet HY-SUP concernant le degré d’hybridation des dispositifs d’enseignement supérieur (Burton et al., 2011; Deschryver & Charlier, 2012). Dans un deuxième temps, nous présenterons notre cadre conceptuel complet comprenant des variables liées aux caractéristiques individuelles des participants, aux caractéristiques de l’environnement d’apprentissage, aux interactions entre participants et environnement, ainsi qu’aux résultats de l’apprentissage. Ce cadre est fondé sur une revue de la littérature (Charlier, Cosnefroy, Jézégou, Lameul, 2015). Notre méthode sera mixte intégrant un questionnaire aux participant-e-s ayant terminé la formation Did@cTIC et des entretiens qualitatifs complémentaires avec une quinzaine de participant-e-s. Outre l’analyse des premiers résultats, nos conclusions analyseront les enjeux théoriques, méthodologiques et pragmatiques soulevés par notre démarche d’évaluation. COMMUNICATION 2 - ENJEUX ET TENSIONS D’UNE ÉVALUATION EN CONTEXTE MULTI PARTENARIAL. LE CAS D’UN DISPOSITIF EXPÉRIMENTAL DE FORMATION AU SEIN D’UN CONGRÈS MÉDICAL Aussel, Lucie, Université Toulouse Jean-Jaurès (FR) RÉSUMÉ La communication abordera la méthode choisie pour mener une recherche-intervention évaluative dans un contexte de partenariat pluridisciplinaire Université-Entreprise ; une partie des 845 résultats ; ainsi qu’une série de questionnements épistémologiques et méthodologiques relatifs à ce type de démarche collaborative. Cette recherche réalisée en France, a été soutenue en 2013 par l’Agence Nationale de la Recherche (ANR) dans le cadre d’un Appel à projets visant à favoriser la création de Laboratoires Communs (LabCom). L’objectif de cette Appel était de « faire en sorte que le monde de la recherche académique se rapproche des entreprises ». Une des missions du LabCom RiMeC « Réinventer le Média Congrès » correspond à la mise en œuvre et à l’évaluation d’un dispositif de formation (Audran, 2007; Leclercq, 2003) expérimental. Celui-ci a été conçu pour des cardiologues interventionnels et mis en place lors de l’édition 2015 d’un congrès international de cette spécialité. La création et l’évaluation de ce dispositif ont été respectivement portées par deux chercheurs du LabCom ; la réalisation a quant à elle été assurée par des membres de l’entreprise (aspects logistiques et organisationnels) et par des cardiologues-formateurs (aspects scientifiques et pédagogiques). Cette distribution des rôles autour de l’expérimentation confère à l’évaluation une dimension multi-partenariale à la fois endogène (partenaire-collègue) et exogène (partenairescommanditaires, partenaires-diffuseur du dispositif, etc.). Dans le cadre de projets collaboratifs, particulièrement au sein d’une recherche-intervention, l’évaluation peut être convoquée dans une perspective d’accompagnement du changement (Bedin, 2013), ici en appui à une expérimentation. L’expérimentation en éducation consiste, à partir de certaines conditions préalablement établies, à « faire varier un ou plusieurs facteurs de la situation pour en étudier les effets » (Mialaret, 2004). Crahay (2005, p. 96) met en avant des critiques de la méthodologie expérimentale qui « s’applique mal à la complexité des phénomènes humains ». Il s’appuie ainsi sur la pensée de Reuchlin (1989 in. ibid.) qui reproche les situations artificielles dans lesquelles elles peuvent se développer, ainsi il milite pour un « pluralisme des méthodes ». Demeuse et Strauven (2006, p.153) abordent l’objectif d’une expérimentation qui vise selon eux à « évaluer le fonctionnement [du dispositif dans notre cas] dans une situation similaire à celle pour laquelle il est conçu et à évaluer son efficacité pédagogique ». Ainsi, elle permet aux commanditaires, si les conclusions de l’évaluation sont satisfaisantes, de généraliser l’expérimentation. Dans le cas de ce projet, l’évaluation s’inscrit dans deux fonctions, la première est dite de régulation, elle permet d’« améliorer une situation en cours » (De Ketele, 2010, p. 26) et d’aider la prise de décision (Bedin, 1993) la deuxième est celle d’orientation, elle donne la possibilité d’« orienter une nouvelle action à entreprendre » (ibid., p. 26). Nous avons développé une évaluation concomitante portant autant d’intérêt au processus qu’aux produits, c’est-à-dire aux résultats de l’expérimentation. Mottier Lopez et Crahay (2009, p. 12) affirment que « toute pratique évaluative est finalisée et répond à des logiques souvent plurielles et interconnectées ». Une logique nous intéresse en particulier : celle de développement. Elle s’apparente à une visée d’autonomisation de l’objet ou du sujet évalué. L’évaluation est pensée comme un accompagnement empreint de la fonction de régulation, c’est-à-dire comme une étape intermédiaire permettant la progression de l’objet ou du sujet évalué. Ainsi, l’évaluation s’est développée en tension entre des logiques d’accountability (Saussez & Lessard, 2009) et de développement afin de mettre au jour les effets du dispositif au regard de phénomènes explicatifs, du point de vue des acteurs (de la préparation jusqu’à l’expérimentation). Pour cela, deux orientations ont été retenues : connaître pour objectiver les effets du dispositif dans un premier temps ; et connaître pour expliquer les effets du dispositif dans un second. La première orientation, connaître « pour objectiver », est une demande d’objectivation souvent (pour 846 ne pas dire toujours) portée par les commanditaires. Elle permet de présenter un instantané d’une situation. Le but poursuivi est de construire quantitativement des informations reflétant une situation observée. La seconde orientation, connaître « pour expliquer », vient compléter la première, elle permet de l’interpréter par une connaissance fine du fonctionnement du dispositif de formation. Les résultats de cette évaluation présenteront l’analyse des processus de création et de mise en œuvre de ce dispositif. Ils ont été construits à partir d’une approche qualitative reposant sur : - l’analyse textuelle des traces écrites (comptes rendus de réunion, notes de recherche et courriels échangés entre les différents acteurs du projet) ; - l’observation du dispositif lors de sa réalisation ; - l’analyse du questionnaire adressé aux destinataires à la fin de la formation. Nous terminerons cette communication par des questionnements relatifs aux enjeux (de plurilinguisme, de co-construction de la démarche et des résultats) et aux tensions (de temps, de posture et d’autonomie) de ce type de démarche collaborative. Références Audran, J. (2007). Dispositifs et situations, quelles articulations ? Questions vives, 4(8), 12-15. Bedin, V. (1993). L’aide à la décision politique de la recherche à la praxéologie le cas de l’expertise-conseil. Toulouse. Bedin, V. (Éd.). (2013). Conduite et accompagnement du changement : contribution des sciences de l’éducation. Paris: L’Harmattan. Crahay, M. (2005). Pourquoi l’expérimentation en éducation ? In M. Demeuse, A. Baye, M.-H. Straeten, J. Nicaise, & A. Matoul (éd.), Vers une école juste et efficace (p. 95-114). Bruxelles: De Boeck Supérieur. De Ketele, J.-M. (2010). Ne pas se tromper d’évaluation. Revue française de linguistique appliquée, XV(1), 25-37. Demeuse, M., & Strauven, C. (2006). L’expérimentation du curriculum sur le terrain. In M. Demeuse & C. Strauven, Développer un curriculum d’enseignement ou de formation. Des options politiques au pilotage (p. 153-190). Bruxelles: De Boeck. Leclercq, G. (2003). Interpréter et développer des dispositifs de formation. Revue des sciences de l’éducation, 29(3), 499-524. Mialaret, G. (2004). L’expérimentation pédagogique. In G. Mialaret (éd.), Méthodes de recherche en sciences de l’éducation (p. 98-121). Presses Universitaires de France. Mottier Lopez, L., & Crahay, M. (2009). Evaluations en tension. Bruxelles: De Boeck. Saussez, F., & Lessard, C. (2009). Entre orthodoxie et pluralisme, les enjeux de l’éducation basée sur la preuve. Revue française de pédagogie, (168), 111-136. 847 COMMUNICATION 3 - LA POSTURE ÉVALUATION COMME INTERPRÉTATION DES DISCOURS SUR ET POUR LA PROFESSIONNALISATION Maubant, Philippe, Université de Sherbrooke (CA) RÉSUMÉ Les recherches en sciences de l’éducation se situent à l’interface des demandes sociales et des ambitions scientifiques de production de connaissances (Charlot, 1995). Elles sont aussi teintées des attentes, des injonctions et des utopies des décideurs publics. Dans cette perspective, elles se trouvent portées, parfois bien malgré elles, par des discours sociaux soumis au dogme de l’obligation de résultat (Lessard et Meirieu, 2004) et flirtant très souvent avec la tentation de l’effet de mode. À cet égard, les discours sur et pour la professionnalisation affectent depuis plusieurs années les politiques et les organisations (Wittorski, 2007) qui président aux évolutions des professions et des dispositifs de formation, en particulier dans les secteurs de l’éducation, de la formation et de l’intervention sanitaire et sociale. Nos travaux s’inscrivent dans ce contexte de professionnalisation de professions adressées à autrui et de formations initiale et continue préparatoires à ces professions et participant de processus d’apprentissage et de développement professionnel, dans un contexte de formation tout au long de la vie (Maubant, 2013). La professionnalisation constitue donc un discours social adressé aux professionnels d’un secteur donné et à l’offre de formation préparatoire et continuée propres à ces professions. Parmi les professions adressées à autrui, les professions du travail social sont interpellées aujourd’hui par ces discours sur et pour la professionnalisation (Jaeger, 2012 et 2013). À l’instar d’autres professions s’adressant à autrui, comme l’enseignement, la formation des adultes ou les professions de santé, les professionnels du travail social vivent ces discours d’abord et avant tout comme des transformations significatives de leurs activités professionnelles. Ces transformations s’accompagnent aussi d’une remise en cause des politiques et des dispositifs de formation initiale et continue en travail social (Maubant, Roger et Lejeune, 2013). Ces transformations portées par les discours sur et pour la professionnalisation sont d’abord d’ordre idéologique et doctrinaire. Elles traduisent différentes velléités à superviser, évaluer, contrôler le travail quotidien. Elles se meuvent quasi simultanément en bouleversements politiques et organisationnels. Elles visent in fine à induire des modifications de pratiques professionnelles individuelles et collectives. Ces discours sur et pour la professionnalisation sont reçus différemment tant par les responsables des organismes de formation que par les praticiens. Ils s’accompagnent d’un relatif fatalisme chez les professionnels. En effet, ces transformations sont souvent justifiées par des préceptes néo-libéraux visant à réduire les dépenses publiques. Dans la mesure où l’essentiel des services sociaux relèvent, dans un grand nombre de pays de l’OCDE, de la puissance publique, il ressort que les perceptions de ces injonctions à la transformation des politiques, des dispositifs, des organisations et des pratiques sont affectées par un tel contexte d’austérité budgétaire. La communication que nous soumettons dans le cadre de ce symposium vise à décrire et comprendre les traductions des discours sociaux sur et pour la professionnalisation dans les politiques et dispositifs de formation d’une part et dans les conceptions des professionnels d’autre part. Notre intérêt porte tout d’abord sur les différents processus de traduction des discours dans les conceptions des politiques et des dispositifs de formation. Nous souhaitons montrer comment 848 les concepteurs des politiques et les concepteurs de dispositifs de formation réinterprètent ces discours et comment ils donnent leur propre lecture de la professionnalisation. Nous souhaitons aussi décrire et comprendre les conceptions qu’ont les professionnels du travail social de ces discours sur et pour la professionnalisation. Nous tenterons donc de mettre en évidence, dans un premier temps, les mécanismes d’appropriation et de résistance qu’expriment les différents acteurs rencontrés (concepteurs de politiques et de dispositifs; professionnels du travail social) à l’égard des valeurs, des principes, des objectifs et des démarches constitutifs des discours sur et pour la professionnalisation. Dans un second temps, nous chercherons à mettre en évidence de quelles manières et pour quelles raisons la question de l’évaluation se trouve être au cœur des conceptions exprimées par les différents acteurs rencontrés et qu’elle constitue une grille d’interprétation des discours sur et pour la professionnalisation, en particulier lorsque ces discours affectent tout autant les politiques et dispositifs de formation que les pratiques professionnelles (Jaeger, 2012). Cette communication s’appuiera sur deux recherches conduites au Québec, l’une portant sur la formation des conseillers budgétaires, la seconde portant sur la formation des travailleurs sociaux intervenant dans les centres Jeunesse. Les conseillers budgétaires sont employés par des associations de consommateurs. Leur tâche vise principalement à accompagner les populations en situation d’endettement. Les intervenants sociaux, qui œuvrent en centre Jeunesse, interviennent au sein de familles pour lesquelles un signalement pour enfant en difficulté a été posé. La communication s’achèvera par une réflexion sur les processus de gestion de recherches collaboratives lorsque cellesci doivent prendre en compte une dimension évaluative. Références Charlot, B. (1995). Les sciences de l’éducation. Un enjeu, un défi. Paris : ESF. Jaeger, M. (2012). Sortir de la conscience malheureuse? Dans V. Meyer (Dir.). Performance, sens et usure dans les pratiques des professionnels en travail social. Les études hospitalières, pp. 107-121. Jaeger, M. (2013). Conférence de consensus sur la recherche en/dans/sur le travail social. Bilan des politiques sociales. Perspectives de l’action sociale. L’action sociale, pp. 205-216. Paris : Dunod Lessard, C., Meirieu, P. (2004). L’obligation de résultat en éducation. Paris : De Boeck Maubant, P. (2013). Apprendre en situations. Un analyseur de la professionnalisation. Québec : Presses de l’Université du Québec. Maubant, P., Roger, L., Lejeune, M. (2013). Déprofessionnalisation. Autour des mots. Recherche et formation, 72, 89-102. Wittorski, R. (2007). Professionnalisation et développement professionnel. Paris : L’Harmattan 849 COMMUNICATION 5 - CONTRIBUTION À L'ÉLABORATION D'UN DISPOSITIF D'ÉVALUATION DE LA RECHERCHE-INTERVENTION MARCEL, Jean-François, UMR EFTS, Université Toulouse - Jean Jaurès (FR) BEDIN, Véronique, UMR EFTS, Université Toulouse - Jean Jaurès (FR) RÉSUMÉ Cette communication a pour objectif d’appréhender une thématique encore peu investie par la littérature scientifique et qui reste même marginale dans les pratiques sociales : l’évaluation de la Recherche-Intervention (désormais nommée « R-I »). Cinq volets nous permettront de développer des éléments d’analyse dans une perspective essentiellement méthodologique et épistémologique. 1 - Le premier volet expose ce que nous entendons par Recherche-Intervention (Bedin, 2014; Broussal, Ponté & Bedin, à paraître ; Marcel, à paraître). Cette démarche travaille à repenser la relation entre science et société, plus précisément entre recherche en Sciences de l'éducation et demande sociale. Elle poursuit quatre visées à la fois interdépendantes et, pour partie, autonomes : - le « pour » qui vise à répondre à la préoccupation du commanditaire et à transformer concrètement le contexte concerné, - le « sur » qui préserve l'exigence de la démarche scientifique et l'élaboration de connaissances académiques, sur la base d'une problématique articulée à la demande, - le « avec » qui privilégie une démarche participative et l'association des acteurs au volet intervention et au volet recherche, - le « par » qui, spécificité des Sciences de l'éducation, pense le dispositif comme émancipateur (au sens de Paulo Freire) pour les acteurs impliqués. 2 - Le deuxième volet présente notre démarche d'élaboration d'un dispositif d'évaluation de la R-I. Il valorise une vision plurielle de l’évaluation, à la jonction de plusieurs modèles évaluatifs (Ardoino & Berger, 1989 ; Bedin, 2009 ; Bonniol & Vial, 1997/2000 ; Figari & Mottier Lopez, 2006 ; Marcel & Savy, 2013…), au regard des caractéristiques propres de ce type de recherche, éloigné de toute pensée simplificatrice. Effectivement, évaluer séparément et ensemble les quatre visées de la R-I (le « pour », le « sur », le « avec » et le « par ») nécessite d’articuler plusieurs approches évaluatives, parfois contradictoires : - une première focale proche du « contrôle » et renvoyant alors à un référent « externe » au dispositif, - une deuxième focale basée sur le primat du sens et du vécu des acteurs, - une troisième focale centrée sur la régulation et le pilotage de la démarche dans une perspective d’aide à la décision. Ces deux dernières approches sont les plus complexes à réaliser car la diversité des « participants » en présence (commanditaires, opérateurs, chercheurs-intervenants, sans oublier les partenaires et les « éduqués » – élèves, enfants, formés, etc. –) se double d'une hétérogénéité entre les langages, dotant le dispositif d'un plurilinguisme et de logiques d’action caractéristiques. 850 3 - Le troisième volet, empirique, rend compte de deux R-I conduites au sein de la structure de recherche et, chacune, sous la supervision d’un des deux co-auteurs de la contribution. 3a) L'accompagnement de l'élaboration d'un projet dans un établissement scolaire La demande, relative au volet « intervention », concerne l'élaboration du projet « vie scolaire » d'un établissement d'enseignement agricole. Elle porte sur un appui méthodologique et un regard extérieur sur les pratiques et se décline ainsi : - élaboration des outils de diagnostic de la vie scolaire par le groupe de travail et présentation au comité de pilotage, - conduite du diagnostic, élaboration des objectifs du plan d’action et formalisation du nouveau projet, - organisation et mise en place, mise en œuvre, évaluation et régulation du projet. Le volet « recherche » alimente une thèse sur le changement des pratiques des enseignants, formateurs et personnels de la vie scolaire, relatives aux règles de vie et à la gestion de la discipline dans et hors de la classe (dimension éducative en relation avec la vie scolaire). 3b) L’accompagnement du développement d’une dynamique partenariale dans le cadre d’un projet européen. Cette opération transnationale, visant à améliorer la formation des cadres dans des entreprises du secteur tertiaire en Europe, est commune à cinq pays de l’arc méditerranéen et regroupe onze partenaires institutionnels différents. Un seul aspect de la commande est ici pris en compte : l’élaboration et la consolidation du partenariat entre tous les acteurs impliqués. Sur ce point, le volet « intervention » se décline de la manière suivante : - construire des outils rendant compte de l’engagement des partenaires, dont des grilles d’autoévaluation à compléter régulièrement tout au long du projet (trois années), - exploiter les résultats des outils expérimentés pour arbitrer l’action et les activités réalisées. Le volet « recherche » s’attache à mettre l’accent sur les changements organisationnels et professionnels produits par ce type de fonctionnement partenarial. 4 - Le quatrième volet est celui de la mise en oeuvre du dispositif d'évaluation sur les deux cas de R-I cités supra. Elle s'effectuera à la suite de la stabilisation du dispositif pour la première R-I. Elle prendra appui sur l’analyse critique des résultats déjà recensés pour la seconde R-I. 5 - Le cinquième volet, qui s'enrichira fortement des échanges lors du symposium, analyse les apports et les limites de cette évaluation et, après ajustements, proposera une version stabilisée du dispositif d'évaluation. Références Ardoino, J. & Berger, G. (1989). D’une évaluation en miettes à une évaluation en actes, Le cas des universités. Matrice Andsha : Paris. Bedin, V. (Dir.) (2009). L’évaluation à l’université. Évaluer ou conseiller? Rennes : PUR. Bedin, V. (Dir.) (2014). Conduite et accompagnement du changement. Contribution des sciences de l'éducation. Paris : L'Harmattan. Bonniol, J.-J. & Vial, M. (1997/2000). Les modèles de l’évaluation. Bruxelles : De Boeck. 851 Broussal, D., Ponté, P. & Bedin, V. (Dir.) (2015). Recherche-Intervention et accompagnement du changement. Paris : L'Harmattan (à paraître). Figari, G. & Mottier Lopez, L. (Dir.) (2006). Recherche sur l’évaluation en éducation : problématiques, méthodologies et épistémologie (20 ans de travaux autour de l’ADMEE-Europe). Paris : L’Harmattan. Marcel, J.-F. & Savy, H. (Dir.) (2013). Évaluons, évoluons. De l'évaluation dans l'enseignement agricole. Dijon : Educagri. Marcel, J.-F. (Dir.) (2015). La Recherche-Intervention par les Sciences de l'éducation. Dijon : Educagri (à paraître). 852 RÔLE(S), FORME(S) ET USAGE(S) DES DONNÉES ISSUES DE L'ÉVALUATION DANS LES DISPOSITIFS D'ACCOMPAGNEMENT D'ÉQUIPES ÉDUCATIVES EN PROJET DE DÉVELOPPEMENT PROFESSIONNEL (ID 218) DIERENDOCK, Christophe, Université du Luxembourg (LU) Mots-clés: Accompagnement, Formation continue, Développement professionnel, Développement de la qualité Résumé La littérature de recherche démontre à suffisance que les apprentissages réalisés de la naissance à l'âge adulte sont très fortement liés à la qualité des milieux éducatifs dans lesquels les individus sont placés. C'est ainsi que, de plus en plus, le développement de la qualité des pratiques éducatives est considéré comme un objectif prioritaire dans les systèmes d'éducation et d'enseignement de la plupart des pays industrialisés. Face à cette exigence, on peut clairement distinguer deux perspectives de développement professionnel: la perspective individuelle (par exemple, un enseignant qui s'inscrit à une formation continue) et la perspective collective (par exemple, les enseignants d'une école qui définissent un projet commun ciblant une difficulté spécifique). Dans la perspective collective, il apparait que les équipes éducatives éprouvent de réelles difficultés à conduire, seules, ces changements de pratiques. C'est pourquoi l'on assiste depuis plusieurs années à la mise en oeuvre de dispositifs d'accompagnement dont la finalité est de soutenir ces équipes dans leur projet de développement professionnel. Ces dispositifs d'accompagnement peuvent prendre des formes assez différentes (projet de formation continue, groupe d'échanges, recherche-action, recherche collaborative, ...), impliquer une variété d'acteurs (chercheur, direction, enseignant, personne-relai, agent d'accompagnement, ...) ou cibler certains acteurs spécifiques (directions, enseignants, ...). Le présent symposium se propose de rassembler six contributions (cinq interventions et une discussion) en provenance du Québec, de Belgique, du Luxembourg et de France qui visent (1) à décrire différents dispositifs d'accompagnement d'équipes éducatives en projet de développement professionnel, (2) à analyser comment ces dispositifs conçoivent et utilisent l'évaluation en vue d'améliorer la qualité des pratiques éducatives et (3) à situer ces dispositifs au sein de postures et/ou de modèles d'accompagnement collectif du développement professionnel. Sur le plan de l'évaluation, les contributions s'efforceront notamment de préciser les types d'indicateurs utilisés, leur provenance (données externes mis à disposition et/ou données internes récoltées spécifiquement) et la façon dont les différents acteurs du dispositif d'accompagnement se saisissent de ces indicateurs. 853 COMMUNICATION 1 - RÔLE(S), FORME(S) ET USAGE(S) DES DONNÉES ISSUES DE L’ÉVALUATION DANS LES DISPOSITIFS D’ACCOMPAGNEMENT D’ÉQUIPES ÉDUCATIVES EN PROJET DE DÉVELOPPEMENT PROFESSIONNEL PIRARD, Florence, Université de Liège (BE) RÉSUMÉ Cet article porte sur les conceptions de l’évaluation exprimées par des professionnels impliqués dans des dispositifs d’accompagnement en réseau dans le secteur de l’éducation et de l’accueil des jeunes enfants. A partir d’une démarche de recherche en théorisation ancrée, il montre comment différentes cultures de l’éducation peuvent être porteuses de manières différentes de concevoir l’évaluation des pratiques éducatives. Il intègre une double perspective dans l’analyse : celle des accompagnateurs et celle des accompagnés. TEXTE Accompagnement et évaluation : deux notions intrinsèquement liées La notion d’accompagnement est largement utilisée dans le champ éducatif avec des significations souvent différentes. Elle ne fait pas l’objet d’une définition stabilisée, mais l’analyse de son utilisation permet d’identifier plusieurs caractéristiques communes. Selon Barbier (2011), l’accompagnement serait « une action combinant l’activité d’un sujet à l’activité d’un autre sujet, ordonnée autour d’une double intention d’optimisation de l’activité accompagnée et de développement du sujet accompagné. — L’accompagnement est continu, il s’effectue sur la durée de l’activité. — Accompagnateur et accompagné appartiennent au même espace-temps d’activité. — Dans la société contemporaine, les actions d’accompagnement font l’objet d’une indexation sociale positive » (p. 33). Cette explicitation sémantique fait apparaître le lien souvent implicite entre l’accompagnement et l’évaluation. Elle souligne une double visée finalisante de l’accompagnement : à la fois productive (l’activité accompagnée) et constructive (le développement du sujet accompagné). Dans des contextes institutionnels où les enjeux de qualité de services sont devenus importants, l’accompagnement ne peut se réaliser sans évaluation, sans production de jugement de valeur. Comme le souligne Beauvais (2008), « accompagner, c’est juger » et il importe éthiquement aujourd’hui de le reconnaître et de mieux comprendre les tensions que cela peut générer. Dans des contextes d’intervention marqués par des enjeux de qualité de services, on pourrait dire, en paraphrasant Barbier, que l’accompagnement et l’évaluation sont continus, orientés par les critères définis dans les prescrits qui peuvent faire l’objet de différentes interprétations. L’accompagnateur-évaluateur n’est un spécialiste ni de la formation, ni de l’évaluation. Il appartient au même espace-temps d’activité que les personnes qu’il accompagne dans des démarches qui ne 854 sont pas nécessairement individuelles, mais qui peuvent aussi être collectives. Nous pourrions prendre pour exemple, des professionnels devenus conseillers pédagogiques, des inspecteurs devenus coordinateurs qui assurent des fonctions d’accompagnement et d’évaluation sans nécessairement bénéficier d’une formation spécifique qui les a initiés à ces fonctions. Notons que, très souvent, les fonctions d’accompagnement, contrairement à celles d’évaluation, sont effectivement valorisées socialement, conduisant certains à mettre les premières en évidence et à passer les secondes sous silence. Accompagnement et cultures de l’éducation Pour Barbier (2011), les actions d’accompagnement s’inscrivent habituellement dans une culture du développement des compétences (« une culture de la professionnalisation » [p. 33]). Par culture d’action, il entend « un mode évolutif, et partagé par plusieurs sujets, d’organisation des constructions de sens à partir, sur et pour des activités dans lesquelles ils sont engagés, ces constructions pouvant donner lieu à communication dans le cadre d’interactions avec autrui » (Barbier, 2011, p. 57). La culture de la professionnalisation dans laquelle s’inscrit l’accompagnement serait la plus récente. En effet, pour Barbier (2005 ; Pirard & Barbier, 2012), trois cultures de l’éducation se sont développées successivement dans nos pays occidentaux. Dans la première, la culture de l’enseignement, le savoir constitue la référence centrale du travail éducatif avec l’hypothèse d’une transformation identitaire fondée sur l’appropriation. L’espace éducatif peut alors être vu comme un espace spécialisé de mise à disposition de savoirs sous une forme appropriative par « l’élève ». Il est fondé sur des rapports à l’environnement pensés en termes de conceptualisation-application (rapport théorie-pratique). Sa figure emblématique est celle de l’enseignant détenteur et transmetteur de savoirs. L’apparition de nouveaux savoirs ou de nouvelles disciplines est considérée comme le moteur du changement. Cette culture de l’enseignement, la plus présente dans le champ de l’éducation (y compris en formation des adultes), conçoit l’intervention éducative essentiellement selon une logique de communication. Lui correspondent « des pratiques d’ingénierie didactique, ordonnées autour de la conception et de l’évaluation de séquences d’activités de mise en scène et d’appropriation de savoirs ou de concepts : planification de cours, scénarios didactiques, logiciels éducatifs, etc. » (Barbier, 2009, p. 465). Dans la seconde culture dite de la formation et qui se serait développée à côté et parfois en réaction au monde de l’enseignement, la notion de capacité (aptitude, savoir-faire, savoir-être) est considérée comme la référence centrale du travail éducatif qui repose sur l’hypothèse d’une transformation identitaire fondée sur la notion de transfert. Ici, l’espace éducatif devient un espace spécifique, « protégé »39, de production de nouvelles capacités chez « l’apprenant » susceptibles d’être transférées dans d’autres situations. Sa figure emblématique est celle du formateur organisateur de situations spécifiques d’apprentissage. Les rapports à l’environnement sont conçus en termes de décontextualisation-recontextualisation. L’apparition de nouvelles pratiques ou de nouveaux champs de pratiques spécialisées est considérée comme le moteur du changement. Cette culture de la formation conçoit et organise « l’intervention éducative comme un espace-temps de transformation de capacités chez les apprenants (… ;) elle a permis l’éclosion et le développement de l’ingénierie de formation sous sa forme canonique, puisque, tout en les 39 Métaphore empruntée à Bourgeois (1996). 855 distinguant, elle rapporte explicitement les espaces-temps éducatifs aux espaces-temps du travail et de la vie sociale. C’est ce qui a permis l’éclosion de la réflexion sur les objectifs, définis en termes d’activités ou de comportements attendus, et sur leurs liens avec les projets et l’évaluation » (Barbier, 2009, p. 465). Les rapports dialectiques entre ces deux premières cultures de l’éducation ont contribué à l’émergence, dans les années nonante, d’une troisième culture : la culture de la professionnalisation (ou de développement de compétences) qui considère la notion de compétence comme la référence centrale du travail éducatif avec l’hypothèse d’une transformation identitaire fondée sur la notion de transformation conjointe de l’action et de(s) acteur(s). L’espace éducatif devient un espace de développement de compétences en situation d’activités évolutives et sa figure emblématique est celle de l’accompagnateur du développement professionnel des « praticiens » ou des « opérateurs ». Les rapports à l’environnement sont pensés en termes de transformation conjointe de l’action et de l’environnement de l’action. Le moteur du changement se traduit, dans ce cas, par l’apparition de pratiques de gestion d’opérations combinées, auparavant disjointes. Cette culture de la professionnalisation conçoit et organise « l’espace-temps de la production des biens et services comme un espace de développement de compétences (…). Elle permet l’éclosion de ce que l’on peut appeler aujourd’hui l’ingénierie de la professionnalisation ou d’organisation d’activités de travail susceptibles d’induire un développement de compétences individuelles et/ou collectives » (Barbier, 2009, p. 465). Cultures de l’éducation face aux enjeux de qualité de service Les travaux de Barbier nous conduiraient à situer la référence à l’accompagnement et l’évaluation qui lui est associée dans une culture de la professionnalisation (développement de compétences). Toutefois, une recherche menée dans un contexte fortement marqué par des enjeux de qualité de service, nous a permis de montrer d’autres inscriptions possibles. Selon les manières de concevoir les enjeux de qualité de service (cultures de qualité), la référence à la notion d’accompagnement (Pirard, 2007).peut faire l’objet de différents « modes évolutifs, et partagés par plusieurs sujets, d’organisation des constructions de sens à partir, sur et pour des activités dans lesquelles ils sont engagés » (Barbier, 2011, p. 57). Notre recherche a été réalisée à partir de l’analyse de démarches et de dispositifs dans le secteur de l’accueil de l’enfance dans lequel nous étions directement impliquées à titre d’abord de chercheuse universitaire, ensuite de conseillère pédagogique de l’Office de la Naissance et de l’Enfance (ONE)40. Dans tous les cas, notre rôle consistait dans un premier temps à accompagner des coordinateurs de l’ONE à eux-mêmes accompagner des professionnels de l’enfance dans l’élaboration, la mise en place, l’évaluation régulative et le bilan de projets d’action d’équipe dans une démarche directement inspirée des travaux du Cresas (1988, 2000). En Fédération WallonieBruxelles, notre accompagnement universitaire s’inscrivait d’abord dans le cadre d’un projet européen de recherche-formation-action de l’IEDPE (Institut Européen de Développement des Potentialités de tous les Enfants), soutenu par le programme Leonardo, et s’adressait à des coordinateurs de l’ONE qui combinaient des fonctions à la fois de contrôle, d’évaluation et 40 Organisme public parastatal en Fédération Wallonie-Bruxelles chargé notamment de l’autorisation, le financement, le contrôle et l’accompagnement des lieux d’accueil de l’enfance. 856 d’accompagnement41. Le premier dispositif d’accompagnement s’est déroulé dans un contexte de réforme : diffusion d’un référentiel (curriculum) psychopédagogique, transformation des fonctions d’inspection de l’ONE en fonction de coordination assurant officiellement des fonctions d’accompagnement professionnel des pratiques éducatives dans les lieux d’accueil qui ont désormais l’obligation décrétale d’élaborer et de se référer à un « projet d’accueil » (projet éducatif) ; dans les lieux d’accueil subventionnés, de définir un plan d’amélioration de la qualité d’accueil et de le réactualiser tous les trois ans. Par la suite, nous avons été nous-mêmes engagées dans la création d’une fonction de conseillère pédagogique de l’ONE que nous avons occupée jusqu’en 2013 et dans le cadre de laquelle nous avons poursuivi la mise en place de dispositifs avec le même type de démarche. Le dispositif d’accompagnement de terrain imbrique différents espaces-temps de production de services et de développement professionnel. Il part du terrain où des professionnels des lieux d’accueil sont invités à concevoir et à élaborer en équipe un projet d’action qui leur fait sens, qu’ils mettent en œuvre durant plusieurs mois, évaluent de manière continue dans une perspective de régulation des pratiques éducatives et enfin, font bilan avec l’ensemble des partenaires. Des coordinateurs accompagnent cette démarche de mise en projet dans le cadre de réunions interéquipes où une double représentation des lieux d’accueil (direction et accueillant de première ligne) est prévue. Ils font expliciter l’état d’avancement du projet, soutiennent son analyse à partir des observations documentées de terrain (observation écrite, photo, vidéo) et l’identification de ses effets sur les enfants, les familles et les professionnels eux-mêmes en fonction de critères dont la signification se précise durant le processus (EADAP, 2011). Ils encouragent la recherche de pistes d’ajustements qui seront elles-mêmes à expérimenter et à évaluer en équipe en fonction de critères susceptibles de devenir de plus en plus partagés. Les coordinateurs sont eux-mêmes accompagnés dans des réunions de pilotage où leurs propres pratiques d’accompagnement sont analysées dans une même perspective de régulation du dispositif. Les thématiques travaillées dans le cadre de ces dispositifs d’accompagnement peuvent être variées. Ainsi, dans la Province de Luxembourg, nous avons accompagné successivement des projets sur la gestion des moments de repas (« Manger, c’est plus que manger », Pirard, 1999), sur la liberté de mouvement des enfants (« Envie de bouger », Pirard, 2010), sur la continuité des relations adultes-enfants, sur la gestion des groupes d’âges mélangés (Pirard, 2014) et enfin, sur les relations avec les familles. Chaque thématique ne constitue qu’une porte d’entrée qui permet, grâce à la mise en projet, de susciter la réflexion des professionnels sur, à partir et pour leurs pratiques de manière rigoureuse, contextualisée et systémique dans une perspective d’évaluation régulative et d’amélioration continue de la qualité d’accueil. À côté de ce rôle d’accompagnement de terrain, nous avons mené une recherche doctorale qui, grâce à une démarche de théorisation ancrée, nous a permis de montrer la polysémie de la référence à l’accompagnement. L’analyse de points de débat en réunion de pilotage avec les coordinateurs-accompagnateurs à partir des expériences d’accompagnement dans un même dispositif nous a permis d’identifier au moins trois logiques très différentes chez les accompagnateurs. Celles-ci sont étroitement liées à des cultures différentes de la qualité de service et de l’évaluation (Pirard, 2007 ; Pirard & Barbier, 2012 ; Pirard, Camus & Barbier, accepted ; Pirard, à paraître). L’analyse fait donc apparaître une série de tensions entre lesquelles les 41 Nous avons aussi assuré le même type d’accompagnement en parallèle auprès d’encadrants de services à l’enfance en Communauté germanophone de Belgique, mais nous ne traiterons pas de cette expérience ici. 857 accompagnateurs peuvent être pris et que nous avons pu rencontrer dans d’autres contextes d’accompagnement de projets de l’enfance par la suite. L’accompagnement dit « guidé vers une qualité normative » considère l’accompagnement comme une forme de soutien aux professionnels sensés s’approprier de manière active les principes éducatifs établis dans les prescrits (référentiels et outils associés) et les appliquer selon des manières jugées acceptables dans leur contexte particulier de travail. Les visées de production (qualité de service) sont centrales tout comme l’évaluation externe dans le chef de l’accompagnateur, qui fortement impliqué dans le soutien et le guidage des pratiques et projets professionnels, introduit une extériorité par les normes auxquelles il se réfère pour juger de leur adéquation et conseiller, le cas échéant, leur réorientation. Les fonctions d’accompagnement évaluatif du coordinateur rejoignent ici la régularisation au sens défini par Vial vu l’importance accordée à la conformité aux normes établies, aux critères prédéfinis et voulus validés scientifiquement dans l’analyse des pratiques et de leur évolution. On peut ici observer une tension fréquente pour le coordinateur qui peut en même temps valoriser des démarches participatives qui reconnaissent la part active des accompagnés dans la construction des orientations de leur travail et investir une fonction de contrôle du respect des normes établies. L’analyse de cette tension a fait apparaître le risque de manipulation : faire croire aux accompagnés qu’ils sont les acteurs de leur cheminement alors que les contours du travail sont en fait prédéterminés et que l’accompagnateur veille à mener chacun sur un droit chemin. L’accompagnement « différencié pour une qualité intersubjective » est centré sur les spécificités des professionnels et des services et sur le soutien à autrui dans le développement et l’expression de son identité propre. Pour ce faire, l’accompagnement vise surtout le développement d’attitudes professionnelles et de capacités transversales à transférer en situation de travail comme l’écoute, l’attention bienveillante à autrui et le questionnement, etc. Il semble moins centré sur les enjeux de production de services. L’accompagnement est associé surtout à des fonctions de facilitation : valoriser les démarches engagées par chacun, porter attention aux processus de développement propres à chaque agent et à chaque service. Les questions de contenu inhérentes aux projets d’action apparaissent moins prioritaires dans les préoccupations du coordinateur. L’évaluation interne y est prédominante dans la mesure où les orientations officielles ne sont pas présentées a priori comme les références à privilégier. Elle s’appuie sur une analyse des pratiques qui valorise la diversité des références qui se dégagent de l’explicitation des différentes manières de faire et de penser des accompagnés. L’accompagnateur veille à ouvrir un espace de débat où peut être exprimé une diversité de points de vue sans qu’un consensus ne soit nécessairement recherché. L’essentiel semble se jouer ici davantage dans le processus de réflexion engagé chez les professionnels en fonction des valeurs et des repères propres que dans un résultat déterminé en fonction de critères précis. Ceci peut placer l’accompagnateur dans la situation paradoxale décrite par Boutinet (2001) : étant « à côté de l’autre », avec une implication minimale dans son action, il induit malgré lui un effet d’extériorité et de distance qui lui confère une position hiérarchique dominante même s’il ne mène pas l’action. L’accompagnement risque d’être associé à une relativité éducationnelle qui passe sous silence les prises de position institutionnelles dont le coordinateur est pourtant référent. Enfin, « l’accompagnement interactif pour une qualité effective » repose sur l’hypothèse d’une transformation conjointe des actions (les pratiques éducatives mises en œuvre quotidiennement), des acteurs (les accueillantes et leurs encadrants avec les enfants et les familles), voire de l’environnement (l’ensemble des services inscrits dans une dynamique locale). La dimension 858 interactive de l’accompagnement se réalise notamment dans la recherche de points de ralliement qui engagent ensemble praticiens et accompagnateurs dans des actions sources d’apprentissages mutuels. L’évaluation interactive et négociée impliquant accompagnateur et accompagnés est davantage privilégiée, postulant que les projets peuvent être recadrés, les pratiques régulées vers d’autres possibles, les normes réinterprétées à la lumière des situations éducatives co-analysées par les différentes parties en fonction de critères dont le sens devient progressivement partagé. Elle rejoint l’idée de régulation développée par Vial qui l’associe à une pratique de « dynamique de normes instables » : la norme ne serait qu’une référence provisoire où la règle fait l’objet de réinterprétations. Ceci conduit l’accompagnateur à valoriser la confrontation de points de vue potentiellement contradictoires entre les parties tout en assurant certaines balises dans les orientations éducatives et en évitant ainsi le risque de créer l’illusion de relativité qui n’aurait pas sa place. Engagé activement dans une démarche dialectique, le coordinateur peut ici aussi rencontrer plusieurs difficultés : se présenter comme un acteur parmi les autres sans reconnaître les spécificités de sa fonction d’accompagnateur, privilégier les processus de co-construction de repères professionnels partagés sans nécessairement mobiliser les savoirs acquis dans une activité où l’expérientiel est fortement valorisé. Que retenir pour les accompagnés ? Notre recherche doctorale n’a pas étudié les dispositifs sous l’angle du point de vue des accompagnés. Néanmoins, chaque dispositif a fait l’objet, sur le terrain, d’une évaluation impliquant l’ensemble des acteurs qui permet de dégager certains enseignements. L’analyse des actions menées durant 14 années successives dans une même région (1999-2013) permet de relever l’importance accordée par les professionnels de l’enfance à ce type de dispositif d’accompagnement : ancrage dans leurs réalités de terrain, soutien dans une réflexion contextualisée à partir de projets d’action susceptibles d’améliorer la qualité d’accueil, mise en réseau avec d’autres professionnels de l’enfance qui peut être perçue à la fois comme un moyen de sortir de l’isolement, de se sentir inscrit dans un collectif solidaire tout en offrant des opportunités de décentration et d’ouverture à d’autres manières de faire et de penser. Notons encore le questionnement à propos de critères qui peuvent être considérés comme connus, mais dont la signification est parfois galvaudée. À titre d’exemple, les professionnels font souvent référence à l’importance du respect des rythmes, de l’autonomie ou de la liberté de mouvement des jeunes enfants par ailleurs repris dans les référentiels, mais avec des significations souvent très différentes qui transparaissent dans des pratiques très contrastées à travers les contextes. L’analyse des pratiques dans ce dispositif permet d’interroger ces différentes significations et mises en œuvre en lien avec leurs effets sur le travail avec les enfants, les familles, les professionnels du lieu et les autres partenaires. Elle permet de dépasser la seule référence à des critères externes véhiculés par les prescrits et parfois assimilés à des injonctions. Elle favorise la co-construction de significations et de sens davantage partagés par les critères élaborés pour la régulation de l’action (Pirard, 2010). Elle s’apparente à un processus de « référentialisation » (Figari, 1994), c’est-à-dire « une démarche (…) de recherche de références pertinentes (…) pouvant expliquer et justifier la conception et l’évaluation d’un dispositif éducatif » (p. 48) qui, sans se fixer sur des résultats, génère des questionnements permanents. L’analyse des expériences passées permet aussi de relever une série de difficultés organisationnelles (organisation de réunions régulières d’équipe pas nécessairement reconnues 859 dans le temps de travail, mise en place efficace d’un système de représentation d’équipe, gestion du turnover dans le personnel, etc.) ou liées aux compétences professionnelles éducatives attendues qui sont encore peu présentes dans le secteur marqué par un passé hygiénico-sanitaire. La mise en projet et l’analyse rigoureuse et documentée des pratiques en vue d’une évaluation régulative sont des démarches complexes auxquelles les formations initiales des professionnels de l’enfance (fonction d’accueil, d’encadrement et de direction) n’initient pas (Pirard, Dethier, François & Pools, 2015). Il importe, selon nous, de ne pas dissocier les apports potentiels des dispositifs d’accompagnement des acquis à développer par ailleurs dans la formation de base des professionnels de l’enfance ainsi que des apports d’autres actions de formation continue, y compris les formations modulaires. Chaque dispositif nous a permis d’identifier des problématiques majeures qui gagnent à être travaillées dans les instituts de formation initiale qui ont été associés de manière de plus en plus étroites, mais aussi dans des formations continuées plus ciblées. Plutôt que d’opposer les approches et de mettre en concurrence les intervenants, l’enjeu de professionnalisation du secteur et de l’activité nous conduit plutôt à combiner les actions d’acteurs opérant dans des cadres souvent séparés, voire cloisonnés. Si l’idée a été exprimée par certains que les dispositifs d’accompagnement allaient remplacer les actions de formation continuée individuelles proposées par des opérateurs reconnus officiellement par les pouvoirs publics, l’analyse de l’expérience montre au contraire qu’ils engagent davantage les professionnels dans des processus de formation continue qui peuvent utilement compléter les dispositifs d’accompagnement de projets en ciblant sur une problématique particulière et en systématisant l’acquisition de ressources importantes avec des formateurs spécialisés et indépendant des organes de contrôle. La logique de dispositif qui articule une série d’actions formatives, pour partie inhérentes au projet, pour partie davantage externes, peut être renforcée et offrir aux participants une diversité d’expériences inscrites dans la durée nécessaire au changement comme le soulignent les conclusions du rapport Eurofund (2015). Enfin, il importe aussi à l’avenir d’interroger la nature des actions d’accompagnement et les modalités de leur organisation qui peuvent elles-mêmes être très diverses, mais dont les effets n’ont pas nécessairement été étudiés finement. Relevons ainsi la thématique des séminaires internationaux de la petite enfance organisés en 2015-2016 par le Centre de recherche interuniversitaire expériences, ressources culturelles éducation (Experice) et l’École normale supérieure de Lyon sur les « voyages d’étude, apprentissages et innovations » qui étudie des modalités de formation informelles, liées à diverses formes de mobilité et de positionnements. Nous réalisons dans ce cadre une étude sur les significations données par les participants à des actions type voyages d’étude dans leur développement professionnel et le recadrage opéré dans les pratiques professionnelles, actions qui ont pu être expérimentées dans les deux derniers dispositifs à partir de 2008. Elle permet d’interroger plus en profondeur ce que chacun considère comme des actions de développement professionnel et d’ouvrir à d’autres voies encore peu utilisées sur le terrain pour les professionnels de première ligne. Dans quelle mesure et à quelles conditions, la découverte de pratiques professionnelles mises en œuvre dans des contextes étrangers à tous les participants permet à ceux-ci de changer leur regard sur le travail avec les enfants, les familles, en équipe, voire plus largement avec les autres acteurs de la communauté locale et d’oser transformer leurs manières habituelles de faire ? Comment de telles expériences contribuent ou non au processus de référentialisation recherché sans tomber dans les dérives de transposition et d’application de pratiques décontextualisées dont le sens serait perdu ? 860 Pour ne pas conclure Notre présentation est fondée sur l’analyse de données récoltées dans les dispositifs inscrits dans le secteur de l’accueil de l’enfance. On peut s’interroger sur sa pertinence dans d’autres secteurs d’activité, en particulier celui de l’enseignement. Le développement des fonctions d’accompagnement dans de nombreux secteurs d’activité (Paul, 2005) laisse entrevoir une transversalité dans les questions, les préoccupations des acteurs qui dépassent les spécificités de secteur. Ce symposium est l’occasion de mettre à l’épreuve cette analyse dans une perspective large de l’éducation qui dépasse le seul contexte scolaire. Il permet surtout d’enrichir la réflexion sur ce qui peut être considéré aujourd’hui comme des actions formatives sans les dissocier des questions évaluatives qui les traversent. 861 Références Barbier, J. M. (2005). Voies nouvelles de professionnalisation. In M. Sorel & R. Wittorski (Eds.), La professionnalisation en actes et en questions (pp. 121-134). Paris : L’Harmattan. Barbier, J. M. (2009). Ingénierie et formation : détermination d’objectifs, élaboration de projets, évaluation d’action, évaluation de transfert. In J. M. Barbier, E. Bourgeois, G. Chapelle & J. C. RuanoBorbalan, Encyclopédie de la formation (pp. 455-479). Paris : Presses Universitaires de France. Barbier, J. M. (2011). Vocabulaire d’analyse des activités. Paris : PUF. Beauvais, M. (2008). Accompagner, c’est juger. Éducation Permanente, 175, 123-135. Bourgeois, E. (1996). Identité et apprentissage. Éducation Permanente, 128, 27-35 Boutinet, J. P. (2001). Accompagner, une idée neuve en éducation. Repères anthropologiques. Les cahiers pédagogiques, 393, 11-13. CRESAS (1988). Partenaires de connaissance : guide pour analyser en équipe les actions éducatives [Partners of knowledge: a guide dedicated to teams in order to analyze educational activities]. Paris : INRP. CRESAS (2000). On n’enseigne pas tout seul [Teachers are not alone]. Paris : INRP. EADAP dir. (2011). Guide méthodologique Erato « Accueillir la diversité dans les milieux d’accueil de l’enfance (0-6 ans) : analyser, évaluer, innover ». Coproduit par l’EADAP (Athènes), l’IEDPE (Paris), l’Université de Split, le CNR de Rome et l’ONE (Bruxelles), avec le soutien de la Fondation B. Van Leer, supplément à la revue Le Furet (guide traduit en anglais, italien, grec et croate) (accessible en ligne sur le site du Furet). Eurofound (2015). Working conditions, training of early childhood care workers and quality of services – A systematic review. Luxembourg : Publications Office of the European Union. Figari, G. (1994). Évaluer, quel référentiel ? Bruxelles : De Boeck. Paul, M. (2005). L’accompagnement, une posture professionnelle spécifique. Paris : L’Harmattan. Pirard, F. (1999). Manger plus que manger ? Repas en question, équipe en projet… Bertrix : Acte de la journée de réflexion « Manger, c’est plus que manger », dispositif organisé par le Groupe NOE Luxembourg et le service « Une ardeur d’enfance » en collaboration avec l’Office de la Naissance et de l’Enfance et les Affaires sociales de la Province du Luxembourg, 51-56. Pirard, F. (2007). L’accompagnement professionnel face aux enjeux de qualité de services. In G. Brougère & M. Vandenbroeck (Eds.), Repenser l’éducation des jeunes enfants (pp. 225-243). Bruxelles : Peter Lang. Pirard, F. (2010). Pour une évaluation participative de la qualité effective de l’accueil. In M. P. Thollon-Behar (Ed.), Qualité de l’accueil, quel défi aujourd’hui ? (pp. 37-68). Toulouse : Erès. Pirard, F., & Barbier, J. M. (2012). Accompaniment and quality of childcare services: the emergence of a culture of professionalization. Early Years an International Journal of Research and Development, 32, 169-132. Pirard, F. (2014). Oser la qualité, un référentiel en Fédération Wallonie-Bruxelles de Belgique et son accompagnement. In S. Rayna, C. Bouve & P. Moisset (Eds.), Un curriculum pour un accueil de qualité de la petite enfance (pp. 121-145). Toulouse : Eres. 862 Pirard, F., Dethier , A., François, N., & Pools, E. (2015). Les formations initiales des professionnelle-s de l'enfance (0-12 ans) et des équipes d’encadrement : enjeux et perspectives. Rapport de recherche Article 114 – suites / 1336 – DES – VD soutenu par l’Office de la Naissance et de l’Enfance. Liège : PERF. Pirard, F., Camus, C., Barbier, & J. M. (accepted). Professional development in a competent system: an emergent culture of professionalization. In D. Whitebread & B. Van Oers (Eds.), International Handbook on Early Childhood Education and Development (Western-Europe and UK section). Pirard, F. (à paraître). Interroger l’accompagnement à la lumière des cultures de qualité : théorisation et mise en œuvre. In G. Brougère & S. Rayna (Eds.), ouvrage soumis aux éditions de l'ENSL, coll. Éducation dans la suite des deux journées d’études centrées sur la discussion de l’ouvrage « Au-delà de la qualité de l’accueil et de l’éducation de la petite enfance » organisée par l’Institut Français de l’Éducation (IFE) et du Centre de Recherche Interuniversitaire Expérience Ressources Culturelles et Éducation (Experice), Lyon-Paris, France. COMMUNICATION 2 - ACCOMPAGNER POUR MIEUX ÉVALUER : LA COFORMATION AU SERVICE DES PRATIQUES D’ÉVALUATION FONTAINE, Sylvie, Université du Québec en Outaouais (CA) CADIEUX, Alain, Université du Québec en Outaouais (CA) SAVOIE-Zajc, Lorraine, Université du Québec en Outaouais (CA) RÉSUMÉ Le système d’éducation au Québec a connu d’importants changements depuis les 15 dernières années. Ces changements, motivés par l’avancement des connaissances en éducation et parfois par des raisons politiques, ont des conséquences sur les pratiques éducatives du personnel scolaire. Deux changements retiennent notre attention. Le premier concerne les retombées des plus récents programmes de formation de l’école québécoise (Ministère de l’éducation, 2001 2004, 2007) sur les pratiques d’évaluation des apprentissages. Le deuxième a trait à l’obligation pour les directions d’établissements scolaires d’atteindre des seuils de réussite scolaire élevés, les plaçant ainsi dans une approche de reddition de compte, nouvelle pour eux, où la mesure de l’apprentissage des élèves prend de plus en plus d’importance. Ces changements font en sorte que les enseignants et les directions d’établissements doivent adopter de nouvelles pratiques. Pour ce faire, le ministère de l’Éducation et les commissions scolaires proposent au personnel scolaire des activités de formation continue. Or, cette formation continue est souvent dispensée sous forme d’ateliers ponctuels et il n’est pas rare que les participants se plaignent de perdre leur temps, questionnent les liens entre leur réalité et les formations qu’ils reçoivent (Guskey, 2000) et déplorent l’absence de suivi entre les activités de formation. Certains remettent aussi en question l’authenticité du contexte d’apprentissage (Tillema, 2007) dans lequel ces formations ont lieu. Pour pallier ces limites, nous avons mené deux recherches subventionnées par le Programme de soutien à la formation continue du personnel scolaire du ministère de l’Éducation du Québec. Ce programme permet aux chercheurs de créer des partenariats avec les intervenants du milieu scolaire, de contribuer à la formation du 863 personnel scolaire sur diverses thématiques pendant une période de deux à trois ans et de documenter les démarches de formation continue. Pour nos deux recherches, nous avons adopté une démarche d’accompagnement d’équipes éducatives formant des communautés d’apprentissage professionnelles (CAP). La première recherche, menée en collaboration avec des enseignants, cible le développement de compétences en évaluation des apprentissages et vise quatre objectifs : 1) approfondir les compétences d’enseignants en exercice, en matière d’évaluation; 2) soutenir les enseignants dans les ajustements de leurs pratiques en évaluation des apprentissages; 3) susciter une dynamique de coformation entre les enseignants participant à la recherche; et 4) évaluer l’impact de l’accompagnement sur le développement de compétences des enseignants en évaluation. La deuxième recherche vise le développement des compétences des directeurs d’établissements scolaires quant à l’accompagnement des enseignants dans la démarche d’évaluation des apprentissages de leurs élèves. Les objectifs sont multiples : 1) cibler les besoins pédagogiques et administratifs des directions d’établissement (DE) en matière de gestion de l’évaluation des apprentissages; 2) sensibiliser les DE aux pratiques gagnantes d’accompagnement en évaluation des apprentissages; 3) codévelopper un plan d’action pour soutenir la démarche d’évaluation dans l’école; et 4) identifier les compétences professionnelles actualisées des DE dans leur rôle de soutien des enseignants en matière d’évaluation des apprentissages de leurs élèves. Notre démarche d’accompagnement s’inspire des travaux de Lafortune (2008), de Biemar (2012) et de nombreux auteurs qui traitent des communautés d’apprentissage professionnelles. Le tableau 1 résume les principaux aspects théoriques issus de la littérature qui ont inspiré la démarche d’accompagnement mise au point pour nos recherches. Ce cadre théorique sur l’accompagnement nous a amené à développer une démarche d’accompagnement utilisée dans les deux recherches. Lors de la deuxième recherche, nous avons ajouté une étape à notre modèle initial, soit un entretien individuel entre les rencontres collectives afin de créer un lien direct et un suivi avec chaque participant. L’apport de ces formations a été évalué de manière exhaustive à l’aide du modèle de Guskey (2000) Five Critical Levels of Professional Development Evaluation. Des instruments de collecte de données ont été mis au point pour les cinq niveaux de ce modèle. À la lumière de la première recherche, nous avons bonifié certains instruments de collecte et créé de nouveaux instruments pour répondre aux besoins spécifiques de la recherche auprès des directions d’établissements scolaires. Ces changements sont identifiés avec les caractères gras dans la troisième colonne du tableau 2. Les retombées de ces recherches sont à deux niveaux pour le domaine de l’évaluation. Premièrement, la recherche auprès des enseignants nous a permis de mettre au point un modèle d’accompagnement pour le développement de compétences en évaluation qui est ancré dans la littérature pertinente. Ce modèle initial a été bonifié afin d’y ajouter une étape lors de la recherche auprès des directions. La dernière version du modèle est d’autant plus riche que le soutien des accompagnateurs se décline pour la collectivité et pour l’individu. Deuxièmement, l’utilisation du modèle de Guskey (2000) a nécessité le développement d’instruments de collecte de données fort utiles pour orienter le travail d’accompagnement. 864 COMMUNICATION 3 - L'ÉVALUATION AU SERVICE DE L'ACCOMPAGNEMENT D'ÉQUIPES ÉDUCATIVES. EXPÉRIENCE AU SEIN DU PROJET SOLIDARITÉ BERNARD, Nicolas, Université de Liège (BE) FAULX, Daniel, Université de Liège (BE) Mots-clés: Accompagnement d'écoles, Intervention psychosociologique, Évaluation RÉSUMÉ Description du Dispositif Le projet Solidarité, qui met en coopération un service universitaire et un Pouvoir Organisateur Local (l’Enseignement Communal de la Ville de Liège), poursuit deux grandes intentions: 1. Améliorer les conditions d’apprentissage de tous les enfants fréquentant cet enseignement 2. Améliorer les conditions de travail, les relations et collaborations des adultes qui les encadrent Ce dispositif implique, de la part du service universitaire, autant des actions « de pilotage » avec les représentants des différentes instances (Directions, Centres PsychoMédicoSociaux, Haute Ecole, Services d’Inspection) que du travail d’accompagnement auprès des écoles et acteurs de terrains. C’est à ce dernier que nous nous intéresserons dans cette communication. Les interventions aupres des equipes educatives : quelles configurations pour l’evaluation ? L’accompagnement, de manière générale, se passe de la manière suivante. Une équipe éducative prend contact avec notre service afin d’obtenir du support et de l’accompagnement quant à la conduite d’un projet qui peut être de nature pédagogique, organisationnel ou relationnel. Après analyse de la demande, différentes démarches sont entreprises pour soutenir le projet : réunions, travail en réseau, rencontres individuelles, élaboration de documents… Tout au long de cet accompagnement, différentes démarches d’évaluation partenariale sont mises en place. Quatre critères peuvent être croisés pour décrire les différents usages de l’évaluation : niveaux, temporalités, objets, formes. Le choix des différentes modalités de chacun des critères ouvre, par combinaison, sur un grand nombre de possibilités d’utilisation de l’évaluation. Différents niveaux Les évaluations peuvent être pratiquées de manière individuelle (direction, enseignant,…). L’intervenant stimule alors le fait que chacun partage et prenne conscience individuellement de son propre mode de fonctionnement, de pensée, de ses représentations et croyances, des pistes d’action… Nous mettons également en place des évaluations par et pour le groupe afin de stimuler des processus d’analyse et de créativité collectifs. Enfin, un troisième niveau d’évaluation consiste à faire intervenir des instances externes pour poser un regard tiers sur la démarche (direction, inspection, groupe de pilotage). 865 Différentes temporalités Le choix de la temporalité joue également un rôle dans le processus d’évaluation. De manière générale, celle-ci intervient à des moments clés du processus d’intervention. Elle peut être diagnostique lorsqu’elle intervient en début d’accompagnement afin de réaliser une analyse approfondie de la situation. Elle est dite continue à visée formative et constructive lorsqu’elle intervient tout au long du processus. Enfin, elle est aussi possiblement finale, permettant de faire le bilan d’une action réalisée dans un établissement ou des actions globales de l’année. Dans cette optique, les moments d’évaluation visent à continuer la réflexion, le travail, et à faire grandir le groupe. Différents objets L’évaluation peut porter sur quatre grandes thématiques: - Les dimensions socio-affectives de l’équipe : espoirs, craintes, les blocages, les peurs, les difficultés, incompréhensions… - Les dimensions fonctionnelles de l’équipe : organisation du travail, rôles et fonctions de chacun, procédures… - Le dispositif d’intervention : pertinence des actions, outils, méthodes et valeurs qui sous-tendent le processus d’intervention - Le contenu du projet lui-même Différentes formes Les évaluations adoptent principalement deux formes : écrite et orale. L’écrit permet de fixer les décisions, les aboutissements, les perspectives, les pistes d’action… c’est la mémoire du groupe qui permet d’inscrire une action dans la continuité. Les évaluations orales permettent de rediscuter les choses, de réfléchir, prendre du recul et stimulent une activité métacognitive. Posture et cadre d’intervention Pourquoi créer tant de circonstances et modalités différentes d’évaluation ? Ce choix est lié tant à une philosophie du projet qui privilégie des évaluations partenariales réalisées en collaboration avec les acteurs qu’à une posture d’intervention psychosociale. Un design inspiré par la sociologie de la traduction Le projet Solidarité consiste en un dispositif de recherche-action inspiré des modèles de la Sociologie de la traduction, également appelée la théorie de l’acteur-réseau. Son intention première est de favoriser la mise en réseau des acteurs afin d’éviter les cloisonnements et de réfléchir à la manière de parler un langage commun à tous les acteurs en tenant compte de leurs spécificités, compétences et contextes. 866 Dans cette optique, une réflexion quant à l’évaluation et la régulation des actions est omniprésente afin d’améliorer l’efficacité du système dans son ensemble. Un design inspiré par les méthodes d’intervention psychosociologiques. La spécificité de notre mode d’intervention et de la place dévolue à l’évaluation réside dans une posture et un regard psychosocial de l’intervenant au sein du dispositif de formation, d’accompagnement ou d’intervention. Son style d’animation et d’évaluation inspiré par l’animatique des groupes. Dans ce type d’intervention psychosociologique, la spécificité apparaît quant à la posture de l’intervenant qui s’apparente plutôt à un animateur, coach, accompagnateur du changement… Dans notre communication, nous décrirons les différents éléments qui caractérisent ce positionnement qui dispose d’une philosophie, de principes et de méthodes spécifiques : - le positionnement comme tiers, comme inter-venant - la mobilisation de plusieurs niveaux - la posture de facilitation - la place essentielle des interactions sociales - le caractère imprévisible des résultats - l’éthique non prescriptive - l’idéologie et l’intention politique de participation - la double dynamique, comprendre et agir Ce type de démarche évaluative poursuit un double objectif, d’une part, de soutenir les équipes dans la réalisation de leurs projets et, d’autre part, par l’apprentissage expérientiel et isomorphique, de véhiculer une posture, un positionnement et des valeurs directement transférables dans le contexte de l’enseignement et ce, tant dans les relations entre collègues qu'auprès des enfants. COMMUNICATION 4 - LE DÉVELOPPEMENT DE LA QUALITÉ SCOLAIRE AU LUXEMBOURG: ACCOMPAGNEMENT À L’ÉVALUATION INTERNE DANS LES ÉTABLISSEMENTS SCOLAIRES KAFAÏ, Amina, Ministère luxembourgeois de l'Education, ADQS (LU) SALAH, Somia, Ministère luxembourgeois de l'Education, ADQS (LU) RÉSUMÉ Depuis 2004, les politiques éducatives au Luxembourg ont mis l’accent sur le développement d’instruments d’évaluation visant à améliorer les acquis des élèves ainsi que la qualité scolaire. Parallèlement à cela, les établissements se sont vus accorder une autonomie plus accrue afin d’organiser leur enseignement dans un cadre pédagogique défini par le Ministère de l’Education nationale. Les récentes mesures intégrées à cette approche globale incluent la définition en 2007 d’un cadre de référence du pilotage du système scolaire au Luxembourg, l'introduction des épreuves standardisés réalisées annuellement au niveau national depuis 2008 pour analyser les acquis des 867 élèves par rapport aux objectifs d'apprentissage visés dans plusieurs disciplines (français, allemand et mathématiques) ainsi que la création en 2009 de l'Agence pour le Développement de la Qualité Scolaire (ADQS), une instance nationale ayant pour mission de soutenir les établissements scolaires dans l'amélioration de leur qualité. Actuellement, toutes les écoles fondamentales sont légalement tenues d'élaborer et de mettre en œuvre un plan de réussite scolaire s’échelonnant sur trois années, tandis que la plupart des lycées élaborent des projets d'innovation, basés sur leurs priorités et leurs besoins spécifiques locaux. Une démarche nationale de développement scolaire précise la méthodologie pour la définition et l'évaluation des projets et l’ADQS offre des outils méthodologiques et des données pour aider le personnel enseignant tout au long du processus d’amélioration de la qualité scolaire. Quant aux établissements scolaires, ils sont fortement encouragés à utiliser différents types de données (démographie, performances, processus et perceptions) à partir desquels ils pourront définir les domaines prioritaires à améliorer. Toutefois, certaines questions récurrentes demeurent sans réponse en ce qui concerne à la valeur ajoutée de ces mesures. Quel est l'impact réel de la mise en œuvre et l'évaluation de ces initiatives de développement scolaire sur l'enseignement et l'apprentissage ? Comment l'évaluation de l'établissement est utilisée pour influer sur les acquis des élèves ? Quelle est l'efficacité des démarches et des méthodes utilisées pour évaluer la qualité scolaire de l'établissement ? Généralement, le principal objectif du pilotage des établissements scolaires au Luxembourg visait davantage leur amélioration plutôt que leur contrôle. Les éléments tels que les forces, les faiblesses et les recommandations des projets pilotes et des plans de réussite scolaire sont toujours formulés en vue d'améliorer et de développer la qualité de l’établissement plutôt que d’examiner ou de sanctionner les parties concernées. Cela a entrainé l'attribution d'un rôle plus important à l'évaluation interne, en mettant au second plan l’évaluation externe. L’ADQS, dont la mission est notamment d’offrir un soutien méthodologique et scientifique aux établissements, se positionne comme ami critique externe à l'établissement, mais son indépendance vis-à-vis du contrôle central national est affaiblie, car elle est responsable face au ministre. De même, les inspecteurs des écoles fondamentales ont à la fois des rôles ambivalents de contrôle et de soutien tandis que les directeurs des lycées effectuent une inspection à leur gré. Au fil du temps, les établissements se sont sentis davantage à l’aise avec les données issues d'auto-évaluation pour la définition de leurs propres besoins internes. Ils apprécient le soutien de l’ADQS qui a su gagné la confiance du personnel enseignant, l’accompagnant dans le processus de développement scolaire. Autant qu’acquérir progressivement l’adhésion du personnel enseignant peut être considéré comme une véritable force, l'évaluation interne seule ne peut être réellement envisagée comme une condition suffisante pour l’amélioration de la qualité scolaire. Les méthodes utilisées pour évaluer les résultats de projets mis en place doivent être ajustés et des mécanismes doivent être envisagés de sorte à ce que toutes les données et les résultats du processus soient interprétés et utilisés pour favoriser également la reddition de comptes externe à des fins d'amélioration. Lors de notre présentation, différents exemples seront évoqués afin d’illustrer la manière dont le Luxembourg tente d'harmoniser les différentes approches d'évaluation de l'établissement à des fins d’amélioration de la qualité scolaire. Les défis actuels y relatifs seront explicités, incluant également les futures politiques de gestion scolaire proposées pour mesurer l'impact des mesures de développement scolaire. 868 Le cadre pour le développement de la qualité scolaire au Luxembourg, utilisé comme référence par les établissements pour décrire les dimensions de la qualité sera présenté. D’autre part, nous aborderons l'avantage que nous connaissons au Luxembourg du petit nombre d’écoles, permettant ainsi à l’ADQS de cibler et d’élaborer différents types d’accompagnements des établissements, allant du coaching collectif direct de toutes les écoles fondamentales dans l'utilisation d’instruments de développement scolaire, à un soutien individualisé et rapproché de certains établissements exigeant une attention plus particulière. Notre présentation portera enfin sur l'étroite collaboration entre l’ADQS, les inspecteurs scolaires, les directeurs et les équipes pédagogiques, facilitant ainsi le dialogue pour favoriser le développement scolaire au sein des établissements. Il sera évoqué les facteurs que l’ADQS doit prendre en considération pour répondre de manière appropriée à la diversité des situations, aux besoins de formation et d'expertise des écoles, mais aussi aux exigences des parents et des autorités communales considérés également comme partenaires dans le processus de développement scolaire. Nous partagerons ainsi les expériences, les limites et les progrès qui ont jalonné notre travail depuis ces six dernières années, ainsi que les pistes d’améliorations à traiter issues de notre démarche que nous avons menée collaborativement avec les établissements scolaires dans leur processus de développement scolaire. COMMUNICATION 5 - DE L’ÉVALUATION À LA « VALUATION » : ENJEUX DE LA CO CONSTRUCTION DE SAVOIRS PROFESSIONNELS EN CONTEXTE COLLABORATIF NIZET, Isabelle, Université de Sherbrooke (CA) RÉSUMÉ Cette communication présente les résultats d’une analyse menée a postériori sur les échanges qui ont eu lieu dans le cadre d’un projet de formation continue financé par le Ministère de l’Éducation, du Loisir et du Sport (Québec) de 2013 à 2015. Ce projet dénommé Soutien au développement de pratiques évaluatives des enseignants de la Formation générale des adultes (Chantier 7 FGA), vise la construction de savoirs professionnels en évaluation dans le contexte de l’implantation de nouveaux programmes d’études par compétences. Deux équipes d’enseignants (14) et de conseillers pédagogiques (5) ont participé à ce Chantier 7 durant 24 rencontres s’échelonnant de juin 2013 à juin 2015. Le choix de rompre avec une conception applicative de la formation nous a incitée à greffer au processus de formation un processus de recherche collaborative justifié par le contexte de partenariats entre milieux scolaire et universitaire. En effet, bien que nous ayons choisi de piloter ce projet à titre d’experte en évaluation des apprentissages, nous avons estimé préférable de concevoir un plan de formation avec et pour les enseignants dont certains n’avaient jamais reçu de formation initiale en évaluation. En cela notre projet vise l’assessment literacy de ces enseignants, c'est-à-dire le développement de leur capacité à concevoir, mettre en œuvre et parler de manière critique de stratégies d’évaluation. Nous avons structuré le projet autour de trajets de formation, de recherche et d’action orientés vers la production de matériel de formation en évaluation de compétences créé par les participants, suite à leur propre formation (Nizet & Leroux, à paraître). 869 La personne non formée en évaluation recherche prioritairement une efficacité instrumentale et technique. Cependant, une formation applicative risque de ne pas prendre suffisamment en compte les dimensions identitaires et culturelles de l'agir évaluatif, ce qui produit des apprentissages dans lesquels la culture évaluative qui soutient la référenciation des pratiques n’est pas profondément transformée. Les savoirs de référence proviennent de différentes sources expérientielles, scientifiques, institutionnelles ou pratiques et entrent potentiellement en conflit, ce qui suscite un travail dialectique continu dans les espaces intra et intersubjectifs des personnes qui se forment. Dans l’espace collaboratif, la viabilité des savoirs coconstruits et leur validité est un enjeu constant. Le savoir est objet de valuation dans une démarche réflexive commune, ce qui représente une occasion privilégiée d’observer les mécanismes par lesquels les participants développent une dynamique d’arbitrage et de négociation dans la construction de savoirs professionnels. Les retombées de la formation ne sont donc plus évaluées en termes de conformité de l’offre aux attentes personnelles ni en termes de changements effectifs opérés dans la pratique, ni en termes d’efficacité de la formation applicative reçue, selon des indicateurs externes. Elles sont évaluées de manière continue dans des démarches « valuatives » qui questionnent la viabilité et la validité des savoirs construits au regard des communautés qui les génèrent. Dans un tel contexte, le trajet de formation demeure le point de départ de la coplanification du projet et est constitué d’activités favorisant l’appropriation ou l’incorporation de savoirs conceptuels et leur communication. Pour illustrer comment les participants évaluent la viabilité de ces savoirs, nous décrirons les étapes de la construction d’un vocabulaire professionnel commun en évaluation. Le trajet de recherche collaborative a principalement permis de traiter des problématiques de nature épistémologique. Le recueil et l’analyse du contenu des échanges ont porté sur ces processus d’incorporation et de communication de nouveaux savoirs de référence, révélant des enjeux importants liés des critères de crédibilité, d’intelligibilité et de légitimité. L’émergence de ces critères traduit la nécessité de questionner la validité du savoir au sein de l’espace collaboratif. Le trajet d’action visait le réinvestissement de ces apprentissages viables et valides dans la conception d’activités de formation par les enseignants pour d’autres enseignants. À cette occasion, la problématique du partage des savoirs avec une communauté de pratique élargie, au-delà de l’espace collaboratif, a nécessité l’élaboration d’un autre trajet de recherche. Le recueil et la co analyse de données ont alors porté sur des critères de double vraisemblance, double pertinence et double résonance des savoirs proposés dans la formation pour la communauté de pratique et pour la communauté scientifique au-delà de cet espace collaboratif. 870 L'ÉVALUATION DES ENSEIGNEMENTS ET LES POLITIQUE QUALITÉ AU LIBAN ET EN BELGIQUE (ID 236) DETROZ, Pascal, Université de Liège (BE) Mots-clés: Évaluation des enseignements, Enseignements supérieur, Politique qualité. RÉSUMÉ Le symposium ci-après proposé regroupe des communication de trois auteurs faisant état de doute par rapport dont l'évaluation des enseignements par les étudiants est assez souvent conçue dans les universités francophone: sans dialogue collaboratif avec les principaux bénéficiaire, c'est à dire les enseignants. La première communication fait état - et apporte quelques données qui en sont issues - d'un dispositif dans lequel les enseignants peuvent directement choisir une partie des items à soumettre aux étudiants. La seconde étude porte un regard critique sur les outils hétéronormé et propose de partir d'un profil de compétences servant dans un premier temps à l’autoévaluation de l'enseignant. Dans un second temps, ce même profil pourrait être utilisé pour favoriser l'utilisation de plusieurs outils d'évaluation (pairs, EEE, écrits réflexifs, ...) afin d'agrégé des indicateurs fiable dans le cadre d'une triangulation des données. Le dernière étude porte sur l’analyse des pratiques évaluatives des enseignants comme un point de départ d’une réflexion sur les valeurs et l’éthique des démarches d’évaluation. L'information et implication des divers acteurs, en tant que démarche nécessaire à la bonne utilisation des données, sera questionnée à travers une enquête auprès des maître d'oeuvre. COMMUNICATION 1 - L’AJOUT DE QUESTIONS OPTIONNELLES DANS LES QUESTIONNAIRES D’ÉVALUATION DES ENSEIGNEMENTS PAR LES ÉTUDIANTS: UN PISTE PROMETTEUSE? DETROZ, Pascal, Université de Liège (BE) RÉSUMÉ L’évaluation des enseignements est un sujet qui continue à attiser la controverse dans certains pays comme la France. Dans d’autres, comme en Suisse ou en Belgique, la tendance est plutôt de considérer que la qualité des enseignements est un critère légitime –pari d’autres - pour évaluer les enseignants. Reste à définir ce que devrait recouvrir une telle évaluation. À ce jour, la méthode la plus fréquemment utilisée reste le questionnaire auprès des étudiants. Pratique, concise, pseudoobjective, facile à traiter, offrant des feed-back standardisés et, surtout, ne requérant que peu de temps provenant d’un corps académique déjà largement surchargé, ce type d’évaluation s’est installé peu à peu, y compris en francophonie. Même si un certain nombre d’études sur le sujet met 871 en doute la validité et la fidélité des mesures issues de ces procédures (en tous les cas quand elles sont à forts enjeux, ce qui est le cas quand on évalue des personnes), elles constituent souvent la seule mesure de la qualité pédagogique. Un autre défaut de cette procédure est d’être souvent peu claire sur ses visées. Sont-elles utilisées des fins formatives, pour que les enseignants qui le souhaitent puissent améliorer leurs enseignements (mais alors, pourquoi les questionnaires sont-ils la plupart du temps imposé, unique et peu diagnostique). Ou la visée est-elle certificative sachant que, dans la plupart des cas, un taux de réponse insuffisant ne permet pas d’avoir une mesure utile dans ce contexte (surtout lorsque le questionnaire est en ligne). Parfois, les visées ne sont pas précisées et les concepteurs jouent sur les deux tableaux, ce qui était le cas précédemment dans mon Université. Nous avons mis en garde contre ces phénomènes (EEE utilisée seule et visée non définie) dans un article de synthèse publié dans la Revue française de Pédagogie. Dans les conclusions de cet article, nous plaidions pour : - établir un consensus au sein d’une institution donnée pour voir ce que l’EEE recouvre et ce que l’EEE ne recouvre pas. (en d’autres termes, expliciter les visées) - Recourir à la triangulation des données qui a pour vertu première d’assurer la validité des informations recueillies en vérifiant qu’elles se complètent bien entre elles (validité concurrentielle),et pour vertu seconde d’apporter de la rigueur et de la profondeur d’analyse. La large réforme institutionnelle que vient de réaliser l’université de Liège a suivi ces conseils. Ainsi, outre les données issues de l’EEE, l’évaluation des enseignants porte dorénavant, dans cette institution, sur - la qualité des plans de cours - la qualité du projet pédagogique - une série de statistique - des preuves de qualité de l’enseignement fournies par l’enseignant à travers un portfolio pédagogique - une auto-évaluation de l’enseignant. A noter que l’usage de chacun des ces outils est décliné selon l’usage formatif et/ou certificatif qui en sera fait. La présente étude se consacrera à l’évaluation des enseignements par les étudiants. Dans le contexte que nous venons de décrire, cette méthode a été pensée pour être à la fois - mais distinctement - formative et certificative. En réalité, tous les enseignements de notre institution sont évalués par un questionnaire d’une douzaine de questions, identique pour chacun, assurant la validité de contenu et de construit du processus. Douze questions pour couvrir ce qu’est un enseignement de qualité : ce questionnaire ne peut pas être très diagnostique, mais ce n’est pas son objectif. Il servira à évaluer les personnes, pas à leur donner un feedback utile. C’est pour cette raison que dans ce même dispositif d’EEE, il est prévu que les enseignants puissent choisir – dans une banque de question - jusqu’à 7 questions qui ont du sens pour eux, en regard des éléments qu’ils souhaitent réguler dans leur cours. Ainsi, nous espérons leur fournir une information nouvelle, diagnostique, qui a du sens pour eux ce qui constitue autant de conditions pour que le feedback serve à la régulation. 872 Lorsque les étudiants reçoivent les questionnaires, ils peuvent identifier clairement les questions obligatoires institutionnelles et celles qui ont été rajoutées par l’enseignant. Ils peuvent ainsi peaufiner leurs commentaires ouverts en fonction des thématiques pertinentes pour l’enseignant. En termes de feedback, les enseignants reçoivent les scores pour les questions obligatoires et les questions optionnelles qu’ils ont ajoutés. Leurs autorités ne reçoivent que les feedback des questions obligatoires. Dès lors, seules ces dernières seront utilisées par les commissions d’évaluation des enseignants. Dans le cadre de cette communication, nous porterons un regard analytique sur ce dispositif et plus particulièrement sur les questions optionnelles. En analysant les données stockées dans le logiciel de passation, nous répondrons aux questions suivantes : Quelle proportion d’enseignants ont effectivement ajoutés des questions optionnelles? Parmi ceux-ci, en moyenne, combien de questions ont été ajoutées ? Quelles sont les thématiques les plus souvent abordées ? La banque de question était-elle complète ? Quelle est la satisfaction des enseignants Enfin, des pistes de remédiation seront proposées. suite à l’application de dispositif. COMMUNICATION 2 - VERS UNE AUTOÉVALUATION AU SUPÉRIEUR: LE PROFIL DES COMPÉTENCES, UN DES PILIERS DU DÉVELOPPEMENT PROFESSIONNEL MAGUY, Chataoul, Université Libanaise (LB) SCARLET, Sarraf, Université Libanaise (LB) PAULA, Abou Tayeh, Université Libanaise (LB) RÉSUMÉ Un professeur d’université accède à son poste généralement grâce à son travail de thèse, ses articles de recherche et son réseau académique, bien plus que sur la base de ses compétences en tant qu’enseignant. Or excellence académique ne rime pas toujours avec excellence pédagogique. Il ne s’agit pas, certes, de choisir entre recherche et enseignement, tant il est vrai que l’une ou l’autre des options à elle seule ne saurait suffire. Cependant, la perpétuelle primauté de l’excellence académique sur les compétences pédagogiques des enseignants commence à montrer ses limites ; l’image de l’université uniquement préoccupée par la production de connaissances a évolué, et la primauté de la recherche sur l’enseignement devient plus ouvertement un objet de débat (Endrizzi, 2011), et l’on n’hésite pas à annoncer que « l’enseignement est en voie de professionnalisation » (Gohier, Anadon et al en 2001). Ce processus de professionnalisation met l’accent sur la dimension professionnelle de l’acte d’enseigner et sur les compétences attendues de l'enseignant universitaire. Il contribue à faire découvrir des différentes réalités de ce métier, à approfondir les compétences nécessaires, ce qui permet aux enseignants de développer l’expertise afin de favoriser par la suite les établissements 873 d’enseignement universitaire en tant que lieux où on apprend sans cesse à faire mieux dans une perspective d'excellence et de qualité. Plusieurs points seront à envisager dans notre étude : - Quelle est la nature de la compétence professionnelle? - Quelle compétence l'enseignant peut-il construire en milieu professionnel ? - Quels sont les principes et les conditions à respecter pour favoriser une telle construction ? - Quel est le rôle d’un référentiel de compétences dans la construction de cette compétence et dans les pratiques d'enseignement et d’évaluation des enseignants? - Comment promouvoir et développer une action professionnelle efficace, efficiente et récurrente visant à reconnaître les enseignants au supérieur comme les constructeurs de leurs compétences - des innovateurs - plutôt que comme des transmetteurs de connaissances. Partant des résultats d’une étude antérieure réalisée à l’Université Libanaise, nous avons pu avancer (Chataoui.2015) que l’évaluation institutionnelle de l’enseignement supérieur, telle que pratiquée actuellement (EEE), et en l’absence d’une sérieuse exploitation des résultats et d’une offre de formation, ne participe pas d’un projet de gestion de la qualité ni d’une amélioration des pratiques des enseignants. Il serait alors nécessaire de « recueillir d’autres types de données sur la qualité de l’enseignement, la validation des décisions ne sera dès lors pas tributaire d’une seule donnée, mais d’un pluralisme méthodologique assumé (P. Detroz 2010). Nous faisons l’hypothèse que l’un des enjeux pour l’enseignant universitaire est de pouvoir poser lui-même toutes les questions utiles et nécessaires à l’amélioration de son enseignement et au développement de sa compétence professionnelle, sans que cela implique d’être contrôlé ou sanctionné par son institution (Colet 2010). Et dans la mesure où il n’y aura pas de développement professionnel sans lucidité de la part des concernés, une autoévaluation sera préconisée en vue de développer l’autonomie dans le métier, à condition que l’institution ne s’en empare pas pour en faire une pièce dans son dispositif la rendant, du coup, obligatoire et dangereuse, en sanctionnant toute difficulté, ou en inhibant toute volonté de transparence et de développement professionnel. (Perrenoud. 2010). L’autoévaluation sera alors un projet pour soi, orienté par une dynamique de visibilité, elle se définit comme un auto questionnement sur son action et nécessite une prise de distance qui sera facilitée par la prise en compte de références externes sous forme d’une grille de critères. Nous soumettrons une autoévaluation médiatisée par un instrument (profil de compétence proposé par N. Brassard. ENAP. 2012) nous aidant à savoir clairement où l’on est censé aller et à réfléchir sur sa pratique sur la base d’informations pertinentes. Dans ce sens, un profil de compétences précise les tâches attendues de l’enseignant et structure toute offre de formation à lui proposer. C’est un guide permettant aux enseignants de structurer leur développement professionnel, il peut devenir une plateforme de mobilisation sur laquelle les enseignants universitaires peuvent s’appuyer. (Foucher, 2010). A considérer, par ailleurs, que le développement professionnel est un processus de coconstruction entre les parties impliquées, un profil de compétences servirait aussi à construire du sens collectif et des repères communs et renvoie à un système normatif décrivant conceptuellement un cheminement (Clos et Raisky. 2010). Il constitue, par plus, un outil de dialogue autour des 874 indicateurs dans la perspective d’élaborer un projet commun de développement professionnel et d’amélioration. Mais un profil de compétences servant à l’autoévaluation ne voudrait pas dire laisser aux enseignants le soin de déterminer les moyens didactiques et pédagogiques à mettre en œuvre pour pouvoir répondre aux critères exigés par ses indicateurs. Il ne devrait s’agir ni d’une dévolution ni d’une délégation de la part de l’institution, car si le profil constitue un outil indispensable pour se connaitre et se reconnaitre dans l’exercice de son métier, il n’en reste pas moins que l’institution est tenue de l’exploiter afin de structurer une offre de formation et de régulation. Le conseil pédagogique requiert à ce niveau tout son sens, son apport serait l’analyse et l’interprétation des résultats afin de dégager les forces et les faiblesses et proposer des mesures de remédiation. De là à prospecter le développement professionnel de l’enseignant le pas ne peut être franchi allègrement ; croire que l’on peut partir des résultats d’un questionnaire d’appréciation générale, tel que le profil de compétences, pour ensuite faire l’analyse des prestations et prononcer un diagnostic et un jugement est un leurre (Colet 2010). Le concept du dossier de l’enseignant dont le profil de compétences n’en constitue qu’une pierre de l’édifice, faufile déjà à l’horizon de l’enseignement universitaire pour témoigner de toute sorte d’efforts investis par l’enseignant pour améliorer sa pratique professionnelle : écrits réflexifs, diverses tâches administratives, d’enseignement ou de recherches, séminaires de formation, ateliers, résultats de l’EEE…etc. en constituent le contenu. Un nouveau champ de réflexion s’ouvre déjà à la recherche en pédagogie universitaire. Références Altet,M., Paquay L. et Perrenoud, Ph. (Eds) (2002), Formateurs d’enseignants. Quelle Professionnalisation ?, Bruxelles, DeBoeck Université. Baillat, G., De Ketele J.-M. Et al (2008), Evaluer pour former, De Boeck, Bruxelles Bedin,V.(Dir) (2013). L’évaluation à l’université. Evaluer ou conseiller. Presses universitaires de Rennes. Bernard, H. (2011). Comment évaluer, améliorer, valoriser l’enseignement supérieur ? De Boeck. Bruxelles. Brassard, N. (2012). Profil de compétences de l’enseignant du niveau universitaire. L’Université de l’administration publique. ENAP. Montréal, Canada. Charlier, J-M. (Dir) (2014). Contrôler la qualité de l’enseignement supérieur. Académia. L’Harmattan. Cros F., Raisky (2010), Autour des mots de la formation « référentiel ». In : Recherche et Formation no 64. pp 105 –116. Endrizzi, L. (2011). Savoir enseigner dans le supérieur : un enjeu d’excellence pédagogique. In : Dossier de veille de l’IFE. no 64. Institut français de l’éducation. Lyon. Fabre, M., & Vellas E. (Eds) (2006), Situations de formation et problématisation, Bruxelles, De Boeck Universit Fave – Bonnet, M-F. (Dir) (2009). L’évaluation dans l’enseignement supérieur en questions. L’Harmattan. Figari, G. (2014). Méthodologie d’évaluation en éducation et en formation. De Boeck. Bruxelles. 875 Foucher, R. (Dir). (2010). Fondements de la gestion des talents et des compétences. Editions Nouvelles. Montréal. Hadji, Ch. (2012). Faut-il avoir peur de l’évaluation ? De Boeck Bruxelles. Heldenbergh, A., (Dir) (2011). Les démarches qualités dans l’enseignement supérieur en Europe. L’Harmattan. Labruffe, A. (2005). Management des compétences : construire votre référentiel. Afnor. Lessard C. et Bourdoncle R. (2002), «Qu’est-ce qu’une formation professionnelle universitaire?», In. Revue Française de Pédagogie, Nº139, PP. 131-154. Markus, B., (2011), Enseigner à l’université.Conseils pratiques, astuces, méthodes pédagogiques, Armand Colin, Paris. Paquay, L., (Dir). (2010). L’évaluation, levier du développement professionnel. De Boeck. Bruxelles. Parmentier, PH., Frenay M. et al., (2000), "L'accréditation des compétences pédagogiques: un processus de développement professionnel pour les enseignants universitaires", In. Colloque de l'AIPU en 2000, Paris. Pastiaux N., Bouillard PH. Romainville, M. (2010), "Référentiels de compétences a l'université", In. Recherche et formation, Numéro 64, 2010. Rege Colet, N., (Dir). (2006). La pratique enseignante en mutation à l’université. De Boeck. Rege Colet, N. (2015). La pédagogie de l’enseignement supérieur : repères théoriques et applications pratiques. Tome 2. Peter Lang. Berne. Suisse Rey, B. (2010). Les référentiels. Entretien réalisé par Chauvigné, ch et Lenoir, y. In : Recherche et Formation. No 64 pp 1 – 12 Romainville, M. (2009). L’évaluation de l’enseignement par les étudiants. De Boeck. Bruxelles. Romainville, M., (Dir) (2013). Evaluation et enseignement supérieur. De Boeck. Roegiers, X., Miled, M., Ratzin, I., Letor, C., Etienne, R., Hubert, G & Dali, M. (2012). Quelles réformes pédagogiques pour l’enseignement supérieur ? De Boeck – Bruxelles. Tardif, J. (2006). L’évaluation des compétences. Documenter le parcours de développement. Chenelière Education. Montréal. Vial, M. (2009). Se former pour évaluer. De Boeck. Bruxelles. 876 COMMUNICATION 3 - L’ÉVALUATION DES ENSEIGNEMENTS: DÉFIS DES PRATIQUES RÉFLEXIVES EN VUE D’UNE DÉMARCHE QUALITÉ NABOULSI, Randa, Université Libanaise (LB) SLIM-HOTEIT, Ilham, Université Islamique du Liban (LB) RÉSUMÉ Face à la massification de l’enseignement supérieur, et la complexification des savoirs et des nouvelles conceptions de l’enseignement/apprentissage, les universités libanaises dans les deux secteurs public et privé se sont lancées dans des démarches qualité afin de répondre aux exigences de ce marché et d’être à la hauteur de la compétitivité. Ces défis ont poussé nos universités à entreprendre des démarches d’évaluation allant du statut de tabou à un objet de démarches isolées, institutionnelles ou individuelles. Quelque soit la situation, ces pratiques d’évaluation retiennent notre attention et suscitent notre curiosité de chercheur dans cette communication. Effet du contexte sur l’évaluation comme objet social Comme toute pratique sociale institutionnelle, les pratiques évaluatives reflètent l’espace idéosocioéducatif dans lequel elles s’exercent. Nous pensons que toute mise en place des dispositifs d’évaluation reste conditionnée par le milieu socioéducatif dans lequel ils sont appliqués et que tout usage ne tenant pas compte de ces contraintes serait une source d’erreur d’interprétation. Dans son introduction à la pensée complexe, Edgar MORIN précise que « la cause profonde d’erreur n’est pas dans l’erreur de fait (fausse perception) ou l’erreur logique (incohérence), mais dans le mode d’organisation de notre savoir en système d’idées (théories, idéologies) » ; Ce dernier explique qu’ : « il s’agit d’une mutation inouïe dans la connaissance : celle-ci est de moins en moins faite pour être réfléchie et discutée par les esprits humains, de plus en plus faite pour être engrammée dans des mémoires informationnelles et manipulées par les puissances anonymes…). Les tendances actuelles de l’évaluation des enseignements dans nos universités soulèvent la problématique des pratiques évaluatives des enseignements qui restent partiales et non réflexives. Nous pensons que la binarité : évaluation des enseignements/assurance qualité doit se baser sur une action complexe avec réflexion sur ce processus : réflexion sur la situation, les objectifs, les moyens, l’état des lieux, les opérations engagées, les résultats provisoires, l’évolution prévisibles du système d’action ; une réflexion dans et sur l’action qui permet d’anticiper et de préparer le praticien à réfléchir plus vite dans l’action et à envisager davantage d’hypothèses. Nous traiterons dans cette communication, l’analyse des pratiques évaluatives des enseignants comme un point de départ d’une réflexion sur les valeurs et l’éthique des démarches d’évaluation dans notre contexte libanais. A partir d’un questionnaire adressé aux enseignants et aux responsables de l’action d’évaluation des enseignants, nous essayons de répondre aux interrogations suivantes : 1- les personnes évaluées sont-elles toujours au courant de l’opération d’évaluation ? Sont-elles informées sur les procédures de prise de décisions les concernant? 2- Les personnes chargées de l’évaluation mesurent-elles la portée des décisions à prendre ? 877 3- A quelles conditions les informations recueillies et les décisions prises peuvent-elles permettre de rendre les actions futures plus efficaces ? 4- Quelles dispositions et quels dispositifs permettent d’assurer la pertinence, la validité, la fiabilité des outils d’évaluation adoptés par l’institution ? 5- Quelles sont les conséquences au niveau individuel et à l’échelle de la société des décisions prises ? Références Al Sayed Hussein Adnan (2012). Stratégie de développement pour l’université libanaise. Beyrouth. Dumont, Ariane & al. (2012) Les effets de l’EEE sur le développement professionnel des enseignants et l’expérience d’apprentissage des étudiants. Comparaisons de deux cas Suisses. Mesure et évaluation en éducation, Vol. 35, Numéro 3, 85-115. Morin, Edgar (2005) Introduction à la pensée complexe. Editions du Seuil, avril. Perrenoud, Philippe (2012), Développer la pratique réflexive dans le métier d’enseignant. Professionnalisation et raison pédagogique, ESF, éditeur, Paris, 6ème édition. Suchaut, Bruno (2012) L’évaluation des enseignants : contexte, analyse et perspectives d’évolution, Halshs-00675958, 1-2 mars. Tremblay, Philippe (2012) L’évaluation de la qualité de dispositifs scolaires : développement d’une approche multidimensionnelle, et bidirectionnelle. Mesure et évaluation en éducation, Vol. 35, Numéro 2, 39-68. Younes, Nathalie (2007) A quelles conditions l’évaluation formative de l’enseignement par les étudiants est-elle possible en France ? Revue française de pédagogie, 161,2007, 25-40. 878 EVALUER DES APPRENTISSAGES SPATIAUX: SUR LA BASE DE QUELS MODÈLES COGNITIFS, POUR QUELLES FINALITÉS? (ID 237) DUROISIN, Natacha, Faculté de Psychologie et des Sciences de l’Education Service Méthodologie et formation – Université de Mons (BE) Mots-clés: Evaluation des apprentissages, Cognition spatiale, Modèles cognitifs RÉSUMÉ Que ce soit lors d’actions effectuées au quotidien ou à l’école, les acquis spatiaux sont importants pour tout individu (O’Keefe & Nadel, 1978; Darken & Peterson, 2002). Situer un bâtiment sur une carte, s’orienter dans un environnement (in)connu, décrire et reproduire un chemin, visualiser mentalement un agencement d’objets dans un espace donné, estimer des distances, trouver des raccourcis, se représenter le point de vue d’autrui… sont autant de savoir-faire ou de compétences qui, s’ils ne sont pas maitrisés, peuvent engendrer des difficultés dans la vie quotidienne et/ou scolaire d’un individu (Berthelot & Salin, 1992 ; Duroisin, 2015 ; Duroisin & Demeuse, 2015). Envisagée tant dans l’enseignement ordinaire que dans l’enseignement spécialisé, l’évaluation des apprentissages spatiaux revêt alors toute son importance. En faisant référence aux modèles cognitifs sous-jacents, l’objectif de ce symposium, composé de 6 communications, est de s’interroger sur l’évaluation de ces apprentissages spatiaux auprès de populations différentes (présentant ou non une déficience intellectuelle) et ce, dans des contextes différents (apprentissages scolaires et apprentissages extra-scolaires). La première communication, intitulée « Quand l’évaluation des apprentissages spatiaux est plus facile à dire qu’à faire… », porte sur l'analyse des résultats des évaluations externes non certificatives réalisées en Belgique francophone (EENC). Si, dans un premier temps, cette analyse a permis l’identification des compétences et des mécanismes spatiaux les plus difficilement acquis par les élèves; dans un second temps, elle a surtout permis de s'interroger sur les connaissances qui sont réellement évaluées par le biais de ces évaluations (connaissances disciplinaires (géométriques ou géographiques) versus connaissances spatiales) ainsi que sur le peu d'importance accordée aux connaissances spatiales dans les évaluations externes. Les deux communications qui suivent portent, quant à elles, sur certaines de ces connaissances spatiales qui ne sont pas évaluées chez nos élèves: les représentations égocentriques et allocentriques. La communication intitulée « Représentations égocentrées et allocentrées dans l'orientation spatiale: des modèles à l'enseignement » fournit l’éclairage théorique permettant de comprendre en quoi les modèles cognitifs et leurs produits permettent une meilleure orientation spatiale dans un environnement connu ou inconnu. S’en suivra une proposition de pistes pédagogiques permettant d’exercer les représentations spatiales égocentrées et allocentrées. La communication intitulée « Evaluation des représentations égocentriques et allocentriques d’un environnement réel filmé: étude menée auprès d’élèves âgés de 6 à 12 ans » illustre les notions théoriques, précédemment abordées, par la présentation d’une expérimentation menée en classe dans une perspective développementale. Après s’être intéressés exclusivement aux performances des enfants et adolescents ne présentant pas de déficience intellectuelle, les deux communications suivantes portent sur les enfants et adolescents au développement typique et atypique. Intitulée « Evaluer les capacités de navigation spatiale chez les enfants au développement typique ou atypique: apport des environnements virtuels », cette communication présente l’apport d’une technique de plus en plus 879 couramment utilisée en cognition spatiale : la réalité virtuelle. Après avoir montré l’intérêt d’utiliser les environnements virtuels pour évaluer un apprentissage spatial spécifique, seront également présentés les résultats qui conduisent à dégager les grandes lignes du développement typique et atypique des individus quand ils sont confrontés à des exercices de navigation spatiale. La communication, intitulée « Evaluer les apprentissages spatiaux au travers des processus de régulation, quels enjeux? », rend compte d’une expérimentation menée auprès d’adolescents présentant une déficience intellectuelle. L’objectif poursuivi ici est de rendre compte de difficultés de déplacements de ces jeunes sous l’angle de l’autorégulation et de l’hétérorégulation. Enfin, la dernière communication apportera des éléments de réponse à la question qui a guidé l’ensemble des communications proposées lors de ce symposium: « Evaluer des apprentissages spatiaux : sur la base de quels modèles cognitifs, pour quelles finalités ? ». Les auteurs effectueront, d’une part, la synthèse du symposium en s’attardant sur les modèles cognitifs sous-jacents certains apprentissages spatiaux et montreront, d’autre part, l’utilité des démarches suivies pour faire acquérir des compétences spatiales aux individus présentant ou non une déficience intellectuelle. Références Berthelot, R. & Salin, MH. (1992). L'enseignement de l'espace et de la géométrie dans la scolarité obligatoire. Thèse de doctorat en Didactique des mathématiques. Université de Bordeaux I. En ligne http://tel.archivesouvertes.fr/docs/00/41/40/65/PDF/these_Berthelot_Salin.pdf, récupéré le 7 décembre 2013. Duroisin, N. (2015). Quelle place pour les apprentissages spatiaux à l’école ? Etude expérimentale du développement des compétences spatiales des élèves âgés de 6 à 15 ans. Education. Université de Mons, https://tel.archives-ouvertes.fr/tel-01152392/document, récupéré le 11 septembre 2015. Darken, R., & Peterson, B. (2002). Spatial Orientation, Wayfinding, and Representation. In K., Stanney (Ed.), Handbook of Virtual Environments: Design, implementation and applications (pp.493518). New Jersey: Lawrence Erlbaum Associates. Duroisin, N. & Demeuse, M. (2015). What role for developmental theories in mathematics study programmes in French-speaking Belgium? PsychNology, 5(3). O’Keefe, J. & L. Nadel (1978). The Hippocampus as a Spatial Map. Oxford : Clarendon Press. 880 COMMUNICATION 1 - QUAND L’ÉVALUATION DES APPRENTISSAGES SPATIAUX EST PLUS FACILE À DIRE QU’À FAIRE… DUROISIN, Natacha, Faculté de Psychologie et des Sciences de l’Education Service Méthodologie et formation – Université de Mons (BE) DEMEUSE, Marc, Faculté de Psychologie et des Sciences de l’Education, Université de Mons (BE) RÉSUMÉ En Belgique francophone, les Evaluations Externes Non Certificatives (EENC) trouvent leurs origines dans le « Décret relatif à l'évaluation externe des acquis des élèves de l'enseignement obligatoire et au certificat d'études de base au terme de l'enseignement primaire » (Communauté française de Belgique, 2006). Il s’agit d’évaluations « dont la conception et la mise en œuvre sont confiées à des personnes extérieures à l'équipe éducative d'un établissement scolaire » (Communauté française de Belgique, 2006, p. 1). Par le biais de ces évaluations externes non certificatives, l’objectif principal poursuivi par les autorités publiques est d’informer sur le niveau d’avancement des élèves en regard aux compétences fixées par les prescrits (Duroisin, 2015). Est donc évaluée, la maitrise qu’ont les élèves des compétences définies dans les Socles de compétences et les compétences et savoirs visés aux articles 16, 25 et 35 du « Décret définissant les missions prioritaires de l'enseignement fondamental et de l'enseignement secondaire et organisant les structures propres à les atteindre » (Communauté française de Belgique, 1997). Afin de prendre en considération le continuum pédagogique défini dans le Décret Mission (Communauté française de Belgique, 1997) et d’apprécier l’évolution de la maitrise des compétences identiques à différents moments de la scolarité (Communauté française de Belgique, 2006, article 8, § 1), les EENC sont organisées pour tous les élèves de troisième année et cinquième année de l’enseignement fondamental et planifiées selon un cycle triennal. Lors de la première année de ce cycle, une évaluation, portant sur la maitrise de la production d’écrits et la lecture, est organisée. Lors de la deuxième année est proposée une évaluation portant sur la maitrise des outils mathématiques de base. Enfin, lors de la troisième année, une évaluation portant sur la maitrise d’autres activités faisant partie de la formation commune obligatoire est organisée. Ces activités sont : la structuration du temps et de l'espace, l'éveil puis l'initiation à l'histoire et la géographie, l'éducation par la technologie, l'initiation scientifique (Communauté française de Belgique, 1997, article 16, § 3, alinéa 2). Concernant les humanités générales et technologiques et les humanités professionnelles et techniques, celles-ci sont également soumises aux EENC selon un plan triennal (Communauté française de Belgique, 2006, article 8, § 2). Cette communication rend compte des résultats d’un travail d’analyse mené à partir des EENC concernant six évaluations différentes. Trois d’entre elles portent sur le domaine des mathématiques, les trois autres concernent les domaines de la formation historique et géographique. Plus spécifiquement, le travail a été effectué sur les parties « Grandeurs » et « Solides et Figures » ainsi que sur la partie « formation géographique ». Pour les parties « Grandeurs » et « Solides et Figures », il s’agit des évaluations réalisées, en 2011, en deuxième année et cinquième année de l’enseignement fondamental ainsi que celle organisée en deuxième année de l’enseignement secondaire. Pour les parties « formation géographique », il s’agit des évaluations organisées en 2012 et portant sur l’ensemble des élèves de deuxième année et cinquième année de 881 l’enseignement fondamental ainsi que sur ceux de deuxième année de l’enseignement secondaire (Ministère de la Fédération Wallonie-Bruxelles, 2011 a, b, c, d). Dans cette communication, sont donc présentés, année par année d’enseignement, pour chacune des disciplines concernées, les résultats globaux des élèves aux EENC pour chacune des questions en lien avec les apprentissages spatiaux. L’objectif de ces présentations est d’illustrer et de cibler, avec le plus de précision possible, les difficultés des élèves quand ceux-ci sont confrontés à des exercices géométriques, géographiques et/ou spatiaux. Alors que les exercices géométriques et géographiques portent sur des contenus disciplinaires formalisés, les connaissances spatiales concernent l’espace sensible en ce sens qu’elles amènent l’enfant et l’adolescent à maîtriser les rapports usuels qu’ils entretiennent avec cet espace (Douaire, Emprin & Rajain, 2009). Par l’analyse qualitative effectuée, on remarque, d’une part, des différences de performances plus ou moins importantes en fonction du type d’exercices proposés. D’autre part, on remarque que quel que soit l’âge des élèves, certains apprentissages restent difficilement maitrisés. L’analyse effectuée permettra également de montrer que les évaluations proposées sont, en fin de compte, peu valides. Alors que la volonté est d’évaluer, par le biais des EENC, les acquis spatiaux chez les élèves, il apparait que celles-ci ne mesurent pas réellement ce qu’elles prétendent mesurer… Références Berthelot, R. & Salin, MH. (1992). L'enseignement de l'espace et de la géométrie dans la scolarité obligatoire. Thèse de doctorat en Didactique des mathématiques. Université de Bordeaux I. En ligne http://tel.archivesouvertes.fr/docs/00/41/40/65/PDF/these_Berthelot_Salin.pdf, décembre 2013. récupéré le 7 Communauté française de Belgique (1997). Décret définissant les missions prioritaires de l'enseignement fondamental et de l'enseignement secondaire et organisant les structures propres à les atteindre, pp. 1-69. [En ligne]. Récupéré le 23/05/2013 à partir de http://www.enseignement.be/index.php?page=23827&do_id=401 Communauté française de Belgique (2006). Décret relatif à l'évaluation externe des acquis des élèves de l'enseignement obligatoire et au certificat d'études de base au terme de l'enseignement primaire, pp. 1-26. [En ligne]. Récupéré le 23/05/2013 à partir de http://www.gallilex.cfwb.be/document/pdf/30959_008.pdf Duroisin, N. (2015). Quelle place pour les apprentissages spatiaux à l’école ? Etude expérimentale du développement des compétences spatiales des élèves âgés de 6 à 15 ans. Education. Université de Mons, https://tel.archives-ouvertes.fr/tel-01152392/document, récupéré le 11 septembre 2015. Douaire, J., Emprin, F., Rajain, C. (2009). L’apprentissage du 3D à l’école. Repères, 77, 23-52. Ministère de la Fédération Wallonie-Bruxelles (2011a). Évaluation Externe Non Certificative 2011 de Mathématiques. 2e année de l’enseignement primaire. Administration générale de l’Enseignement et de la Recherche scientifique. Ministère de la Fédération Wallonie-Bruxelles. (2011b). Évaluation Externe Non Certificative 2011 de Mathématiques. 2e année de l’enseignement secondaire. Administration générale de l’Enseignement et de la Recherche scientifique. 882 Ministère de la Fédération Wallonie-Bruxelles. (2011c). Évaluation Externe Non Certificative 2011 d’éveil géographique. 5e année de l’enseignement primaire. Administration générale de l’Enseignement et de la Recherche scientifique. Ministère de la Fédération Wallonie-Bruxelles. (2011d). Évaluation Externe Non Certificative 2011 de Mathématiques, Grandeurs - Solides. 5e année de l’enseignement primaire. Administration générale de l’Enseignement et de la Recherche scientifique COMMUNICATION 2 - REPRÉSENTATIONS ÉGOCENTRÉES ET ALLOCENTRÉES DANS L'ORIENTATION SPATIALE: DES MODÈLES À L'ENSEIGNEMENT MAURER, Roland, Faculté de Psychologie et des Sciences de l'Education, Université de Genève (CH) RÉSUMÉ Ainsi que l'ont montré différentes études en psychologie cognitive de la représentation spatiale et en neurosciences, deux formes majeures de représentation de l'environnement coexistent dans l'esprit humain. Dans l'une, dite égocentrée, ce sont essentiellement les liens directs entre le sujet et les éléments du monde qui sont représentés; dans l'autre, dite allocentrée, ce sont essentiellement les relations entre éléments du monde qui forment le cœur de la représentation, le sujet n'étant alors qu'un parmi les points de ce monde. Par référence aux mathématiques, le modèle privilégié que les cognitivistes appliquent à la première est un système de coordonnées polaires ayant le sujet à l'origine; celui qu'on suggère pour la seconde est un système de coordonnées grossièrement cartésiennes ayant un point arbitraire du monde à son origine. A ces deux formes de représentation correspondent des mécanismes cognitifs distincts, qui ont été particulièrement discutés dans le cadre de l'orientation spatiale, lors des déplacements permettant d'explorer l'environnement et d'en apprendre les caractéristiques afin de retrouver son chemin: la représentation égocentrée repose sur l'apprentissage d'itinéraires (séquences de type stimulus-réponse: "une fois arrivé à la poste, tourner à droite"); la représentation allocentrée, sur la construction d'une "carte cognitive" contenant, de manière simultanéisée, les relations spatiales pures acquises progressivement au cours de l'exploration ("la poste est, par rapport à l'église, en direction du lac"). Au niveau cérébral, les représentations allocentrées semblent occuper plutôt des aires temporales profondes, alors que les représentations égocentrées sont davantage pariétales, avec des mécanismes de traduction de l'une vers l'autre localisés notamment dans le sillon intrapariétal; la distinction dépasse donc bien le niveau purement théorique. Au confluent des deux formes de représentation se trouvent deux mécanismes intimément liés: l'intégration du chemin et la prise de perspective. L'intégration du chemin est le calcul continu de la position actuelle sur la base des mouvements de locomotion effectués, impliquant une mise à jour en continu de la représentation égocentrée de l'environnement (manifeste lorsqu'on se déplace les yeux bandés: "attention, il faut que je ralentisse, le mur approche"). La prise de perspective est la capacité de se représenter être ailleurs, de s'imaginer le monde depuis un autre endroit que celui où on se trouve ("mon ami, là-bas, ne peut pas voir l'église car la poste lui barre la vue"). Ces deux 883 mécanismes cognitifs en apparence assez anodins sont en fait cruciaux pour la construction du monde et du soi. En effet, il est attesté maintenant (notamment grâce aux travaux de neurosciences sur l'animal, qui ont conduit au prix Nobel décerné à John O'Keefe et aux époux Moser l'an passé) que l'intégration du chemin participe de manière massive à la construction de la carte cognitive, en greffant les repères rencontrés dans une métrique unifiée établie par le mouvement. Ce mécanisme égocentré est donc le support indispensable de la représentation allocentrée. La prise de perspective quant à elle est impliquée dans la résolution de problèmes visuo-spatiaux et dans la navigation plus généralement, mais aussi dans d'autres processus cognitifs de haut niveau (raisonnement, théorie de l'esprit: voir avec le regard d'autrui). Or, si l'intégration du chemin s'exécute à partir d'un mouvement réel, la prise de perspective nécessite elle aussi un mouvement, mais imaginaire (on dira plutôt, avec Piaget, "intériorisé"), vers un point de la carte cognitive (allocentrée) pour en extraire une fois "arrivé" une persective: une vue (égocentrée). Impliquée comme elle l'est dans des processus de haut niveau, l'interaction perpétuelle entre égocentré et allocentré, liée à la capacité de se représenter les conséquences spatiales de son propre mouvement, réel ou intériorisé, est d'une importance probablement sous-estimée et sousexploitée dans le contexte des apprentissages des compétences fondamentalement spatiales (géométrie, géographie), des compétences sous-tendues par des processus et représentations en partie spatiaux (cf. ligne numérique mentale pour l'addition et la soustraction), ou de tout ce qui est lié plus généralement à la décentration (cf. au sujet des relations sociales et de l'empathie, la capacité d'aller se mettre plus ou moins littéralement à la place de l'autre). Quelques pistes seront proposées pour tenter de mettre davantage à profit ces notions, au départ très théoriques, dans le contexte concret des apprentissages. COMMUNICATION 3 - EVALUATION DES REPRÉSENTATIONS ÉGOCENTRIQUES ET ALLOCENTRIQUES D’UN ENVIRONNEMENT RÉEL FILMÉ : ÉTUDE MENÉE AUPRÈS D’ÉLÈVES ÂGÉS DE 6 À 12 ANS FROMENT, Marie-Charlotte, Université de Mons (BE) DUROISIN, Natacha, Faculté de Psychologie et des Sciences de l’Education, Université de Mons (BE) RÉSUMÉ La navigation spatiale recouvre l’ensemble des activités du mouvement qu’un individu peut effectuer pour se déplacer dans un environnement sans se perdre (Wallet et al., 2009, 2011). Elle est divisée en deux composantes (Wallet et al., 2013). La première est la composante motrice qui reprend tous les mouvements individuels et la deuxième est la composante cognitive (cognition spatiale) qui est un processus cognitif qui fournit des connaissances procédurales et configurationnelles de l’environnement qui résultent de l’acquisition de connaissances spatiales (Wallet et al., 2013). Cette étude examine le développement de ces connaissances spatiales qui sont de trois types : la connaissance des repères, la connaissance de l’itinéraire et la connaissance de la configuration (Siegel & White, 1975). L’individu acquière tout d’abord plusieurs points de repères à l’intérieur de l’environnement. Ensuite, il crée des liens entre ces repères et forme des routes entre 884 ceux-ci, les itinéraires se développent. Lorsque l’individu met en relation plusieurs itinéraires et réalise des inférences entre ceux-ci, il forme une représentation mentale de l’organisation de l’espace dans lequel il se trouve : c’est ce qu’on appelle une carte cognitive (Wallet et al., 2009, 2010, 2011, 2013). Son utilisation permet d’acquérir les connaissances nécessaires à la navigation. Cette recherche permet de comprendre la manière dont les élèves âgés de 6 à 12 ans (N = 360) prennent en considération les points de repères et les directions présentés dans une séquence filmées à l’intérieur d’une maquette représentant un village. Cette compétence spatiale est évaluée à partir de quatre tâches (la création de carte cognitive, la classification de photos, la reproduction de l’itinéraire dans un plan zénithal et la reproduction de l’itinéraire dans la maquette). En d’autres termes, l’objectif de cette recherche est d’étudier l’influence de trois modalités de présentation de vidéos (en nuances de gris ; en couleur ; en images-miroir) selon la complexité de la route (simple ou complexe) sur la qualité du transfert des connaissances spatiales par quatre tâches spatiales. Trois principales questions sont donc considérées dans cette étude : (1) La modalité de présentation de vidéos a-t-elle un impact sur les compétences spatiales ? (2) La complexité de la route a-t-elle une influence sur les compétences spatiales ? (3) Les compétences spatiales s’améliorent-elles au cours du développement de l’enfant ? Dans cette étude, les comportements égocentriques (le codage des informations spatiales se rapporte à l’individu), faisant appel aux deux premiers niveaux de connaissance, c’est-à-dire la connaissance des repères et la connaissance de l’itinéraire, sont analysés lors de la tâche de la classification d’images (Wallet et al., 2009). Il s’agit de remettre, dans l’ordre chronologique, une série de photos prises le long de l’itinéraire. Les comportements allocentriques(le codage des informations spatiales se rapporte à un référentiel externe, il permet d’évaluer facilement les distances entre deux objets extérieurs à soi (Vidal, 2002)), correspondant à la connaissance de la configuration, sont analysés lors de la création de cartes cognitives. Il s’agit de reproduire, sous la forme d’une esquisse, d’un croquis à main levée, du parcours visualisé. L’objectif de la tâche étant d’indiquer les changements de direction et de les compter (Wallet et al., 2009). La reproduction de l’itinéraire dans la maquette, met en lien les deux cadres de référence qui ne sont pas indépendantes l’une de l’autre. En effet, un individu fait appel au référentiel égocentrique pour se rappeler de scènes et au référentiel allocentrique pour la vision globale du milieu (Foreman & Gillet, 1997). Il s’agit de reproduire la route dans l’environnement réel (la maquette) (Wallet et al., 2009). Les compétences spatiales dans ces tâches peuvent être influencées par différents facteurs qui sont évalués par des tests indépendants (le questionnaire d’identification, le test Piaget-Head évaluant la latéralité et la connaissance des couleurs). Les premiers résultats, concernant le transfert des connaissances spatiales, montrent une diminution des compétences spatiales lorsque le trajet devient complexe. Ces résultats vont dans le sens des travaux de Wallet (2009, 2010, 2011, 2013) qui prouve que la complexité des itinéraires a une influence sur le transfert des connaissances spatiales. Dans les expériences menées, le nombre d’erreurs pour les sujets ayant exploré un parcours complexe était plus important dans la reproduction d’itinéraires, la création de cartes mentales et la classification chronologique de photos que pour les sujets ayant exploré un parcours simple. Ces résultats rejoignent également les travaux de Duroisin (2015) qui postule que le nombre de points de décision (carrefour où le sujet doit faire un choix) et de points d’inflexion (tournants) influence le pourcentage de réussite dans les différentes tâches et ce, quel que soit l’âge des élèves. Les points d’inflexion étant un paramètre de complexité plus important que le nombre de points de décision. 885 Lors de cette communication, seront présentés quelques résultats obtenus sur les différences de compétences spatiales suivant l’âge des élèves observées lors des différentes tâches et selon la modalité de présentation de vidéos et la complexité du trajet visionné. Références Duroisin, N. (2015). Quelle place pour les apprentissages spatiaux à l’école ? Etude expérimentale du développement des compétences spatiales des élèves âgés de 6 à 15 ans. Thèse de doctorat, Université de Mons, Mons. Foreman, N., & Gillett, R. (1997). Handbook of Spatial Research Paradigms and Methodologies.Hoves : Psychology Press.Siegel, A.W., & White, S.H. (1975). The development of spatial representations of large-scale environments. Advances in Child Development and Behavior, 10, 9. Vidal, M. (2002). Influence des cadres de reference sur la mémoire spatiale de trajets en trois dimensions. Thèse de doctorat, Université de Paris VI, Sciences Cognitives, Paris. Wallet, G., Sauzéon, H., Larrue, F., & N’Kaoua, B. (2013). Virtual/Real Transfert in a large-scale environment : impact of active navigation as a function of the viewpoint displacement effect and recall tasks. Advances in Human-Computer Interaction, 2013, 8. Wallet, G., Sauzéon, H., Pala, P.A., Larrue, F., Zheng, X., & N’Kaoua, B. (2011). Virtual/Real transfer of Spatial Knowledge : Benefit from Visual Fidelité Provided in a Virtual Environnement and Impact of Active Navigation. Cyberpsychology, Behavior, and Social Networking, 417-423. Wallet, G., Sauzéon, H., Rodrigues, J., Larrue, F., & N’Kaoua, B. (2010). Virtual/Real Transfert of Spatial Learning : Impact of Activity According to the Retention Delay. Annual Review of Cybertherapy and Telemedicine, pp. 145-149. Wallet, G., Sauzéon, H., Rodrigues, J., & N’Kaoua, B. (2009). Transfert of spatial knowledge from a virtual environment to reality : Impact of route complexity and subject's strategy on the exploration mode. Journal of Virtual Reality and Broadcasting, 6 (4). COMMUNICATION 4 - EVALUER LES CAPACITÉS DE NAVIGATION SPATIALE CHEZ LES ENFANTS AU DÉVELOPPEMENT TYPIQUE OU ATYPIQUE: APPORT DES ENVIRONNEMENTS VIRTUELS COURBOIS, Yannick, Laboratoire PSITEC, Université de Lille (FR) FARRAN, Emily, UCL, Institute of Education, University of London (UK) MELLIER, Daniel, Université de Rouen (FR) SOCKEEL, Pascal, Laboratoire PSITEC, Université de Lille (FR) BLADES, Mark, University of Sheffield (UK) RÉSUMÉ La communication présentera une synthèse des recherches proposées dans le cadre du projet franco-britannique ELSTRAD . L’objectif du projet est d’étudier les capacités de navigation spatiale 886 chez les enfants au développement typique et les personnes avec une trisomie 21 (T21) ou un syndrome de Williams (SW). Les environnements virtuels permettent d’évaluer avec précision l’impact de différentes variables sur l’orientation spatiales des personnes (nombre de points de décision, points de repère, etc.). Ils autorisent la répétition d’un nombre important d’essais et fournissent donc des indications sur les capacités d’apprentissage des individus. Ils présentent enfin l’avantage de rendre la personne active dans son apprentissage. Trois niveaux de connaissances spatiales Selon Siegel and White (1975) un individu qui se déplace dans un environnement donné passe successivement par trois niveaux de connaissance : les points de repère, les itinéraires, et la configuration. Cette conception théorique reste relativement influente de nos jours, même si l’aspect hiérarchique du modèle est discuté (Ishikawa & Montello, 2006). Les points de repère sont les éléments utilisés pour s’orienter et se déplacer dans l’espace. Ils permettent à l’individu de localiser un endroit, ou de trouver la direction à suivre quand il se situe à un point de décision. La localisation des points de repère dans l’espace est importante. Les éléments situés aux intersections sont davantage utiles à la navigation que ceux situés le long du chemin. De même, les points de repère distants (une tour par exemple) peuvent être utiles car ils sont visibles à partir de différents points de l’environnement. Un itinéraire est une chaîne de déplacements reliant entre eux différents points de décisions (un point de décision correspond à un endroit ou l'individu est amené à changer ou non de direction pour continuer le déplacement). Le comportement d’orientation de l’individu est alors déterminé par la séquence des points de repère rencontrés pendant la progression. Une pratique régulière des déplacements dans un environnement contribue à l’élaboration d’une représentation des lieux sous forme de configuration (aussi appelée « carte cognitive »). Cette représentation introduit de la flexibilité dans la navigation, car elle permet à la personne d’élaborer de nouveaux itinéraires, de trouver des raccourcis, de faire un détour si nécessaire. Le développement typique et atypique de la navigation spatiale Une série de recherches a été mise en place pour évaluer les trois niveaux de connaissance spatiale chez des enfants au développement typique âgés de 5 à 11 ans et des personnes avec une T21 ou un SW. Dans les études évaluant les points de repère et les itinéraires, les participants devaient apprendre un trajet dans un labyrinthe en passant par trois conditions expérimentales différentes. Les points de repère étaient situés : 1- le long du trajet mais pas aux intersections ; 2- aux intersections ; 3- au loin (tour, antenne, etc.). Par ailleurs, dans certaines situations expérimentales, l’apprentissage s’accompagnait d’une verbalisation qui consistait à nommer les points de repère rencontrés le long du trajet. Les résultats montrent que les points de repère situés aux intersections favorisent l’apprentissage quel que soit l’âge de l’enfant et quel que soit le groupe (T21 ou SW). De même, la verbalisation des points de repère rencontrés le long du trajet a un effet facilitateur pour l’ensemble des participants (Farran, Courbois, Van Herwegen, & Blades, 2012). Cependant, les enfants âgés de plus de 7 ans ont conscience que les points de repère situés aux intersections favorisent l’orientation 887 spatiale (aspect métacognitif), ce qui n’est pas le cas des enfants plus jeunes ou des personnes avec T21 ou SW (Purser et al., 2014). Les recherches évaluant la connaissance de la configuration utilisaient la conduite du raccourci. Les participants apprenaient deux itinéraires dans une ville virtuelle (A=>B et A=>C) puis il leur était demandé de trouver un raccourci reliant ces deux itinéraires (B=>C) (Courbois et al., 2013). Les résultats montrent que la capacité de trouver un raccourci augmente avec l’âge de l’enfant, alors qu’elle est clairement déficitaire chez les personnes avec T21 (3/29 trouvent le raccourci) et qu’elle reste limitée chez les personnes avec un syndrome de Williams (7/20). Une analyse des stratégies utilisées montre que les personnes avec T21 utilisent souvent la stratégie qui consiste à emprunter les itinéraires connus (ils suivent le chemin B=>A=>C). Dans l’ensemble, ces recherches apportent des éléments nouveaux à la compréhension du développement de la navigation spatiale chez l’enfant au développement typique et chez les personnes avec T21 ou SW. Elles montrent aussi que les environnements virtuels sont des outils pertinents étudier les capacités spatiales des individus. Ils apportent des données quantitatives précises et permettent une analyse fine des stratégies utilisées. Références Courbois, Y., Farran, E. K., Lemahieu, A., Blades, M., Mengue-Topio, H., & Sockeel, P. (2013). Wayfinding behaviour in Down syndrome: A study with virtual environments. Research in Developmental Disabilities, 34(5), 1825-1831. doi: HTTP://DX.DOI.ORG/10.1016/J.RIDD.2013.02.023 Farran, E. K., Courbois, Y., Van Herwegen, J., & Blades, M. (2012). How useful are landmarks when learning a route in a virtual environment? Evidence from typical development and Williams syndrome. Journal of Experimental Child Psychology, 111(4), 571-586 %U HTTP://WWW.SCIENCEDIRECT.COM/SCIENCE/ARTICLE/PII/S0022096511002402. Ishikawa, T., & Montello, D. R. (2006). Spatial Knowledge acquisition from direct experience in the environment : individual differences in the development of metric knowledge and the integration of separately learned places. Cognitive Psychology, 52, 93-129. Purser, H., Farran, E. K., Courbois, Y., Lemahieu, A., Sockeel, P., Mellier, D., & Blades, M. (2014). The development of route learning in Down syndrome, Williams syndrome and typical development: investigations with virtual environments. Developmental Science, 1-15. doi: 10.1111/desc.12236 Siegel, A. W., & White, S. H. (1975). The development of spatial representations of large-scale environments. In H. W. Reese (Ed.), Advances in child development and behavior (Vol. 10, pp. 9-55). New York: Academic Press. 888 COMMUNICATION 5 - EVALUER LES APPRENTISSAGES SPATIAUX AU TRAVERS DES PROCESSUS DE RÉGULATION, QUELS ENJEUX? LETALLE, Laurie, Université Lille Nord de France (FR) Cette recherche a bénéficié de l’aide conjointe de la Mission recherche de la Direction de la recherche, des études, de l’évaluation et des statistiques (MiRe-DREES), de la Caisse Nationale de Solidarité pour l’Autonomie (CNSA) dans le cadre de l’appel à recherches lancé par l’IRESP en 2012. RÉSUMÉ L’autonomie des déplacements constitue un élément essentiel à la participation sociale et au développement de l’autodétermination. Pourtant, les personnes présentant une déficience intellectuelle se déplacent rarement seules, limitées par des obstacles environnementaux (accessibilité, réticence de l’entourage familier, etc.) et des facteurs d’ordre cognitifs et émotionnels. Devenir autonome dans ses déplacements nécessite l’acquisition de stratégies efficaces telles que la capacité à planifier un déplacement, à le réaliser sans erreur et à pouvoir faire face aux éventuels imprévus en réajustant son itinéraire. Ces différentes stratégies sont comparables à celles mobilisées par l’autorégulation en situation d’apprentissage. L’autorégulation est définie comme un système complexe de réponses qui permet aux individus d’examiner leur environnement et leur répertoire de réponses pour s’adapter à leur environnement, en faisant des plans d’actions, en agissant, en évaluant la désirabilité des conséquences de l’action, et en révisant leurs plans si nécessaire. En situation d’apprentissage, plusieurs stratégies peuvent concourir à un comportement autorégulé : les stratégies autorégulatrices cognitives (identification de l’objectif, planification et exploration des moyens, autorégulation de l’attention et autoévaluation), les stratégies autorégulatrices socio-communicatives (sollicitation et réponses de l’attention conjointe, régulation du comportement par des requêtes, des demandes d’aide ou d’approbation, etc.) et les stratégies autorégulatrices motivationnelles. Le développement de l’autorégulation est influencé par les situations et les activités proposées par l’environnement mais également par les aides apportées, c’est-à-dire par l’hétérorégulation de l’entourage. L’environnement social a un impact qui peut être favorable ou défavorable aux performances autorégulatrices selon les attitudes et les comportements émis. Pour être bénéfique, l’hétérorégulation, inversement liée à l’autorégulation, doit s’adapter aux capacités de la personne et ne pas être trop directive. Elle doit prendre la forme d’une démarche pédagogique progressive consistant à réduire l’apport d’aides externes pour permettre à la personne d’agir et de se réguler seule. Les personnes présentant une déficience intellectuelle ont des limitations en matière d’apprentissage autorégulé (Whitman, 1990). Elles apprennent moins efficacement de leur propre expérience et ont besoin de plus d’apprentissage médiatisé que les personnes typiques. Dans ce cadre, les difficultés autorégulatrices des personnes présentant une déficience intellectuelle pourraient constituer une hypothèse explicative des difficultés de déplacements qui réduisent leur autonomie et leur participation sociale. On peut également penser qu’une hétérorégulation non adaptée de l’environnement lors de l’apprentissage de la capacité à se déplacer peut accentuer les difficultés rencontrées par les personnes. 889 L’objet de la présente recherche est d’analyser les stratégies autorégulatrices mises en œuvre par la personne pour se déplacer en situation d’apprentissage d’itinéraires et celles faisant défaut ainsi que l’impact de l’hétérorégulation apportée par l’éducateur. Deux recherches ont été menées. La première avait pour objectif d’étudier l’autorégulation en situation d’apprentissage d’itinéraires chez des adolescents déficients intellectuels et des enfants typiques de même niveau de développement intellectuel. Ainsi, deux groupes de participants ont été recrutés : un groupe de 18 adolescents âgés de 14 à 20 ans présentant une déficience intellectuelle et un groupe de 17 enfants au développement typique, scolarisés en classe de CP, appariés selon leur âge de développement. Les participants ont effectué une tâche d’apprentissage d’itinéraires en environnement virtuel sur un ordinateur. Les consignes étaient données par le logiciel pour éviter tout biais dû à l’expérimentateur. La tâche d’apprentissage comportait cinq phases (familiarisation, itinéraire 1, itinéraire 2, itinéraire 3, test). Les comportements d’autorégulation étaient évalués pendant les trois phases d’apprentissage d’itinéraires, le test nous permettait d’évaluer la qualité de l’apprentissage effectué. La deuxième étude visait à évaluer l’hétérorégulation de l’éducateur au regard de l’autorégulation d’un adolescent présentant une déficience intellectuelle. 19 dyades constituées d’adolescents présentant une déficience intellectuelle accompagnés de leurs éducateurs ont été recrutées. Les éducateurs étaient chargés d’apprendre aux adolescents à se déplacer dans un environnement virtuel lors d’une tâche d’apprentissage d’itinéraires comportant cinq phases (familiarisation, itinéraire 1, itinéraire 2, itinéraire 3, test). Les comportements d’hétérorégulation et d’autorégulation étaient évalués au long des trois phases d’apprentissage d’itinéraires et lors du test. Afin d’évaluer les stratégies autorégulatrices et hétérorégulatrices mises en œuvre lors d’une situation d’apprentissage spatial, nous avons mis au point une méthode d’évaluation spécifique. En effet, nous avons créé deux grilles d’évaluation dédiées à notre situation d’apprentissage d’itinéraires sur la base d’une grille d’analyse développée par Nader-Grosbois à laquelle nous avons ajouté des indices utilisés dans une recherche sur le développement des compétences de planification d’itinéraires (Szepkouski et al.,1994). La première grille permet d’évaluer uniquement les stratégies autorégulatrices et la seconde est destinée à l’analyse conjointe des stratégies autorégulatrices et hétérorégulatrices en situation d’apprentissage dyadique (l’hétérorégulation ne pouvant être étudiée indépendamment de l’autorégulation). Nos grilles évaluent les comportements de régulation sur la base de plusieurs stratégies : identification de l’objectif, stratégies d’exploration, stratégies sociales de régulation du comportement, stratégies sociales d’attention conjointe (uniquement pour l’évaluation conjointe de l’autorégulation et de l’hétérorégulation), stratégies attentionnelles et stratégies d’évaluation. Un score de régulation est établi pour chacune de ces stratégies. Il s’étend de 0 (faible niveau de régulation) à 2 (niveau élevé de régulation). En outre, la somme des scores obtenus à chaque stratégie permet d’obtenir un score global d’autorégulation et d’hétérorégulation. Cette méthode d’évaluation nous a permis d’analyser les enregistrements vidéos réalisés lors des tâches d’apprentissage d’itinéraires. Les finalités et les implications de cet outil sont multiples. En effet, il propose de disposer d’un score de régulation par stratégie et d’un score global qui nous permettent de mettre en évidence la présence éventuelle de différences inter-groupes et intragroupes. Il offre l’avantage de pouvoir identifier les stratégies de régulation importantes pour le développement de l’autorégulation qui pourraient être entraînées afin d’améliorer l’autonomie des déplacements des personnes présentant une déficience intellectuelle. Enfin, il fournit des 890 informations sur l’aide apportée par l’environnement social qui peut être défavorable au développement de l’autorégulation. Cet outil peut permettre de repérer les éventuelles défaillances de l’hétérorégulation et ainsi de proposer une formation aux notions de régulation à destination des personnes prenant part à l’accompagnement de ces personnes. COMMUNICATION 6 (SYNTHÈSE DU SYMPOSIUM) - EVALUER DES APPRENTISSAGES SPATIAUX: SUR LA BASE DE QUELS MODÈLES COGNITIFS, POUR QUELLES FINALITÉS? DUROISIN, Natacha, Faculté de Psychologie et des Sciences de l’Education, Université de Mons (BE) COURBOIS, Yannick, Université de Lille 3 (FR) ROLAND, Maurer, Université de Genève (CH) RÉSUMÉ Cette communication a pour objectif de clôturer ce symposium en apportant des éléments de réponse à la question principale qui a guidé l’entièreté des échanges jusqu’à présent : « Evaluer des apprentissages spatiaux : sur la base de quels modèles cognitifs, pour quelles finalités ? ». Après s’être interrogés sur la nature des apprentissages spatiaux évalués chez les élèves dans différents contextes (scolaires ou extra-scolaires), il est ici question de porter une attention particulière aux finalités poursuivies par l’enseignement de notions spatiales. En prenant appui sur les différentes recherches présentées précédemment, les auteurs préciseront l’intérêt de favoriser les apprentissages spatiaux à l’école mais aussi en dehors de l’institution scolaire pour les élèves présentant ou non une déficience intellectuelle. 891

RELATED PAPERS

RELATED TOPICS

Log In

Roteiros de avaliação no âmbito dos processos de reconhecimento e validação de adquiridos experienciais: Tensões e contradições [Itineraries of assessment in recognition of prior learning: Tensions and contradictions].

Roteiros de avaliação no âmbito dos processos de reconhecimento e validação de adquiridos experienciais: Tensões e contradições [Itineraries of assessment in recognition of prior learning: Tensions and contradictions].

Related Papers

RELATED PAPERS

RELATED TOPICS