Competências complexas: necessária inovação na avaliação educacional

Nas últimas três décadas, observamos uma crescente valorização das avaliações externas e dos indicadores educacionais, importantes instrumentos para orientar a política educacional. Durante esse período foram criadas avaliações com objetivos e abrangências diferentes – como as que compõem o Sistema de Avaliação da Educação Básica (Saeb), o Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp) e o Sistema Permanente de Avaliação da Educação Básica do Ceará (Spaece) – e indicadores, como o Índice de Desenvolvimento da Educação Básica (Ideb) e outros, a partir de dados, por exemplo, do Censo Escolar.

Em texto divulgado anteriormente aqui no Observatório, falamos sobre a importância das avaliações. Desde as utilizadas cotidianamente nas escolas – importantes por oferecer evidências para nortear os trabalhos de professores – até as de larga escala, como as mencionadas anteriormente, consideradas indispensáveis para orientar o trabalho de gestores e formuladores de políticas públicas a fim de garantir o direito à educação.

Na opinião de Izolda Cela, atual secretária executiva do Ministério da Educação (MEC), em entrevista para a websérie Inovação em Avaliação, do Instituto Unibanco, a avaliação é um dos pilares da dinâmica de melhoria da educação:

Não é uma medida para julgar, para categorizar simplesmente populações ou mesmo redes dos entes federados. É um processo absolutamente necessário para que nós possamos saber onde nós estamos e definir também o nosso ponto de chegada. A avaliação, da forma como é hoje, já foi um avanço. Trouxe informações importantes. Mas, no momento, nós nos desafiamos exatamente a expandir esse olhar para sermos capazes de avaliar competências mais complexas.

E é justamente sobre essa perspectiva, a da necessidade de avançarmos no debate sobre a inovação em avaliação educacional, incluindo as competências complexas relacionadas às mudanças de currículo nos últimos anos no Brasil, que nos aprofundamos neste texto.

Recentemente, o Instituto Unibanco publicou o sumário executivo Inovação em avaliação para medir e dar suporte a competências complexas, que resume o conteúdo do livro Innovating Assessments to Measure and Support Complex Skills (FOSTER; PIACENTINI, 2023) da Organização para a Cooperação e Desenvolvimento Econômico (OCDE). A publicação nasceu do esforço colaborativo entre a equipe de educação da OCDE e o grupo de pesquisadores internacionais Research and Innovation Group (RIG) – uma das iniciativas de uma parceria firmada, em 2019, entre o Instituto Unibanco e a organização.

Ela trata do progresso obtido na conceituação e na operacionalização de aspectos críticos das “próximas gerações de avaliação”. O material apresenta pontos que devem estar no foco dessa discussão, as inovações e as práticas necessárias para progredir, bem como muitos dos obstáculos a serem superados para concretizar a visão de uma avaliação inovadora.

Na publicação, os avanços dos últimos anos no sistema de avaliação educacional brasileiro são celebrados, mas também se aponta a clara necessidade de promover inovações neste campo. No texto de abertura, Ricardo Henriques, superintendente executivo do Instituto Unibanco, afirma que:

O Saeb teve sua primeira aplicação em 1990 e passou por significativos aprimoramentos, responsáveis por alavancar a capacidade de monitoramento e avaliação da aprendizagem no Brasil. A promulgação da Base Nacional Comum Curricular (BNCC), no entanto, demanda alterações mais profundas na prova, para que ela seja capaz de avaliar as competências e as habilidades esperadas ao longo da Educação Básica, orientando-se por uma visão de desenvolvimento integral do estudante. A reformulação do Saeb também passa pela necessidade de acompanhar os avanços tecnológicos, de formato e de metodologias das avaliações de larga escala.

Vale ressaltar o que a BNCC traz como definição do que é competência: “[…] a mobilização de conhecimentos (conceitos e procedimentos), habilidades (práticas, cognitivas e socioemocionais), atitudes e valores para resolver demandas complexas da vida cotidiana, do pleno exercício da cidadania e do mundo do trabalho”. Ao definir essas competências, a BNCC reconhece que a “educação deve afirmar valores e estimular ações que contribuam para a transformação da sociedade, tornando-a mais humana, socialmente justa e, também, voltada para a preservação da natureza” (BRASIL, 2013), mostrando-se também alinhada à Agenda 2030 da Organização das Nações Unidas (ONU).

A publicação da OCDE também descreve o que internacionalmente vem sendo compreendido, de maneira geral, como “competências do século 21”:

• transversais (ou seja, relevantes ou aplicáveis em muitos campos);
• multidimensionais (ou seja, abrangem conhecimentos, habilidades e comportamentos); e
• associadas a habilidades e comportamentos de ordem superior que representam a capacidade de transferir conhecimento, lidar com problemas complexos e se adaptar a situações imprevisíveis (VOOGT; ROBLIN, 2012).
  
  

Ainda de acordo com a publicação,

a forma como os estudantes são avaliados exerce grande influência no futuro da educação, porque sinaliza as prioridades para o currículo e o ensino. O propósito da avaliação é direcionar o foco a aspectos que são importantes, ou seja: professores e gestores escolares, bem como estudantes, devem prestar atenção ao que é examinado e se adaptarem. Uma questão crucial é como podemos obter uma avaliação assertiva e garantir que ela ajude professores e formuladores de políticas a acompanhar o progresso do que realmente importa na educação.

Chico Soares, professor emérito da Universidade Federal de Minas Gerais (UFMG), em entrevista para a websérie Inovação em Avaliação (assim como os demais depoimentos mencionados neste texto), comentou que, na sua opinião, a avaliação no Brasil foi se descolando do aprendizado e se concentrando na medida, e que é preciso fazer essa reaproximação:

Para isso, a gente precisa usar a tecnologia, usar as inovações que as experiências internacionais estão trazendo, para construirmos, a partir do que está feito, que tem a sua função, uma avaliação que fique mais próxima da escola, que fique mais próxima da professora na sala de aula.

Em entrevista para a mesma websérie, Maria Helena Guimarães de Castro, presidente da Associação Brasileira de Avaliação Educacional (Abave), titular da Cátedra Instituto Ayrton Senna da Universidade de São Paulo em Ribeirão Preto (USP/Ribeirão Preto) e do Instituto de Estudos Avançados da USP, pontuou que, nos últimos anos, as avaliações de larga escala no Brasil não passaram por inovação conceitual ou metodológica, e não houve uma modernização dos instrumentos.

Guimarães de Castro citou o fato de o Saeb e o Exame Nacional do Ensino Médio (Enem) ainda serem realizados em um modelo de avaliação com testes de múltipla escolha e poucas perguntas abertas, sem o uso de novas tecnologias, o que afirma ser insuficiente para medir o aprendizado do aluno, o que ele sabe fazer com os conhecimentos que desenvolveu.

Ela lembrou ainda que as avaliações de outros países já utilizam tarefas nas quais os alunos precisam, de fato, demonstrar como é que eles vão resolver um determinado problema. Com perguntas abertas, usando tecnologias e plataformas adaptativas, conseguem medir de modo muito mais preciso o desenvolvimento do raciocínio lógico, da capacidade de argumentação e da criatividade do estudante.

Para Ricardo Henriques, no âmbito das avaliações internacionais, o Pisa tem se configurado como um importante referencial de qualidade para as avaliações de larga escala, com aprimoramento contínuo,

contemplando, a partir de 2012, um domínio interdisciplinar em cada ciclo da prova. Competências complexas como Resolução de Problemas (2012), Resolução Colaborativa de Problemas (2015), Competência Global (2018) e Pensamento Criativo (2022) já foram avaliadas ao longo das últimas edições; para a prova de 2025, será avaliada a competência Aprender no Mundo Digital. O que essas avaliações têm em comum é uma visão sobre a importância de avaliar competências relevantes para a vida dos estudantes em uma sociedade com ciclos de inovação cada vez mais curtos (e, portanto, mais velozes), que lida com problemas mais complexos e sistêmicos.

De acordo com Andreas Schleicher, diretor de Educação e Habilidades e conselheiro especial do secretário-geral para políticas educacionais da OCDE, a ideia do Pisa é avaliar os conhecimentos, habilidades, atitudes e valores que mais importam para o futuro das crianças. Não testa se podem reproduzir o que sabem, mas se podem aplicar o que sabem em ambientes novos e, às vezes, desconhecidos:

A próxima rodada do Pisa, em 2025, irá, pela primeira vez, integrar totalmente os processos de aprendizagem e avaliação. Um novo paradigma de avaliação. Antigamente separávamos o aprendizado do acúmulo de conhecimento e depois a avaliação para ver se os alunos aprenderam. Em 2025, chamaremos isso de “aprender no mundo digital”. Vamos juntar esses dois mundos. Daremos aos alunos situações de aprendizado e, em seguida, a avaliação acompanhará como os alunos se envolvem com essas situações de aprendizado que vemos hoje. [...]

Não nos recompensam mais pelo que sabemos. O Google sabe de tudo. O mundo nos recompensa pelo que podemos fazer com o que sabemos. E esse realmente deve ser o foco da avaliação hoje em dia, captando não apenas se os alunos podem reproduzir o que aprendem na escola, mas se eles podem extrapolar a partir desse aprendizado, aplicar seus conhecimentos em novos contextos, em novas situações.

Papel da tecnologia para inovar as avaliações

O que a publicação e os especialistas apontam, portanto, é a necessidade de se inovar no que as avaliações estão medindo e como se faz isso, desde o seu processo de elaboração, pautado por tecnologias digitais, para que evidências relevantes sobre as competências dos estudantes sejam geradas e métodos analíticos inovadores possam ajudar a dar sentido a essas evidências.

É preciso trazer para a avaliação a capacidade de medir competências, a partir de instrumentos que permitam questões abertas, o uso computacional, as inovações tecnológicas e o uso do machine learning para conseguir interpretar as respostas, dando devolutivas ao professor de forma que ele possa ter uso pedagógico dessas provas.

De acordo com a publicação da OCDE, as avaliações educacionais, particularmente os testes padronizados em larga escala, foram projetadas dentro de um conjunto de restrições – custos de impressão e transporte, segurança, ambiente e tempo de teste e custo de pontuação –, e sua capacidade de capturar aspectos mais complexos e multifacetados ficou limitada. Porém, especialmente pelos avanços tecnológicos e análises de dados dos últimos anos, muitas dessas restrições no design e na administração de testes não fazem mais sentido e podem ser transformadas e flexibilizadas com potencial para tornar as experiências de avaliação menos artificiais e mais válidas ao aproximar ou simular situações ou contextos reais.

Mas uma jornada como a proposta pela OCDE depende da concretização de investimentos múltiplos – intelectual, financeiro e político – coletivamente.

O desenvolvimento de avaliações da próxima geração mostra-se como um empreendimento multidisciplinar, que depende do envolvimento de diferentes comunidades de especialistas trabalhando juntas e de forma colaborativa, com o objetivo de encontrar soluções para muitos dos desafios conceituais e técnicos já observados e para aqueles que ainda serão descobertos.

De acordo com a OCDE:

Sinergias precisam ser promovidas entre desenvolvedores de avaliação e de tecnologia, cientistas de aprendizagem, especialistas de domínio, especialistas em medição, cientistas de dados, profissionais da educação e formuladores de políticas.

Considerando que a aprendizagem está inserida em contextos sociais e é caracteristicamente moldada por normas e expectativas culturais, é previsto que o desempenho varie entre as culturas.

Um exemplo disso são as plataformas colaborativas, como o sistema Platform for Innovative Learning Assessment (Pila), também desenvolvido pela OCDE como parte do domínio inovador Aprender no Mundo Digital (falaremos mais sobre ele no próximo tópico deste texto). Essas plataformas fornecem aos desenvolvedores modelos de tarefas que eles podem iterar, além de incorporar instrumentos de coleta de dados que simplificam o trabalho dos pesquisadores de validar e medir ao longo do processo.

Esse tipo de avaliação, com maior desenvolvimento, equipes interdisciplinares e mais tecnologia, também demanda mais recursos para ser executada.

Além disso, imprescindível para a inovação é a vontade política e a determinação para promoção de tão grandes mudanças, que exigem diálogo com diversas instâncias políticas. De acordo com a OCDE,

É difícil fazer grandes mudanças nos sistemas existentes quando há programas operacionais bem estabelecidos enraizados na prática e na política. Mudanças do tipo considerado necessário requerem forte inclinação e visão política para encorajar as pessoas a enxergar além do que é possível agora, ou mesmo no futuro próximo.

A plataforma Pila: experiência com avaliação inovadora

A plataforma Pila apresenta um módulo de resolução de problemas computacionais que usa o formato de programação baseado em blocos. Uma experiência de uso do Pila foi feita no Brasil, viabilizada por meio da parceria estabelecida entre a OCDE, o Instituto Unibanco e a Secretaria da Educação do Estado do Ceará.

O uso da plataforma teve como objetivos: (1) explorar as perspectivas de professores e coordenadores de escolas públicas do Ceará sobre alfabetização digital, pensamento computacional e habilidades relacionadas a aprender a aprender; (2) examinar suas experiências de uso do Pila com estudantes da faixa etária de 15 anos; e (3) identificar elementos que eles associam ao potencial pedagógico dessa plataforma.

De acordo com Mario Piacentini, analista sênior do Pisa/OCDE:

O objetivo do Pila é complementar o que estamos fazendo no Pisa. Então, o que os professores encontram no Pila é essencialmente um repositório de boas tarefas baseadas em pesquisa que eles podem usar em sala de aula. Os alunos que usam essas tarefas, esses aplicativos, aprendem conceitos importantes que fazem parte do currículo, mas também aprendem outras habilidades fundamentais, como colaborar e trabalhar em equipe. [...]

À medida que os alunos aprendem enquanto trabalham na plataforma digital, capturamos o que eles fazem e o que não fazem, e usamos essas informações para fornecer estratégias tanto aos alunos quanto aos professores sobre o que eles devem fazer para aprender melhor, preencher lacunas de conhecimento e progredir. [...] É uma avaliação somativa e formativa, [...] feita continuamente. Quanto mais você fizer avaliação formativa, melhor para ajudar os professores, para dar a eles uma visão geral de como está sua sala de aula e tomar decisões no dia a dia.

Segundo o professor de Matemática da Universidade Federal do Ceará, Jorge Lira, a avaliação formativa é capaz de envolver mais os professores:

Ela depende, necessariamente, da participação do professor em vários níveis. Primeiro, o professor é quem comunica os objetivos de aprendizagem que estão sendo avaliados. O professor é o grande motor, o grande dínamo do processo de avaliação para que ele possa ser acreditado pela escola. Se o professor não valida o teste, se não valida o formato em que a avaliação é internalizada pela escola e na sua prática docente, ela não ocorre, ela não tem validade pedagógica e, mais fundamentalmente, a comunicação dos resultados não é uma comunicação que, enfim, algum agente externo leva para a escola na forma de dados agregados.

Entre os resultados do uso da plataforma no Brasil está o fato de que, apesar de os professores e coordenadores considerarem a alfabetização digital e o desenvolvimento do pensamento computacional como competências fundamentais, identificaram ainda barreiras e desafios estruturais, administrativos e de governança que interferem na promoção dessas habilidades. Mas, para eles,

o uso de pedagogias lúdicas baseadas em desafios favoreceu um envolvimento positivo por parte dos estudantes, possibilitou uma conexão com a cultura juvenil e permitiu a aproximação com contextos e experiências já conhecidos pelos estudantes.

 Principais desafios

Para Andreas Schleicher, da OCDE, um dos principais desafios das avaliações no Brasil é o seu alinhamento com a BNCC: “sempre que houver uma desconexão entre o currículo e a avaliação, você sabe que a avaliação sempre ganha”.

João Marcelo Borges, gerente de pesquisa e inovação do Instituto Unibanco, concorda com esse desafio: “medir aquilo que é importante para crianças e jovens hoje e no futuro, não aquilo que foi importante na educação no passado”. E complementa que, apesar de o nosso sistema de avaliação ser confiável, com alta capilaridade, ele ainda não dá conta de abranger todo o país, deixando de fora, por exemplo, escolas quilombolas e indígenas, bem como muitos municípios onde a taxa de participação dos estudantes nessas provas é baixa e que acabam não tendo a informação divulgada. E esses são justamente os municípios mais pobres, com pior desempenho educacional, os que ficam invisíveis para a política educacional.

Ele também cita um típico desafio das políticas públicas brasileiras, que é o da coordenação federativa:

Em alguns municípios brasileiros, um mesmo aluno pode ser convocado a fazer três provas no final de um ano, uma do sistema municipal de avaliação, outra do sistema estadual e uma terceira do sistema nacional. São três entes exigindo das escolas e dos alunos dias letivos que deveriam estar alocados a ensino e aprendizagem para fazer tipos de avaliações somativas externas, perguntando basicamente as mesmas coisas para os mesmos alunos, gastando três vezes dinheiro para fazer isso. Isso se resolve com coordenação federativa. Por exemplo, um estado pode querer renunciar ao seu sistema, desde que a União assegure que fará avaliações todos os anos e lhe entregará os resultados rapidamente.

Outro importante gargalo, no ponto de vista de Maria Helena Guimarães de Castro, é a conjuntura política, que demanda uma equipe no governo, especialmente no MEC, aberta às mudanças e às inovações. E esse esforço também se desdobra no trabalho de envolvimento, motivação e formação para explicar a necessidade dessas mudanças também às secretarias estaduais e municipais de Educação, que já estão acostumadas com um tipo de trabalho feito há anos seguindo modelos tradicionais.

Nesse sentido, Izolda Cela fala sobre a importância da construção de um sistema nacional de educação, que possa aproveitar a potência que existe em muitos estados e municípios brasileiros a partir de uma boa coordenação:

De forma que estados e municípios possam fazer aquilo que é da sua competência. Para aquilo que é mais local, territorial, eles são muito mais eficientes para fazer do que uma avaliação centralizada no Ministério da Educação. Mas tudo deve conversar. É preciso fazer com que o padrão da compreensão sobre a necessidade de avançar na nossa capacidade de avaliar bem os processos e essas competências mais complexas possam acontecer em todo o Brasil.

Guimarães de Castro também aponta o desafio dos recursos e acredita que isso pode ser resolvido com a decisão política de abertura para a inovação, para o desenvolvimento de novas matrizes de avaliação, novas metodologias, novos bancos de itens, novas metodologias. O que também esbarra no problema de infraestrutura das escolas, que muitas vezes não têm nem acesso à internet para fazer uma prova digital:

Eu acho que é esse [recursos] o grande gargalo, que não é pouco, mas eu entendo que os caminhos possíveis são muito favoráveis ao Brasil. Primeiro pelo fato de termos aqui o gosto pela inovação, pela mudança. É uma cultura muito aberta. E segundo por podermos nos inspirar no que está acontecendo em muitos países que já fizeram o dever de casa, já investiram em pesquisa nesse sentido – como as da OCDE, de Inteligência Artificial na Holanda, dos EUA, do BID Mundial, da Unesco e dos institutos e fundações nacionais. Eu acredito que esses investimentos nesse tipo de pesquisa conseguem apoiar e, principalmente, subsidiar a formulação de projetos inovadores de avaliação educacional no Brasil.

Izolda Cela menciona ainda os desafios de acesso à tecnologia e à conectividade no Brasil:

Temos grandes desafios ainda aqui para sermos capazes de tornar isso acessível e que possa ser utilizado com equidade, inclusive. O Ministério da Educação está tomando como uma das metas importantes nessa gestão a garantia da conectividade nas escolas. A partir de escolas conectadas e com equipamentos, fazer avaliações com a condição de que os resultados e processamentos sejam praticamente imediatos para o professor, para a secretaria, para as instâncias que acompanham e apoiam as escolas.

Para Ricardo Henriques, um dos principais desafios para a inovação das avaliações no Brasil é, justamente, a heterogeneidade socioeconômica brasileira e o padrão de desigualdade:

As avaliações têm que ser capazes de dar conta da heterogeneidade deste país e produzir relações empáticas com aqueles estudantes que vão ser submetidos aos processos avaliativos. [...] Precisamos gerar equilíbrio nesse processo, usar o máximo da potência que a tecnologia nos permite para fazer provas digitais, provas adaptativas, saber que, ao longo do ciclo de uma avaliação, eu posso ser submetido a conteúdos e a trajetória distintas.

Obviamente o gigantismo continental [do Brasil] solicita que a política educacional de avaliação se configure de modo a tirar o máximo de qualidade de uma avaliação que reconhece a heterogeneidade, que reconhece as diferenças e faz delas um ativo para a gente poder mensurar o que é necessário e, com essa mensuração, corrigir as trajetórias de forma a melhorar a aprendizagem, o desenvolvimento de competências e a equidade no sistema público e privado de educação.

Fica claro que os desafios são muitos e que os que foram apontados pelos especialistas dialogam diretamente com os mencionados pela OCDE. Porém, como alguns também indicaram, já temos bons exemplos de caminhos a serem seguidos para avançarmos de forma robusta e com celeridade nesse importante tema de inovação das avaliações educacionais no Brasil.