São raros os consensos sobre programas educacionais que de fato funcionam. Tudo parece depender dos detalhes de seu desenho, implementação e contexto local.
De visitação domiciliar para orientar melhores práticas parentais na primeira infância a ensino de matemática com base em tecnologias adaptativas, inúmeros programas com impactos comprovados em outros países mostraram resultados pífios no Brasil.
Nas últimas duas décadas, múltiplos esforços se somaram para disseminar a avaliação rigorosa desses programas, sobretudo através da realização de experimentos –nos quais comparamos resultados educacionais dos participantes designados por sorteio para receberem o programa durante um certo período com aqueles dos demais.
Experimentos são tipicamente custosos e complexos. Mais do que isso, seus resultados levam tempo para serem consolidados, impedindo aprendizagem rápida que, em particular, poderia informar um ajuste de rota a tempo de beneficiar os próprios participantes da avaliação.
Essas desvantagens costumam ser entendidas como incontornáveis. A lentidão seria um mal necessário para termos acesso a um bem maior: aprender com credibilidade sobre o que funciona ou não antes de escalar um programa como política pública.
Acontece que, diferente da maioria das outras áreas de políticas públicas, a educação (sob condições normais) é marcada por certas constantes poderosas. E é aí que mora o segredo ainda não descoberto por organizações que implementam programas e políticas educacionais.
No mundo todo, o ritmo de aprendizagem ao longo do ano escolar é extremamente parecido quando normalizamos as notas em relação à dispersão da sua distribuição.
Dos Estados Unidos à Costa do Marfim, da Índia ao Brasil, a evolução das notas dos alunos do Ensino Básico, entre o primeiro e o último bimestres do ano, tende a corresponder a uma constante: 40% do desvio padrão da distribuição de notas no início do ano escolar.
Pois bem, essa constante nos fornece um contrafactual que não temos para nenhuma outra variável. Se um beneficiário de um programa de educação financeira não tivesse sido atendido, não sabemos o que teria acontecido com sua poupança; se um beneficiário de um programa de saúde preventiva não tivesse sido contemplado, não sabemos o que teria acontecido com sua oferta de trabalho ou suas despesas emergenciais.
Em contraste, temos uma previsão clara do que teria acontecido com a aprendizagem de um aluno caso ele não tivesse participado de um programa educacional –em média, teria melhorado 40% do desvio padrão durante o ano escolar.
No livro "Visible Learning" (sem tradução para português), John Hattie, professor de Educação do Melbourne Education Research Institute, nota que conhecer o contrafactual, ainda que forma aproximada, é ferramenta poderosa para gestores de programas educacionais.
Isso porque, acompanhando as turmas beneficiadas ao longo do tempo, se as notas médias aumentaram 40% do desvio padrão ao longo do ano, então o programa não teve efeito nenhum!
Essa conclusão não depende de acompanhar também um grupo de controle; afinal, essa é a taxa de aprendizagem esperada mesmo sem o programa.
Mas por que esperar até o final do ano? John Hattie sugere que, se as turmas beneficiadas melhoram apenas 10% do desvio padrão no bimestre, então o programa não é efetivo para acelerar aprendizagem.
Evidência para alguns Estados brasileiros sugere que, por mais que a aprendizagem tende a ser mais acelerada no primeiro bimestre e a desacelerar levemente nos bimestres seguintes, essa regra de bolso aproxima o ritmo de aprendizagem surpreendentemente bem.
A discussão deixa claro que o monitoramento da aprendizagem –mais simples, sem necessidade de experimentos ou mesmo de grupo de comparação– poderia informar sobre a efetividade dos programas rapidamente, permitindo ajustar rota em alta frequência, em particular enquanto ainda há tempo para beneficiar os alunos participantes do estudo.
Isso não quer dizer que avaliações rigorosas, com grupos de tratamento e controle, não tenham benefícios importantes.
Apenas monitorar aprendizagem não vai nos dizer por que certos programas funcionam ou não funcionam –já que não temos as mesmas ‘constantes universais’ que nos ajudam a prever contrafactuais para comportamentos dos alunos, professores ou familiares.
Entender mudança de comportamentos é, muitas vezes, peça chave para informar nossa capacidade de generalizar conclusões e a necessidade de adaptar o programa para outros contextos.
Ainda assim, avaliar impacto com o mais alto rigor científico poderia ser reservado a programas que já se mostraram mais promissores a partir do monitoramento da aprendizagem em alta frequência ao longo do ano escolar.
Quem sabe a descoberta desse segredo possa contribuir para aprendizados mais rápidos de gestores de programas educacionais, acelerando também a aprendizagem dos alunos. Afinal, nossa educação não tem tempo a perder.
Comentários
Os comentários não representam a opinião do jornal; a responsabilidade é do autor da mensagem.