Feeds:
Posts
Comentários

Os resultados do Brasil no exame do Pisa 2012, avaliação educacional realizada por vários países do mundo, foram bastante discutidos pelos pesquisadores brasileiros – o que obviamente é uma boa notícia. Por isso, vou nesse post apenas trazer algumas observações que podem agregar à discussão.

Dois fatores parecem ter influenciado no alto número de análises sobre os resultados do Brasil no exame:

  1. A riqueza dos relatórios do Pisa, que dá aos pesquisadores bastante insumo para análises.
  2. A não apresentação e discussão adequadas de informações relevantes para análises dos dados brasileiros, o que até parece contraditório ao primeiro ponto dada a riqueza dos documentos.

Sobre o segundo item duas informações metodológicas me chamam a atenção em especial:

  • A não inclusão dos alunos das escolas rurais no cálculo da média brasileira nas tabelas destacadas no relatório (foram incluídos apenas nas tabelas apresentadas como anexos), devido a muitos frequentarem classes multisseriadas;
  • A mudança do que significa “grade” para o Brasil. Com a implementação do Ensino Fundamental de 9 anos o país passou a ter 12 “grades” (as nove do Fundamental mais as três do Ensino Médio), enquanto até 2009 o país tinha 11 “grades”. Isso significa que no relatório de 2009 a sétima “grade”, por exemplo, é a 7ªsérie / 8º ano, enquanto no relatório de 2012 ela é o 7º ano. Por esse motivo em 2012 apenas alunos brasileiros que estavam no mínimo na oitava “grade” (e não na sétima) foram elegíveis para o exame.

Esses dois pontos são explicados de forma muito breve em uma nota técnica do relatório:

In 2006, the education system in Brazil was revised to include one more year at the beginning of primary school, with the compulsory school age being lowered from seven to six years old. This change has been implemented in stages and will be completed in 2016. At the time the PISA 2012 survey took place, many of the 15-year-olds in Grade 7 had started their education under the previous system. They were therefore equivalent to Grade 6 students in the previous system. Since students below Grade 7 are not eligible for participation in PISA, the Grade 7 students in the sample were not included in the database.

Brazil also has many rural “multigrade” schools where it is difficult to identify the exact grade of each student, so not possible to identify students who are at least in Grade 7. The results for Brazil have therefore been analysed both with and without these rural schools. The results reported in the main chapters of this report are those of the Brazilian sample without the rural schools, while this annex gives the results for Brazil with the rural schools included.

A não menção dessas informações no relatório nacional (Country Note) gerou muita polêmica sobre a amostra de estudantes que fez o Pisa e sobre os resultados do Brasil. Se não considerarmos o novo significado de “grade”, por exemplo, teremos a impressão de que em 2012 a amostra brasileira não foi representativa e foi preenchida pelos jovens de maior escolaridade. Aliado a isso ainda existe o problema de as pessoas enxergarem o Pisa como uma avaliação de estudantes de 15 anos, quando na verdade para o Brasil o exame avalia estudantes que completarão 16 anos no ano letivo (nascidos em 1996 no caso do exame de 2012). O professor Chico Soares discutiu esse aspecto no blog do Simon Schwartzman, que trouxe artigos de vários especialistas sobre os resultados do Pisa 2012.

Os dois pontos que coloco merecem ser melhor estudados, mas ao que parece o problema maior é de comunicação e não houve grandes mudanças amostrais no exame de 2012 em relação ao exame de 2009. Faço então duas considerações sobre os resultados:

  • Houve um avanço do Brasil no exame, mas ele é abaixo do desejável, principalmente se queremos garantir um aprendizado adequado a maior parte dos nossos alunos em um período próximo. Embora possa parecer rasa, essa é a conclusão que pode ser tirada. Não houve nem um milagre brasileiro nem fomos um desastre e nos mostramos estagnados.
  • Houve uma evolução destacada no percentual de alunos abaixo do nível 1, o que foi discutido por Paula Louzano e Creso Franco. Como apontado pelo professor Creso é possível que o exame de 2012 discrimine melhor alunos de baixo desempenho, fazendo com que tenhamos menos alunos com a pontuação próxima da mínima sem isso representar ganhos de aprendizagem.

Retomarei ainda alguns pontos e apresentarei alguns dados que calculei para reportagem da Época de Camila Guimarães sobre o percentual de alunos brasileiros que dominam as duas competências avaliadas pela Prova Brasil (matemática e língua portuguesa) e as três competências avaliadas pelo Pisa (Matemática, Leitura e Ciências). De qualquer forma, já dá para adiantar que os dados são claros: temos muito a avançar!

Primeiramente, quero começar me retratando por um post que escrevi no início de novembro (já apagado). Tenho ponderações em relação a conclusões de um estudo publicado, mas por ter o contato das pessoas que conduziram o trabalho deveria ter feito as críticas primeiramente de forma privada. Meu texto não foi na direção de uma academia melhor e mais colaborativa, nem respeitou da forma devida a trajetória dos coordenadores do estudo.

Nessa semana, apresento algumas análises que fiz sobre a meta 7 do Plano Nacional de Educação (PNE) no ano passado no blog da Fundação Lemann, e que ainda seguem válidas. Hoje, em Brasília, foi lançado o Observatório do PNE, uma iniciativa de diversas organizações liderada pelo Todos Pela Educação para acompanhar as metas do Plano Nacional de Educação, ainda em tramitação. A Fundação Lemann acompanhará justamente a sétima meta do plano. Considero essa uma importante iniciativa na busca de um maior envolvimento da sociedade com as políticas públicas em educação. No final do post disponibilizo também uma entrevista com a professora Lisete Arelaro e comigo sobre o Plano Nacional de Educação.

Como se pode perceber, não está fácil cumprir a meta de um post semanal, mas seguirei tentando. Já adianto que o próximo post discutirá os resultados da avaliação do Pisa em 2012, um dos principais exames internacionais em educação, que avalia jovens de 15 e 16 anos nas áreas de Matemática (que foi o foco em 2012), Leitura e Ciências.

_

Análise referente à meta 7 do PNE

Meta 7: Atingir as seguintes médias nacionais para o Ideb

Contexto
O Ideb foi criado em 2007 com o intuito de ilustrar por meio de um número a qualidade da Educação Brasileira unindo dois conceitos: aprendizado e fluxo escolar. O índice utiliza as taxas de aprovação nas etapas escolares e os respectivos resultados obtidos no final da etapa na avaliação Prova Brasil/Saeb.

Em cinco anos, o indicador se popularizou e se consolidou. A nota no Ideb se transformou em um indicador educacional simples e fácil de acompanhar para diversos setores da sociedade. As escolas e redes perseguem metas baseadas no Ideb e o impacto nas taxas de fluxo escolar que o indicador proporcionou é notável. Pais, jornalistas e gestores passaram a basear suas discussões e o debate sobre qualidade educacional em um índice comum. No período, também surgiram críticas, é claro. Por exemplo, o fato de o componente de fluxo ser uma medida de trajetória dos alunos e não de qualidade das escolas ou das redes, ou o ponto de não necessariamente todos os alunos fazerem a Prova Brasil, o que distorceria os resultados refletidos pelo indicador. Mesmo assim, é possível dizer que o balanço em seis anos é positivo e o indicador nos ajuda a fazer análises importantes.

Desafios

Os gráficos abaixo ilustram muito bem os desafios que serão colocados para o cumprimento da meta 7. Um deles, e mais discutido, é a necessidade de acelerar o ritmo de melhoria nos indicadores. A Figura 1 mostra como as evoluções nos anos finais do Ensino Fundamental (EF II) e no Ensino Médio (EM) foram bem abaixo da evolução na primeira etapa do Ensino Fundamental (EF I). E mesmo considerando que os alunos possam estar entrando um pouco mais preparados nessas etapas, as metas a partir de 2013 já começarão a se mostrar mais ambiciosas, principalmente considerando que é mais difícil evoluir quando se está em um patamar mais alto.

Figura 1: Evolução histórica e metas para o Ideb (Brasil)

                                      * Em tracejado as evoluções necessárias.

Um segundo desafio é a promoção de uma maior equidade nos indicadores das unidades da federação. A média nacional no Ideb, que é o que a meta 7 verifica, é um indicador muito importante. Mas não podemos ignorar a desigualdade que existe entre os estados brasileiros. Na figura abaixo, cada triângulo ilustra o valor do Ideb de cada um dos 27 estados (quando mais de um estado possui o mesmo valor de Ideb há triângulos sobrepostos). É possível ver a distribuição para os 3 níveis da Educação Básica.

Figura 2: Valores de Ideb das unidades da federação por etapa da Educação Básica em 2009

O que o gráfico nos mostra é o retrato da desigualdade, com resultados muito díspares entre os estados. Mesmo nos anos iniciais do Ensino Fundamental, com resultados consideravelmente melhor do que as outras etapas, ainda existe uma grande inequidade: enquanto o Distrito Federal e Minas Gerais obtiveram um Ideb de 5,6 o Pará teve um Ideb em 2009 de 3,9. Para o país, é importante cobrar que a Meta 7 seja atingida com todos os estados alcançando o Ideb ideal – e não com uma média de realidades muito desiguais.

Ao olharmos as políticas de países que se destacam em Educação, vemos várias medidas que podem ser adotadas para promover maior equidade. Na Irlanda, há políticas como relação aluno-professor reduzida nas escolas primárias localizadas em áreas urbanas com mais desvantagem e bônus com base no nível de desvantagem da escola. Na Bélgica, existe um mecanismo de auxílio e suporte a crianças em uma situação desfavorável. No Chile, país com os melhores resultados educacionais na América do Sul, há um acréscimo de salário para professores que atuam em áreas com difíceis condições de trabalho, como locais em que a taxa de criminalidade é alta. Aprender com esses países será um passo importante para o Brasil.

Programa Educação Brasileira – debate sobre o Plano Nacional de Educação (PNE)

  • Leia também:

Metas que não conversam com a realidade

Nessa semana, publico artigo que escrevi e foi publicado no jornal Folha de S. Paulo em agosto sobre a atratividade da carreira docente, aproveitando para compartilhar os dados que embasaram a minha análise.

A atratividade da carreira docente é questão-chave

Os dados do Enade 2011 apontam que os concluintes de cursos de licenciatura e pedagogia obtêm notas inferiores aos dos concluintes das áreas de engenharia e tecnologias na prova de “formação geral”. O que isso quer dizer?

Em resumo, que os futuros professores das escolas brasileiras estão menos preparados do que profissionais de outras áreas em habilidades como compreensão de texto e resolução de problemas.

Embora esse resultado diga pouco sobre o conteúdo dos cursos, já que a formação geral não é o foco deles, trata-se de uma constatação bastante preocupante.

Isso porque essas habilidades são justamente aquelas que se espera que esses profissionais ajudem crianças e jovens a desenvolver ao longo de sua vida escolar.

Com isso, o Enade confirma que a defasagem trazida da educação básica pelos alunos dos cursos de pedagogia e licenciatura –já apontada em outras avaliações– não é corrigida ao longo de quatro anos de faculdade.

Os poucos estudos sobre fluxo no ensino superior também mostram que as taxas de repetência e evasão são mais baixas nestes cursos em comparação com outras áreas (pelo fato de os alunos entrarem menos preparados na faculdade, seria possível imaginar justamente o oposto).

Ao mostrar que alunos dos cursos mais concorridos obtêm melhores resultados no exame, o Enade também reforça a relação decisiva entre a atratividade de uma carreira e a qualificação dos profissionais que atuam nela.

Esse desafio é enorme na área da educação, uma vez que estamos falando de tornar atrativa –e, portanto, concorrida– uma carreira que recebe das universidades mais de cem mil novos profissionais por ano.

Outra informação que chama a atenção nos números do Enade 2011 é que, nos cursos de licenciatura e pedagogia, o conjunto das universidades públicas tem desempenho semelhante ao conjunto das universidades privadas.

Embora sejam necessários mais elementos para uma análise qualificada, esse é um dado que merece ser trazido para o debate.

O papel decisivo de bons professores para o aprendizado dos alunos nas escolas já é um consenso. Os dados do Enade reforçam que para termos esses bons professores em todas as salas de aula brasileiras é urgente garantirmos uma carreira docente mais atrativa, uma formação inicial exigente e uma formação continuada que esteja diretamente ligada às principais habilidades que os professores precisam desenvolver em suas atividades na escola.

Já discuti algumas vezes nesse portal as múltiplas funções do Enem. Mas, independentemente da visão que se possa ter dessa questão, o ponto é que hoje o Enem se consolidou como um exame de ingresso ao Ensino Superior e que pais e sociedade têm muito interesse em saber dados a partir do exame sobre os alunos e escolas. Isso é, mesmo sendo hoje mais um mecanismo de seleção do que de avaliação, há uma demanda clara por dados do Enem. Por isso, como em breve os resultados de 2012 devem ser divulgados, discuto aqui sobre os rankings comumente gerados, os problemas que temos hoje e que ações são necessárias para um olhar mais adequado a partir dos resultados do exame.

O Enem, ao virar mecanismo de seleção para o ingresso no ensino superior, passou a receber maior atenção da sociedade, em especial de pais e estudantes. Diante desse cenário, são cada vez mais frequentes rankings de escolas a partir dos resultados do exame. O grande problema é que o ranking não atende ao anseio da sociedade de saber quais são as melhores escolas. E, pior ainda, ele pode levar a análises completamente equivocadas.

A inscrição para o Enem é feita pelo próprio aluno e é facultativa, o que faz com que varie o percentual de participantes no exame em cada escola. Além disso, o Enem avalia competências adquiridas durante toda a Educação Básica. O aprendizado absorvido pelos alunos no Ensino Fundamental e fora do ambiente escolar influencia muito no resultado.

Esses dois fatores já fazem com que seja bem difícil avaliar as escolas pela média de seus alunos. A depender da taxa de participação e do histórico educacional, que é muito influenciado pelo nível socioeconômico dos estudantes, um mesmo resultado pode ser interpretado de diversas formas.

Outro problema se refere ao protagonismo dado às escolas nas primeiras posições do Enem. Isso prejudica ainda mais as análises ao ponto que não existe uma escala que aponte os resultados esperados para um aluno concluinte do Ensino Médio. Uma escola que está, por exemplo, na septuagésima posição no ranking nacional, geralmente, não tem resultados muito inferiores às 20 primeiras (deverei em breve apresentar dados referentes a isso). Mas, com o foco dado ao ranking, a mensagem que fica é que a qualidade do ensino entre elas é muito distinta, o que não é verdade. Conseguir alguns pontos a mais afeta muito a posição no ranking e, por isso, vemos escolas se dedicando a treinos para o Enem, estreitando seus currículos a partir do que é cobrado no exame e até mesmo induzindo alunos mais fracos a não participarem da avaliação.

Qualificar o que é uma pontuação adequada no Enem é essencial. Se ainda o olhamos como avaliação, é preciso que se estabeleça quais pontuações são abaixo do esperado para um aluno concluinte do Ensino Médio e quais são adequadas, ou até mesmo, que em edições anteriores garantiram ingresso aos cursos mais concorridos. Importante também é passarmos a olhar o exame como uma avaliação do estudante – e não da escola.

Para avaliarmos escolas, precisamos de uma base nacional curricular que nos mostre o que esperamos delas e que garanta expectativas de aprendizagem. Pois o que se pode ter certeza é que o Enem hoje não traz um bom diagnóstico e reflexão sobre os milhões de alunos que saem do Ensino Médio sem um aprendizado que atenda aos seus projetos de vida.

  • Leia também:

O Enem auxilia, mas não é uma avaliação de escolas*

As escolas com maior participação no Enem

Avaliação do Ensino Médio? Algumas reflexões sobre o Enem e as avaliações externas

Participação das escolas por unidades da federação no Enem

As funções do Enem

Em julho, fiz uma apresentação para gestores educacionais sobre o uso de dados para orientar políticas públicas. Discuti com secretários e equipes de doze secretarias participantes do programa Talentos da Educação a importância de se ter uma diagnóstico claro para orientar as ações, assim como a necessidade de garantir mecanismos de acompanhamento para ver se as políticas estão tendo efeito, garantindo entendimento do suporte que os alunos e os educadores estão precisando.

Revista Escola Pública de junho/julho abordou justamente o tema das necessidades e formações que as gestões precisam.

Logo no início do editorial da publicação aparece uma pergunta que coloca muito bem a disparidade de preparo que existe entre as equipes gestoras da secretaria e como, em algumas, os problemas são mais graves: “Qual a diferença entre Ideb e Fundeb?”

Há, ao mesmo tempo, sim, gestores com ótimas formações, como pude ver inclusive durante a minha apresentação. Que sabem, aliás, muito mais sobre gestão de redes do que o pesquisador que aqui escreve.

Esse cenário faz com que os governos federal e estaduais e as demais organizações que dão apoio às redes municipais tenham que estar prontas para dar um suporte personalizado, assim como mostra que para se alcançar uma eficiência maior é importante encontrar, em cada região, esses gestores mais eficientes, para que possam compartilhar com gestores menos experientes conhecimentos e habilidades que possuem. E, como o texto da revista aponta, é necessário engajamento do gestor para conhecer bem a rede e ter o preparo necessário para enfrentar os desafios do setor.

Abaixo o editorial da Revista Escola Pública, escrito por Marina Almeida.

 

Formação para enfrentar desafios

“Qual a diferença entre Ideb e Fundeb?” A pergunta pode parecer descabida, mas foi formulada por uma secretária de educação no Fórum Nacional dos Dirigentes Municipais de Educação, realizado em maio. Com as mudanças de governo, muitos gestores assumiram o cargo há pouco tempo e ainda estão se familiarizando com tantos nomes, atribuições e desafios. Ainda assim, a questão é reveladora. Ela aponta para a importância fundamental e urgente de formação das equipes de educação dos municípios. Mostra ainda quão diversas são as necessidades dos gestores de cada rede – que podem ir do entendimento das siglas à elaboração de planos de ação e busca de financiamento.

Essas formações poderiam ser organizadas pela União, estados, entidades da área, organizações não governamentais, ou mesmo grupos de redes de uma localidade, com dificuldades e realidades semelhantes. Os modelos podem ser diversos. O importante é que mobilizações em todas as esferas aconteçam e se transformem em debates, cursos e palestras para os gestores.

O trabalho nas redes de ensino também enfrenta enormes desafios. Como mostra a matéria sobre o Fórum da Undime, a falta de estrutura e recursos da pasta assusta os novos dirigentes, e a realidade da educação nos municípios, por sua vez, traz muitos e complexos problemas para serem resolvidos.

Basta dizer que chegar à escola ainda é difícil para muitos alunos, sobretudo da zona rural, como mostra a matéria de capa desta edição. No campo, o tempo gasto no caminho para a escola pode chegar a 4 horas. O transporte escolar não é capaz sequer de garantir a segurança dos alunos. O uso de caminhões ‘pau de arara’ para levar os estudantes é comum em muitos municípios. Em outros casos, a frota antiga e os problemas de manutenção são responsáveis por grande parte dos acidentes, alguns deles fatais. As condições ruins das estradas também afetam o transporte, impedindo ou atrasando o trânsito dos alunos.

Os recursos são insuficientes e os problemas inúmeros. Para solucioná-los é necessário que o gestor, além de engajado em seu trabalho, conheça o funcionamento de sua rede, as fontes de financiamento, os programas de repasse de recursos do MEC… É preciso, enfim, que ele esteja bem preparado.

Segue abaixo entrevista que concedi para a jornalista Beatriz Rey, do blog Educação e Pesquisa, sobre as metas do Ideb.

Beatriz (Blog Educação e Pesquisa) – Você aponta diversas falhas das metas do Ideb. Qual seria o pior problema? 

Ernesto – Primeiramente, quero dizer que me ative aos problemas técnicos no texto, então aproveitarei essa entrevista para falar mais sobre as implicações desses problemas na prática. É importante deixar claro que elas são graves. Tenho segurança em dizer que a metodologia utilizada para a construção das metas não poderia ser aprovada sequer em um trabalho de conclusão de graduação. E digo isso sem deixar de respeitar as pessoas que construíram as metas, até por que me parece que, pelo perfil das mesmas, as falhas até são um pouco compreensíveis. O que é inadmissível é não ter havido um debate acadêmico maior a partir da criação do Ideb e de suas metas, principalmente pelo fato de muita gente estar sendo afetada pelos problemas que apontei.

Entre os problemas na formulação das metas talvez o mais grave tenha sido o olhar apenas para o valor do Ideb, sem uma atenção ao que o compõe (taxa de aprovação e desempenho na Prova Brasil). O esforço necessário para aumentar a taxa de aprovação é muito diferente do esforço necessário para melhorar o desempenho na prova. Isso vale para um caso de um Ideb muito baixo, como a Ana Aranha apontou em sua reportagem, mas também vale para casos em que o Ideb é mais alto. Por exemplo, uma rede municipal com um Ideb de 4,0 e com uma taxa de aprovação de 80% tem um desafio diferente de uma rede com um Ideb de 4,0 só que com uma taxa de aprovação de 100%. Se não houver problemas de abandono escolar, nessa rede pode-se aumentar a aprovação de forma unilateral, com “simples canetadas”. O que se costuma chamar de “promoção automática”. Então, não estamos falando de metas que falham com alguns. Os problemas conceituais na construção das metas geraram distorções de uma forma geral.

Beatriz (Blog Educação e Pesquisa) – O que você quer dizer com “pelo perfil das pessoas que fizeram as metas”? 

Ernesto – O criador do Ideb é um economista, e os economistas geralmente acreditam muito na ideia de que as pessoas respondem a incentivos, às vezes se atentando pouco as distorções que uma política pode causar. Além disso, a função logística é usada para prever crescimento em outras áreas (algumas com uma menor complexidade em relação à educação). Faltou para o Inep/MEC procurar saber o impacto que as metas teriam na gestão das escolas e redes, e também faltou um olhar mais atento ao indicador. Mas o chocante é, mesmo com a fragilidade das metas, não ter havido um debate acadêmico.

Beatriz (Blog Educação e Pesquisa) – Sobre a questão sobre o MEC/Inep terem considerado apenas o resultado de 2005 para a construção das metas. Qual seria a solução na época, já que o Ideb foi criado em 2007? Haveria um jeito de ter se calculado um Ideb “retroativo”? 

Ernesto – O Ideb foi criado em 2007 e a Prova Brasil em 2005. Então, antes da aplicação da Prova Brasil 2007 se criou o Ideb, e se calculou o que teria sido o Ideb 2005. A partir dos resultados de 2005 se fez metas para 2007 e para as demais avaliações futuras. Não é possível ter um indicador anterior a 2005 por esse ser o ano da primeira aplicação da Prova Brasil.

Considero que o importante em 2007 era criar um estímulo para as escolas e redes melhorarem em relação a elas mesmas. Havia poucos elementos para se dizer o quanto, pois as escolas e redes ainda tinham pouca familiaridade com a Prova Brasil, e menos ainda com a cultura de metas. Mas o problema dessa questão é mais grave agora, pois o que foi estipulado em 2005 não está fazendo sentido para muitas gestões que estão assumindo. Estão recebendo o que alguns chamariam de “herança bendita” ou “herança maldita”, a depender do patamar de Ideb em 2011 (ano da última avaliação).

Beatriz (Blog Educação e Pesquisa) – Quais as consequências, na prática, para escolas e redes, das outras falhas que você apresenta?

Ernesto – Esses problemas afetaram mais as escolas e redes com baixo ou alto desempenho. Escolas e redes com resultados mais medianos foram pouco afetadas. Pelo fato de a função logística pressupor que no futuro seja possível atingir um Ideb de 9,9, escolas e redes com desempenho alto em 2005 tinham que, pelas metas, evoluir ainda mais em direção a esse objetivo inatingível. Por isso, se vê metas absurdas nos patamares de 8,5 e 9.

Ainda falando sobre as escolas com bom desempenho, é importante se atentar ao fato de que o perfil dos alunos de uma avaliação para outra pode mudar. Por isso, metas muito ambiciosas se tornam um problema, pois geram um incentivo para a escola admitir apenas alunos para os quais é mais fácil garantir o aprendizado. Uma escola não pode ser punida por ter ido bem em uma avaliação, e é isso que se fez com as escolas que foram bem em 2005 ao se esperar que elas deverão sempre evoluir a partir do resultado desse ano. Por outro lado, escolas que foram muito mal em 2005 foram beneficiadas. O absurdo feito de apontar que uma rede que conseguiu um Ideb abaixo de 3,0 nos anos iniciais bateu a sua meta e uma rede que conseguiu um Ideb maior que 7 não bateu acho que já responde a sua pergunta.

Beatriz (Blog Educação e Pesquisa) – Por que essas questões não são mais debatidas? Por que há poucos pesquisadores (ou nenhum) falando sobre o assunto? 

Ernesto – Existem vários determinantes para isso. Primeiramente, vou destacar um: o debate sobre avaliações e uso de dados quantitativos no Brasil. Existe um grupo muito resistente às avaliações em larga escala no país, o que faz com que quem as defenda tenha medo de fazer críticas às mesmas e alimentar o discurso que se opõe a elas.

O grande problema de não colocar mais elementos no debate é que isso faz com que não avancemos no caminho de um sistema robusto de avaliações. Se as metas não conversam com a realidade, se os resultados não orientam o trabalho das escolas, e se o sistema avaliativo é pouco debatido entre os pesquisadores, certamente o investimento com as avaliações é ineficiente. Considero que é inegável a importância das avaliações, e mesmo com todos esses problemas, podemos ver que algumas escolas e redes evoluíram só pelo norte de haver um diagnóstico de como está o aprendizado dos alunos. As contribuições das avaliações e do Ideb, muito mais comunicável do que os resultados da Prova Brasil, são claras. Mas um sistema avaliativo tem que dar muito mais do que alguns números para as escolas e redes.

Há também o argumento de que as implicações dos problemas na formulação das metas são irrelevantes, com o argumento de que não existe uma grande bonificação vinculada ao cumprimento das metas. Primeiramente, esse argumento é equivocado, pois há incentivos que estão associados às metas. Um exemplo, é que a partir do Decreto do Plano De Metas Compromisso Todos Pela Educação, o antigo Programa Dinheiro Direto na Escola (PDDE), em vigor até o início desse ano, estabeleceu em 2007 que “todas as escolas públicas rurais de educação básica recebem uma parcela suplementar, de 50% do valor do repasse, e as escolas urbanas de ensino fundamental que cumpriram as metas intermediárias do Índice de Desenvolvimento da Educação Básica (Ideb) estipuladas também recebem essa parcela suplementar.”

Outro ponto que ilustra a relevância da questão é que, se a meta 7 do Plano Nacional de Educação for aprovada, haverá um incentivo ainda maior em se atribuir mais mecanismos de responsabilização para as escolas e redes. Por fim, o problema também é relevante pois, se eu não espero que as redes e escolas devem atingir o indicado pelas projeções, não posso chamá-las de metas.

O Plano Nacional de Educação (PNE), em tramitação e que vem sendo discutido no Senado, estabelece 20 metas que devem ser alcançadas pelo país. Uma delas (a meta 7) se refere ao Ideb, principal indicador de qualidade em educação que possuímos no Brasil. Ela foi elaborada com base nas metas estabelecidas em 2007 pelo Inep/Ministério da Educação à época da criação do Ideb. Naquele momento, também foram estabelecidas metas para os municípios e escolas.

O Ideb auxiliou muito o acompanhamento da qualidade educacional do país, gerando um olhar sobre indicadores de desempenho, por meio da principal avaliação externa do país (a Prova Brasil), e um olhar sobre a importância de garantir um fluxo escolar adequado (colocando na composição as taxas de aprovação escolar, que são muito baixas em algumas regiões do país).

Não deixando de reconhecer esse mérito, o Inep, em 2007, acabou cometendo falhas na hora de definir metas para o Ideb, que tinham o objetivo de verificar se as escolas e redes evoluíam da forma adequada.

Metas_imagem

As metas do Ideb se atentaram pouco ao contexto educacional das regiões e escolas. Para a construção delas, foi considerado apenas o resultado de 2005, o que trouxe uma influência muito grande do resultado desse ano na avaliação dos resultados seguintes. A rede pública do município de São Sebastião do Alto, no Rio de Janeiro, por exemplo, apresentou um Ideb de 7,3 em 2005 e seu Ideb caiu para 4,8 em 2011. Independentemente disso, a meta do Ideb apresentada para gestão que assumiu em 2013 para esse ano é de um Ideb de 7,9, estabelecido a partir do resultado de 2005.

Outro problema das metas é que algumas premissas da curva logística adotada na construção delas são inválidas. O modelo considera que todos os municípios devem em 2096 atingir um Ideb de 9,9. No entanto, um Ideb 9,9 não é possível de ser atingido, pois, para isso, quase todos os alunos teriam que ser aprovados, e os alunos avaliados teriam que tirar a pontuação máxima na Prova Brasil. Esse valor é tão inatingível que a escola com o maior Ideb no país possuí um índice de 8,6.

Esse horizonte não factível gerou metas muito ambiciosas para redes e escolas que tiveram resultados muito bons em 2005. A rede estadual do município de Trajano de Morais, por exemplo, tinha uma meta de 8,7 em 2011 e tem uma meta de 9,0 em 2021. Por esse problema, todas as redes que obtiveram um Ideb de pelo menos 6,5 em 2005 nos anos iniciais não cumpriram as metas de 2011.

Outro problema é que não houve um estudo sobre qual é o patamar de Ideb que qualquer escola é capaz de obter em curto prazo. Não há um consenso sobre qual é o patamar que indica qualidade, se é um Ideb de 6, de 6,5, de 7, ou outro valor, por exemplo. Também não foi estabelecido qual valor é factível de ser obtido por qualquer escola ou rede do país. Sem esse estabelecimento, redes e escolas com baixo desempenho em 2005 cumpriram facilmente as metas das avaliações posteriores. Com isso, o governo legitimou como positivo o trabalho de algumas escolas e redes em que o nível de aprendizado dos alunos se mostrou muito baixo. Reportagem de Ana Aranha, vencedora do Prêmio Ayrton Senna de Jornalismo, mostra uma escola que, apesar de um resultado ínfimo no Ideb e na Prova Brasil, bateu em 2007 as metas de 2011.

Essa matéria, aliás, aponta, além da importância de se estabelecer um patamar mínimo aceitável, a dificuldade de se estabelecer uma meta agregada para um indicador que une indicadores tão diferentes (taxas de aprovação e resultados em uma avaliação externa). Provavelmente, teria sido mais apropriado fazer metas para esses indicadores separadamente, de modo que a meta agregada fosse a composição das duas individualmente.

Casos de cumprimento da meta de 2021 ou de não cumprimento da meta de 2007 ou de 2009 já não são tão raros, e apontam como as metas são pouco factíveis e estão cada vez mais frágeis quanto mais estamos no distanciando de 2005. Isso acontece pois, para indicadores educacionais, o resultado em um passado mais distante tem pouca influência no presente (o desempenho dos alunos em 2005 pouco influencia o desempenho dos alunos em 2013, por exemplo). O avanço poderia acontecer por políticas estruturais que tivessem sido feitas, mas teríamos que ter algum dado que apoiasse a olhar isso.

Por tudo isso, é importante garantir um olhar sobre o que ilustra cada pontuação do Ideb, sobre qual patamar qualquer escola poderia atingir e sobre qual é uma pontuação que já pode ser considerada como ilustrativa de qualidade. Os pesquisadores precisam se posicionar sobre essas questões. Essas respostas são necessárias para que tenhamos um norte de se o Ideb precisa ser aprimorado, e para que as metas a partir dele permitam que se atribua de forma justa uma responsabilização pelo cumprimento das mesmas.

No artigo “Como construir metas a partir de um território organizado em ADEs”, publicado pela editora Moderna, escrevi sobre a importância de metas educacionais conversarem com as condições da escola/rede. No caso do Ideb, para efetivamente podermos chamar as projeções elaboradas de metas, é necessário que elas sejam factíveis e desafiadoras para que possam efetivamente orientar uma gestão. Sem isso, teremos apenas mais alguns números que correspondem a objetivos mal desenhados, e que ajudarão para que esse plano de educação seja frágil como o último.

* Artigo escrito para o Blog Educação e Pesquisa.