Pesquisador responsável: Eduarda Miller de Figueiredo
Título do paper: ARE THE EFFECTS OF INFORMATIONAL INTERVENTIONS DRIVEN BY SALIENCE?
Autores do artigo: Eric Bettinger, Nina Cunha, Guilherme Lichand, Ricardo Madeira
Localização da intervenção: São Paulo, Brasil
Tamanho da amostra: 287 escolas – 19.300 alunos
Grande tema: Educação
Variável de interesse principal: Frequência escolar e GPA matemático
Tipo de intervenção: Envio de SMS com informações escolares
Método de avaliação: Diferenças em Diferenças
Contexto da Avaliação
Estudos anteriores demonstram que intervenções de informações afetam decisões fundamentais. Os agentes, quando dotados de informações específicas, passam a tomar decisões a partir dessas novas crenças, tomando decisões estritamente alinhadas à otimização. A comunicação entre pais e filhos é um cenário interessante nesse quesito, pois conforme os filhos crescem, seus objetivos podem se distanciar dos idealizados pelos seus pais e torna mais difícil dos pais observarem os esforços dos filhos nos estudos.
No Brasil, é ainda mais difícil envolver os pais nesse aspecto da vida dos filhos. A principal tecnologia de comunicação entre pais e a escola são anotações manuscritas enviadas por meio dos próprios alunos, que podem não ter os incentivos certos para que realmente transmitam a mensagem aos seus pais. E na maioria dos estados brasileiros não existem sistemas de informações escolares em tempo real para os pais rastrearem a frequência e comportamento dos filhos.
Essas intervenções com informações já foram demonstradas como eficazes na tomada de decisões. Em relação à educação, Bergman (2017) constatou que o envio de SMS aos pais quando o filho não estava cumprindo as tarefas resultou em um efeito positivo no desempenho escolar. Da mesma maneira, Kraft e Dougherty (2013) mostraram que ligações telefônicas frequentes de professor para os pais aumentam o envolvimento dos alunos na sala de aula. Havendo uma necessidade de maior integração dos pais à vida escolar dos filhos, realizou-se o experimento de enviar informações aos pais sobre frequência, atrasos e tarefas escolares. Isso foi pensado por que ao receber uma mensagem da escola os destinatários observam a importância, provavelmente afetando suas preferências e crenças.
O Brasil ainda luta com a qualidade educacional. Os governos estaduais são responsáveis pelas escolas de ensino fundamental e médio, sendo o sistema educacional do Estado de São Paulo aquele que abrange o maior número de estudantes no país. Assim, o estado inteiro soma 5,3 milhões de alunos, dos quais 700.000 estavam na nona série no ano do estudo (2019) e, desses, 63% estavam nas escolas administradas pelo Governo do Estado de São Paulo.
Em 2015, os alunos da rede pública de ensino de São Paulo obtiveram 4,7 de 10 no Índice Nacional para o Desenvolvimento da Educação Básica (Ideb). Esse desempenho ruim advém, de acordo com os autores, de uma combinação entre infraestrutura precária, baixo valor agregado dos professores e baixo envolvimento da família na vida escolar dos alunos. Inclusive na amostra utilizada para a pesquisa, 59% das famílias ganhavam mensalmente menos de três salários mínimos, demonstrando o baixo status socioeconômico desses pais.
Em relação aos alunos que participaram do experimento, 50% são meninas, 40% são pardos ou negros e a idade média é de 14,7 anos. A grande maioria dos inscritos no programa são mães em torno dos 40 anos. Desses pais, 69% possuem apenas até o ensino médio e 2/3 dos alunos da amostra progridem na escola tanto quanto seus pais.
Tais informações demonstram a necessidade de melhorar o rendimento escolar do país e, para isso, torna-se necessário procurar compreender alguns fatores que podem melhorar o rendimento escolar dessas crianças.
Detalhes da Intervenção
A intervenção ocorrerá através de mensagens aos pais. Para isso, foram selecionados aleatoriamente pais das escolas referentes a amostra para receberem mensagens através do celular sobre informações da vida escolar de seus filhos.
Os professores de matemática dessas escolas precisaram preencher semanalmente uma plataforma com informações dos alunos sobre comparecimento, atraso e conclusão de tarefas. Dentro de cada sala de aula, foram selecionados aleatoriamente pais para receberem diferentes mensagens de texto (SMS), permitindo capturar os efeitos adicionais das informações sobre as crenças e comportamentos dos pais. Essas mensagens serão enviadas semanalmente durante o segundo semestre do ano letivo 2019. As mensagens enviadas possuíam, de acordo com o grupo que os pais se encontravam, tais conteúdos:
Saliência | Informação | Informação Relativa |
Para um bom desempenho escolar, é importante que Guilherme não falte à escola sem motivo. | De acordo com as informações registradas pelo professor no sistema nas últimas 3 semanas, Eric perdeu menos de 3 aulas. | Nas últimas 3 semanas, Nina perdeu menos de 3 aulas. Na classe dele, a maioria dos alunos não perdeu nenhuma aula. |
Os pais tiveram que fornecer um consentimento através de um formulário de inscrição, onde informavam número do seu telefone celular, relação com o aluno, sexo, idade, raça, idade, educação e gênero e idade da criança. Além disso, foi feita uma pesquisa de voz para coletar práticas parentais autorreferidas. No final da pesquisa, também foi questionado aos alunos sobre a participação dos pais.
Detalhes da Metodologia
O experimento foi realizado em 287 escolas de São Paulo, abrangendo 19.300 alunos da 9° série. A aleatorização dos grupos ocorreu em duas etapas. Na primeira, as escolas são aleatoriamente designadas para cada um dos cinco grupos diferentes, já na segunda etapa, os alunos são aleatorizados dentro da sala de aula para cada tipo de tratamento, conforme a figura a seguir:
Resumindo, as subamostras A, B e C permitem separar os efeitos da informação e da saliência. A subamostra D permite estimar o efeito da saliência sem repercussões de informação e, por fim, a subamostra E permite determinar a extensão dos efeitos do professor. Essa última subamostra foi uma exigência da Secretaria da Educação do Governo de São Paulo. O grupo de controle puro, subamostra B, é um contrafactual aleatorizado e seus professores não preenchem semanalmente a plataforma.
Foi utilizada uma estratégia de diferenças em diferenças para estimar os efeitos do programa e o parâmetro relevante para este estudo será o efeito médio do tratamento sobre os tratados.
Resultado
Na pesquisa inicial – sobre as práticas e crenças parentais dos pais, anterior à intervenção – no geral os pais acreditavam que os seus filhos perdiam menos aulas do que realmente perdiam. Porém, não se aplicava ao índice GPA (obtido através da média das notas), já que a amostra estava dividida igualmente entre pais otimistas, precisos e pessimistas.
Deve-se considerar o programa de transferência condicional de renda Bolsa Família, visto que o mesmo exige a frequência dos alunos de 85%, porém, os pais que se inscreveram na intervenção eram menos propensos a se beneficiarem do programa. Mesmo considerando essa exigência de frequência, o programa teve um efeito de 2,1 pontos percentuais, ou seja, a intervenção através de SMS equivaleu o aumento de cinco aulas no ano acadêmico. Além disso, as informações também causaram um impacto no GPA matemático. Um ponto importante de observar é que as mensagens de saliência são a maior parte dos efeitos, com uma diferença de 89-126% em relação ao grupo de informação.
Observou-se também que os pais que receberam alguma das mensagens perguntam mais aos filhos sobre a escola, incentivam mais os estudos e tem maiores aspirações sobre os filhos chegarem à graduação. Ademais, as crianças tratadas se envolveram mais em atividades acadêmicas.
Foi feita também uma análise para observar se os efeitos são de curto prazo, onde os resultados demonstram que as mensagens contendo conteúdos sobre a importância das atividades acadêmicas não desaparecem, inclusive aumentam com o tempo. O gráfico abaixo demonstra esses efeitos ao longo do tempo:
Em suma, foram encontrados diversos efeitos positivos através da comunicação da escola com os pais através de SMS, modificando o comportamento dos pais que passaram a ter maior envolvimento na vida escolar de seus filhos que, consequentemente, melhoraram seu rendimento acadêmico.
Lições de Política Pública
A intervenção de informações sobre a vida escolar dos filhos é mais uma hipótese de que mecanismos comportamentais podem explicar por que a comunicação com os pais funciona, se tornando mais uma evidência que sugere que os pais desempenham um papel crucial na formação do comportamento e desempenho escolar dos menores.
Assim, fica uma alternativa de um caminho para entusiasmar a relação dos pais com a vida escolar de seus filhos, objetivando melhorar os resultados educacionais nos países em desenvolvimento.
Referência
BETTINGER, Eric et al. Are the Effects of Informational Interventions Driven by Salience?. 2019.