Mais dados nem sempre geram um modelo de crédito melhor, e o estudo do BC mostra por quê

A intuição de que mais dados sempre dão um modelo melhor está sob revisão. Um estudo publicado em abril pelo Banco Central, na série Working Paper Series (número 645), mostra que modelos de credit scoring calibrados com a base de empréstimos de um único banco costumam ser mais precisos do que os modelos baseados em toda a base do sistema financeiro. Mas só no curto prazo. Quando esses modelos são usados meses depois, em uma carteira que mudou, a vantagem em geral desaparece. O trabalho é assinado por Valter T. Yoshida Jr. e Toni R. E. dos Santos, do Banco Central, e Rafael Schiozer e Alan de Genaro, da FGV.

Os pesquisadores trabalham com um indicador criado por eles em estudo anterior. É o CSMR (sigla em inglês para Credit Scoring Model Risk). A métrica é simples. Quanto melhor o modelo prevê a inadimplência, maior a correlação entre previsão e realidade, e menor o CSMR. Quanto pior a previsão, maior o CSMR.

A análise usou uma base bem extensa. Foram cerca de 200 mil contratos de crédito por mês, concedidos a microempresas e pequenas empresas brasileiras por 425 instituições, entre 2014 e 2017.

Os autores estimaram, a cada março e setembro entre 2014 e 2017, dois tipos de modelo. Um “segmentado”, com dados de apenas um banco. E um “completo”, com dados de todo o sistema. Em testes feitos com a mesma amostra usada para calibrar o modelo, os segmentados venceram em 46 de 48 comparações. Mais precisão, melhor desempenho.

Mas, quando os mesmos modelos foram aplicados 12 meses depois, em carteiras diferentes daquelas em que foram treinados, a história mudou. A vantagem dos modelos segmentados caiu para 26 casos, ou pouco mais de metade. Em alguns bancos, os modelos completos passaram a ser melhores. Em outros, os segmentados continuaram dominando. E em alguns, deu empate.

Esse fenômeno tem nome técnico, “overfitting”, que pode ser traduzido como “ajuste excessivo”. O modelo se especializa tanto em uma amostra que perde poder quando aplicado em outra, mesmo que parecida. É um risco comum em projetos de big data e inteligência artificial.

Para ajudar quem precisa decidir qual modelo manter em produção, os autores propõem três métodos. Cada um tenta prever, antes da aplicação, qual modelo terá melhor desempenho no futuro.

O primeiro método usa uma técnica estatística clássica chamada “shrinkage”, que ajusta o modelo para compensar a perda de poder que ele costuma ter ao mudar de amostra. O segundo método faz simulações de cenários (chamadas de Monte Carlo) usando a média das previsões dos modelos como base. O terceiro método usa estatística bayesiana para inferir como as relações entre previsão e inadimplência devem se comportar no futuro.

Em testes empíricos, a simulação de Monte Carlo se saiu melhor. Acertou em 70,8% das comparações qual modelo seria superior. O método bayesiano ficou em segundo, com 66,7%. O método baseado em shrinkage acertou 54,2%, basicamente o mesmo que escolher o modelo segmentado por padrão.

Os pesquisadores também enfatizam a importância de monitorar outro indicador, o PSI (Population Stability Index). Ele mede o quanto a carteira mudou entre o momento da calibração e o da aplicação do modelo. Carteiras muito diferentes acendem um alerta. O modelo pode estar fora de calibragem.

A recomendação prática é clara. Não se deve confiar só em testes feitos com a amostra usada para construir o modelo. É preciso monitorar o desempenho ao longo do tempo e, idealmente, manter os dois tipos de modelo (segmentado e completo) rodando em paralelo.

As opiniões expressas no estudo são dos autores e não representam, necessariamente, a posição oficial do Banco Central.

Estudo completo: Working Paper Series nº 645v2 (PDF).