Bancos e fintechs que usam big data ganham três ferramentas do BC contra erros de crédito
Modelos com bom desempenho em teste podem falhar quando a carteira de crédito muda; o estudo propõe três caminhos estatísticos para reduzir
Bancos e fintechs vêm cada vez mais usando inteligência artificial e big data para avaliar risco de crédito. Os resultados em testes costumam ser impressionantes. Mas um estudo publicado em abril pelo Banco Central, dentro da série Working Paper Series (número 645), alerta que olhar só o desempenho em testes feitos com a amostra de calibração pode dar uma falsa sensação de segurança. A análise é de Valter T. Yoshida Jr. e Toni R. E. dos Santos, do Banco Central, com Rafael Schiozer e Alan de Genaro, da FGV.
O trabalho usa uma métrica de risco criada pelos próprios autores em estudo anterior. É o CSMR (Credit Scoring Model Risk), que mede o quanto a previsão do modelo se descola da inadimplência real. Quanto menor o CSMR, melhor o modelo.
A base de testes é robusta. Cerca de 200 mil contratos mensais de crédito a microempresas e pequenas empresas, em 425 instituições financeiras brasileiras, entre 2014 e 2017. As técnicas estatísticas usadas são as típicas de machine learning aplicado a grandes bases, em particular o método chamado LASSO.
O exercício mostrou um padrão preocupante. Modelos especializados em um único banco capturam muito bem os padrões daquele banco no momento da calibração. Mas, quando aplicados 12 meses depois, com mudanças no perfil dos clientes e no cenário econômico, a vantagem se dilui. Em dois dos seis bancos analisados, modelos calibrados com a base do sistema todo passaram a ser melhores. Em dois, os modelos especializados se mantiveram superiores. Em outros dois, não houve dominância clara.
O motivo desse comportamento é um conhecido tradeoff em estatística. Modelos muito específicos a uma amostra capturam melhor seus padrões, mas absorvem ruído. Modelos mais gerais perdem precisão local, mas tendem a se sair melhor em situações novas. Em finanças, essa decisão é especialmente sensível, porque carteiras mudam, bancos alteram políticas de concessão e o ciclo econômico imprime dinâmicas diferentes.
Para ajudar a decidir qual modelo manter em produção, os autores propõem três métodos. Todos tentam prever, antes de aplicar o modelo no futuro, qual deles terá melhor desempenho.
O primeiro usa uma técnica estatística chamada “shrinkage” para corrigir analiticamente a perda de poder do modelo quando ele muda de amostra. O segundo simula, por Monte Carlo, milhares de cenários possíveis e compara os resultados dos modelos. O terceiro usa estatística bayesiana para estimar como as relações entre escores e inadimplência devem se comportar.
Nos testes, a simulação de Monte Carlo se saiu melhor. Apontou corretamente o modelo de melhor desempenho em 70,8% das comparações. A abordagem bayesiana acertou 66,7%, com a vantagem extra de errar com menos intensidade quando errava. A abordagem analítica baseada em shrinkage ficou em 54,2%, considerada útil apenas como complemento.
Outro alerta importante do estudo é sobre o PSI (Population Stability Index). Quando esse indicador aponta mudança grande no perfil da carteira em relação ao momento da calibração, o modelo deve ser revisado ou substituído.
A recomendação dos autores para bancos e supervisores é manter, sempre que possível, os dois tipos de modelo rodando em paralelo. Quando isso não for viável, o conselho é priorizar os modelos segmentados, mas com vigilância intensa sobre estabilidade da carteira e desempenho ao longo do tempo.
As opiniões expressas no estudo são dos autores e não representam, necessariamente, a posição oficial do Banco Central.
Estudo completo: Working Paper Series nº 645v2 (PDF).