Previsão de cobrança de empréstimo com Azure HDInsight Spark clusters

HDInsight
Power BI

Ideia da solução

se você quiser nos ver, expanda este artigo com mais informações, como casos de uso em potencial, serviços alternativos, considerações sobre implementação ou diretrizes de preços, fale conosco com GitHub comentários!

Um empréstimo cobrado é um empréstimo declarado por um creditador (geralmente uma instituição de empréstimo) que é improvável que uma quantidade de dívida seja cobrada, geralmente quando o pagamento do empréstimo é gravemente cobrado pelo devedor. Considerando que a alta cobrança tem um impacto negativo sobre as finanças do final do ano das instituições de empréstimos, as instituições de empréstimos geralmente monitoram o risco de esvação de empréstimos de forma muito próxima para impedir que os empréstimos são cobrados. Usando ML Services no Azure HDInsight, uma instituição de empréstimos pode usar a análise preditiva de aprendizado de máquina para prever a probabilidade de cobrança de empréstimos e executar um relatório sobre o resultado da análise armazenado em tabelas hdfs e hive.

Arquitetura

Diagrama de arquitetura

Baixe um SVG dessa arquitetura.

Fluxo de dados

  1. Criar alguns dados e definir fontes de dados para a previsão ML dados
  2. Executar uma regressão logística nos dados usando o contexto de computação local (ou spark) para prever a variável de cobrança de empréstimo
  3. Usar o conector spark do Azure HDInsights para se conectar à tabela
  4. Use Power BI para interpretar esses dados e criar novas visualizações
  5. (Opcional) Implantar o modelo como um serviço Web que pode ser consumido em dispositivos populares, como PC e dispositivos móveis

Descrição

Essa solução criará um cluster do tipo ML Services no Azure HDInsight. Esse cluster conterá dois nós de cabeça, dois nós de trabalho e um nó de borda com um total de 32 núcleos. O custo aproximado para esse cluster HDInsight Spark é de US$ 8,29/hora. A cobrança é iniciada depois que um cluster é criado e é interrompido quando o cluster é excluído. A cobrança ocorre por minuto, portanto, sempre exclua o cluster quando ele não estiver mais sendo usado. Use a página Implantações para excluir toda a solução quando terminar.

Visão geral

Há vários benefícios para as instituições de empréstimos para equipar com os dados de previsão de esvação de empréstimos. A cobrança de um empréstimo é o último recurso que o banco fará em um empréstimo grave, com os dados de previsão em mãos, o responsável pelo empréstimo pode oferecer incentivos personalizados, como taxa de juros mais baixa ou período de pagamento mais longo para ajudar os clientes a continuar fazendo pagamentos de empréstimos e, portanto, impedir que o empréstimo seja cobrado. Para chegar a esse tipo de dados de previsão, muitas vezes, as uniões de crédito ou bancos entregam manualmente os dados com base no histórico de pagamento passado dos clientes e realizaram uma análise de regressão estatística simples. Esse método está altamente sujeito a erro de compilação de dados e não a som estatisticamente.

Este modelo de solução demonstra uma solução de ponta a ponta para executar a análise preditiva em dados de empréstimo e produzir pontuação na probabilidade de estorário. Um relatório do PowerBI também explica a análise e a tendência de empréstimos de crédito e a previsão da probabilidade de esbação.

Perspectiva de negócios

Essa previsão de esbaamento de empréstimo usa dados simulados de histórico de empréstimos para prever a probabilidade de esvação de empréstimos no futuro imediato (próximos três meses). Quanto maior a pontuação, maior será a probabilidade de o empréstimo ser cobrado no futuro.

Com os dados de análise, o gerenciador de empréstimos também é apresentado com as tendências e a análise dos empréstimos de cobrança por localizações de branch. Características dos empréstimos de risco de alto custo ajudarão os gerentes de empréstimos a fazer planos de negócios para ofertas de empréstimos nessa área geográfica específica.

Power BI também apresenta resumos visuais dos pagamentos de empréstimos e previsões de esvação (mostrados aqui com dados simulados). Você pode experimentar esse painel clicando no botão "Experimente agora" à direita.

Perspectiva do cientista de dados

Esse modelo de solução percorre o processo de ponta a ponta de como desenvolver análises de previsão usando um conjunto de dados simulados de histórico de empréstimos para prever o risco de esvação de empréstimos. Os dados contêm informações como dados demográficos do titular do empréstimo, valor do empréstimo, duração do empréstimo contratual e histórico de pagamento de empréstimo. O modelo de solução também inclui um conjunto de scripts R que executam processamento de dados, engenharia de recursos e vários algoritmos diferentes para treinar os dados e, por fim, selecionar o modelo de melhor desempenho para pontuar os dados para produzir a pontuação de probabilidade para cada empréstimo.

Os cientistas de dados que estão testando essa solução podem trabalhar com o código R fornecido do Open Source Edition do RStudio Server baseado em navegador que é executado no nó de borda dos serviços ML em um cluster Azure HDInsight. Ao definir o contexto de computação, o usuário pode decidir onde a computação será executada: localmente no nó de borda ou distribuída entre os nós no cluster spark. Todo o código R também pode ser encontrado no repositório GitHub público. Divirta-se!

Componentes

  • Azure HDInsight:Azure HDInsight é um serviço de análise gerenciado, de espectro completo e de código-fonte aberto na nuvem para empresas. Você pode usar estruturas de software livre como Hadoop, Apache Spark, Apache Hive, LLAP, Apache Kafka, Apache Storm, R e outros.
  • Power BI um painel interativo com visualização que usa dados armazenados SQL Server para conduzir decisões sobre as previsões.

Confira também

  • Guia do desenvolvedor do R para o Azure:este artigo fornece uma visão geral das várias maneiras pelas quais os cientistas de dados podem usar suas habilidades existentes com a linguagem de programação R no Azure.
  • Analisar Apache Spark dados usando Power BI no HDInsight:como usar o Microsoft Power BI para visualizar dados em um cluster Apache Spark no Azure HDInsight.
  • Operacionalizar ML Services no Azure HDInsight:operacionalize o modelo para fazer previsões usando um cluster ML Services no Azure HDInsight.