Visualizar a precisão e o desempenho de modelos de pontuação preditiva

Conhecer a precisão de um modelo de pontuação preditiva ajuda a decidir se o modelo está pronto para uso ou se é necessário ser ajustado para maior precisão. Além disso, ajuda a convencer a equipe de liderança e os vendedores a adotar o modelo para obter melhores resultados de negócios.

As métricas descritas neste artigo se aplicam tanto à pontuação de oportunidades quanto à pontuação de leads.

Requisitos de licença e função

Tipo de requisito	Você deve ter
Licença	Dynamics 365 Sales Premium ou Dynamics 365 Sales Enterprise Mais informações: Preços do Dynamics 365 Sales
Direitos de acesso	Administrador do Sistema Mais informações: Direitos de acesso predefinidos para o Sales

Fatores que influenciam a precisão

Um modelo de pontuação preditiva calcula a probabilidade de uma oportunidade ou cliente potencial resultar em uma venda. A precisão do modelo depende dos seguintes fatores:

• A qualidade e a quantidade dos dados disponíveis para treinar o modelo
• O fluxo do processo empresarial e os filtros selecionados
• Os estágios e atributos selecionados, se o modelo usa modelagem por estágio

O modelo é treinado usando 80% das oportunidades ou clientes potenciais fechados no conjunto de dados de treinamento. É validado usando os 20% restantes como um conjunto de dados de teste, que consiste nos registros mais recentes. Dessa forma, a precisão do modelo é calculada usando o conjunto de dados de teste validado com base em parâmetros, como verdadeiros positivos, falsos positivos e assim por diante.

Ver métricas de precisão e desempenho

1. Acesse Alterar área no canto inferior esquerdo do aplicativo Hub de Vendas e selecione Configurações do Sales Insights.

2. No mapa do site em Modelos preditivos, selecione Pontuação de oportunidades ou Pontuação de leads.

3. Na lista Selecionar modelo, selecione um modelo.

4. Selecione a guia Desempenho.

   

A guia Desempenho exibe as métricas a seguir. Caso não veja métricas na guia Desempenho, edite e readapte o modelo de pontuação da oportunidade.

• Desempenho do Modelo: especifica se o modelo está pronto para publicação com base nos seguintes parâmetros:

  • Precisão: com que frequência o modelo fez previsões corretas, positivas ou negativas. Essa métrica é mais útil quando o conjunto de dados é balanceado e o custo de falsos positivos e falsos negativos é o mesmo. A pontuação de precisão é calculada por meio da seguinte fórmula:

    Precisão = (TP + TN) / (Número total de oportunidades ou clientes potenciais pontuados) *100

  • Recuperar: com que frequência o modelo previu um resultado positivo corretamente em comparação com os positivos reais. Uma pontuação baixa de recall significa que o modelo está prevendo menos verdadeiros positivos. A pontuação de recall é calculada por meio da seguinte fórmula:

    Recall = TP / (TP + FN) * 100

  • Taxa de conversão: a porcentagem de oportunidades ou clientes potenciais que foram qualificados ou ganhos por dados históricos ou a probabilidade de conversão de uma oportunidade ou cliente potencial. O modelo usa esse valor para determinar como um atributo influenciará a pontuação preditiva. A taxa de conversão é calculada usando a seguinte fórmula:

    Taxa de conversão = (TP + FN) / (Número total de oportunidades ou clientes potenciais pontuados) *100

• Matriz de confusão: o quanto o modelo é capaz de prever os resultados no teste com dados históricos. A matriz exibe o número de verdadeiros positivos, verdadeiros negativos, falsos positivos e falsos negativos.

  Métrica	Previsto	Real
  Verdadeiro positivo (TP)	Sim	Sim
  Verdadeiro negativo (TN)	Não	Não
  Falso positivo (FP)	Sim	Não
  Falso negativo (FN)	Não	Sim

• Área sob a curva: a pontuação da área sob a curva (AUC) do modelo. A pontuação AUC determina a probabilidade de um modelo classificar uma instância positiva escolhida aleatoriamente (uma oportunidade ganha ou cliente potencial qualificado) mais alta do que uma negativa escolhida aleatoriamente (uma oportunidade perdida ou cliente potencial qualificado). Um modelo com maior AUC é melhor para prever verdadeiros positivos e verdadeiros negativos.

• Pontuação de F1: a pontuação F1 calculada com base nas pontuações de precisão e recuperação do modelo. A pontuação de F1 determina a qualidade do modelo mesmo quando os dados estão em desequilíbrio.

• Limite: o limite no qual a oportunidade ou o cliente potencial é considerado qualificado ou ganho. Por exemplo, se o limite for 45, as oportunidades com pontuação maior que 45 serão previstas como vencidas. O limite é selecionado para otimizar a medida f.

Exemplo: métricas de desempenho do modelo

Vejamos os resultados da previsão para um conjunto de dados de amostra de 1.000 oportunidades:

Dados	Número de oportunidades
Verdadeiro positivo	650
Falso positivo	200
Verdadeiro negativo	100
Falso negativo	50

O modelo previu que 850 (TP + FP) oportunidades seriam ganhas; porém, apenas 650 (TP) oportunidades foram ganhas de fato. Da mesma forma, o modelo previu que 150 (TN + FN) oportunidades seriam perdidas; porém, apenas 100 (TN) oportunidades foram realmente perdidas.

A tabela a seguir mostra as métricas para os dados.

Métrica	Pontuação
Precisão	(650 + 100) / 1.000 = 75%
Recuperar	650 / (650 + 50) = 92%
Taxa de conversão	(650 + 50) / 1.000 = 70%

Melhorar o desempenho do modelo

Se seu modelo não estiver pronto para publicação ou não estiver funcionando bem, tente as etapas a seguir para melhorar suas pontuações.

• Revise os atributos que ele usa.
• Visualize insights de atributo para entender sua influência na previsão geral do modelo.
• Ignore valores vazios para atributos que têm uma porcentagem maior de valores vazios e podem estar contribuindo para falsos positivos ou falsos negativos.
• Inclua campos inteligentes para ajudar um modelo de pontuação de cliente potencial a distinguir entre fatores que melhoram ou prejudicam a pontuação.
• Use a modelagem por estágio em um modelo de pontuação de oportunidade para escolher os atributos a serem aplicados a cada estágio do processo empresarial.
• Refinar os critérios de filtro, período de tempo para dados de treinamento ou outras configurações de modelo. Por exemplo, se você escolheu dois anos como o período para dados de treinamento e há muitos testes ou registros incorretos durante esse período, escolha um período mais curto, como seis meses ou um ano, quando a qualidade de seus dados é melhor.

Não consegue encontrar as opções no aplicativo?

Há três possibilidades:

• Você não tem a licença ou função.
• Seu administrador não ativou o recurso.
• Sua organização está usando um aplicativo personalizado. Verifique com o administrador as etapas exatas. As etapas descritas neste artigo são específicas para os aplicativos Sales Professional e Hub de Vendas prontos para uso.

Confira também

Configurar pontuação preditiva do cliente potencial
Configurar pontuação preditiva da oportunidade