Sehen Sie die Genauigkeit und Leistung von Modellen für die Vorhersagebewertung an

Die Genauigkeit eines Modell für die Vorhersagebewertung zu kennen, ist wichtig und hilft zu entscheiden, ob das Modell einsatzbereit ist oder ob Sie es für eine bessere Genauigkeit feinabstimmen müssen. Es hilft Ihnen auch, Ihr Führungsteam und die Verkäufer davon zu überzeugen, das Modell für verbesserte Geschäftsergebnisse zu übernehmen.

Die in diesem Artikel beschriebenen Metriken gelten sowohl für die Verkaufschancenbewertung als auch für die Lead-Bewertung.

Lizenz- und Rollenanforderungen

Anforderungstyp	Sie benötigen
Lizenz	Dynamics 365 Sales Premium oder Dynamics 365 Sales Enterprise Weitere Informationen: Dynamics 365 Sales-Preise.
Sicherheitsrollen	Systemadministrator Weitere Informationen: Vordefinierte Sicherheitsrollen für Vertrieb

Faktoren, die die Genauigkeit beeinflussen

Ein Modell für die Vorhersagebewertung berechnet die Wahrscheinlichkeit, dass eine Verkaufschance oder ein Lead in einen Verkauf umgewandelt wird. Die Genauigkeit des Modells hängt von folgenden Faktoren ab:

• Die Qualität und der Umfang der zum Trainieren des Modells verfügbaren Daten
• Die Auswahl von Geschäftsprozessfluss und Filtern, die Sie auswählen
• Von Ihnen ausgewählte Phasen und Attribute, wenn das Modell für die Modellierung pro Phase aktiviert ist

Das Modell wird mit 80 % der geschlossenen Verkaufschancen oder Leads im Training DataSet trainiert. Es wird validiert, indem die verbleibenden 20 % als Test DataSet verwendet werden, der aus den neuesten Aufzeichnungen besteht. Die Genauigkeit des Modells wird dann anhand des validierten Tests DataSet basierend auf verschiedenen Parametern wie True Positives, alsch positives Ergebnis usw. berechnet.

Zeigen Sie Genauigkeits- und Leistungsmetriken an

1. Gehen Sie in der Vertriebshub-App zu Bereich ändern in der unteren linken Ecke der Seite aus und wählen Sie dann Sales Insights-Einstellungen.

2. Wählen Sie in der Siteübersicht Verkaufschancenbewertung unter Vorhersagemodelle oder Leas-Bewertung aus.

3. In der Liste Modell wählen wählen Sie ein Modell aus.

4. Wählen Sie die Registerkarte Leistung aus.

   

In der Registerkarte Leistng legen Sie die folgenden Metriken fest. Wenn Sie keine Metriken in der Registerkarte Leistung sehen, bearbeiten und trainieren Sie ein Verkaufschancenbewertungsmodell neu.

• Modellleistung: Gibt an, ob das Modell basierend auf den folgenden Parametern zur Veröffentlichung bereit ist:

  • Genauigkeit: Gibt an, wie oft Ihr Modell korrekte Vorhersagen trifft, entweder als positiv oder als negativ. Diese Metrik ist am nützlichsten, wenn DataSet ausgeglichen ist und die Kosten für falsch positive und falsch negative Ergebnisse gleich sind. Die Genauigkeitsbewertung wird mithilfe der folgenden Formel berechnet:

    Genauigkeit = (TP + TN) / (Gesamtzahl der bewerteten Verkaufschancen oder Leads) *100

  • Abruf: Gibt an, wie oft das Modell im Vergleich zu den tatsächlichen positiven Ergebnissen ein positives Ergebnis korrekt vorhergesagt hat. Ein niedriger Abrufwert bedeutet, dass das Modell weniger True Positives vorhersagt. Die Abrufbewertung wird mithilfe der folgenden Formel berechnet:

    Abruf = TP / (TP + FN) * 100

  • Konvertierungsrate: Der Prozentsatz der Verkaufschancen oder Leads, die qualifiziert oder gewonnen wurden, basierend auf historischen Daten, oder die Wahrscheinlichkeit, dass eine Verkaufschance oder ein Lead umgewandelt wird. Das Modell verwendet diesen Wert, um zu bestimmen, wie ein Attribut die Vorhersagebewertung beeinflusst. Die Konvertierungsrate wird mithilfe der folgenden Formel berechnet:

    Konvertierungsrate = (TP + FN) / (Gesamtzahl der bewerteten Verkaufschancen oder Leads) *100

• Konfusionsmatrix: Gibt an, wie gut Ihr Modell die Ergebnisse vorhersagen kann, wenn es anhand historischer Daten getestet wurde. Die Matrix zeigt die Anzahl richtig positiver, true Positives, falsch negative und falsch positive Ergebnisse an.

  Metric	Vorhergesagt	Tatsächl.
  Richtig positiv (TP)	Ja	Ja
  Richtig negativ (TN)	Nein	Nein
  Falsch positiv (FP)	Ja	Nein
  Falsch negativ (FN)	Nein	Ja

• Bereich unter der Kurve: Zeigt den Wert der Fläche unter der Kurve (AUC) des Modells an. Der AUC-Wert bestimmt die Wahrscheinlichkeit, dass ein Modell einen zufällig ausgewählten positiven Fall (eine gewonnene Verkaufschance oder einen Lead) höher einstuft als einen zufällig ausgewählten negativen (eine verpasste Verkaufschance oder einen verlorenen Lead). Ein Modell mit einem höheren AUC ist besser in der Lage, true Positive und true Negative vorherzusagen.

• F1-Score: Zeigt den F1-Score an, der basierend auf den Genauigkeits- und Abrufwerten des Modells berechnet wurde. Mit dem F1-Scoret können Sie die Qualität des Modells auch bei Datenungleichgewichten bestimmen.

• Schwelle: Definiert den Schwellenwert, ab dem der Lead oder die Verkaufschance als qualifiziert/gewonnen betrachtet wird. Wenn der Schwellenwert beispielsweise 45 beträgt, werden Verkaufschancen mit einer Punktzahl von mehr als 45 als gewonnen vorhergesagt. Der Schwellenwert wird ausgewählt, um den F1-Score zu optimieren.

Beispiel: Modellleistungsmetriken

Sehen wir uns die Vorhersage-Ergebnisse für Beispieldaten von 1.000 Verkaufschancen an:

Daten	Anzahl der gewonnenen Verkaufschancen
True Positive	650
Falsch-positiv	200
True Negativ	100
Falsch-negativ	50

Das Modell sagt 850 zu gewinnende Verkaufschancen (TP+FP) vorher, aber nur 650 Verkaufschancen (TP) werden tatsächlich gewonnen. In ähnlicher Weise sagte das Modell voraus, dass 150 Verkaufschancen (TN + FN) verloren gehen würden, aber nur 100 Verkaufschancen (TN) wurden verloren.

Die folgende Tabelle zeigt die Metriken für die Daten an.

Metric	Ergebnis
Genauigkeit	(650 + 100) / 1,000 = 75%
Rückruf	650 / (650 + 50) = 92%
Konversionsrate	(650 + 50) / 1,000 = 70%

Modellleistung verbessern

Wenn Ihr Modell noch nicht zur Veröffentlichung bereit ist oder keine gute Leistung erbringt, versuchen Sie die folgenden Schritte, um seine Punktzahlen zu verbessern.

• Atribute bewerten, die verwendet werden.
• Sehen Sie sich Attributinformationen an, um ihren Einfluss auf das Gesamtergebnis von Vorhersage zu verstehen.
• Ignorieren Sie leere Werte für Attribute, die einen höheren Prozentsatz an leeren Werten aufweisen und daher zu falsch positiven oder falsch negativen Ergebnissen führen.
• Integrieren Sie intelligente Felder, um einem Leadbewertungsmodell zu helfen, zwischen Faktoren zu unterscheiden, die die Punktzahl verbessern oder beeinträchtigen.
• Verwenden Sie Modellierung pro Phase in einem Verkaufschancen-Bewertungsmodell, um Attribute auszuwählen, die auf jede Geschäftsprozessphase angewendet werden sollen.
• Verfeinern Sie die Filterkriterien, den Zeitraum für Trainingsdaten oder andere Modellkonfigurationen. Wenn Sie beispielsweise einen Zeitraum von zwei Jahren für Trainingsdaten ausgewählt haben und feststellen, dass Sie in diesem Zeitraum zu viele Test- oder falsche Daten haben, wählen Sie einen kürzeren Zeitraum, sechs Monate oder ein Jahr, wenn die Datenqualität besser ist.

Sie finden die Optionen nicht in Ihrer App?

Das kann drei Gründe haben:

• Sie haben nicht die erforderliche Lizenz oder Rolle.
• Ihr Administrator hat die Funktion nicht aktiviert.
• In Ihrem Unternehmen wird eine benutzerdefinierte App verwendet. Erkundigen Sie sich beim Administrator, wie Sie am besten vorgehen. Die in diesem Artikel beschriebenen Schritte gelten insbesondere für die sofort einsatzbereite Vertriebshub-App und Sales Professional-App.

Siehe auch

Vorhersagebewertung für Leads konfigurieren
Konfigurieren der Vorhersagebewertung von Verkaufschancen