Testen der Genauigkeit mit Liftdiagrammen (Grundlegendes Data Mining-Lernprogramm)

Auf der Registerkarte "Mininggenauigkeitsdiagramm" des Data Mining-Designers können Sie berechnen, wie gut jedes Ihrer Modelle Vorhersagen macht, und die Ergebnisse jedes Modells direkt mit den Ergebnissen der anderen Modelle vergleichen. Diese Methode des Vergleichs wird als Liftdiagramm bezeichnet. In der Regel wird die prädiktive Genauigkeit eines Miningmodells entweder durch Heben oder Klassifikationsgenauigkeit gemessen. In diesem Lernprogramm verwenden wir nur das Liftdiagramm.

In diesem Thema führen Sie die folgenden Aufgaben aus:

• Auswählen der Eingabedaten

• Konfigurieren von Genauigkeitsdiagrammparametern

Auswählen der Eingabedaten

Der erste Schritt beim Testen der Genauigkeit Ihrer Miningmodelle besteht darin, die Datenquelle auszuwählen, die Sie zum Testen verwenden werden. Sie testen, wie gut die Modelle mit Ihren Testdaten ausgeführt werden, und dann verwenden Sie sie mit externen Daten.

So wählen Sie den Datensatz aus

1. Wechseln Sie zur Registerkarte "Mininggenauigkeitsdiagramm" im Data Mining-Designer in SQL Server Data Tools (SSDT), und wählen Sie die Registerkarte "Eingabeauswahl" aus .

2. Wählen Sie im Gruppierungsfeld Datensatz für Genauigkeitsdiagramm auswählen die Option "Miningstrukturtestfälle verwenden" aus. Dies sind die Testdaten, die Sie bei der Erstellung der Miningstruktur festgelegt haben.

   Weitere Informationen zu den anderen Optionen finden Sie unter Auswählen eines Genauigkeitsdiagrammtyps und Festlegen von Diagrammoptionen.

Festlegen von Genauigkeitsdiagrammparametern

Zum Erstellen eines Genauigkeitsdiagramms müssen Sie drei Dinge definieren:

• Welche Modelle sollten Sie in das Genauigkeitsdiagramm aufnehmen?

• Welches vorhersagbare Attribut möchten Sie messen? Einige Modelle haben möglicherweise mehrere Ziele, aber jedes Diagramm kann jeweils nur ein Ergebnis messen.

  Wenn Sie eine Spalte als vorhersehbaren Spaltennamen in einem Genauigkeitsdiagramm verwenden möchten, müssen die Spalten den Verwendungstyp oder PredictPredict Onlydie Spalten aufweisen. Außerdem muss der Inhaltstyp der Zielspalte entweder Discrete oder Discretized. Mit anderen Worten, Sie können die Genauigkeit nicht an kontinuierlichen numerischen Ergebnissen mithilfe des Liftdiagramms messen.

• Möchten Sie die allgemeine Genauigkeit des Modells oder dessen Genauigkeit bei der Vorhersage eines bestimmten Werts messen (z. B. [Bike Buyer] = 'Ja')

So generieren Sie das Liftdiagramm

1. Aktivieren Sie auf der Registerkarte " Eingabeauswahl " des Data Mining-Designers unter "Vorhersagbare Miningmodellspalten auswählen", die im Liftdiagramm angezeigt werden sollen, das Kontrollkästchen für " Vorhersagespalten und -werte synchronisieren".

2. Vergewissern Sie sich in der Spalte " Vorhersagbare Spaltenname ", dass "Bike Buyer " für jedes Modell ausgewählt ist.

3. Wählen Sie in der Spalte "Anzeigen " die einzelnen Modelle aus.

   Standardmäßig sind alle Modelle in der Miningstruktur ausgewählt. Sie können sich entscheiden, kein Modell einzuschließen, aber für dieses Lernprogramm bleiben alle Modelle ausgewählt.

4. Wählen Sie in der Spalte "Vorhergesagter Wert" "1" aus. Derselbe Wert wird automatisch für jedes Modell ausgefüllt, das dieselbe vorhersagbare Spalte aufweist.

5. Wählen Sie die Registerkarte "Diagramm anheben " aus.

   Wenn Sie auf die Registerkarte klicken, wird eine Vorhersageabfrage ausgeführt, um Vorhersagen für die Testdaten abzurufen, und die Ergebnisse werden mit den bekannten Werten verglichen. Die Ergebnisse werden auf dem Diagramm gezeichnet.

   Wenn Sie ein bestimmtes Zielergebnis mithilfe der Option "Vorhersagewert " angegeben haben, zeichnet das Liftdiagramm die Ergebnisse zufälliger Schätzwerte und die Ergebnisse eines idealen Modells.

   • Die Zufällige Schätzlinie zeigt, wie genau das Modell sein würde, ohne Daten zu verwenden, um seine Vorhersagen zu informieren: d. h. eine 50-50 Aufteilung zwischen zwei Ergebnissen. Das Liftdiagramm hilft Ihnen, zu visualisieren, wie viel besser Ihr Modell im Vergleich zu einer zufälligen Schätzung ausgeführt wird.

   • Die ideale Modelllinie stellt die obere Grenze der Genauigkeit dar. Es zeigt Ihnen den größtmöglichen Nutzen, den Sie erzielen könnten, wenn Ihr Modell immer genau vorhersagt.

   Die von Ihnen erstellten Miningmodelle fallen in der Regel zwischen diesen beiden Extremen. Jede Verbesserung gegenüber einer Zufallsschätzung wird als Verbesserung betrachtet.

6. Verwenden Sie die Legende, um die farbigen Linien zu finden, die das ideale Modell und das Zufallsratenmodell darstellen.

   Sie werden feststellen, dass das TM_Decision_Tree Modell den größten Lift bietet und sowohl die Modelle Clustering als auch Naive Bayes übertrifft.

Eine ausführliche Erläuterung eines Liftdiagramms, das dem in dieser Lektion erstellten Diagramm ähnelt, finden Sie unter Lift Chart (Analysis Services - Data Mining).

Nächste Aufgabe in der Lektion

Testen eines gefilterten Modells (Grundlegendes Data Mining-Lernprogramm)

Siehe auch

Lift-Chart (Analysis Services - Data Mining)
Registerkarte "Diagramm anheben" (Ansicht "Mininggenauigkeitsdiagramm")