Vergleichen von Modellen

Auf der Registerkarte Vergleichen des Experiments können Sie alle Modell-Scores und Hyperparameter des trainierten Modells anzeigen. Vergleichen Sie Modelle anhand eingebetteter Analysen.

Nach Abschluss des Trainings führen Sie eine vergleichende Analyse von Modellen auf der Registerkarte Vergleichen durch. Wenn Sie den Vergleich Ihrer Modelle abgeschlossen haben, können Sie zur detaillierten Analyse individueller Modelle zur Registerkarte Analysieren wechseln. Weitere Informationen finden Sie unter Durchführen von detaillierten Modellanalysen.

Analyse-Workflow

Für ein umfassendes Verständnis der Modelltrainingsergebnisse wird empfohlen, dass Sie eine schnelle Analyse durchführen und dann mit den zusätzlichen Optionen auf den Registerkarten Vergleichen und Analysieren fortfahren. Die Schnelle Analyse stellt eine Modelltrainingsübersicht bereit, die zeigt, welche Funktionen während des intelligenten Optimierungsprozesses entfernt wurden, und stellt ebenfalls eine Anzahl an selbstgenerierten Visualisierungen zur schnellen Nutzung bereit. Die Registerkarten Vergleichen und Analysieren zeigen die Modelltrainingsübersicht nicht an, ermöglichen jedoch eine gründlichere Untersuchung der Modellmetriken, um die Qualität Ihrer Modelle besser zu verstehen. Weitere Informationen zur schnellen Analyse finden Sie unter Durchführen von schnellen Modellanalysen.

Verständnis der Konzepte

Ein grundlegendes Verständnis der Konzepte hinter der Modellanalyse kann hilfreich sein, bevor Sie einen Vergleich Ihrer Modelle beginnen. Weitere Informationen finden Sie unter Verständnis von Modellüberprüfungskonzepten.

Auswirkung von Optimierungseinstellungen auf die Analyse

Ihre Analyseerfahrung kann je nachdem, ob Sie die intelligente Modelloptimierung verwendet haben oder nicht, leicht abweichen. Die intelligente Modelloptimierung ist standardmäßig für neue Experimente aktiviert.

Analyse von mit intelligenter Optimierung trainierten Modellen

Neue Experimente werden standardmäßig mit intelligenter Modelloptimierung durchgeführt.

Die intelligente Modelloptimierung bietet einen stabileren Trainingsprozess, der idealerweise ein Modell erstellt, welches mit wenig oder gar ohne Verfeinerung einsatzbereit ist. Die Leistung dieser Modelle hängt bei der Bereitstellung für Produktionsanwendungsfälle nach wie vor von deren Training mit einem qualitativ hochwertigen Datensatz, der relevante Features und Daten umfasst, ab.

Wenn Ihre Version mit intelligenter Modelloptimierung trainiert wurde, beachten Sie Folgendes:

• Jedes Modell in der Version kann je nachdem, wie der Algorithmus die Daten analysiert hat, eine andere Featureauswahl haben.

• Lesen Sie auf der Registerkarte Modelle die Modelltrainingsübersicht für das Modell, bevor Sie sich eingehend mit der spezifischen Analyse befassen. In der Modelltrainingsübersicht wird zusammengefasst, wie AutoML das Modell durch Iteration der Featureauswahl und Anwendung erweiterter Umwandlungen automatisch optimiert hat.

Weitere Informationen zur intelligenten Modelloptimierung finden Sie unter Intelligente Modelloptimierung.

Analyse von ohne intelligente Optimierung trainierten Modellen

Als Alternative haben Sie möglicherweise die intelligente Modelloptimierung für die Trainingsversion deaktiviert. Eine manuelle Optimierung von Modellen kann hilfreich sein, wenn Sie den Trainingsprozess stärker beeinflussen müssen.

Wenn Sie die manuelle Optimierung verwendet haben, haben alle Modelle in der Version dieselbe Featureauswahl. Es wird somit keine Modelltrainingsübersicht benötigt.

Überprüfen der Konfiguration

Während der Vorverarbeitung wurden Funktionen möglicherweise von der Verwendung im Training ausgeschlossen. Dies geschieht normalerweise, da mehr im Verlauf des Trainings Informationen über die Daten bekannt werden als vor der Ausführung der Version.

Nach der Durchsicht der Modelltrainingsübersicht (die nur mit intelligenter Optimierung gezeigt wird) können Sie einen näheren Blick auf die Experimentkonfiguration werfen, wenn Sie nach diesen anderen Änderungen suchen müssen.

Gehen Sie folgendermaßen vor:

1. Wechseln Sie im Experiment zur Registerkarte Daten.

2. Stellen Sie sicher, dass Sie sich in der Ansicht Schemaansicht befinden.

3. Verwenden Sie das Dropdown-Menü in der Symbolleiste, um ein Modell aus der Version auszuwählen.

4. Analysieren Sie das Modellschema. Es ist ratsam, sich auf die Spalten Einblicke und Funktionstyp zu konzentrieren, um zu sehen, ob bestimmte Funktionen weggelassen oder in einen anderen Funktionstyp umgewandelt wurden.

   Zum Beispiel ist es möglich, dass eine Funktion, die ursprünglich als Möglicher Freitext markiert wurde, nach der Ausführung der Version ausgeschlossen wurde.

   Weitere Informationen zur Bedeutung der einzelnen Einblicke finden Sie unter Interpretation von Datensatzeinblicken.

Beachten Sie, dass bei Ausführung der Version mit der standardmäßigen intelligenten Optimierungsoption jedes Modell in der Version aufgrund der automatischen Verfeinerung eine andere Funktionsauswahl haben könnte. Falls die Version ohne intelligente Optimierung ausgeführt wurde, ist die Funktionsauswahl für alle Modelle in der Version gleich. Weitere Informationen zur intelligenten Modelloptimierung finden Sie unter Intelligente Modelloptimierung.

Je nachdem, was Sie in dieser Konfiguration vorfinden, müssen Sie möglicherweise zur Phrase der Vorbereitung des Datensatzes zurückkehren, um die Funktionsdaten zu verbessern.

Anstoßen eines Modellvergleichs

Gehen Sie folgendermaßen vor:

• Öffnen Sie die Registerkarte Vergleichen, nachdem das Training abgeschlossen ist.

Der Analyseinhalt hängt vom Modelltyp ab, wie im Experiment-Ziel definiert. Für unterschiedliche Modelltypen stehen unterschiedliche Metriken zur Verfügung.

Navigieren in eingebetteten Analysen

Mithilfe der Benutzeroberfläche können Sie interaktiv Modelle mit eingebetteten Analysen vergleichen.

Wechseln zwischen Arbeitsblättern

Im Fensterbereich Arbeitsblätter können Sie zwischen den Arbeitsblättern in der Analyse hin- und herwechseln. Jedes Arbeitsblatt hat einen bestimmten Schwerpunkt. Der Fensterbereich kann nach Belieben erweitert und reduziert werden.

Vornehmen von Auswahlen

Verwenden Sie Auswahlen zur Verfeinerung der Daten. Sie können Modelle, Funktionen und andere Parameter auswählen. Dadurch können Sie sich die Trainingsdetails genauer ansehen. In einigen Fällen müssen Sie möglicherweise eine oder mehrere Auswahlen treffen, damit Visualisierungen angezeigt werden. Klicken Sie auf Datenwerte in Visualisierungen und Filterfenstern, um Auswahlen vorzunehmen.

In Bezug auf Auswahlen können Sie Folgendes tun:

• Werte durch Klicken auf Inhalte, definierende Bereiche und Zeichnungen auswählen

• In Diagrammen suchen, um Werte auszuwählen

• Auf ein ausgewähltes Feld in der Symbolleiste oben in der eingebetteten Analyse klicken. Damit können Sie in bestehenden Auswahlen suchen, diese sperren oder entsperren und weiter ändern.

• In der Symbolleiste oben in der eingebetteten Analyse auf klicken, um eine Auswahl zu entfernen. Löschen Sie alle Auswahlen durch Klicken auf das Symbol .

• In Ihren Auswahlen vor- und zurückspringen, indem Sie auf und klicken

Die Analysen enthalten Filterfenster, um eine Verfeinerung der Daten zu erleichtern. Klicken Sie in einem Filterfenster auf das Kontrollkästchen für einen Wert, um eine Auswahl vorzunehmen. Wenn das Filterfenster mehrere Listenfelder enthält, klicken Sie auf ein Listenfeld, um es zu erweitern, und nehmen Sie dann die gewünschten Auswahlen vor.

Anpassen von Tabellen

Die Tabellenvisualisierungen, genauso wie die darin angezeigten Spalten, können im Erscheinungsbild angepasst werden. Tabellen können mit folgenden Optionen angepasst werden:

• Anpassung der Spaltenbreite durch Klicken und Ziehen der Außenrahmen der Spalte

• Anklicken einer Spaltenkopfzeile mit folgendem Ziel:

  • Die Sortierung der Spalte anpassen

  • Nach Werten in der Spalte suchen

  • Auswahlen anwenden

Laden von Daten

Klicken Sie auf Daten neu laden, um die Analyse mit den neuesten Trainingsdaten zu aktualisieren. Falls Sie oder andere Benutzer zusätzliche Versionen des Trainings ausführen, nachdem Sie die Analyse geöffnet haben, müssen Sie die Daten erneut laden, um diese neueren Versionen anzuzeigen.

Exportieren von Daten in den Katalog

Sie können die Daten, die in der Modellvergleichsanalyse verwendet werden, in den Katalog exportieren. Die Daten werden in einen Bereich in Qlik Cloud Analytics exportiert. Sie können die exportierten Daten verwenden, um Ihre eigenen Qlik Sense Apps für benutzerdefinierte Analysen zu erstellen.

Weitere Informationen finden Sie unter Exportieren von Modelltrainingsdaten.

Einstufen von Modellen nach bestimmten Metriken

Das Arbeitsblatt Modellvergleich enthält interaktive Diagramme, um anzuzeigen, wie die Modelle in Bezug auf die angegebenen Metriken untereinander abschneiden. Verwenden Sie die Filterfenster unter den einzelnen Diagrammen, um verschiedene Metriken anzuzeigen. Verwenden Sie diese Anpassung, um die Metriken hervorzuheben, die für Ihren Vorhersage-Anwendungsfall am wichtigsten sind.

Vergleichen von Modell-Scores und Hyperparameterwerten

Auf dem Arbeitsblatt Details werden Modell-Scores und Hyperparameter im Tabellenformat dargestellt. Unter Verwendung der Filterfenster links im Arbeitsblatt fügen Sie Modelle und Metriken bei Bedarf hinzu und entfernen sie daraus.

Vergleichen von Holdout-Scores und Trainings-Scores

Das Arbeitsblatt Details zeigt die Metriken an, die auf den automatischen Holdout-Daten basieren (Daten, die zum Validieren der Modellleistung nach dem Training verwendet werden). Sie können auch die Trainingsdatenmetriken zur Tabelle Modellmetriken hinzufügen, um sie mit den Holdout-Scores zu vergleichen. Diese Scores sind oft ähnlich, aber wenn sie signifikant variieren, liegt wahrscheinlich ein Problem mit Datenlecks oder Überanpassung vor.

Gehen Sie folgendermaßen vor:

1. Öffnen Sie auf der Registerkarte Vergleichen das Arbeitsblatt Details.

2. Erweitern Sie im Abschnitt Anzuzeigende Spalten auf der linken Seite des Arbeitsblatts das Filterfenster Metriken.

3. Aktivieren und deaktivieren Sie Kontrollkästchen, um die Spalte je nach Bedarf zu ändern. Metriken für Schulungsdaten können als Spalten hinzugefügt werden.

Die Spalten werden der Tabelle Modellmetriken hinzugefügt.