Modellen vergelijken

Op het tabblad Vergelijken van het experiment kunt u alle modelscores en hyperparameters bekijken voor de modellen die u traint. Vergelijk modellen met geïntegreerde analyses.

Voer na het voltooien van de training een vergelijkende analyse uit van de modellen op het tabblad Vergelijken. Nadat u klaar bent met het vergelijken van uw modellen, kunt u overschakelen naar het tabblad Analyseren voor een gedetailleerde analyse van afzonderlijke modellen. Ga voor meer informatie naar Gedetailleerde modelanalyse uitvoeren.

Werkstroom van analyses

Voor een volledig begrip van de resultaten van de modeltraining wordt aanbevolen dat u een snelle analyse voltooid en vervolgens doorgaat met de aanvullende opties op de tabbladen Vergelijken en Analyseren. De snelle analyse biedt een overzicht van modeltraining met de functies die zijn verwijderd tijdens het proces van de intelligente optimalisatie. Ook vindt u hier een aantal automatisch gegenereerde visualisaties voor snel gebruik. De tabbladen Vergelijken en Analyseren tonen niet het overzicht modeltraining, maar geven de mogelijkheid om de modelstatistieken uitgebreider te bekijken voor een beter begrip van de kwaliteit van uw modellen. Zie Snelle modelanalyse uitvoeren voor meer informatie over de snelle analyse.

Inzicht krijgen in de concepten

Het kan nuttig zijn om een basisbegrip te hebben van de concepten van een modelanalyse voordat u start met het vergelijken van uw modellen. Ga voor meer informatie naar Concepten van modelevaluatie begrijpen.

Impact van optimalisatie-instellingen op de analyse

Uw analyse-ervaring kan iets afwijken als u wel of niet intelligente modeloptimalisatie hebt gebruikt. Intelligente modeloptimalisatie is standaard ingeschakeld voor nieuwe experimenten.

Modellen analyseren die zijn getraind met intelligente optimalisatie

Nieuwe experimenten worden standaard uitgevoerd met intelligente modeloptimalisatie.

Intelligente modeloptimalisatie biedt een robuuster trainingsproces waarbij idealiter een model wordt gemaakt dat zonder verdere aanpassingen geïmplementeerd kan worden. De prestaties van deze modellen wanneer ze worden geïmplementeerd voor productie-usecases hangt nog steeds af van de training ervan met een hoogwaardige gegevensverzameling die relevante functies en gegevens bevat.

Overweeg het volgende als uw versie is getraind met intelligente modeloptimalisatie:

• Elk model in de versie kan een verschillende functieselectie hebben, afhankelijk van de manier waarop het algoritme de gegevens analyseert.

• Op het tabblad Modellen leest u het overzicht modeltraining voor het model voordat u verdergaat met de specifieke analyse. Het Overzicht modeltraining toont een samenvatting van hoe AutoML automatisch het model heeft geoptimaliseerd door de functieselectie te herhalen en geavanceerde transformaties toe te passen.

Zie Intelligente modeloptimalisatie voor meer informatie over intelligente modeloptimalisatie.

Modellen analyseren die zijn getraind zonder intelligente optimalisatie

Het is ook mogelijk dat u intelligente modeloptimalisatie hebt uitgeschakeld voor de versie van de training. Handmatige optimalisatie van modellen is nuttig als u meer controle over het trainingsproces wilt hebben.

Als u handmatige optimalisatie hebt gebruikt, hebben alle modellen in de versie dezelfde functieselectie, waardoor een overzicht van modeltraining niet is vereist.

De configuratie inspecteren

Tijdens de voorverwerking zijn functies mogelijk uitgesloten van de training. Dit gebeurt doorgaans omdat er in de loop van de training meer informatie over de gegevens bekend is dan voordat u de versie uitvoerde.

Na het controleren van het Overzicht modeltraining (wordt alleen getoond met intelligente optimalisatie), kunt u de experimentconfiguratie nader bekijken als u deze andere wijzigingen wilt controleren.

Doe het volgende:

1. Schakel in het experiment over naar het tabblad Gegevens.

2. Zorg dat u zich in de schemaweergave bevindt.

3. Gebruik het vervolgkeuzemenu in de werkbalk om een model van de versie te selecteren.

4. Analyseer het modelschema. U wilt zich mogelijk richten op de kolommen Inzichten en Functietype om te bekijken of bepaalde functies zijn verwijderd of zijn getransformeerd in een ander functietype

   Het is bijvoorbeeld mogelijk dat een functie dat oorspronkelijk is gemarkeerd als Mogelijke vrije tekst is uitgesloten nadat u de versie hebt uitgevoerd.

   Raadpleeg Inzichten over gegevensverzamelingen interpreteren voor meer informatie over de betekenis van elk van de inzichten.

Als u de versie uitvoert met de standaardoptie voor intelligente optimalisatie, kan elk model in de versie een andere functieselectie hebben vanwege automatische verfijning. Wordt de versie echter uitgevoerd zonder intelligente optimalisatie, dan is de functieselectie hetzelfde voor alle modellen in de versie. Zie Intelligente modeloptimalisatie voor meer informatie over intelligente modeloptimalisatie.

Op basis wat u ziet in deze configuratie, moet u mogelijk teruggaan naar de voorbereidingstage voor de gegevensverzameling om uw functiegegevens te verbeteren.

Een modelvergelijking starten

Doe het volgende:

• Open het tabblad Vergelijken nadat de training is voltooid.

De analyse-inhoud is afhankelijk van het modeltype, zoals gedefinieerd door het experimentdoel. Er zijn verschillende statistieken beschikbaar voor verschillende modeltypen.

Navigeren door geïntegreerde analyses

Gebruik de interface om op interactieve wijze modellen te vergelijken met behulp van geïntegreerde analyses.

Schakelen tussen werkbladen

In het venster Werkbladen kunt u schakelen tussen de werkbladen in de analyse. Elk werkblad heeft een specifieke focus. Het venster kan naar wens worden uit- of samengevouwen.

Selecties uitvoeren

Gebruik selecties om de gegevens te verfijnen. U kunt modellen, functies en andere parameters selecteren. Hiermee kunt u de trainingsdetails nader bekijken. In sommige gevallen wilt u mogelijk ook dat één of meer selecties van visualisaties worden getoond. Klik op gegevenswaarden in visualisaties en filtervakken om selecties te maken.

Met selecties kunt u het volgende doen:

• Selecteer waarden door te klikken op inhoud, bereiken te definiëren of door te tekenen.

• Zoek binnen diagrammen om waarden te selecteren.

• Klik op een geselecteerd veld in de werkbalk, bovenaan de geïntegreerde analyse. Hiermee kunt u zoeken in bestaande selecties, ze vergrendelen of ontgrendelen en ze verder aanpassen.

• Klik op in de werkbalk bovenaan de geïntegreerde analyse om een selectie te verwijderen. Wis alle selecties door te klikken op het pictogram .

• Stap vooruit en terug in uw selecties door te klikken op en .

De analyse bevat filtervakken om de gegevens gemakkelijker te verfijnen. In een filtervak schakelt u het selectievakje van een waarde in om een selectie te maken. Als het filtervak meerdere keuzelijsten bevat, klikt u op een keuzelijst om deze uit te vouwen en maakt u vervolgens de gewenste selecties.

Tabellen aanpassen

Met de tabelvisualisaties kunt u het uiterlijk wijzigen, net als de kolommen die erin worden weergegeven. Tabellen kunnen worden aangepast met de volgende opties:

• Wijzig de kolombreedte door te klikken op de buitenste rand van de kolom en de rand te slepen

• Klik op een kolomkop om:

  • De volgorde van de kolom te wijzigen

  • Te zoeken naar waarden in de kolom

  • Selecties toe te passen

Gegevens opnieuw laden

Klik op Gegevens laden om de analyse te vernieuwen met de laatste trainingsgegevens. Als u of andere gebruikers andere versies van de training uitvoeren nadat u de analyse hebt geopend, moet u mogelijk de gegevens laden om deze nieuwe versies te visualiseren.

Gegevens exporteren naar catalogus

U kunt de gegevens die zijn gebruikt in de analyse voor modelvergelijking exporteren naar de catalogus. Gegevens worden geëxporteerd naar een ruimte in Qlik Cloud Analyse. U kunt de geëxporteerde gegevens gebruiken om uw eigen Qlik Sense-apps te maken voor een aangepaste analyse.

Ga voor meer informatie naar Gegevens van modeltraining exporteren.

Modellen rangschikken op specifieke metrische gegevens

Het werkblad Modelvergelijking bevat interactieve diagrammen om te visualiseren hoe de modellen van elkaar verschillen op basis van de opgegeven metrische gegevens. Gebruik de filtervakken onder elk diagram om verschillende metrische gegevens te visualiseren. Gebruik deze aanpassing om de metrische gegevens te tonen die het belangrijkst zijn voor uw voorspellende usecase.

Modelscores en hyperparameterwaarden vergelijken

Op het werkblad Details worden modelscores en hyperparameters weergegeven in de tabelindeling. Gebruik de filtervakken aan de linkerkant van het werkblad om modellen en metrische gegevens toe te voegen en te verwijderen.

Evaluatie- en trainingsscores vergelijken

Het werkblad Details toont metrische gegevens die zijn gebaseerd op de automatische evaluatiegegevens (gegevens die worden gebruikt om de modelprestatie na training te valideren). U kunt ook de metrische gegvens van de trainingsgegevens toevoegen aan de tabel Modelstatistieken om te vergelijken met de evaluatiegegevens. Deze scores zijn vaak vergelijkbaar, maar als ze sterk verschillen, is er meer dan waarschijnlijk een probleem met gegevenslekken of overfitting.

Doe het volgende:

1. Op het tabblad Vergelijken opent u het werkblad Details.

2. In de sectie Weer te geven kolommen aan de linkerkant van het werkblad vouwt u het filtervak Metrische gegevens uit.

3. Schakel selectievakjes naar wens in of uit om de kolommen te wijzigen. Metrische trainingsgegevens zijn beschikbaar om toe te voegen als kolommen.

De kolommen worden toegevoegd aan de Tabel Modelstatistieken.