Snelle modelanalyse uitvoeren
Nadat modellen hun training afronden voor een experimentversie, kunt u een analyse uitvoeren voor de belangrijkste modelstatistieken en een overzicht bekijken van hoe de trainingsgegevens zijn verwerkt. Een snelle analyse wordt uitgevoerd op de tabbladen Gegevens en Modellen.
Gebruik het tabblad Modellen voor een overzicht van uw trainingsresultaten. Tijdens het uitvoeren van een experimentversie schakelt u automatisch over naar het tabblad Modellen. Ook wordt aanbevolen om het tabblad Gegevens opnieuw te openen om te inspecteren hoe de gegevens zijn voorbewerkt en behandeld.
Tabblad Modellen voor een binair classificatie-experiment
Aanvullende opties zijn beschikbaar voor verdere evaluatie van modellen. U kunt aanvullende metrische gegevens en hyperparameters van modellen vergelijken of u kunt zich richten op een specifiek model voor een verfijnde analyse. Deze opties zijn beschikbaar op de tabbladen Vergelijken en Analyseren. Ga voor meer informatie naar:
Inzicht krijgen in de concepten
Het kan nuttig zijn om een basisbegrip te hebben van de concepten van een modelanalyse voordat u start met het evalueren van uw modellen. Ga voor meer informatie naar Concepten van modelevaluatie begrijpen.
Impact van optimalisatie-instellingen op de analyse
Voor classificatie- en regressie-experimenten kan uw analyse-ervaring iets afwijken als u wel of niet intelligente modeloptimalisatie hebt gebruikt. Intelligente modeloptimalisatie is standaard ingeschakeld voor nieuwe classificatie- en regressie-experimenten.
Modellen analyseren die zijn getraind met intelligente optimalisatie
Nieuwe classificatie- en regressie-experimenten worden standaard uitgevoerd met intelligente modeloptimalisatie.
Intelligente modeloptimalisatie biedt een robuuster trainingsproces waarbij idealiter een model wordt gemaakt dat zonder verdere aanpassingen geïmplementeerd kan worden. De prestaties van deze modellen wanneer ze worden geïmplementeerd voor productie-usecases hangt nog steeds af van de training ervan met een hoogwaardige gegevensverzameling die relevante functies en gegevens bevat.
Overweeg het volgende als uw versie is getraind met intelligente modeloptimalisatie:
-
Elk model in de versie kan een verschillende functieselectie hebben, afhankelijk van de manier waarop het algoritme de gegevens analyseert.
-
Op het tabblad Modellen leest u het overzicht modeltraining voor het model voordat u verdergaat met de specifieke analyse. Het Overzicht modeltraining toont een samenvatting van hoe Qlik Predict automatisch het model heeft geoptimaliseerd door de functieselectie te herhalen en geavanceerde transformaties toe te passen.
Zie Intelligente modeloptimalisatie voor meer informatie over intelligente modeloptimalisatie.
Modellen analyseren die zijn getraind zonder intelligente optimalisatie
Het is ook mogelijk dat u intelligente modeloptimalisatie hebt uitgeschakeld voor de versie van de training. Handmatige optimalisatie van modellen is nuttig als u meer controle over het trainingsproces wilt hebben.
Als u handmatige optimalisatie hebt gebruikt, hebben alle modellen in de versie dezelfde functieselectie, waardoor een overzicht van modeltraining niet is vereist.
De configuratie inspecteren
Tijdens de voorverwerking zijn functies mogelijk uitgesloten van de training. Dit gebeurt doorgaans omdat er in de loop van de training meer informatie over de gegevens bekend is dan voordat u de versie uitvoerde.
Na het controleren van het Overzicht modeltraining (wordt alleen getoond met intelligente optimalisatie), kunt u de experimentconfiguratie nader bekijken als u deze andere wijzigingen wilt controleren.
Doe het volgende:
-
Schakel in het experiment over naar het tabblad Gegevens.
-
Zorg dat u zich in de
schemaweergave bevindt. -
Gebruik het vervolgkeuzemenu in de werkbalk om een model van de versie te selecteren.
-
Analyseer het modelschema. U wilt zich mogelijk richten op de kolommen Inzichten en Functietype om te bekijken of bepaalde functies zijn verwijderd of zijn getransformeerd in een ander functietype
Het is bijvoorbeeld mogelijk dat een functie dat oorspronkelijk is gemarkeerd als Mogelijke vrije tekst is uitgesloten nadat u de versie hebt uitgevoerd.
Raadpleeg Inzichten over gegevensverzamelingen interpreteren voor meer informatie over de betekenis van elk van de inzichten.
Als u de versie uitvoert met de standaardoptie voor intelligente optimalisatie, kan elk model in de versie een andere functieselectie hebben vanwege automatische verfijning. Wordt de versie echter uitgevoerd zonder intelligente optimalisatie, dan is de functieselectie hetzelfde voor alle modellen in de versie. Zie Intelligente modeloptimalisatie voor meer informatie over intelligente modeloptimalisatie.
Op basis wat u ziet in deze configuratie, moet u mogelijk teruggaan naar de voorbereidingstage voor de gegevensverzameling om uw functiegegevens te verbeteren.
Wanneer intelligente modeloptimalisatie is uitgeschakeld, ziet u geen Overzicht modeltraining als onderdeel van uw snelle analyse. Daarnaast gebruiken alle modellen van een experimentversie dezelfde combinaties van functies, terwijl modellen die zijn getraind met intelligente optimalisatie verschillende combinaties van functies kunnen hebben.
Een model selecteren
Nadat de training is voltooid, wordt het aanbevolen model automatisch geselecteerd voor analyse en worden de statistieken voor dat model weergegeven.
Schakel tussen modellen om de verschillende statistieken en configuratie te vergelijken. Op het tabblad Gegevens gebruikt u het vervolgkeuzemenu in de werkbalk om een model te kiezen. Gebruikt u het tabblad Modellen, klik dan op een model in de tabel Modelstatistieken om een model te kiezen.
Het trainingsoverzicht analyseren
Intelligente modeloptimalisatie
Bij modellen die zijn getraind met intelligente modeloptimalisatie, toont het Overzicht modeltraining de belangrijkste informatie over wat er tijdens de training is gebeurd. Dit overzicht bestaat uit:
-
De steekproefverhouding van het model.
-
Een lijst met functies die automatisch zijn verwijderd ten behoeve van intelligente optimalisatie. Deze lijst varieert op basis van het geselecteerde model.
-
Een samenvatting van alle geavanceerde transformaties die werden toegepast tijdens het trainen van het model.
-
Een koppeling naar de trainings-gegevensverzameling.
Het Overzicht modeltraining wordt niet getoond als u uw modellen handmatig optimaliseert.
Zie Intelligente modeloptimalisatie voor meer informatie over intelligente modeloptimalisatie.
Diagram Overzicht modeltraining voor een model op het tabblad Modellen
Het overzicht modeltraining toont geen functies die zijn verwijderd tijdens de voorbewerkingsfase. Ga terug naar het tabblad Gegevens van het experiment om deze informatie te controleren. Zie: De configuratie inspecteren
Doe het volgende:
-
Schakel in het experiment over naar het tabblad Modellen.
-
Bevestig dat u het model hebt geselecteerd dat u wilt analyseren.
-
Op de sectie Modelinzichten aan de rechterkant van de pagina kijkt u naar het Overzicht modeltraining.
Tijdreeksexperimenten
In tijdreeksexperimenten toont de Samenvatting modeltraining de configuratie-instellingen voor het tijdreeksvoorspellingsprobleem, zoals gedefinieerd door uw dataset en trainingsinstellingen. Sommige van deze details werden geschat voordat de training begon, maar nu zijn ze met zekerheid bevestigd nadat de gehele dataset is geanalyseerd. U kunt het volgende bekijken:
-
Het datumbereik van de gegevens die zijn gebruikt om het model te trainen
-
De tijdstap
-
De toegepaste venstergrootte
-
De maximum prognose
-
De prognosevenster- en gatgroottes
Samenvatting van modeltraining diagram voor een model in een tijdreeksexperiment
De tabel met modelstatistieken analyseren
De tabel Modelstatistieken biedt uitgebreide informatie over de prestaties van elk model in het experiment. Aanbevolen modellen uit deze lijst staan boven de tabel.
Tabel Modelstatistieken met aanbevolen modellen en filters
De tabel laat zien:
-
Of het model een topmodel is met betrekking tot de topmodeltypen. Zie: De topmodellen vinden
-
De naam van elk model (dit kan naar wens worden bewerkt. Zie: Modeldetails bewerken)
-
Het algoritme dat is gebruikt om het model te trainen
-
Belangrijke statistieken met betrekking tot de modelprestaties. U kunt schakelen tussen:
-
Gangbare statistieken voor het evalueren van het voorspellend vermogen, afhankelijk van het modeltype. Voor binaire classificatiemodellen is dit F1. Voor multiclass-classificatiemodellen is dit F1 macro. Voor regressiemodellen is dit R2.
-
Voorspellingssnelheid.
-
Nauwkeurigheid. Voor classificatiemodellen is dit de meeteenheid met de naam nauwkeurigheid. Voor regressiemodellen is dit MAE (mean absolute error - gemiddelde absolute fout).
-
De topmodellen vinden
De beste en best presterende modellen worden bepaald op basis van de filters die u hebt toegepast. Ze worden gepresenteerd als aanbevelingen boven de tabel met modelstatistieken, en zijn ook gemarkeerd in de tabel.
Het Beste model is standaard geselecteerd. Dit model is gemarkeerd met het pictogram 
. Het beste model wordt bepaald op basis van een evenwichtige berekening die rekening houdt met zowel nauwkeurigheid als voorspellingssnelheid.
Afhankelijk van uw gebruiksscenario kunt u ook geïnteresseerd zijn in het afzonderlijk analyseren van specifieke prestatie-indicatoren. De andere best presterende modellen worden gemarkeerd met de volgende indicatoren:
-
Nauwkeurigst: het model vertoont de hoogste nauwkeurigheid op basis van de toepasselijke scorestatistieken voor het probleemtype. -
Snelste model: het model levert de snelste voorspellingssnelheden. Er wordt ook rekening gehouden met nauwkeurigheid.
U kunt de best presterende modellen ook rechtstreeks selecteren uit de aanbevelingen boven de tabel Modelstatistieken.
Zie Het beste model voor u selecteren voor een volledig overzicht van hoe elk type aanbevolen model wordt bepaald.
Modellen in de tabel filteren
De tabel Modelstatistieken kan worden gefilterd om alleen de modellen te tonen die u wilt vergelijken.
De volgende filters zijn beschikbaar en kunnen indien nodig worden gecombineerd:
-
Versie: selecteer één of meer experimentversies.
-
Algoritme: selecteer één of meer algoritmen.
-
100% steekproef: dit filter wordt standaard toegepast. Het kan indien nodig worden verwijderd. Het filter toont modellen die voor de gehele trainings-gegevensverzameling worden gebruikt om de training en het kruisvalidatieproces te voltooien. Te vinden onder Meer modelfilters.
-
Geïmplementeerd: toont modellen die zijn geïmplementeerd in ML-implementaties. Te vinden onder Meer modelfilters.
Nadat u de gewenste filters hebt toegepast, worden de best presterende modellen automatisch opnieuw berekend op basis van de gefilterde items. Uw aanbevolen modellen worden dan bijgewerkt.
Visualisaties met functie-urgentie interpreteren
Scroll op het tabblad Modellen naar beneden om de visualisaties met functie-urgentie te bekijken. Dit zijn Permutatie-urgentie en SHAP importance
Visualisaties met functie-urgentie op het tabblad Modellen
Diagram Permutatie-urgentie
Het diagram Permutatie-urgentie toont het belang van elke functie voor de algehele voorspelling van het model. Wat u ziet in het diagram Permutatie-urgentie kan u helpen bij het verfijnen van uw modellen.
Algemene inzichten die u kunt opdoen door het analyseren van dit diagram zijn:
-
Als aan één functie vrijwel het gehele belang kan worden toegeschreven, is er waarschijnlijk sprake van een doellek. De functie moet verwijderd worden. Als dit wordt veroorzaakt door problemen met de gegevenskwaliteit, dan moet dit ook worden opgelost.
-
Sommige functies hebben mogelijk zeer weinig tot geen impact op de modelvoorspellingen. Functies met een zeer lage permutatie-urgentie kunnen als ruis worden beschouwd en moeten verwijderd worden.
Als intelligente modeloptimalisatie is gebruikt om de versie te trainen, zijn sommige van de bovenstaande algemene problemen mogelijk automatisch verholpen als u deze functies verwijdert.
Zie Permutatie-urgentie begrijpen voor meer informatie over permutatie-urgentie.
Diagram SHAP importance
Het diagram SHAP importance biedt een andere manier om de invloed te analyseren die elke functie binnen het experiment heeft op de voorspellingen van elk model. Dit kan u vroegtijdig inzicht geven in welke functies belangrijk zijn of dat u de training opnieuw moet configureren. Ga voor meer informatie naar SHAP importance in experimenttrainingen begrijpen.
Visualisaties met modelscores interpreteren
Voor sommige modeltypen zijn aanvullende visualisaties beschikbaar om een overzicht te tonen van hoe goed het model presteert.
Binaire classificatie
Als uw experiment een probleem met een binaire classificatie is, worden een aantal aanvullende visualisaties automatisch gegenereerd voor snel gebruik. Deze visualisaties geven u meer inzicht in hoe het model positieve en negatieve klassen voorspelt.
Raadpleeg Score toekennen aan binaire classificatie-modellen voor meer informatie over deze visualisaties.
Verwarringsmatrix
Het diagram Verwarringsmatrix toont de nauwkeurigheid van de voorspellingen die door het model zijn gemaakt. De voorspellingen worden uitgevoerd op de automatische evaluatiegegevens.
ROC-curve
Het diagram ROC-curve beschrijft hoe goed het model is in het voorspellen van de positieve klasse wanneer de werkelijke uitkomst positief is.
Zie AUC- en ROC-curve om een idee te krijgen van hoe een ideale ROC‑curve eruit ziet.
Tijdreeks
Voor tijdreeksmodellen wordt het Voorspellingsfout in voorspellingsvenster-diagram automatisch gegenereerd om inzicht te geven in de voorspellingsnauwkeurigheid. U kunt de mate van voorspellingsfout voor elke tijdstap in het voorspellingsvenster bekijken. De foutpercentages zijn onderverdeeld in het vijftigste, tiende en negentigste percentiel.