Snelle modelanalyse uitvoeren
Wanneer de training van modellen voor een experimentversie is voltooid, voert u een analyse uit van de belangrijkste modelmetrieken en bekijkt u een samenvatting van hoe de trainingsgegevens zijn verwerkt. Een snelle analyse wordt uitgevoerd op de tabbladen Configuratie/Trainingsgegevens en Modellen.
Gebruik het tabblad Modellen voor een overzicht van uw trainingsresultaten. Wanneer u een experimentversie uitvoert, wordt u automatisch overgeschakeld naar het tabblad Modellen. Het wordt ook aanbevolen om het tabblad Trainingsgegevens opnieuw te bezoeken om te controleren hoe de gegevens zijn voorbewerkt en verwerkt.
Tabblad Modellen voor een binair classificatie-experiment
Er zijn aanvullende opties beschikbaar voor verdere evaluatie van modellen. U kunt aanvullende metrieken en hyperparameters tussen modellen vergelijken, of u richten op een specifiek model voor een gedetailleerde analyse. Deze opties zijn beschikbaar op de tabbladen Vergelijken en Analyseren. Zie voor meer informatie:
De concepten begrijpen
Het kan nuttig zijn om een basisbegrip te hebben van de concepten achter modelanalyse voordat u begint met het evalueren van uw modellen. Zie voor meer informatie Concepten van modelevaluatie begrijpen.
Impact van optimalisatie-instellingen op de analyse
Voor classificatie- en regressie-experimenten kan uw analyse-ervaring iets afwijken als u wel of niet intelligente modeloptimalisatie hebt gebruikt. Intelligente modeloptimalisatie is standaard ingeschakeld voor nieuwe classificatie- en regressie-experimenten.
Modellen analyseren die zijn getraind met intelligente optimalisatie
Nieuwe classificatie- en regressie-experimenten worden standaard uitgevoerd met intelligente modeloptimalisatie.
Intelligente modeloptimalisatie biedt een robuuster trainingsproces waarbij idealiter een model wordt gemaakt dat zonder verdere aanpassingen geïmplementeerd kan worden. De prestaties van deze modellen wanneer ze worden geïmplementeerd voor productie-usecases hangt nog steeds af van de training ervan met een hoogwaardige gegevensverzameling die relevante functies en gegevens bevat.
Overweeg het volgende als uw versie is getraind met intelligente modeloptimalisatie:
-
Elk model in de versie kan een verschillende functieselectie hebben, afhankelijk van de manier waarop het algoritme de gegevens analyseert.
-
Op het tabblad Modellen leest u het overzicht modeltraining voor het model voordat u verdergaat met de specifieke analyse. Het Overzicht modeltraining toont een samenvatting van hoe Qlik Predict automatisch het model heeft geoptimaliseerd door de functieselectie te herhalen en geavanceerde transformaties toe te passen.
Zie Intelligente modeloptimalisatie voor meer informatie over intelligente modeloptimalisatie.
Modellen analyseren die zijn getraind zonder intelligente optimalisatie
Het is ook mogelijk dat u intelligente modeloptimalisatie hebt uitgeschakeld voor de versie van de training. Handmatige optimalisatie van modellen is nuttig als u meer controle over het trainingsproces wilt hebben.
Als u handmatige optimalisatie hebt gebruikt, hebben alle modellen in de versie dezelfde functieselectie, waardoor een overzicht van modeltraining niet is vereist.
De configuratie inspecteren
Tijdens de voorverwerking zijn functies mogelijk uitgesloten van gebruik in de training. Dit gebeurt meestal omdat er naarmate de training vordert meer informatie over de gegevens bekend is dan voordat u de versie uitvoert.
Na het bekijken van de Samenvatting van modeltraining (alleen weergegeven bij intelligente optimalisatie), kunt u de experimentconfiguratie van dichterbij bekijken als u deze andere wijzigingen wilt controleren.
Doe het volgende:
-
Schakel in het experiment over naar het tabblad Trainingsgegevens.
-
Zorg ervoor dat u zich in de
Schemaweergave bevindt. -
Gebruik het vervolgkeuzemenu in de werkbalk om een model uit de versie te selecteren.
-
Analyseer het modelschema. U kunt zich het beste richten op de kolommen Inzichten en Functietype om te zien of bepaalde functies zijn weggelaten of zijn getransformeerd naar een ander functietype.
Het is bijvoorbeeld mogelijk dat een functie die aanvankelijk was gemarkeerd als Mogelijke vrije tekst, is uitgesloten nadat u de versie hebt uitgevoerd.
Voor meer informatie over wat elk van de inzichten betekent, raadpleegt u Inzichten in de dataset interpreteren.
Houd er rekening mee dat als u de versie hebt uitgevoerd met de standaardoptie voor intelligente optimalisatie, elk model in de versie een andere functieselectie kan hebben als gevolg van automatische verfijning. Als de versie is uitgevoerd zonder intelligente optimalisatie, is de functieselectie voor alle modellen in de versie hetzelfde. Raadpleeg voor meer informatie over intelligente modeloptimalisatie Intelligente modeloptimalisatie.
Op basis van wat u in deze configuratie vindt, moet u mogelijk terugkeren naar de fase van de voorbereiding van de dataset om uw functiegegevens te verbeteren.
Als intelligente modeloptimalisatie is uitgeschakeld, ziet u geen Samenvatting van modeltraining als onderdeel van uw snelle analyse-ervaring. Bovendien gebruiken alle modellen van een experimentversie dezelfde functiecombinaties, terwijl modellen die zijn getraind met intelligente optimalisatie verschillende functiecombinaties kunnen hebben.
Een model selecteren
Wanneer de training is voltooid, wordt het aanbevolen model automatisch geselecteerd voor analyse en worden de metrieken voor dat model weergegeven.
Schakel tussen modellen om de verschillen in metrieken en configuratie te vergelijken. Als u zich op het tabblad Trainingsgegevens bevindt, gebruikt u het vervolgkeuzemenu in de werkbalk om een model te kiezen. Als u zich op het tabblad Modellen bevindt, klikt u op een model in de tabel Modelmetrieken om een model te kiezen.
De trainingssamenvatting analyseren
Intelligente modeloptimalisatie
Voor modellen die zijn getraind met intelligente modeloptimalisatie, geeft de Samenvatting van modeltraining de belangrijkste informatie over wat er tijdens de training is gebeurd. Deze samenvatting bevat:
-
De steekproefverhouding voor het model.
-
Een lijst met functies die automatisch zijn weggelaten als gevolg van intelligente optimalisatie. Deze lijst varieert afhankelijk van het geselecteerde model.
-
Een samenvatting van eventuele geavanceerde transformaties die zijn toegepast bij het trainen van het model.
-
Een koppeling naar de trainingsdataset.
De Samenvatting van modeltraining wordt niet weergegeven als u uw modellen handmatig optimaliseert.
Voor meer informatie over intelligente modeloptimalisatie, zie Intelligente modeloptimalisatie.
Samenvatting van modeltraining-diagram voor een model, weergegeven op het tabblad Modellen
In de samenvatting van de modeltraining worden geen functies vermeld die tijdens de voorbereidingsfase zijn weggelaten. Om deze informatie te controleren, keert u terug naar het tabblad Gegevens van het experiment. Zie: De configuratie inspecteren
Doe het volgende:
-
Schakel in het experiment over naar het tabblad Modellen.
-
Bevestig dat u het model hebt geselecteerd dat u wilt analyseren.
-
Kijk in de sectie Modelinzichten aan de rechterkant van de pagina naar de Samenvatting van modeltraining.
Tijdreeksexperimenten
In tijdreeksexperimenten toont de Samenvatting van modeltraining de configuratie-instellingen voor het tijdreeksvoorspellingsprobleem, zoals gedefinieerd door uw dataset en trainingsinstellingen. Sommige van deze details zijn geschat voordat de training begon, maar zijn nu met zekerheid bevestigd nadat de volledige dataset is geanalyseerd. U kunt het volgende bekijken:
-
Het datumbereik van de gegevens die zijn gebruikt om het model te trainen
-
De tijdstap
-
De grootte van het toepassingsvenster
-
De maximale voorspelling
-
De grootte van het voorspellingsvenster en de tussenruimte
Samenvatting van modeltraining-diagram voor een model in een tijdreeksexperiment
De tabel met modelmetrieken analyseren
De tabel Modelmetrieken biedt algemene informatie over de prestaties van elk model in het experiment. Aanbevolen modellen uit deze lijst worden boven de tabel weergegeven.
Tabel Modelmetrieken met aanbevolen modellen en filters
De tabel toont:
-
Of het model een topmodel is met betrekking tot de typen topmodellen. Zie: De topmodellen vinden
-
De naam van elk model (dit kan voor het gemak worden bewerkt. Zie: Modeldetails bewerken)
-
Het algoritme dat is gebruikt om het model te trainen
-
Belangrijke metrieken met betrekking tot modelprestaties. U kunt schakelen tussen:
-
Gemeenschappelijke metrieken voor het evalueren van het voorspellende potentieel, afhankelijk van het modeltype. Voor binaire classificatiemodellen is dit F1. Voor multiclass-classificatiemodellen is dit F1 Macro. Voor regressiemodellen is dit R2.
-
Voorspellingssnelheid.
-
Nauwkeurigheid. Voor classificatiemodellen is dit de metriek genaamd nauwkeurigheid. Voor regressiemodellen is dit MAE (mean absolute error).
-
De topmodellen vinden
De beste en best presterende modellen worden bepaald op basis van de filters die u hebt toegepast. Ze worden als aanbevelingen boven de tabel met modelmetrieken gepresenteerd en worden ook in de tabel gemarkeerd.
Het Beste model is standaard geselecteerd. Dit model is gemarkeerd met een pictogram 
. Het beste model wordt bepaald op basis van een evenwichtige berekening die rekening houdt met zowel nauwkeurigheid als voorspellingssnelheid.
Afhankelijk van uw use case bent u wellicht ook geïnteresseerd in het afzonderlijk analyseren van specifieke prestatiemarkeringen. Andere best presterende modellen zijn gemarkeerd met de volgende markeringen:
-
Meest nauwkeurig: Het model toont de hoogste nauwkeurigheid op basis van de toepasselijke scoringsmetrieken voor het probleemtype. -
Snelste model: Het model levert de snelste voorspellingssnelheden. Er wordt ook rekening gehouden met nauwkeurigheid.
U kunt ook best presterende modellen rechtstreeks selecteren uit de aanbevelingen boven de tabel Modelmetrieken.
Voor een volledig overzicht van hoe elk type aanbevolen model wordt bepaald, zie Het beste model voor u selecteren.
Modellen in de tabel filteren
De tabel met modelmetrieken kan worden gefilterd om alleen de modellen weer te geven die u wilt vergelijken.
De volgende filters are beschikbaar en kunnen naar behoefte worden gecombineerd:
-
Versie: Selecteer een of meer experimentversies.
-
Algoritme: Selecteer een of meer algoritmen.
-
100% steekproeftrekking: Dit filter is standaard toegepast. Het kan desgewenst worden verwijderd. Het filter toont modellen die de volledige trainingsdataset hebben gebruikt om het trainings- en kruisvalidatieproces te voltooien. Te vinden onder Meer modelfilters.
-
Geïmplementeerd: Toon modellen die zijn geïmplementeerd in ML-implementaties. Te vinden onder Meer modelfilters.
Nadat u de gewenste filters hebt toegepast, worden de best presterende modellen automatisch opnieuw berekend op basis van de gefilterde items. Uw aanbevolen modellen worden vervolgens bijgewerkt.
Visualisaties van functiebelang interpreteren
Scrol op het tabblad Modellen omlaag om de visualisaties van het functiebelang te bekijken. Dit zijn Permutatiebelang en SHAP-belang.
Visualisatie van functiebelang op het tabblad Modellen
Permutatiebelang-diagram
Het Permutatiebelang-diagram toont het belang van elke functie voor de algehele voorspelling van het model. Wat u in het Permutatiebelang-diagram ziet, kan u helpen begrijpen hoe u uw modellen kunt verfijnen.
Veelvoorkomende inzichten die u kunt verkrijgen door dit diagram te analyseren, zijn onder meer:
-
Als één functie bijna al het belang opeist, is dit waarschijnlijk een teken van doellekkage. De functie moet worden verwijderd. Als dit wordt veroorzaakt door problemen met de gegevenskwaliteit, moeten deze ook worden aangepakt.
-
Sommige functies hebben mogelijk zeer weinig tot geen invloed op de modelvoorspellingen. Functies met een extreem laag permutatiebelang kunnen worden beschouwd als statistische ruis en moeten worden verwijderd.
Als intelligente modeloptimalisatie is gebruikt om de versie te trainen, zijn sommige van de hierboven genoemde veelvoorkomende problemen mogelijk automatisch aangepakt door deze functies weg te laten.
Zie voor meer informatie over permutatiebelang Permutatie-urgentie begrijpen.
SHAP-belang-diagram
Het SHAP-belang-diagram biedt een andere manier om de invloed te analyseren die elke functie in het experiment heeft op de voorspellingen van elk model. Dit kan u vroegtijdig inzicht geven in welke functies belangrijk zijn, of dat u de training opnieuw moet configureren. Zie voor meer informatie SHAP importance in experimenttrainingen begrijpen.
Visualisaties van modelscores interpreteren
Voor sommige modeltypen zijn aanvullende visualisaties beschikbaar om een overzicht te geven van hoe goed het model presteert.
Binaire classificatie
Als uw experiment een binair classificatieprobleem is, wordt een aantal aanvullende visualisaties automatisch gegenereerd voor snelle consumptie. Deze visualisaties geven u meer inzicht in hoe goed het model de positieve en negatieve klassen voorspelt.
Zie voor meer informatie over deze visualisaties Score toekennen aan binaire classificatie-modellen.
Verwarringsmatrix
Het Verwarringsmatrix-diagram toont de nauwkeurigheid van de voorspellingen die door het model zijn gemaakt. De voorspellingen worden uitgevoerd op de automatische holdout-gegevens.
ROC-curve
Het ROC-curve-diagram beschrijft hoe goed het model is in het voorspellen van de positieve klasse wanneer de werkelijke uitkomst positief is.
Voor een indicatie van hoe een ideale ROC-curve eruitziet, zie AUC- en ROC-curve.
Tijdreeks
Voor tijdreeksmodellen wordt het diagram Voorspellingsfout in voorspellingsvenster automatisch gegenereerd om inzicht te geven in de nauwkeurigheid van de voorspelling. U kunt het percentage voorspellingsfouten bekijken voor elke tijdstap in het voorspellingsvenster. De foutpercentages zijn onderverdeeld in het vijftigste, tiende en negentigste percentiel.
Resultaten van biasdetectie analyseren
Als er functies in de versie zijn geactiveerd voor biasdetectie, kunt u snel inzicht krijgen in welke functies zijn geïdentificeerd met gegevens- en modelbias.
Vanwege de beperkte ruimte worden niet alle metrieken en groepen in deze beknopte weergave getoond. Er worden bijvoorbeeld alleen minima en maxima getoond als de metriek voor biasdetectie op basis van deze statistieken is berekend. U kunt overschakelen naar het tabblad Analyseren om uitgebreide details te bekijken over de biasresultaten voor elke geselecteerde functie.
Zie voor meer informatie Snelle analyse van biasresultaten.