Snelle modelanalyse uitvoeren

Nadat modellen hun training afronden voor een experimentversie, kunt u een analyse uitvoeren voor de belangrijkste modelstatistieken en een overzicht bekijken van hoe de trainingsgegevens zijn verwerkt. Een snelle analyse wordt uitgevoerd op de tabbladen Gegevens en Modellen.

Gebruik het tabblad Modellen voor een overzicht van uw trainingsresultaten. Tijdens het uitvoeren van een experimentversie schakelt u automatisch over naar het tabblad Modellen. Ook wordt aanbevolen om het tabblad Gegevens opnieuw te openen om te inspecteren hoe de gegevens zijn voorbewerkt en behandeld.

Aanvullende opties zijn beschikbaar voor verdere evaluatie van modellen. U kunt aanvullende metrische gegevens en hyperparameters van modellen vergelijken of u kunt zich richten op een specifiek model voor een verfijnde analyse. Deze opties zijn beschikbaar op de tabbladen Vergelijken en Analyseren. Ga voor meer informatie naar:

• Modellen vergelijken

• Gedetailleerde modelanalyse uitvoeren

Inzicht krijgen in de concepten

Het kan nuttig zijn om een basisbegrip te hebben van de concepten van een modelanalyse voordat u start met het evalueren van uw modellen. Ga voor meer informatie naar Concepten van modelevaluatie begrijpen.

Impact van optimalisatie-instellingen op de analyse

Uw analyse-ervaring kan iets afwijken als u wel of niet intelligente modeloptimalisatie hebt gebruikt. Intelligente modeloptimalisatie is standaard ingeschakeld voor nieuwe experimenten.

Modellen analyseren die zijn getraind met intelligente optimalisatie

Nieuwe experimenten worden standaard uitgevoerd met intelligente modeloptimalisatie.

Intelligente modeloptimalisatie biedt een robuuster trainingsproces waarbij idealiter een model wordt gemaakt dat zonder verdere aanpassingen geïmplementeerd kan worden. De prestaties van deze modellen wanneer ze worden geïmplementeerd voor productie-usecases hangt nog steeds af van de training ervan met een hoogwaardige gegevensverzameling die relevante functies en gegevens bevat.

Overweeg het volgende als uw versie is getraind met intelligente modeloptimalisatie:

• Elk model in de versie kan een verschillende functieselectie hebben, afhankelijk van de manier waarop het algoritme de gegevens analyseert.

• Op het tabblad Modellen leest u het overzicht modeltraining voor het model voordat u verdergaat met de specifieke analyse. Het Overzicht modeltraining toont een samenvatting van hoe AutoML automatisch het model heeft geoptimaliseerd door de functieselectie te herhalen en geavanceerde transformaties toe te passen.

Zie Intelligente modeloptimalisatie voor meer informatie over intelligente modeloptimalisatie.

Modellen analyseren die zijn getraind zonder intelligente optimalisatie

Het is ook mogelijk dat u intelligente modeloptimalisatie hebt uitgeschakeld voor de versie van de training. Handmatige optimalisatie van modellen is nuttig als u meer controle over het trainingsproces wilt hebben.

Als u handmatige optimalisatie hebt gebruikt, hebben alle modellen in de versie dezelfde functieselectie, waardoor een overzicht van modeltraining niet is vereist.

De configuratie inspecteren

Tijdens de voorverwerking zijn functies mogelijk uitgesloten van de training. Dit gebeurt doorgaans omdat er in de loop van de training meer informatie over de gegevens bekend is dan voordat u de versie uitvoerde.

Na het controleren van het Overzicht modeltraining (wordt alleen getoond met intelligente optimalisatie), kunt u de experimentconfiguratie nader bekijken als u deze andere wijzigingen wilt controleren.

Doe het volgende:

1. Schakel in het experiment over naar het tabblad Gegevens.

2. Zorg dat u zich in de schemaweergave bevindt.

3. Gebruik het vervolgkeuzemenu in de werkbalk om een model van de versie te selecteren.

4. Analyseer het modelschema. U wilt zich mogelijk richten op de kolommen Inzichten en Functietype om te bekijken of bepaalde functies zijn verwijderd of zijn getransformeerd in een ander functietype

   Het is bijvoorbeeld mogelijk dat een functie dat oorspronkelijk is gemarkeerd als Mogelijke vrije tekst is uitgesloten nadat u de versie hebt uitgevoerd.

   Raadpleeg Inzichten over gegevensverzamelingen interpreteren voor meer informatie over de betekenis van elk van de inzichten.

Als u de versie uitvoert met de standaardoptie voor intelligente optimalisatie, kan elk model in de versie een andere functieselectie hebben vanwege automatische verfijning. Wordt de versie echter uitgevoerd zonder intelligente optimalisatie, dan is de functieselectie hetzelfde voor alle modellen in de versie. Zie Intelligente modeloptimalisatie voor meer informatie over intelligente modeloptimalisatie.

Op basis wat u ziet in deze configuratie, moet u mogelijk teruggaan naar de voorbereidingstage voor de gegevensverzameling om uw functiegegevens te verbeteren.

Wanneer intelligente modeloptimalisatie is uitgeschakeld, ziet u geen Overzicht modeltraining als onderdeel van uw snelle analyse. Daarnaast gebruiken alle modellen van een experimentversie dezelfde combinaties van functies, terwijl modellen die zijn getraind met intelligente optimalisatie verschillende combinaties van functies kunnen hebben.

Een model selecteren

Nadat de training is voltooid, wordt het best presterende model automatisch geselecteerd voor analyse en worden de statistieken voor dat model weergegeven. Het best presterende model voor elke experimentversie is gemarkeerd met het pictogram .

Schakel tussen modellen om de verschillende statistieken en configuratie te vergelijken. Op het tabblad Gegevens gebruikt u het vervolgkeuzemenu in de werkbalk om een model te kiezen. Gebruikt u het tabblad Modellen, klik dan op een model in de tabel Modelstatistieken om een model te kiezen.

Het trainingsoverzicht analyseren

Bij modellen die zijn getraind met intelligente modeloptimalisatie, toont het Overzicht modeltraining de belangrijkste informatie over wat er tijdens de training is gebeurd. Dit overzicht bestaat uit:

• De steekproefverhouding van het model.

• Een lijst met functies die automatisch zijn verwijderd ten behoeve van intelligente optimalisatie. Deze lijst varieert op basis van het geselecteerde model.

• Een koppeling naar de trainings-gegevensverzameling.

Het Overzicht modeltraining wordt niet getoond als u uw modellen handmatig optimaliseert.

Zie Intelligente modeloptimalisatie voor meer informatie over intelligente modeloptimalisatie.

Het overzicht modeltraining toont geen functies die zijn verwijderd tijdens de voorbewerkingsfase. Ga terug naar het tabblad Gegevens van het experiment om deze informatie te controleren. Zie: De configuratie inspecteren

Doe het volgende:

1. Schakel in het experiment over naar het tabblad Modellen.

2. Bevestig dat u het model hebt geselecteerd dat u wilt analyseren.

3. Op de sectie Modelinzichten aan de rechterkant van de pagina kijkt u naar het Overzicht modeltraining.

De tabel met modelstatistieken analyseren

De tabel Modelstatistieken biedt uitgebreide informatie over de prestaties van elk model in het experiment. Deze tabel wordt getoond op het tabblad Modellen.

Als u het tabblad Modellen hebt geopend, is de tabel Modelstatistieken ook de plek waar u een model selecteert om te analyseren.

De tabel Modelstatistieken toont:

• Of het model de best presterende is voor zijn versie

• De naam van elk model (dit kan naar wens worden bewerkt. Zie: Modeldetails bewerken)

• Het algoritme dat is gebruikt om het model te trainen

• Waarden voor de belangrijke modelprestatiescore op basis van het modeltype dat is gedefinieerd door het experimentdoel:

  • Binaire classificatiemodellen: F1

    F1

  • Multiclass-classificatiemodellen: F1 Macro.

    Macro F1

  • Regressiemodellen: R2.

    R2

  Raadpleeg Het gemaakte modeltype bepalen voor meer informatie over welk type modellen uw experiment traint.

Modellen in de tabel filteren

De tabel Modelstatistieken kan worden gefilterd om alleen de modellen te tonen die u wilt vergelijken.

De volgende filters zijn beschikbaar en kunnen indien nodig worden gecombineerd:

• Versie: selecteer één of meer experimentversies.

• Algoritme: selecteer één of meer algoritmen.

• Toppresteerders: toont de best presterende modellen binnen alle versies (gemarkeerd met het pictogram ). Te vinden onder Meer modelfilters.

• 100% steekproef: dit filter wordt standaard toegepast. Het kan indien nodig worden verwijderd. Het filter toont modellen die voor de gehele trainings-gegevensverzameling worden gebruikt om de training en het kruisvalidatieproces te voltooien. Te vinden onder Meer modelfilters.

• Geïmplementeerd: toont modellen die zijn geïmplementeerd in ML-implementaties. Te vinden onder Meer modelfilters.

Visualisaties met functie-urgentie interpreteren

Scroll op het tabblad Modellen naar beneden om de visualisaties met functie-urgentie te bekijken. Dit zijn Permutatie-urgentie en SHAP importance

Diagram Permutatie-urgentie

Het diagram Permutatie-urgentie toont het belang van elke functie voor de algehele voorspelling van het model. Wat u ziet in het diagram Permutatie-urgentie kan u helpen bij het verfijnen van uw modellen.

Algemene inzichten die u kunt opdoen door het analyseren van dit diagram zijn:

• Als aan één functie vrijwel het gehele belang kan worden toegeschreven, is er waarschijnlijk sprake van een doellek. De functie moet verwijderd worden. Als dit wordt veroorzaakt door problemen met de gegevenskwaliteit, dan moet dit ook worden opgelost.

  Lekken van gegevens

• Sommige functies hebben mogelijk zeer weinig tot geen impact op de modelvoorspellingen. Functies met een zeer lage permutatie-urgentie kunnen als ruis worden beschouwd en moeten verwijderd worden.

 Als intelligente modeloptimalisatie is gebruikt om de versie te trainen, zijn sommige van de bovenstaande algemene problemen mogelijk automatisch verholpen als u deze functies verwijdert.

Zie Permutatie-urgentie begrijpen voor meer informatie over permutatie-urgentie.

Diagram SHAP importance

Het diagram SHAP importance biedt een andere manier om de invloed te analyseren die elke functie binnen het experiment heeft op de voorspellingen van elk model. Dit kan u vroegtijdig inzicht geven in welke functies belangrijk zijn of dat u de training opnieuw moet configureren. Ga voor meer informatie naar SHAP importance in experimenttrainingen begrijpen.

Visualisaties met modelscores interpreteren

Als uw experiment een probleem met een binaire classificatie is, worden een aantal aanvullende visualisaties automatisch gegenereerd voor snel gebruik. Deze visualisaties geven u meer inzicht in hoe het model positieve en negatieve klassen voorspelt.

Raadpleeg Score toekennen aan binaire classificatie-modellen voor meer informatie over deze visualisaties.

Verwarringsmatrix

Het diagram Verwarringsmatrix toont de nauwkeurigheid van de voorspellingen die door het model zijn gemaakt. De voorspellingen worden uitgevoerd op de automatische evaluatiegegevens.

Verwarringsmatrix

ROC-curve

Het diagram ROC-curve beschrijft hoe goed het model is in het voorspellen van de positieve klasse wanneer de werkelijke uitkomst positief is.

Zie AUC- en ROC-curve om een idee te krijgen van hoe een ideale ROC‑curve eruit ziet.