Gedetailleerde modelanalyse uitvoeren

Op het tabblad Analyse van het experiment, kunt u zich richten op één model voor een uitgebreide analyse van de voorspellende prestaties. De gedetailleerde analyse wordt uitgevoerd door middel van geïntegreerde analyses.

Selecteer na het voltooien van de training een model. Open vervolgens het tabblad Analyseren om meer informatie te bekijken over de nauwkeurigheid van de modelvoorspellingen, wat van invloed is op trends in de gegevens en andere informatie. De gegevens die worden getoond op het tabblad Analyseren zijn gebaseerd op voorspellingen die het model genereert op basis van de evaluatiegegevens.

Enkele van de belangrijkste voordelen van gedetailleerde modelanalyse zijn:

• Interactieve interface waar u visualisatiegegevens naar wens kunt verfijnen en aanpassen.

• Een close-up van de voorspellingen die zijn uitgevoerd op de evaluatiegegevens, naast statistieken over het belang van functies.

Werkstroom van analyses

Voor een volledig begrip van de resultaten van de modeltraining wordt aanbevolen dat u een snelle analyse voltooid en vervolgens doorgaat met de aanvullende opties op de tabbladen Vergelijken en Analyseren. De snelle analyse biedt een overzicht van modeltraining met de functies die zijn verwijderd tijdens het proces van de intelligente optimalisatie. Ook vindt u hier een aantal automatisch gegenereerde visualisaties voor snel gebruik. De tabbladen Vergelijken en Analyseren tonen niet het overzicht modeltraining, maar geven de mogelijkheid om de modelstatistieken uitgebreider te bekijken voor een beter begrip van de kwaliteit van uw modellen.

Voor meer informatie over andere analyseopties gaat u naar:

• Snelle modelanalyse uitvoeren

• Modellen vergelijken

Inzicht krijgen in de concepten

Het kan nuttig zijn om een basisbegrip te hebben van de concepten van een modelanalyse voordat u start met het evalueren van uw modellen. Ga voor meer informatie naar Concepten van modelevaluatie begrijpen.

Impact van optimalisatie-instellingen op de analyse

Uw analyse-ervaring kan iets afwijken als u wel of niet intelligente modeloptimalisatie hebt gebruikt. Intelligente modeloptimalisatie is standaard ingeschakeld voor nieuwe experimenten.

Modellen analyseren die zijn getraind met intelligente optimalisatie

Nieuwe experimenten worden standaard uitgevoerd met intelligente modeloptimalisatie.

Intelligente modeloptimalisatie biedt een robuuster trainingsproces waarbij idealiter een model wordt gemaakt dat zonder verdere aanpassingen geïmplementeerd kan worden. De prestaties van deze modellen wanneer ze worden geïmplementeerd voor productie-usecases hangt nog steeds af van de training ervan met een hoogwaardige gegevensverzameling die relevante functies en gegevens bevat.

Overweeg het volgende als uw versie is getraind met intelligente modeloptimalisatie:

• Elk model in de versie kan een verschillende functieselectie hebben, afhankelijk van de manier waarop het algoritme de gegevens analyseert.

• Op het tabblad Modellen leest u het overzicht modeltraining voor het model voordat u verdergaat met de specifieke analyse. Het Overzicht modeltraining toont een samenvatting van hoe AutoML automatisch het model heeft geoptimaliseerd door de functieselectie te herhalen en geavanceerde transformaties toe te passen.

Zie Intelligente modeloptimalisatie voor meer informatie over intelligente modeloptimalisatie.

Modellen analyseren die zijn getraind zonder intelligente optimalisatie

Het is ook mogelijk dat u intelligente modeloptimalisatie hebt uitgeschakeld voor de versie van de training. Handmatige optimalisatie van modellen is nuttig als u meer controle over het trainingsproces wilt hebben.

Als u handmatige optimalisatie hebt gebruikt, hebben alle modellen in de versie dezelfde functieselectie, waardoor een overzicht van modeltraining niet is vereist.

De configuratie inspecteren

Tijdens de voorverwerking zijn functies mogelijk uitgesloten van de training. Dit gebeurt doorgaans omdat er in de loop van de training meer informatie over de gegevens bekend is dan voordat u de versie uitvoerde.

Na het controleren van het Overzicht modeltraining (wordt alleen getoond met intelligente optimalisatie), kunt u de experimentconfiguratie nader bekijken als u deze andere wijzigingen wilt controleren.

Doe het volgende:

1. Schakel in het experiment over naar het tabblad Gegevens.

2. Zorg dat u zich in de schemaweergave bevindt.

3. Gebruik het vervolgkeuzemenu in de werkbalk om een model van de versie te selecteren.

4. Analyseer het modelschema. U wilt zich mogelijk richten op de kolommen Inzichten en Functietype om te bekijken of bepaalde functies zijn verwijderd of zijn getransformeerd in een ander functietype

   Het is bijvoorbeeld mogelijk dat een functie dat oorspronkelijk is gemarkeerd als Mogelijke vrije tekst is uitgesloten nadat u de versie hebt uitgevoerd.

   Raadpleeg Inzichten over gegevensverzamelingen interpreteren voor meer informatie over de betekenis van elk van de inzichten.

Als u de versie uitvoert met de standaardoptie voor intelligente optimalisatie, kan elk model in de versie een andere functieselectie hebben vanwege automatische verfijning. Wordt de versie echter uitgevoerd zonder intelligente optimalisatie, dan is de functieselectie hetzelfde voor alle modellen in de versie. Zie Intelligente modeloptimalisatie voor meer informatie over intelligente modeloptimalisatie.

Op basis wat u ziet in deze configuratie, moet u mogelijk teruggaan naar de voorbereidingstage voor de gegevensverzameling om uw functiegegevens te verbeteren.

Een gedetailleerde analyse starten

U kunt een gedetailleerde analyse van een specifiek model op verschillende manieren starten:

• Selecteer een model op het tabblad Gegevens of Modellen, klik op naast het model en klik vervolgens op Analyseren.

• Klik op het tabblad Analyseren nadat u een model hebt geselecteerd.

• Als u al een detailanalyse voor een model bekijkt, gebruik dan het vervolgkeuzemenu in de werkbalk om een ander model te selecteren.

De analyse-inhoud is afhankelijk van het modeltype, zoals gedefinieerd door het experimentdoel. Er zijn verschillende statistieken beschikbaar voor verschillende modeltypen.

Navigeren door geïntegreerde analyses

Gebruik de interactieve interface om het model te analyseren met behulp van geïntegreerde analyses.

Schakelen tussen werkbladen

In het venster Werkbladen kunt u schakelen tussen de werkbladen in de analyse. Elk werkblad heeft een specifieke focus. Het venster kan naar wens worden uit- of samengevouwen.

Selecties uitvoeren

Gebruik selecties om de gegevens te verfijnen. U kunt functies selecteren en inzoomen op specifieke waarden en bereiken. Zo kunt u de gegevens nader bekijken indien gewenst. In sommige gevallen wilt u mogelijk ook dat één of meer selecties van visualisaties worden getoond. Klik op gegevenswaarden in visualisaties en filtervakken om selecties te maken.

U kunt werken met selecties door het volgende te doen:

• Selecteer waarden door te klikken op inhoud, bereiken te definiëren of door te tekenen.

• Zoek binnen diagrammen om waarden te selecteren.

• Klik op een geselecteerd veld in de werkbalk, bovenaan de geïntegreerde analyse. Hiermee kunt u zoeken in bestaande selecties, ze vergrendelen of ontgrendelen en ze verder aanpassen.

• Klik op in de werkbalk bovenaan de geïntegreerde analyse om een selectie te verwijderen. Wis alle selecties door te klikken op het pictogram .

• Stap vooruit en terug in uw selecties door te klikken op en .

De analyse bevat filtervakken om de gegevens gemakkelijker te verfijnen. In een filtervak schakelt u het selectievakje van een waarde in om een selectie te maken. Als het filtervak meerdere keuzelijsten bevat, klikt u op een keuzelijst om deze uit te vouwen en maakt u vervolgens de gewenste selecties.

Gegevens exporteren naar catalogus

U kunt de gegevens die zijn gebruikt in de gedetailleerde analyse exporteren naar de catalogus. Gegevens worden geëxporteerd naar een ruimte in Qlik Cloud Analyse. U kunt de geëxporteerde gegevens gebruiken om uw eigen Qlik Sense-apps te maken voor een aangepaste analyse.

Ga voor meer informatie naar Gegevens van modeltraining exporteren.

Nauwkeurigheid van voorspellingen analyseren

Hoe u de nauwkeurigheid van de voorspellingen interpreteert is afhankelijk van de structuur van uw trainings-gegevensverzameling en uw machine learning usecase. Daarnaast is de interpretatie van deze visualisaties afhankelijk van het modeltype. Meer informatie over elk modeltype vindt u in de onderstaande secties.

De sectie Voorspellingen van het werkblad Modeloverzicht biedt een overzicht van hoeveel voorspellingen van het model juist en onjuist zijn.

Gebruik het werkblad Voorspellingen en functieverdeling en focus op een specifieke functie om de aard van de onnauwkeurigheden in de voorspelling te analyseren. Selecteer een afzonderlijke functie in het filtervak aan de linkerkant van het werkblad. Dit werkblad toont voor alle modeltypen de onnauwkeurigheden in de voorspelling en de werkelijke waardeverdeling naast elkaar om u te helpen de gegevens in perspectief te plaatsen.

Binaire classificatie-modellen

Het gehele model analyseren

In de sectie Voorspellingen van het werkblad Modeloverzicht zijn de onbewerkte gegevens gedefinieerd in de verwarringsmatrix die wordt getoond. Deze toont waar- en fout-positieven en waar- en fout-negatieven. Deze waarden worden als statische totalen getoond zodat ze niet reageren op selecties. Zie Verwarringsmatrix voor meer informatie over de betekenis van deze waarden.

Subsets van de gegevens analyseren

Op het werkblad Voorspellingen en functieverdeling toont het diagram Onjuist voorspeld een staaf voor elke mogelijke functiewaarde of voor het bereik van de functie, waarbij de hoogte van de staaf overeenkomt met hoeveel onjuiste voorspellingen het model heeft gedaan. Elke kleur in de staaf komt overeen met elk van de werkelijke doelwaarden. Selecteer een afzonderlijk functie en waarden van andere gewenste velden om te bekijken hoe de nauwkeurigheid van de voorspelling verandert voor verschillende subsets van gegevens.

Multiclass-classificatiemodellen

Het gehele model analyseren

In de sectie Voorspellingen van het werkblad Modeloverzicht wordt een staafdiagram weergegeven met een staaf voor elk van de werkelijke doelwaarden. De hoogte van elke kleur van een staaf komt overeen met het aantal keer dat een specifieke klasse door het model is voorspeld. In aanvulling op dit diagram toont de sectie Voorspellingen ook een uitsplitsing van juiste versus onjuiste voorspellingen.

Subsets van de gegevens analyseren

Op het werkblad Voorspellingen en functieverdeling toont het diagram Onjuist voorspeld een staaf voor elke mogelijke waarde of voor het bereik van de functie, waarbij de hoogte van de staaf overeenkomt met hoeveel onjuiste voorspellingen het model heeft gedaan. Elke kleur in de staaf komt overeen met elk van de werkelijke doelwaarden.

Regressiemodellen

Bij regressiemodellen kunt u de volgende informatie op zowel model- als functieniveau weergeven:

• Gemiddelde voorspelde waarde voor het doel

• Werkelijke doelwaarde

• Negentigste en tiende percentiel voorspellingsbereiken. Deze lijnen tonen de bereiken waarbinnen u kunt verwachten dat het model een waarde voorspelt. De lijn voor het negentigste percentiel is altijd de lijn met de hogere waarden.

• Gemiddelde absolute fout (MAE)

Voor zowel modelbrede als functiespecifieke visualisaties kunt u de metrische gegevens analyseren naast de werkelijke waardeverdeling voor de functie.

Functie-urgentie analyseren

Een overzicht openen

Door het analyseren van de functie-urgentie krijgt u een indicatie hoe elk functiee van invloed is op voorspellingen die gerelateerd zijn aan andere functies.

De sectie Functie-invloed van het werkblad Modeloverzicht geeft een overzicht van de gemiddelde absolute SHAP-waarden. Dit diagram ziet er hetzelfde uit als het diagram SHAP importance op het tabblad Modellen. Het diagram wordt bijgewerkt op basis van de selecties die u maakt. Als u een afzonderlijk functie selecteert, kunt u inzoomen op specifieke waarden en bereiken om meer details te bekijken.

SHAP-verdeling analyseren

U kunt het werkblad Invloed per functie ook openen om een uitgebreidere weergave te krijgen van de SHAP-waarden voor elke functiewaarde of bereik. De SHAP‑waarden worden getoond met een richting, in plaats als absolute waarden.

Deze analyse kan u helpen bij het identificeren van patronen in specifieke cohorten en om uitschieters binnen de gegevens te vinden. Maak selecties van waarden of bereiken in het diagram om de gegevens te filteren voor een verfijnde analyse.

Het uiterlijk en het type van het diagram zijn afhankelijk van het type functie dat u selecteert.

Categorische functies

Categorische functies worden weergegevens als een boxplot. De boxplot helpt u om de verdeling van SHAP-waarden voor elke categorische waarde te zien. De boxplot heeft de volgende configuratie:

• Toont gemiddelde SHAP-waarden.

• De standaard (Tukey) configuratie wordt gebruikt:

  • De box voor een waarde wordt gedefinieerd door het eerste kwartiel (laagste deel) en het derde kwartiel (bovenste deel).

  • De mediaan is de horizontale lijn in de box.

• De hoogste en laagste whiskers komen overeen met de boven- en ondergrenzen van de 1,5 interkwartielafstand.

• Uitschieters worden niet getoond.

Numerieke functies

In het geval van numerieke functies, worden SHAP-waarden weergegeven als een spreidingsplot. De spreidingsplot heeft de volgende configuratie:

• SHAP-waarden voor de geselecteerde steekproef worden getoond.

• Het uiterlijk van de spreidingsplot hangt af van het aantal gegevenspunten dat moet worden weergegeven. Er worden afzonderlijke bellen getoond bij diagrammen met minder gegevenspunten. Bij diagrammen met een groot aantal gegevenspunten worden bellen verzameld in blokken, waarbij kleuren aangeven hoeveel gegevenspunten elk blok bevat.

In de spreidingsplot maakt u selecties van specifieke waarden of bereiken om nader te onderzoeken.