Modellen verfijnen

Zodra u voor het eerst een paar modellen hebt gemaakt, is het belangrijk ze te verfijnen om hun effectiviteit en potentiële nauwkeurigheid te vergroten. De modelscores duiden de verschillende metingen van deze prestatie. Het doel van de verfijning van modellen is om deze scores te verhogen, maar een hogere score betekent niet noodzakelijkerwijs dat het model beter is.

U kunt uw modellen verfijnen door het uitsluiten of opnemen van functies, het wijzigen van trainingsgegevens en het wijzigen van andere configuratieparameters. Door zo te werk te gaan, kunt u verschillende versies vergelijken om te bekijken wat het effect van de wijzigingen is.

Door de scores te interpreteren, leert u hoe u het model moet verfijnen. De waarden voor de verschillende statistieken kunnen u inzichten geven over welke acties u moet nemen om de resultaten te verbeteren.

Vereisten en machtigingen

Raadpleeg Werken met experimenten voor meer informatie over de gebruikersvereisten voor het werken met ML-implementaties.

Een nieuwe versie configureren

Nadat u een experimentversie hebt uitgevoerd, kunt u indien nodig uw modellen verfijnen door een nieuwe versie te maken.

Doe het volgende:

1. Vanuit het tabblad Gegevens, Modellen of Analyseren selecteert u het model dat u wilt gebruiken als basis voor de volgende versie.

2. Klik op Configuratie weergeven.

   Het venster voor experimentconfiguratie wordt geopend.

3. Klik op Nieuwe versie.

Nadat u een nieuwe versie hebt gemaakt, kunt u de volgende wijzingen toepassen op de configuratie:

• Bestaande functies uitsluiten

• Eerder uitgesloten functies opnemen

• De gegevensverzameling wijzigen of vernieuwen

• Algoritmen selecteren of de selectie ervan opheffen

Meer informatie over deze opties vindt u in de onderstaande secties.

Bij het opstellen van een nieuwe versie klikt u op het filterpictogram onder functies in het venster voor experimentconfiguratie. Door te filteren kunt u gemakkelijker visualiseren welke functies zijn geïntroduceerd sinds u de trainingsgegevensset hebt gewijzigd. U kunt ook zien welke functies automatisch zijn gegenereerd en niet zijn gegenereerd.

De gegevensverzameling verbeteren

Als uw model niet goed scoort, is het verstandig de gegevensverzameling te evalueren en eventuele problemen aan te pakken. Lees meer over hoe u de gegevensverzameling kunt verbeteren in Uw gegevensverzameling voorbereiden voor training.

Functies uitsluiten

Meer functies betekent niet per se een beter model. Om het model te verfijnen, moet u onbetrouwbare en irrelevante functies uitsluiten, zoals:

• Functies met een te hoge correlatie. Als u twee gecorreleerde functies hebt, sluit u de functie met een lagere functie-urgentie uit.

• Functies met een te lage functie-urgentie. Deze functies hebben geen invloed op wat u probeert te ontdekken.

• Functies met een te hoge functie-urgentie. Dit kan worden veroorzaakt door het lekken van gegevens.

Verwijder een functie uit de trainingsgegevens en voer de training nog een keer uit. Kijk of dit het model verbetert. Maakt het veel uit voor de score van het model of helemaal niets?

Doe het volgende:

1. Open een experiment vanuit Catalogus.

2. Vanuit het tabblad Gegevens, Modellen of Analyseren selecteert u het model dat u wilt gebruiken als basis voor de volgende versie.

3. Klik op Configuratie weergeven.

   Het venster voor experimentconfiguratie wordt geopend.

4. Klik op Nieuwe versie om een nieuwe experimentversie te configureren.

5. Schakel bij Functies de selectievakjes uit bij elke functie die u niet wilt gebruiken tijdens de training.

Functies toevoegen

Als uw model nog steeds niet goed scoort, zou dat kunnen zijn omdat de functies die een relatie met het doel hebben, nog niet zijn vastgelegd in de gegevensverzameling. U kunt uw gegevensverzameling opnieuw verwerken en gebruiken om de gegevenskwaliteit te optimaliseren en om nieuwe functies en informatie toe te voegen. Als de nieuwe gegevensverzameling gereed is, kunt u deze toevoegen aan toekomstige experimentversies. Zie: De gegevensverzameling wijzigen en vernieuwen.

Lees meer over hoe u nieuwe functies kunt vastleggen of bewerken in Nieuwe kenmerkkolommen maken.

Algoritmen selecteren

Op basis van het type gegevens van uw doelkolom worden er automatisch geschikte algoritmen voor de training geselecteerd. Het is misschien beter om de algoritmen uit te sluiten die niet zo goed presteren of die langzamer zijn. Zo verspilt u er geen tijd aan voor de training.

Voor meer informatie over hoe algoritmen worden gekozen, raadpleegt u Modelalgoritmen begrijpen.

Doe het volgende:

1. Open een experiment vanuit Catalogus.

2. Vanuit het tabblad Gegevens, Modellen of Analyseren selecteert u het model dat u wilt gebruiken als basis voor de volgende versie.

3. Klik op Configuratie weergeven.

   Het venster voor experimentconfiguratie wordt geopend.

4. Klik op Nieuwe versie om een nieuwe experimentversie te configureren.

5. Schakel bij Algoritmen de selectievakjes uit bij alle algoritmen die u niet wilt gebruiken tijdens de training.

De gegevensverzameling wijzigen en vernieuwen

Als uw trainingsgegevens zijn gewijzigd sinds de laatste experimentversie, kunt u de gegevensverzameling wijzigen of vernieuwen voor toekomstige versies van het experiment.

Dit kan handig zijn als u modelstatistieken en prestaties van verschillende gegevensverzamelingen binnen hetzelfde experiment wilt vergelijken. Dit is bijvoorbeeld praktisch als:

• Er een nieuwe set gegevensrecords beschikbaar is of als de originele set met gegevensrecords is bijgewerkt. De transacties van afgelopen maand worden bijvoorbeeld beschikbaar en zijn geschikt voor gebruik in de training of een probleem met een gegevenscollectie is geïdentificeerd en verholpen.

• De originele trainingsgegevensset is opnieuw verwerkt of gebruikt, mogelijk met als doel om de modeltraining te verbeteren. U hebt mogelijk de logica verbeterd voor het definiëren van waarden van functiekolommen of u hebt zelfs nieuwe functiekolommen toegevoegd.

Door de gegevensverzameling te wijzigen of vernieuwen worden bestaande modellen die al zijn getraind met eerdere experimentversies niet gewijzigd. Binnen een experimentversie worden de modellen alleen getraind met trainingsgegevens die zijn gedefinieerd binnen die specifieke versie.

Vereisten

Als u de gegevensverzameling wijzigt of vernieuwt voor een nieuwe experimentversie, moet de nieuwe gegevensverzameling aan de volgende vereisten voldoen:

• De naam en het functietype van de doelkolom moet hetzelfde zijn als het doel in de originele trainingsgegevensset.

• Het aantal unieke waarden in het doelkolom moet binnen hetzelfde bereik liggen zoals vereist voor het huidige experimenttype. Voor een experiment met een multiclass-classificatie moet de doelkolom in de nieuwe gegevensverzameling bijvoorbeeld nog steeds tussen drie en tien unieke waarden bevatten. Zie Het gemaakte modeltype bepalen voor de specifieke bereiken.

De andere functiekolommen kunnen volledig nieuw zijn, andere namen hebben en verschillende gegevens bevatten.

De gegevensverzameling wijzigen

Doe het volgende:

1. Vanuit het tabblad Gegevens, Modellen of Analyseren selecteert u het model dat u wilt gebruiken als basis voor de volgende versie.

2. Klik op Configuratie weergeven.

   Het venster voor experimentconfiguratie wordt geopend.

3. Klik op Nieuwe versie om een nieuwe experimentversie te configureren.

4. Klik onder Trainingsgegevens op Gegevensverzameling wijzigen.

5. Selecteer of upload de nieuwe gegevensverzameling.

De gegevensverzameling vernieuwen

Doe het volgende:

1. Vanuit het tabblad Gegevens, Modellen of Analyseren selecteert u het model dat u wilt gebruiken als basis voor de volgende versie.

2. Klik op Configuratie weergeven.

   Het venster voor experimentconfiguratie wordt geopend.

3. Klik op Nieuwe versie om een nieuwe experimentversie te configureren.

4. Klik onder Trainingsgegevens op Gegevensverzameling vernieuwen.

   U ontvangt een melding als er een vernieuwde gegevensverzameling beschikbaar is. Een gegevensverzameling wordt over het algemeen vernieuwd als het bestaande gegevensbestand wordt overschreven doordat er een nieuw bestand met dezelfde naam is gemaakt.

De verfijnde versie uitvoeren

Nadat u de configuratie van de versie hebt voltooid, kunt u de versie uitvoeren.

Doe het volgende:

• Klik rechtsonderaan op het scherm op V2 uitvoeren.

  (De tekst op de knop is afhankelijk van het aantal versies dat u hebt uitgevoerd.)

Experimentversies vergelijken

Nadat de nieuwe versie de training heeft voltooid, kunt u de nieuwe versie vergelijken met de oude om het effect van uw wijzigingen te bekijken. U hebt een aantal opties voor het vergelijken van modellen tussen experimentversies.

Snelle analyse

Gebruik de tabbladen Modellen en Gegevens in het experiment om de versie te vergelijken met oudere versies. Op het tabblad Modellen kunt het volgende doen:

• De resultaten bekijken in de tabel Modelstatistieken.

• Schakelen tussen de modellen om de verschillen te bekijken in Overzicht modeltraining en andere automatisch gegenereerde diagrammen.

Zie Snelle modelanalyse uitvoeren voor meer informatie over de snelle modelanalyse.

Diepgaande analyse

U kunt dieper ingaan op uw modelanalyse door te schakelen naar de tabbladen Vergelijken en Analyseren in het experiment. Deze tabbladen bieden een geïntegreerde analyse-ervaring waar u op interactieve wijze de modellen kunt evalueren op een verfijnder niveau.

Het tabblad Vergelijken biedt een vergelijking van de modelscores en hyperparameters binnen alle modellen. Met het tabblad Analyseren kunt u zich richten op een specifiek model om de nauwkeurighei van voorspellingen, functie-urgentie en andere details te evalueren.

Ga voor meer informatie naar Modellen vergelijken en Gedetailleerde modelanalyse uitvoeren.

Instellingen voor modeloptimalisatie wijzigen

U kunt intelligente optimalisatie uitschakelen nadat u een versie hebt uitgevoerd waarvoor het was geactiveerd. Hiermee kunt u de inzichten van de intelligente optimalisatie gebruiken, maar hebt u ook de mogelijkheid om kleine, minimale aanpassingen te doen. U kunt intelligente modeloptimalisatie ook inschakelen nadat u één of meer versies hebt uitgevoerd met de instelling uit.

Hyperparameter-optimalisatie is een instelling die handig kan zijn om in te schakelen tijdens het verfijningsproces van het model. Over het algemeen wordt niet aanbevolen om deze instelling te activeren voor de eerste versie van het experiment.

U kunt ook wijzigen of u wel of geen tijdbewuste training wilt gebruiken, of u kunt de kolom wijzigen die wordt gebruikt als datumindex.

Doe het volgende:

1. Klik op Configuratie weergeven.

2. Klik indien nodig op Nieuwe versie om een nieuwe experimentversie te configureren.

3. In het venster vouwt u Modeloptimalisatie uit.

4. Schakel tussen de instellingen Intelligent en Handmatig om intelligente modeloptimalisatie in of uit te schakelen.

5. Als u de hyperparameter-optimalisatie wilt activeren, klik dan op het selectievakje Hyperparameter-optimalisatie en stel een maximum trainingstijd in.

6. Onder Splitsing tijdgebaseerde test-training kunt u de instellingen voor tijdbewuste training wijzigen:

   1. Om tijdbewuste training in te schakelen, wijzigt u de standaardwaarde van Geen door een specifieke Datum-indexkolom in de gegevensverzameling te selecteren.

   2. Om tijdbewuste training uit te schakelen, stelt u de Datumindex in op de waarde Geen.

   3. Wijzig de geselecteerde Datumindexkolom in een andere kolom.

Experimentversies verwijderen

U kunt experimentversies die u niet wilt bewaren, verwijderen. Let wel op, want dan worden ook alle modellen in die experimentversies verwijderd en dat kan niet ongedaan worden gemaakt.

Doe het volgende:

1. Ga naar het tabblad Modellen.

2. Selecteer een model uit de experimentversie die u wilt verwijderen in de tabel Modelstatistieken.

   TipU kunt ook een model selecteren als u het tabblad Gegevens of Analyseren hebt geopend via de vervolgkeuzelijst in de werkbalk.

3. Klik rechtsonderaan op <versienummer> verwijderen.

4. Klik in het bevestigingsdialoogvenster op Verwijderen.