De prestaties van het model in de loop van de tijd evalueren

Nadat u een aantal modellen voor machine learning hebt getraind en de beste hebt geïmplementeerd, begint u met het maken van voorspellingen op basis van productiegegevens. Het is belangrijk om de prestaties van uw model voortdurend te evalueren om er zeker van te zijn dat het nog steeds betrouwbare voorspellingen genereert, en dat de gegevens op basis waarvan het getraind is nog steeds relevant zijn.

Factoren die belangrijk zijn om te controleren

Operationele behoeften

Uw voorspellende gebruik zal na verloop van tijd waarschijnlijk veranderen. Veranderingen kunnen klein of groot zijn. U zult moeten beoordelen of uw model nog steeds waarde biedt met de huidige configuratie. Als uw machine learning-vraag aanzienlijk is veranderd sinds u uw modellen voor het eerst trainde, is het aan te raden om opnieuw te beginnen met het definiëren van uw vraag en gegevensverzameling.

Invoergegevens en juistheid van voorspellingen

Het is gebruikelijk dat distributies en trends in de invoergegevens in de loop van de tijd veranderen. Wat ooit een bepalende kwaliteit van uw trainingsgegevens was, is misschien niet langer relevant, of kan zelfs een nog grotere impact hebben. Misschien ontdekt u dat er nieuwe variabelen zijn die de voorspelde uitkomsten beïnvloeden en die als nieuwe functies in uw model moeten worden opgenomen. Op dezelfde manier dragen bepaalde functies misschien niet meer substantieel genoeg bij aan de resultaten om in het model opgenomen te worden.

Het is belangrijk om uw gegevens te controleren op de hoeveelheid drift tussen uw initiële trainingsgegevens en de laatste beschikbare gegevens. Als de drift voor bepaalde functies een drempel begint te bereiken die niet langer acceptabel is, is het tijd om nieuwe gegevens te verzamelen en uw model opnieuw te trainen, of om te beginnen met een nieuwe definitie van uw machine learning-probleem. Voor meer informatie over gegevensdrift gaat u naar Gegevensdrift.

Als u merkt dat het model niet meer voorspelt met de juistheid waarmee het aanvankelijk voorspelde, moet u opnieuw beoordelen wat u moet veranderen om het model weer acceptabel te laten presteren. U kunt er bijvoorbeeld achter komen dat de juistheid van het model wordt beïnvloed door fouten tijdens het verzamelen van gegevens.

Modellen hertrainen

Naarmate er meer historische gegevens beschikbaar komen, en ongeacht of uw prestaties zijn afgenomen, is het onvermijdelijk dat u uw modellen opnieuw moet trainen om de meest actuele informatie weer te geven.

Gegevensdrift monitoren

AutoML heeft ingebouwde functionaliteit beschikbaar om u te helpen bij het detecteren van functieafwijkingen voor uw geïmplementeerde modellen. Ga voor meer informatie naar Gegevensdrift in geïmplementeerde modellen bewaken.

Volgende stappen

Afhankelijk van hoe wezenlijk uw gebruikssituatie en de invoergegevens veranderd zijn, kunt u een of meer van de volgende mogelijkheden overwegen:

• Hertrain modellen binnen hetzelfde experiment, met nieuwe gegevens. Als uw machine learning probleem niet wezenlijk veranderd is, biedt deze optie verschillende voordelen. U kunt met name modellen van alle experimentversies in detail vergelijken binnen hetzelfde experiment. Ga voor meer informatie naar De gegevensverzameling wijzigen en vernieuwen.

• Als het oorspronkelijke machine learning-probleem dat u aanvankelijk definieerde niet langer relevant is, kan het zinvol zijn om een geheel nieuw experiment te maken. Dit hangt grotendeels af van uw gebruikssituatie.