배포된 모델에서 데이터 드리프트 모니터링

ML 배포의 데이터 드리프트 모니터링 창에서 소스에 배포된 모델에 대한 데이터 드리프트를 분석할 수 있습니다. 데이터 드리프트 모니터링을 통해 모델을 교육하는 데 사용된 하나 이상의 기능 분포에 대한 변경 내용을 식별할 수 있습니다.

계산된 기능 드리프트가 0.25 값을 넘어서는 경우 최신 데이터로 모델을 다시 학습시키거나 원래 기계 학습 질문이 크게 변경된 경우 새 모델을 구성하는 것이 좋습니다.

AutoML에서의 데이터 드리프트 계산

Qlik AutoML에서 데이터 드리프트는 PSI(인구 안정 지수)로 계산됩니다.

PSI 값을 살펴보면 기능에 대한 상당한 데이터 드리프트를 식별할 수 있습니다. PSI 값이 0.25보다 크거나 같으면 모델을 다시 교육시키거나 새로운 실험을 만드는 것이 좋습니다.

데이터 드리프트 분석 시작

다음과 같이 하십시오.

1. ML 배포를 엽니다.

2. 왼쪽 패널에서 데이터 드리프트 모니터링을 선택합니다.

3. 포함된 분석이 생성됩니다. Feature Drift 시트에 머물러 데이터 드리프트 분석을 수행합니다.

분석의 가용성

분석을 열면 데이터 드리프트에 대한 새로운 계산이 즉시 생성되지 않습니다. 데이터 드리프트 계산은 매일 오후 4시 30분 UTC에 한 번 생성됩니다.

포함된 분석 탐색

대화형 인터페이스를 사용하면 포함된 분석 기능으로 배포된 모델을 분석할 수 있습니다.

시트 간 전환

시트 패널을 사용하면 분석 시트 간에 전환할 수 있습니다. 각 시트에는 특정 초점이 있습니다. 필요에 따라 패널을 확장하고 축소할 수 있습니다.

Feature Drift 시트에는 데이터 드리프트에 대한 모든 정보가 포함되어 있습니다. Operations 시트로 전환하면 ML 배포 사용량을 모니터링할 수 있습니다. 자세한 내용은 배포된 모델 작업 모니터링을 참조하십시오.

선택하기

데이터를 구체화하려면 선택을 사용합니다. 기능과 해당 값이나 범위를 선택하고, 특정 날짜와 중요성 범위로 필터링할 수 있습니다. 어떤 경우에는 시각화를 표시하기 위해 하나 이상의 항목을 선택해야 할 수도 있습니다. 시각화에서 데이터 값을 클릭하여 선택합니다.

다음을 통해 선택 항목을 작업할 수 있습니다.

• 콘텐츠를 클릭하고, 범위를 정의하고, 그려서 값을 선택합니다.

• 차트 내에서 검색하여 값을 선택합니다.

• 포함된 분석 상단의 도구 모음에서 선택한 필드를 클릭합니다. 이를 통해 기존 선택 항목을 검색하고 잠그거나 잠금 해제하고 추가로 수정할 수 있습니다.

• 포함된 분석 상단의 도구 모음에서 을 클릭하여 선택 항목을 제거합니다. 아이콘을 클릭하여 모든 선택을 해제합니다.

• 및 을 클릭하여 선택의 이전 및 다음 단계로 이동합니다.

중요성과 함께 기능 드리프트 분석

Feature drift vs importance 차트를 사용하여 기능 드리프트와 permutation importance를 함께 분석합니다. 중요성의 패턴이 변경 내용하는 것과 동시에 드리프트의 변경 내용이 발생하는 경우를 식별할 수 있습니다. 이 두 가지 메트릭을 함께 살펴보면 새롭게 나타나는 패턴을 발견하고 데이터에 영향을 미치는 추세를 더 깊이 이해할 수 있습니다.

드리프트 점수가 모델 성능에 미치는 영향을 알아보려면 AutoML에서의 데이터 드리프트 계산을 참조하십시오.

시간 경과에 따른 기능 드리프트 모니터링

Feature drift over time 차트에서 각 드리프트 계산에 대한 타임라인을 보고 새로운 예측이 생성됨에 따라 시간 경과에 따라 발생한 변경 내용을 분석합니다.

기능이 상당한 드리프트를 보일 때를 나타내기 위해 PSI 값이 0.25인 참조선이 추가되었습니다. 드리프트 점수가 모델 성능에 미치는 영향에 대해 자세히 알아보려면 AutoML에서의 데이터 드리프트 계산을 참조하십시오.

기능 분포 보기

Value distribution 차트는 모델로 생성된 최신 예측에 사용된 데이터 집합과 교육 데이터 집합 간의 기능 값 분포를 비교하는 데 유용합니다. 어떤 기능의 범위가 드리프트의 영향을 가장 많이 받고, 가장 적게 받는지 식별할 수 있습니다.

파란색 막대는 각 범위에 속하는 최신 적용 데이터 집합의 값의 백분율을 나타냅니다. 보라색 원 도형의 표식은 각 범위에 속하는 교육 데이터 집합의 값의 백분율을 보여 줍니다. 막대의 높이와 표식의 위치 사이에 큰 차이가 보이면 범위가 드리프트의 영향을 받았을 가능성이 높습니다.