데이터 작업 문제 해결

이 섹션에서는 데이터 작업으로 작업할 때 발생할 수 있는 문제와 문제 해결 방법에 대해 설명합니다.

환경 오류 문제 해결

데이터 작업에 환경 오류(예: 시간 초과, 네트워크 오류 또는 연결 오류)가 발생하면 데이터 작업이 자동으로 작업을 다시 시도합니다. 다시 시도 후에도 오류가 해결되지 않으면 데이터 작업 실행이 중지되고 오류 메시지와 함께 오류 상태가 표시됩니다.

• 데이터 이동 게이트웨이을 통해서만 액세스할 수 있는 데이터 소스가 있는 랜딩 작업:

  이 작업은 5초 간격으로 무제한 재시도됩니다.

  중단 시간이 긴 경우에는 간격이 두 배가 됩니다(1800초 간격에 도달할 때까지).

• 데이터 이동 게이트웨이 없이 액세스할 수 있는 데이터 소스가 있는 랜딩 작업, 저장소 작업, 변환 작업 및 데이터 마트 작업:

  이 작업은 1초 간격으로 3번 재시도됩니다.

다음과 같이 하십시오.

1. 오류 메시지를 사용하여 오류를 해결합니다.

2. 데이터 작업의 작업을 다시 로드하거나 재개합니다.

특정 테이블 문제 해결

특정 테이블에 쓰는 동안 데이터 작업에 오류가 발생하면 데이터 작업이 계속 실행됩니다. 오류가 있는 테이블은 오류 메시지와 함께 오류 상태를 표시합니다.

1. 오류 메시지를 사용하여 오류를 해결합니다.

2. 오류가 발생한 테이블을 다시 로드합니다.

CDC 문제 해결

전체 로드 및 CDC 업데이트 모드로 데이터 작업을 시작하면 전체 작업에 영향을 주고 특정 테이블을 다시 로드하여 해결할 수 없는 CDC 관련 문제가 발생할 수 있습니다. 문제의 예로 이벤트 누락, 소스 데이터베이스 재구성으로 인한 문제 또는 소스 데이터베이스 이벤트 읽기 실패 등이 있습니다.

이러한 문제를 해결하려면 모든 테이블을 대상에 다시 로드할 수 있습니다.

1. 데이터 작업과 이를 사용하는 모든 작업을 중지합니다.

2. 데이터 작업을 열고 모니터링 탭을 선택합니다.

3. ...를 클릭한 다음 대상 다시 로드를 클릭합니다.

그러면 Drop-Create를 사용하여 모든 테이블이 대상에 다시 로드되고 지금부터 모든 데이터 변경 내용 캡처가 다시 시작됩니다.

• 데이터 랜딩 작업을 소비하는 저장소 작업은 비교를 통해 다시 로드되고 다음 실행 시 적용되어 동기화됩니다. 기존 기록은 유지됩니다. 유형 2 기록은 다시 로드 및 비교 프로세스가 실행된 후 변경 내용을 반영하도록 업데이트됩니다.

  유형 2 기록의 시작 날짜에 대한 타임스탬프는 다시 로드 날짜를 반영하며 반드시 소스에서 변경이 발생한 날짜는 아닙니다.

• 대상 다시 로드 작업 중에는 저장소가 동기화될 때까지 저장소 라이브 보기를 신뢰할 수 없습니다. 다음과 같은 경우 저장소가 완전히 동기화됩니다.

  • 모든 테이블은 비교 및 적용을 사용하여 다시 로드됩니다.

  • 각 테이블에 대해 한 번의 변경 주기가 수행됩니다.

자세한 내용은 모든 테이블을 대상으로 다시 로드를 참조하십시오.

기본 키 열의 NULL 값

데이터 작업을 실행할 때 Unknown execution error - NULL result in a non-nullable column 오류 메시지가 표시될 수 있습니다.

가능한 원인  

기본 키로 사용되는 열은 NULL 값을 포함해서는 안 되며 null을 허용하지 않아야 합니다.

제안 조치  

소스 데이터 작업에서 모든 NULL 값을 값(예: 0)으로 변환하는 표현식을 추가합니다.

기본 키로 사용할 다른 열을 선택할 수도 있습니다.

Redshift를 데이터 플랫폼으로 사용할 때 발생하는 캐스팅 오류

Redshift를 데이터 플랫폼으로 사용할 때 다음과 같은 오류 또는 이와 유사한 오류가 발생할 수 있습니다. "알 수 없음"에서 다양한 문자로의 변환 함수를 찾지 못함

가능한 원인  

상수 표현식의 캐스팅이 누락되었습니다. 이는 최종 쿼리의 복잡성이 더 높기 때문에 데이터 마트에서 더 자주 발생할 수 있습니다.

제안 조치  

상수 표현식을 텍스트로 캐스팅합니다.

데이터 이동 게이트웨이 기반 데이터 작업 문제 해결

데이터 이동 게이트웨이를 기반으로 한 데이터 작업에 대한 랜딩 작전에 대한 정보는 로그 파일을 검사하여 얻을 수 있습니다. 로깅 수준을 설정할 수도 있습니다. 데이터 작업이 첫 번째 실행을 완료하면 로그를 사용할 수 있습니다.

로그 파일을 보려면 데이터 작업이 있는 공간에 대해 다음 권한 중 하나가 필요합니다.

• 소유자

• 작동할 수 있음

또한 데이터 게이트웨이가 있는 공간에 대해 다음 권한 중 하나가 필요합니다.

• 소비할 수 있음
• 편집할 수 있음
• 관리할 수 있음

로그 파일 보기

데이터 이동 게이트웨이를 기반으로 하는 랜딩 데이터 작업의 로그 보기를 클릭하여 로그 뷰어를 엽니다. 복제 엔진 로그에서 볼 로그 파일을 선택할 수 있습니다. 및 을 사용하여 파일의 상단과 하단으로 스크롤할 수 있습니다.

로깅 옵션 설정

로깅 옵션에서 다양한 복제 작업에 대한 로깅 수준을 설정할 수 있습니다.

메모리에 추적 및 자세한 로깅 저장

로깅 수준이 "추적" 또는 "세부 정보"로 설정된 경우 오류가 발생할 때까지 로깅 정보를 메모리에 저장하도록 Qlik Talend Data Integration에 지시할 수 있습니다. 오류가 감지되면 Qlik Talend Data Integration는 물리적 로그에 쓰기 시작하고 처음 오류가 발생한 후 몇 분 동안 계속해서 쓰기를 시작합니다.

할당된 메모리를 모두 사용하기 전에 오류가 발생하지 않으면 Qlik Talend Data Integration는 메모리 버퍼를 비우고 새로 시작합니다.

이 옵션은 예측할 수 없고 뚜렷한 이유 없이 실패하는 작업에 유용합니다. 로그에 지속적으로 많은 양의 정보를 기록할 때 발생하는 문제는 두 가지입니다.

• "추적" 또는 "세부 정보" 로깅 모드에서 실행하면 사용할 수 있는 디스크 공간이 빨리 소모됩니다(로깅 설정이 이를 방지하도록 구성되지 않은 경우).
• 로그에 계속해서 많은 양의 데이터를 쓰면 성능에 영향을 미칩니다.

이 옵션을 사용하려면

1. 메모리에 추적/자세한 로깅 저장을 선택하고, 오류가 발생하면 탭 상단의 로그 확인란에 기록합니다.
2. 최대 메모리 할당(MB) 필드에서 로깅 정보 저장을 위해 할당할 메모리 양을 지정합니다.

로깅 수준 설정

다음 수준을 설정할 수 있습니다.

• 1. 오류

  오류 메시지를 표시합니다.

• 2. 경고

  경고를 표시합니다.

• 3. 정보

  정보 메시지를 표시합니다.

• 4. 디버그

  문제 해결을 위해 추가 정보를 표시합니다.

• 5. 자세한 디버그

  문제 해결을 위해 자세한 정보를 표시합니다.

높은 수준에는 항상 낮은 수준의 메시지가 포함됩니다. 따라서 Error를 선택하면 오류 메시지만 로그에 기록됩니다. 그러나 Info를 선택하면 정보 메시지, 경고 및 오류 메시지가 포함됩니다. 일반적으로 Debug 및 Detailed debug 수준을 사용하면 많은 양의 로그 데이터가 생성될 수 있습니다.

Global를 사용하여 모든 작업에 대해 동일한 수준을 설정하거나 각 작업에 대해 개별적으로 수준을 설정할 수 있습니다.

• 소스 - 전체 로드

  데이터 소스의 전체 로드 작업과 관련된 활동을 로깅합니다. 여기에는 전체 로드 전에 소스 테이블에 대해 실행된 SELECT 문이 포함됩니다.

• 소스 - CDC

  데이터 소스의 CDC 작업과 관련된 활동을 로깅합니다.

  경고 메모이를 세부 디버그 수준으로 설정하면 로그에 매우 많은 양의 데이터가 생성됩니다.

• 소스 – 데이터

  전체 로드 및 CDC 작업과 관련된 데이터 소스 활동의 자세한 로깅입니다.

• 대상 - 전체 로드

  대상의 전체 로드 작업과 관련된 활동을 로깅합니다.

• 대상 - CDC

  대상의 CDC 작업과 관련된 활동을 로깅합니다.

• 대상 – 업로드

  파일이 대상으로 전송될 때 활동을 로깅합니다.

• 확장된 CDC

  트랜잭션의 동기화 및 저장과 같은 CDC 활동의 자세한 로깅입니다.

• 성능

  소스 및 대상에 대한 지연 시간 값을 로깅합니다.

• 메타데이터

  메타데이터 읽기 및 메타데이터 변경과 관련된 활동을 로깅합니다. 복제 작업의 상태도 로깅됩니다.

• 인프라

  인프라 정보, 파일 시스템 작업 및 작업 관리를 로깅합니다.

• 변환

  수행된 변환과 관련된 정보를 로깅합니다.

진단 파일 다운로드

랜딩 작업과 관련된 복제 작업의 문제를 해결할 때 도움이 되는 진단 패키지, 작업 로그 및 메모리 보고서를 다운로드할 수 있습니다. 한 번에 하나의 항목만 다운로드할 수 있습니다.

1. 로그 뷰어에서 다운로드를 클릭하여 확장합니다.

2. 다운로드할 항목을 선택합니다.

3. 다운로드를 클릭합니다.

   브라우저 설정에 따라 파일이 컴퓨터에 다운로드되거나 저장하라는 메시지가 표시됩니다.

데이터 이동 게이트웨이를 사용하지 않는 데이터 작업 문제 해결

로그 파일을 검사하여 데이터 이동 게이트웨이을 사용하지 않는 데이터 작업의 랜딩 작업에 대한 정보를 가져올 수 있습니다. 로깅 수준을 설정할 수도 있습니다. 데이터 작업이 첫 번째 실행을 완료하면 로그를 사용할 수 있습니다. 작업 로그와 서버 로그를 볼 수 있습니다.

작업 로그 보기

작업 로그 파일을 보려면 데이터 작업이 있는 공간에 대해 다음 권한 중 하나가 필요합니다.

• 소유자

• 작동할 수 있음

또한 데이터 게이트웨이가 있는 공간에 대해 다음 권한 중 하나가 필요합니다.

• 소비할 수 있음
• 편집할 수 있음
• 관리할 수 있음

데이터 이동 게이트웨이를 사용하지 않는 랜딩 데이터 작업에서 작업 로그 보기를 클릭하여 로그 뷰어를 엽니다. 복제 엔진 로그에서 볼 로그 파일을 선택할 수 있습니다. 및 을 사용하여 파일의 상단과 하단으로 스크롤할 수 있습니다.

로깅 옵션에서 다양한 복제 작업에 대한 로깅 수준을 설정할 수 있습니다. 자세한 내용은 로깅 옵션 설정을 참조하십시오.

데이터 이동 로그 보기

데이터 이동 로그를 보려면 데이터 관리자 또는 테넌트 관리자 역할이 필요합니다.

데이터 이동 게이트웨이를 사용하지 않는 랜딩 데이터 작업에서 데이터 이동 로그 보기를 클릭하여 로그 뷰어를 엽니다. 로그에 대한 자세한 내용은 로그 파일 보기 및 다운로드를 참조하십시오.