SaaS 응용 프로그램에 연결

Qlik Talend Data Integration에서 수많은 SaaS 응용 프로그램의 데이터를 가져오거나 복제할 수 있습니다.

지원되는 모든 응용 프로그램을 보려면 Supported SaaS applications로 이동하십시오.

계속 증가하는 클라우드 응용 프로그램 소스를 위한 커넥터를 빠르게 개발하기 위해 Qlik은 표준 API 및 생성 AI 기술을 사용하여 Qlik Talend Data Integration용 응용 프로그램 커넥터를 만들고 있습니다.

커넥터 분류

새로운 커넥터의 가용성을 가속화하기 위해 먼저 특정 사용 사례에 대한 일부 커넥터를 개발한 후 Lite 레이블 또는 으로 표시하여 릴리스할 예정입니다.

Lite 커넥터에는 간소화된 일반 공급(GA) 프로세스가 있지만 주요 데이터 무결성, 보안 및 안정성 문제에 대해서는 다른 커넥터와 동일한 서비스 수준 계약(SLA)을 따르십시오. Lite 커넥터가 일반 안정화 버전으로 출시되면 Qlik에서 완전히 지원됩니다.

Qlik가 고객으로부터 충분한 피드백을 수집하고 추가 사용 사례의 유효성을 검사할 수 있게 되면 Lite 커넥터가 표준 커넥터로 업그레이드됩니다.

SaaS 응용 프로그램에 연결

SaaS 응용 프로그램에 연결하려면 사용 사례에 따라 데이터 이동 게이트웨이 설정이 필요할 수 있습니다. 자세한 내용은 데이터 이동 게이트웨이는 언제 필요합니까?을 참조하십시오.

1. SaaS 응용 프로그램에 연결하는 첫 번째 단계는 데이터 소스에 연결을 추가하는 것입니다. 여러 가지 방법으로 이를 수행할 수 있습니다.

   • 연결에서 연결 만들기를 클릭합니다.

   • 소스 연결이 나열되는 위치(예: 데이터 작업 설정 마법사)에서 연결 만들기를 클릭합니다.

   SaaS 응용 프로그램 커넥터에 대한 커넥터 목록을 필터링하려면 범주에서 응용 프로그램을 선택합니다.

   최근에 사용한 커넥터 중에서 선택할 수도 있습니다.

2. 연결할 응용 프로그램을 선택합니다.

3. 연결 세부 정보를 완료하여 연결을 인증합니다. 연결 세부 정보 및 인증 프로세스는 SaaS 응용 프로그램마다 다릅니다.

   자세한 내용을 보려면 SaaS 응용 프로그램에 연결로 이동하여 데이터 소스를 선택합니다.

   연결 메타데이터 열기를 선택하고 준비가 되면 만들기를 클릭합니다.

4. 연결에 대한 메타데이터를 정의할 수 있는 메타데이터 관리자가 표시됩니다.

   소스 데이터 샘플링을 기반으로 메타데이터를 만들려면 메타데이터 만들기을 클릭합니다.

   메타데이터 로드에 대한 자세한 내용은 메타데이터 생성을 위한 데이터 검색을 참조하십시오.

   팁 메모메타데이터 가져오기를 클릭하여 이미 생성된 메타데이터 정의를 가져올 수도 있습니다. 자세한 내용은 메타데이터 내보내기 및 가져오기를 참조하십시오.

5. 사용할 소스 데이터 집합을 선택한 다음 확인을 클릭합니다.

6. 데이터 검색 옵션을 선택합니다. 전체 검사 또는 빠른 검사를 수행할 수 있습니다.

   전체 검색은 더 정확하지만 처리하는 데 시간이 오래 걸릴 수 있습니다. 전체 검색을 선택하면 데이터 랜딩 시 초기 로드에서 이 데이터가 사용됩니다.

   기본 메타데이터 설정을 지정할 수도 있습니다.

   준비가 되면 메타데이터 생성을 클릭합니다.

메타데이터 생성이 완료되면 랜딩 또는 온보딩 작업에서 연결을 사용할 수 있습니다.

변경 처리 중

데이터 작업의 설정에서 사용할 업데이트 방법을 설정할 수 있습니다. 데이터 작업이 준비된 후에는 업데이트 방법을 변경할 수 없습니다. 사용할 수 있는 업데이트 방법은 작업이 데이터 레이크에 데이터 랜딩, 복제 또는 랜딩을 위한 것인지에 따라 달라집니다.

랜딩 방법 업데이트

• 데이터 변경 내용 캡처(CDC)

  랜딩은 전체 로드로 시작됩니다. 랜딩 데이터는 날짜 필드를 기반으로 하는 증분 로드를 사용하여 최신 상태로 유지됩니다. CDC는 일부 데이터 소스에서는 지원되지 않을 수 있습니다.

  정보 메모DELETE 작업은 지원되지 않습니다. 즉, 소스에서 행을 삭제해도 랜딩 데이터에서는 삭제되지 않습니다. 삭제 처리가 중요한 경우 대신 다시 로드 및 비교를 사용합니다.

  데이터 이동 게이트웨이를 사용할 때 설정 > 런타임에서 소스에서 변경 내용을 읽는 간격을 설정합니다. 데이터 이동 게이트웨이가 없는 경우 스케줄러를 사용하여 간격을 설정합니다. 자세한 내용은 데이터 이동 게이트웨이가 없을 때 CDC 작업 예약을 참조하십시오.

• 다시 로드 및 비교

  랜딩은 소스에서만 전체 로드를 수행합니다. 예를 들어, 소스가 CDC를 지원하지 않거나 DELETE 작업(CDC에서 지원하지 않음)을 대상에 전파하려는 경우에 유용합니다. 다시 로드 및 비교는 지원되는 모든 데이터 소스에서 사용할 수 있으며 주기적으로 발생하도록 예약할 수 있습니다.

데이터베이스 또는 데이터 웨어하우스 대상에 복제할 때 업데이트 방법

• 전체 로드: 선택한 소스 테이블의 데이터를 대상 플랫폼으로 로드하고 필요한 경우 대상 테이블을 만듭니다. 전체 로드는 작업이 시작될 때 자동으로 발생하지만 필요한 경우 수동으로 수행할 수도 있습니다.

• 변경 내용 적용: 소스 테이블에 대한 변경 내용으로 대상 테이블을 최신 상태로 유지합니다.

• 변경 내용 저장: 변경 테이블(소스 테이블당 하나)에 소스 테이블에 대한 변경 내용을 저장합니다.

  자세한 내용은 변경 내용 저장을 참조하십시오.

데이터 이동 게이트웨이 작업 시 변경 내용은 거의 실시간으로 소스에서 캡처됩니다. 데이터 이동 게이트웨이 없이 작업하는 경우(예: Qlik Talend Cloud 시작 구독) 변경 내용은 스케줄러 설정에 따라 캡처됩니다. 기본 변경 내용 캡처 간격은 6시간입니다. 자세한 내용은 데이터 이동 게이트웨이 없이 작업할 때 작업 예약을 참조하십시오.

클라우드 저장소(데이터 레이크)에 복제할 때 방법 업데이트

• 데이터 변경 내용 캡처(CDC): 데이터 레이크 랜딩 작업은 전체 로드로 시작됩니다(선택한 모든 테이블이 랜딩되는 동안). 랜딩된 데이터는 CDC(데이터 변경 내용 캡처) 기술을 사용하여 최신 상태로 유지됩니다.

  정보 메모DDL 작업의 CDC(데이터 변경 내용 캡처)는 지원되지 않습니다.

  데이터 이동 게이트웨이 작업 시 변경 내용은 거의 실시간으로 소스에서 캡처됩니다. 데이터 이동 게이트웨이 없이 작업하는 경우 스케줄러 설정에 따라 변경 내용이 캡처됩니다. 기본 변경 내용 캡처 간격은 매시간입니다. 자세한 내용은 데이터 이동 게이트웨이 없이 작업할 때 작업 예약을 참조하십시오.

• 다시 로드: 선택한 소스 테이블의 데이터를 대상 플랫폼으로 전체 로드하고 필요한 경우 대상 테이블을 만듭니다. 전체 로드는 작업이 시작될 때 자동으로 발생하지만 수동으로 수행하거나 필요에 따라 주기적으로 발생하도록 예약할 수도 있습니다.

제한 사항

SaaS 응용 프로그램에서 반환된 일부 테이블은 데이터 변경 내용 캡처(CDC)에서 지원되지 않습니다. 이 경우 유효성 검사 오류에 경고 메시지가 표시됩니다. 다음 중 하나를 수행할 수 있습니다.

• 데이터 작업에서 테이블을 삭제합니다.

• 데이터 작업의 업데이트 방법을 다시 로드 및 비교로 변경합니다.

메타데이터 관리

데이터 소스에 대한 연결을 만들 때 포함된 데이터 집합에 대한 메타데이터도 정의해야 합니다. 메타데이터는 적절한 대상 테이블을 정규화하고 정의하기 위해 스키마를 생성할 때 사용됩니다. 메타데이터를 사용하면 대상에 대한 복제에 사용할 열을 선택할 수 있습니다. 중첩 구조가 소스에서 반환되면 출력 테이블이 정규화되어 데이터의 세분성을 유지합니다.

다음 중 하나를 수행할 수 있습니다.

• 소스 테이블에서 데이터를 샘플링하여 메타데이터 생성

• 동일한 유형의 데이터 소스와의 연결에서 내보낸 메타데이터를 가져옵니다.

연결에서 관리하려는 연결에서 메타데이터를 클릭하여 연결의 메타데이터를 관리할 수 있습니다.

메타데이터 생성을 위한 데이터 검색

메타데이터를 생성할 때 메타데이터 로드에서 전체 데이터 검색 또는 빠른 검색을 수행하도록 선택할 수 있습니다.

• 전체 데이터 검색은 더 정확하지만 처리하는 데 시간이 오래 걸릴 수 있습니다.

• 빠른 데이터 검색은 데이터 샘플을 기반으로 합니다. 이는 더 빠르지만 정확하지는 않습니다. 데이터 샘플 수로 검색에 사용할 데이터 샘플 수를 선택할 수 있습니다. 정확도를 높이려면 숫자를 늘리십시오.

  데이터 샘플에 포함된 레코드 수는 사용되는 데이터 소스에 따라 다릅니다.

문자열 열 크기 설정 방법을 선택할 수도 있습니다.

• 고정

  1에서 10000 사이의 고정 문자열 열 크기를 설정합니다.

• 데이터 값 기반

  문자열 열 크기를 데이터 샘플의 필드에 대해 관찰된 가장 긴 값으로 설정하고 Multiplied by의 값을 곱합니다.

  샘플의 모든 행에 대해 필드가 비어 있는 경우 열 문자열 크기는 값이 없을 때 기본 크기의 값으로 설정됩니다.

데이터 집합 선택

메타데이터에 데이터 집합을 추가할 수 있습니다.

• 데이터 집합 선택을 클릭합니다.

  이제 메타데이터에 추가할 데이터 집합을 선택할 수 있습니다. 데이터 집합이 메타데이터에 이미 포함되어 있으면 다시 로드됩니다.

  완료되면 확인을 클릭합니다.

데이터 집합 삭제

• 메타데이터에서 데이터 집합을 삭제하려면 데이터 집합에서 ...를 클릭하고 삭제를 클릭합니다.

데이터 집합의 열 편집

데이터 집합의 열을 편집하여 키로 설정하거나 null을 허용하거나 데이터 유형을 변경할 수 있습니다.

1. 데이터 집합을 선택합니다.

2. 편집할 열을 선택합니다.

3. 편집을 클릭합니다.

데이터 집합에서 열 삭제

1. 데이터 집합을 선택합니다.

2. 삭제할 열을 선택합니다.

3. 삭제를 클릭합니다.

메타데이터 내보내기 및 가져오기

연결에서 메타데이터를 내보내고 다른 연결로 가져올 수 있습니다.

• 메타데이터를 내보내려면 메타데이터 내보내기를 클릭합니다.

• 내보낸 메타데이터 파일에서 메타데이터를 추가하려면 메타데이터 가져오기를 클릭합니다. 메타데이터 파일은 동일한 유형의 데이터 소스에서 내보낸 것이어야 합니다. 이름이 같은 테이블이 있는 경우 가져올 때 건너뛰거나 기존 메타데이터를 덮어쓸 수 있습니다.

메타데이터 다시 로드

소스 데이터에 구조적 변경이 있는 경우 연결의 메타데이터를 다시 로드해야 합니다.

• 모든 데이터 집합의 메타데이터를 다시 로드하려면 메타데이터 다시 로드를 클릭합니다.

• 특정 데이터 집합을 다시 로드하려면 데이터 집합에서 ...를 클릭하고 메타데이터 다시 로드를 클릭합니다.

메타데이터 로드에 대한 자세한 내용은 메타데이터 생성을 위한 데이터 검색을 참조하십시오.