Azure Synapse Analytics

데이터 파이프라인에서 Azure Synapse Analytics을 대상 데이터 플랫폼으로 사용할 수 있습니다. 데이터 파이프라인에서는 데이터 저장, 데이터 변환, 데이터 마트 만들기, 데이터 등록 등 다양한 ELT 작업을 대상 플랫폼에서 수행할 수 있습니다.

Azure Synapse Analytics을 대상으로 설정하려면 다음이 필요합니다.

• 전제 조건 충족
• 클라우드 스테이징 영역(Azure Data Lake Storage)에 대한 연결 구성. 기존 데이터를 등록하는 경우에는 필요하지 않습니다.
• Azure Synapse Analytics에 대한 연결 구성

클라우드 스테이징 영역 설정

또한 데이터와 변경 내용을 적용하고 저장하기 전에 준비하는 Azure Data Lake Storage 클라우드 스테이징 영역도 필요합니다. Azure Data Lake Storage에 대한 연결 설정에 대한 자세한 내용은 Azure Data Lake Storage을 참조하십시오.

Azure Synapse Analytics 연결 속성 설정

Azure Data Lake Storage 대상 설정을 제공한 후 다음을 수행합니다.

1. 연결에서 연결 만들기를 클릭합니다.

2. Azure Synapse Analytics 대상 커넥터를 선택한 후 다음 설정을 제공합니다.

데이터 대상

데이터 게이트웨이

데이터 이동 게이트웨이는 대상 데이터베이스가 Qlik Cloud에서 액세스할 수 없고 비공개 링크를 통해서만 액세스할 수 있는 경우에만 필요합니다(예를 들어, 또는 Virtual Private Cloud에 있는 경우). 이 경우 대상 데이터베이스에 액세스하려는 데이터 이동 게이트웨이를 선택합니다.

사용 사례에 따라 이는 데이터 소스에서 데이터를 배포하기 위해 동일하거나 다른 데이터 이동 게이트웨이가 배포되어 있습니다.

데이터 이동 게이트웨이 사용 사례에 대한 자세한 내용은 데이터 이동 게이트웨이는 언제 필요합니까? 및 일반적인 사용 사례를 참조하십시오.

Qlik Cloud에서 대상 데이터베이스에 직접 액세스할 수 있는 경우 없음을 선택합니다.

연결 속성

• 서버: Azure Synapse Analytics 데이터베이스의 위치를 식별하기 위한 호스트 이름입니다.

• 포트: Azure Synapse Analytics 데이터베이스에 액세스하는 데 사용되는 포트입니다. 기본값은 1433입니다.

계정 속성

사용자 이름 및 비밀번호: Azure Synapse Analytics 데이터베이스에 액세스하도록 권한 부여된 사용자의 사용자 이름 및 비밀번호입니다.

데이터베이스 속성

• 데이터베이스 이름: 데이터베이스를 지정하는 데 사용할 수 있는 두 가지 방법이 있습니다.

  • 방법 1 - 목록에서 선택: 이 방법을 사용하려면 사용자가 마스터 데이터베이스에 사용자를 만들어야 합니다. 데이터베이스 로드를 클릭한 다음 데이터베이스를 선택합니다.
  • 방법 2 - 수동: 데이터베이스 이름을 수동으로 입력을 선택한 다음 데이터베이스 이름을 입력합니다.

데이터 로드 속성

SQL Server 자격 증명은 런타임 중에 자동으로 만들어지거나(기본값) 기존 자격 증명을 사용할 수 있습니다. 다음 중 하나를 적절하게 수행합니다.

• SQL Server 자격 증명 만들기 확인란을 선택하면(기본값), 런타임 중에 SQL Server 자격 증명이 자동으로 만들어집니다. 액세스 키 필드에 액세스 키를 지정합니다.
• 기존 자격 증명을 사용하려면 SQL Server 자격 증명 만들기 확인란을 선택 해제하고 자격 증명 이름 필드에 SQL Server 자격 증명 이름을 지정합니다.

이름

연결의 표시 이름입니다.

전제 조건

권한

아래 설명과 같이 저장소 권한과 데이터베이스 권한을 모두 부여해야 합니다.

저장소 권한

Azure Synapse Analytics 커넥터에 지정된 사용자에게는 다음 저장소 권한이 부여되어야 합니다.

• ADLS Gen2 저장소 컨테이너: LIST
• ADLS Gen2 Storage 폴더에서: 읽기, 쓰기 및 삭제
• ADLS Gen2 파일 시스템에 대한 액세스 제어(IAM) 설정에서 "저장소 Blob 데이터 기여자" 역할을 데이터 이동 게이트웨이(AD 앱 ID)에 할당합니다. 역할이 적용되는 데 몇 분 정도 걸릴 수 있습니다.

데이터베이스 권한

Azure Synapse Analytics 커넥터에 지정된 사용자에게는 데이터베이스에 대한 다음 권한이 부여되어야 합니다.

• 일반 권한:

  • db_owner 역할

• 테이블 권한:

  • SELECT, INSERT, UPDATE 및 DELETE
  • 일괄 로드
  • CREATE, ALTER, DROP(작업 정의에 필요한 경우)

데이터베이스 선택

커넥터 대화 상자에서 데이터베이스 로드를 클릭하여 데이터베이스를 선택할 수 있으려면 커넥터 설정에 지정된 사용자가 마스터 데이터베이스에 만들어져야 합니다.

드라이버 설정

드라이버는 데이터 이동 게이트웨이를 통해 데이터베이스에 액세스하는 경우에만 필요합니다. 이러한 경우에는 데이터 이동 게이트웨이 컴퓨터에 드라이버를 설치해야 합니다.

드라이버 설치 유틸리티(권장)를 사용하거나 수동으로 driver를 설치할 수 있습니다. 수동 설치는 드라이버 설치 유틸리티에 문제가 발생하는 드문 경우에만 시도해야 합니다.

드라이버 설치 유틸리티를 사용하여 드라이버 설치

이 섹션에서는 필수 driver를 설치하는 방법에 대해 설명합니다. 이 프로세스에는 필수 driver를 자동으로 다운로드, 설치 및 구성하는 스크립트 실행이 포함됩니다. 필요에 따라 스크립트를 실행하여 driver를 업데이트하고 제거할 수도 있습니다.

설치 준비

• Python 3.6 이상이 데이터 이동 게이트웨이 서버에 설치되어 있는지 확인합니다.

  Python은 대부분의 Linux 배포에 사전 설치되어 있습니다. 다음 명령을 실행하여 시스템에 설치된 Python 버전을 확인할 수 있습니다.

  python3 --version

driver 설치

driver를 다운로드하고 설치하려면:

1. 데이터 이동 게이트웨이 서비스 중지:

   sudo systemctl stop repagent

2. 선택적으로 서비스가 중지되었는지 확인합니다.

   sudo systemctl status repagent

   상태는 다음과 같아야 합니다.

   Active: inactive (dead) since <timestamp> ago

3. 데이터 이동 게이트웨이 컴퓨터에서 작업 디렉터리를 다음으로 변경합니다.

   opt/qlik/gateway/movement/drivers/bin

4. 다음 명령을 실행합니다.

   구문:

   ./install sqlserver

   driver를 다운로드할 수 없는 경우(액세스 제한 또는 기술 문제로 인해) driver를 다운로드할 위치와 데이터 이동 게이트웨이 컴퓨터에서 복사할 위치를 알려 주는 메시지가 표시됩니다. 완료했으면 install sqlserver 명령을 다시 실행합니다.

   그렇지 않으면 driver에 대한 EULA가 표시됩니다.

5. 다음 중 하나를 수행합니다.

   • [Enter] 키를 반복해서 눌러 EULA를 천천히 스크롤합니다.
   • 스페이스바를 반복해서 눌러 EULA를 빠르게 스크롤합니다.
   • q를 눌러 라이센스 텍스트를 종료하고 EULA 동의 옵션이 표시됩니다.

6. 다음 중 하나를 수행합니다.

   • "y"를 입력하고 [Enter]를 눌러 EULA에 동의하고 설치를 시작합니다.
   • "n"을 입력하고 [Enter] 키를 눌러 EULA를 거부하고 설치를 종료합니다.

   • "v"를 입력하고 [Enter] 키를 눌러 EULA를 다시 봅니다.

driver가 설치됩니다.

7. 설치가 완료될 때까지 기다린 다음("완료!"로 표시됨) 데이터 이동 게이트웨이 서비스를 시작합니다.

   sudo systemctl start repagent

8. 선택적으로 서비스가 시작되었는지 확인합니다.

   sudo systemctl status repagent

   상태는 다음과 같아야 합니다.

   Active: active (running) since <timestamp> ago

driver 업데이트

제공된 driver를 설치하기 전에 driver의 이전 버전을 제거하려면 업데이트 명령을 실행합니다.

driver를 다운로드하고 업데이트하려면:

1. 데이터 이동 게이트웨이 서비스 중지:

   sudo systemctl stop repagent

2. 선택적으로 서비스가 중지되었는지 확인합니다.

   sudo systemctl status repagent

   상태는 다음과 같아야 합니다.

   Active: inactive (dead) since <timestamp> ago

3. 데이터 이동 게이트웨이 컴퓨터에서 작업 디렉터리를 다음으로 변경합니다.

   opt/qlik/gateway/movement/drivers/bin

4. 다음 명령을 실행합니다.

   구문:

   ./update sqlserver

   driver를 다운로드할 수 없는 경우(액세스 제한 또는 기술 문제로 인해) driver를 다운로드할 위치와 데이터 이동 게이트웨이 컴퓨터에서 복사할 위치를 알려 주는 메시지가 표시됩니다. 완료했으면 update sqlserver 명령을 다시 실행합니다.

   그렇지 않으면 driver에 대한 EULA가 표시됩니다.

5. 다음 중 하나를 수행합니다.

   • [Enter] 키를 반복해서 눌러 EULA를 천천히 스크롤합니다.
   • 스페이스바를 반복해서 눌러 EULA를 빠르게 스크롤합니다.
   • q를 눌러 라이센스 텍스트를 종료하고 EULA 동의 옵션이 표시됩니다.

6. 다음 중 하나를 수행합니다.

   • "y"를 입력하고 [Enter]를 눌러 EULA에 동의하고 설치를 시작합니다.
   • "n"을 입력하고 [Enter] 키를 눌러 EULA를 거부하고 설치를 종료합니다.
   • "v"를 입력하고 [Enter] 키를 눌러 EULA를 처음부터 검토합니다.

이전 driver가 제거되고 새 driver가 설치됩니다.

7. 설치가 완료될 때까지 기다린 다음("완료!"로 표시됨) 데이터 이동 게이트웨이 서비스를 시작합니다.

   sudo systemctl start repagent

8. 선택적으로 서비스가 시작되었는지 확인합니다.

   sudo systemctl status repagent

   상태는 다음과 같아야 합니다.

   Active: active (running) since <timestamp> ago

driver 제거

driver를 제거하려면 제거 명령을 실행합니다.

driver를 제거하려면:

1. 이 커넥터를 사용하도록 구성된 모든 작업을 중지합니다.

2. 데이터 이동 게이트웨이 컴퓨터에서 작업 디렉터리를 다음으로 변경합니다.

   opt/qlik/gateway/movement/drivers/bin

3. 다음 명령을 실행합니다.

   구문:

   ./uninstall sqlserver

   driver이 제거됩니다.

수동으로 드라이버 설치

자동 드라이버 설치가 성공적으로 완료되지 않은 경우에만 수동으로 driver 설치를 시도해야 합니다.

ODBC 드라이버와 JDBC 드라이버를 모두 설치해야 합니다.

ODBC 드라이버 설치

데이터 이동 게이트웨이을 설치한 후 msodbcsql<버전>.x86_64.rpm 드라이버를 다운로드합니다. /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml의 binary-artifacts에서 지원되는 버전에 대한 직접 다운로드 링크를 찾을 수 있습니다. 다운로드가 완료되면 RPM을 데이터 이동 게이트웨이 컴퓨터에 복사합니다.

Data Movement gateway 서버에서 셸 프롬프트를 열고 다음을 수행합니다.

1. Data Movement gateway 서비스 중지:

   sudo systemctl stop repagent

2. 선택적으로 서비스가 중지되었는지 확인합니다.

   sudo systemctl status repagent

상태는 다음과 같아야 합니다.

Active: inactive (dead) since <timestamp> ago

3. 드라이버(RPM)를 설치합니다.

4. 작업 디렉터리를 <제품 디렉터리>/bin으로 변경합니다.

5. 다음과 같이 드라이버 위치를 site_arep_login.sh 파일에 복사합니다.

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

   그러면 "LD_LIBRARY_PATH"에 드라이버가 추가되고 site_arep_login.sh 파일의 드라이버 위치가 업데이트됩니다.

6. 선택적으로 드라이버 위치가 복사되었는지 확인합니다.

   cat site_arep_login.sh

7. Data Movement gateway 서비스 시작:

   sudo systemctl start repagent

8. 선택적으로 서비스가 시작되었는지 확인합니다.

   sudo systemctl status repagent

   상태는 다음과 같아야 합니다.

   Active: active (running) since <timestamp> ago

9. Data Movement gateway에는 다음 ODBC 라이브러리가 필요합니다. msodbcsql-18.1.so.1.1

   현재 설치된 라이브러리 버전을 확인하려면 다음 명령을 실행합니다.

   ls /opt/microsoft/msodbcsql<version>/lib64/

   기존 라이브러리의 버전 번호가 다른 경우(예: libmsodbcsql-18.0.so.1.1) 기존 라이브러리와 필수 라이브러리 사이에 바로 가기 링크를 만들어야 합니다.

   이렇게 하려면 다음 명령을 실행합니다.

   cd /opt/microsoft/msodbcsql<version>/lib64/
   ln -s existing_library_name msodbcsql-18.1.so.1.1

   여기서 existing_library_name은 현재 설치된 라이브러리의 이름입니다(예: libmsodbcsql-18.0.so.1.1).

JDBC 드라이버 설치

1. mssql-jdbc-<버전>.jar 파일을 다운로드합니다. /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml의 binary-artifacts에서 지원되는 버전에 대한 직접 다운로드 링크를 찾을 수 있습니다. 다운로드가 완료되면 JAR 파일을 데이터 이동 게이트웨이 컴퓨터의 다음 폴더에 복사합니다.

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. 서비스 다시 시작에 설명된 명령을 실행하여 데이터 이동 게이트웨이 서비스를 다시 시작합니다.

포트

• 데이터 이동 게이트웨이가 Azure 외부의 컴퓨터에서 실행되는 경우 - 아웃바운드 통신을 위해 포트 1433을 엽니다.
• 데이터 이동 게이트웨이가 AzureVM에서 실행되는 경우 - 아웃바운드 통신을 위해 다음 포트를 엽니다.
  • 1433
  • 11000-11999
  • 14000-14999

제한 사항 및 고려 사항

Azure Synapse Analytics를 대상으로 사용하는 경우 다음 제한 사항 및 고려 사항을 검토해야 합니다.

• CHAR/VARCHAR 데이터 유형과 라틴어가 아닌 데이터 정렬(예: "Chinese_PRC_CI_AS")이 있는 소스 열은 NVARCHAR에 매핑되어야 합니다.

• 빈 소스 열 처리:

  • 값이 비어 있는 소스 이진 열(예: VARBINARY 또는 BLOB)을 이동하면 Qlik Talend Data Integration는 해당 대상 열에 NULL을 삽입합니다.

  정보 메모빈 값은 NULL이 아니지만 길이가 0인 데이터입니다.
• 1MB를 초과하는 레코드 이동은 지원되지 않습니다.
• 4바이트 이모지 문자가 포함된 데이터를 이동하려면 대상에서 데이터 유형이 와이드 문자열(예: NCHAR/NVARCHAR/NCLOB)이어야 합니다.

데이터 유형

다음 표는 Qlik Cloud를 사용할 때 지원되는 Azure Synapse Analytics 데이터 유형과 Qlik Cloud 데이터 유형의 기본 매핑을 보여 줍니다.

기본 데이터 유형 정보는 보존되며 데이터 집합 보기의 기본 데이터 유형 열에 표시됩니다. 열이 표시되지 않으면 데이터 집합 보기의 열 선택기를 열고 기본 데이터 유형 열을 선택해야 합니다.