Upgrading and uninstalling 데이터 이동 게이트웨이

Databricks 드라이버 브랜드 변경

Databricks와의 일관성을 유지하기 위해 Databricks 커넥터와의 연동을 위한 드라이버의 브랜드가 변경되었습니다.

새로운 Snowflake 및 Google BigQuery 드라이버 버전 지원

이번 버전에서는 다음 드라이버 버전에 대한 지원이 추가되었습니다.

• Snowflake: Snowflake ODBC 드라이버 3.15.0(64비트)

• Google BigQuery: Simba ODBC 드라이버 버전 3.1.6.1026

Databricks VARIANT 데이터 유형 지원

이번 버전부터 다음 데이터 유형이 Databricks의 기본 VARIANT 데이터 유형에 매핑됩니다.

• STRING

• WSTRING

• NCLOB

• CLOB

해결된 문제

• IBM DB2 for iSeries 소스

  작업을 다시 시작한 후 이진 십진수 열이 포함된 테이블에서 변경 내용을 캡처하면 작업이 중단됩니다.

• PostgreSQL 소스 - CDC 문제

  중지되기 1분 전에 변경 내용을 캡처하지 않은 작업을 다시 시작하면 변경 내용이 캡처되지 않습니다.

• SSH 커넥터 - 연결 테스트 문제

  SSH 커넥터에서 연결 테스트를 클릭해도 SSH에 문제가 있을 때 SSH 연결과 관련된 오류가 반환되지 않습니다.

• Snowflake 대상 - Snowpipe 스트리밍 문제

  Snowpipe 스트리밍을 로드 방법으로 사용할 때 매우 큰 테이블을 로드하면 과도한 양의 메모리가 소비되어 결국 작업이 충돌하고 로드 및 충돌 루프에 들어갑니다.

• Microsoft SQL Server(로그 기반) 소스 - 불분명한 오류

  필요한 로그가 포함되지 않은 대체 백업 폴더를 지정하면 작업이 경고를 발행하고 계속하는 대신 불분명한 메시지와 함께 중지됩니다.

• 보안

  org.apache.logging.log4j:log4j-core 구성 요소는 설치된 버전의 알려진 취약점으로 인해 2.25.3으로 업그레이드되었습니다.

• SAP ODP 소스 - 필터링 문제

  SAP ODP 필터는 CDC 전용 모드에서 실행되는 추출기에 정의될 때 SAP로 전달되지 않습니다.

• SAP ODATA 소스 - 필터링 문제

  단일 열에 둘 이상의 필터링 범위를 정의하면 전체 로드가 실패합니다.

확장된 병렬 로드 지원

병렬 로드 기능은 이제 Databricks 대상을 지원합니다.

데이터 집합 세그먼트를 병렬로 복제

DDL 기록 제어 테이블: 새로 지원되는 대상

DDL 기록 제어 테이블인 attrep_ddl_history에는 대상에 대한 복제 중에 소스에서 발생한 DDL 변경 기록이 포함됩니다.

다음 대상 엔드포인트가 이제 지원됩니다:

• Google BigQuery
• Google Cloud Alloy DB for PostgreSQL
• Google Cloud SQL for PostgreSQL
• PostgreSQL(온프레미스)

DDL 기록

“[header]__change_mask” 헤더 열에 대한 개선 사항

Parquet 형식으로 변경 테이블을 사용할 때, 헤더 열 [header]__change_mask는 이제 바이트를 역순으로 저장하는 little endian 규칙에 맞춰 (오른쪽 대신) 왼쪽에 0을 채웁니다.

영향을 받는 대상 엔드포인트:

• Amazon S3

• Google 클라우드 저장소

변경 테이블

새로 지원되는 데이터 소스 및 대상 버전

• Kafka 대상: 4.0.x

• IBM z/OS 소스: 3.2

새로 지원되는 드라이버 버전

• Microsoft ODBC 드라이버 18.5
• MySQL 8.4

Microsoft Azure Database for MySQL 및 Microsoft Azure Database for PostgreSQL에 대한 수명 종료

Microsoft에서 공식적으로 지원을 중단한 Microsoft Azure Database for MySQL 및 Microsoft Azure Database for PostgreSQL에 대한 지원이 중단되었습니다.

수명 종료 데이터 소스 및 대상 버전

• Databricks 대상: 10.4 LTS 및 11.3 LTS

• MariaDB 소스 및 대상: 10.5

• PostgreSQL 소스 및 대상: 13.x

• MySQL 소스 및 대상: 8.1

수명 종료 드라이버 버전

• Microsoft ODBC 드라이버 18.3

해결된 문제

• SAP(응용 프로그램) 소스

  자체 커밋된 이벤트를 생성하는 백엔드 프로세스와 함께 SAP(응용 프로그램) 소스를 사용하도록 구성된 작업은 테이블을 다시 로드한 후 때때로 충돌이 발생합니다.

• Microsoft Azure SQL Database 대상

  동종 복제에서 "트랜잭션 적용" 모드 또는 일대일 모드로 전환된 "일괄 최적화 적용" 모드에서 작업할 때 DATETIME 열이 대상의 기본 키의 일부인 경우 "영향을 받는 0개 행" 오류가 발생합니다.

• Oracle 소스

  테이블에 긴 원시 열이 포함되어 있고 최대 LOB 크기가 64K보다 크거나 같으면 전체 로드에서 Oracle 작업이 충돌합니다.

• SAP 추출기 소스 - CDC 취소로 인한 언로드 루프

  테이블을 다시 로드하는 동안 장기 실행 SAP CDC 작업이 취소되는 경우가 있습니다. 이로 인해 언로드가 완료되지 않는 복구 가능한 오류 상태가 발생합니다.

• 보안

  알려진 취약점으로 인해 다음 구성 요소가 업그레이드되었습니다.

  • JRE 17.0.17에서 17.0.18로 업그레이드됨

  • org.eclispe.jetty:jetty-io 11.0.25에서 11.0.26으로 업그레이드됨

  • org.apache.logging.log4j:log4j-core 2.23.1에서 2.25.3으로 업그레이드됨

• SAP ODP

  테이블에 대한 필터가 정의되었을 때 CDC 중에 다음 오류가 발생합니다.

  Invalid value for parameter "I_DIMNAME"

• SAP 추출기

  테이블 중 하나가 로드 상태인 동안 작업이 중지되고 다시 시작되면 델타가 작동을 멈춥니다.

• SaaS 응용 프로그램 소스(Workday 보고서)

  • 전체 로드 중에 S3 스테이징 폴더에 연결할 때 작업이 다음 오류와 함께 실패하는 경우가 있습니다.

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    첫 번째 연결에 실패할 경우 S3 폴더에 연결하기 위한 다중 재시도 메커니즘을 구현하여 문제를 해결했습니다.

  • 스키마가 이미 존재하는 경우에도 CREATE SCHEMA 권한이 필요합니다.

• Microsoft SQL Server 대상

  작업 설정에서 LOB 크기가 무제한으로 설정된 경우 CDC 중에 LOB 열에서 데이터 손실이 발생하고 잘못된 데이터 복제가 발생하는 경우가 있습니다.

• PostgreSQL 대상

  CSV 파일을 Net Changes 테이블에 로드하지 못하면 일대일 적용으로 전환하는 대신 복구 가능한 오류(무한 루프 발생)가 반환됩니다.

• MySQL-to-MySQL 복제

  소스 및 대상의 스키마가 동일한 MySQL 인스턴스에 있고 복제에 제어 테이블이 포함된 경우 "프로세스가 신호 11로 충돌했습니다" 오류와 함께 작업이 충돌하는 경우가 있습니다.

• PostgreSQL 소스

  CDC 중에 작업이 동일한 WAL 항목을 계속해서 읽어 데이터가 캡처되지 않는 경우가 있습니다.

• Microsoft SQL Server 소스

  • 암호화된 블록이 포함된 트랜잭션 로그의 압축을 풀 때 오류가 발생합니다. 이러한 경우 로그를 압축된 상태로 두어 문제를 해결했습니다.

  • 기존 파일에 대한 불필요한 유효성 검사로 인해 대체 백업 폴더를 사용할 때 중복 오류가 표시됩니다.

  • DBCC 조회 호출 후 작업이 충돌하는 경우가 있습니다.

Kafka 대상 커넥터 지원

새 버전의 데이터 이동 게이트웨이는 Kafka 대상 커넥터에 대한 지원을 도입합니다. 지원되는 모든 소스에서 온프레미스 Kafka 또는 Amazon MSK로 직접 데이터를 손쉽게 복제하여 응용 프로그램을 민첩하고 최신 상태로 유지하는 안정적이고 내결함성이 있는 전송을 보장합니다. 시스템 전반에서 데이터 일관성을 유지하거나 분석을 강화하는 경우 이 커넥터는 최소한의 설정으로 짧은 대기 시간 복제를 제공합니다.

자세한 내용은 Kafka 대상을 참조하십시오.

해결된 문제

• MySQL 소스에서 MySQL 대상으로의 복제 작업 실패

  MySQL 스키마에서 동일한 MySQL 서버 인스턴스에서 실행되는 다른 MySQL 스키마로 데이터 집합을 복제하고 복제에 제어 테이블을 포함하면 CDC가 다음 오류와 함께 실패합니다.

  Process crashed with signal 11

• SAP 추출기 커넥터: 작업을 다시 시작할 때 테이블이 일시 중단됨

  테이블이 아직 전체 로드 중인 동안 작업을 다시 시작하면 추출 작업이 실패하고 테이블이 일시 중단됩니다.

해결된 문제

• PostgreSQL 대상 - 잘못된 오류 동작

  CSV 파일을 Qlik Net Changes 테이블에 로드하지 못하면 일대일 적용으로 전환하는 대신 복구 가능한 오류(무한 루프 발생)가 반환됩니다.

• SaaS 응용 프로그램 Lite 커넥터

  전체 로드 중에 Amazon이 연결을 적극적으로 거부하여 작업이 다음 오류와 함께 실패하는 경우가 있습니다.

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  오류가 발생하기 전에 최대 3번의 재시도를 하는 재시도 메커니즘을 구현하여 문제를 해결했습니다.

• Microsoft SQL Server 소스 - 로그 압축 해제 실패

  암호화된 블록이 포함된 트랜잭션 로그의 압축을 풀 때 오류가 발생합니다. 이러한 경우 로그를 압축된 상태로 두어 문제를 해결했습니다.

• Netsuite Suite Analytics 소스 - CDC 다시 시작 오류

  소스를 변경한 후 CDC 작업을 다시 시작하면 작업이 다음 오류와 함께 실패하는 경우가 있습니다.

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Microsoft SQL Server 소스 - 거짓 오류

  기존 파일에 대한 불필요한 유효성 검사로 인해 대체 백업 폴더를 사용할 때 중복 오류가 표시됩니다.

Databricks 기본 키 지원

이 버전부터 데이터 작업은 RELY 키워드를 사용하여 대상 Databricks 델타 테이블에 기본 키를 만듭니다. Databricks는 기본 키 제약 조건을 적용하지 않지만 RELY 키워드가 포함된 기본 키는 중복이 없다고 가정하므로 Databricks에서 쿼리 최적화에 사용할 수 있습니다.

요구 사항:

• 커넥터 설정에서 카탈로그를 선택해야 합니다.

• Databricks 14.2 이상

데이터 유형 개선 사항

• IBM DB2 for iSeries 소스: 다음 데이터 유형에 대한 지원이 추가되었습니다. BINARY-DECIMAL 및 ZONED-DECIMAL

• Databricks 대상: 이전 버전에서는 BYTES가 STRING에 매핑되었습니다. 이 버전부터는 VARCHAR(바이트 단위 길이)로 매핑됩니다.

• Google Cloud BigQuery 대상: 이제 JSON 하위 유형이 Google Cloud BigQuery 대상에서 지원됩니다.

PostgreSQL 기반 소스: 이제 기본적으로 파티션 테이블이 지원됩니다.

PostgreSQL 기반 데이터 소스에서 파티션 및 하위 파티션(및 하위-하위 파티션)의 복제(전체 로드 및 CDC)가 이제 기본적으로 지원됩니다.

Google Cloud BigQuery 대상: 데이터 잘림 오류 처리 지원

이제 Google Cloud BigQuery 대상에서 데이터 잘림 오류 처리가 지원됩니다. 이제 데이터 잘림 오류가 발생하면 예외 제어 테이블에 레코드를 기록할지(기본값), 레코드를 무시할지, 테이블을 일시 중단할지 또는 작업을 중지할지 선택할 수 있습니다.

새로 지원되는 버전

이제 다음 소스 및 대상 종료 지점 버전이 지원됩니다.

• MariaDB(온프레미스) 및 Amazon RDS for MariaDB: 11.4

• MySQL(온프레미스), MySQL Percona, Google Cloud SQL for MySQL, Amazon RDS for MySQL, Microsoft Azure Database for MySQL - 유연한 서버: 8.4

• PostgreSQL(온프레미스), Google Cloud SQL for PostgreSQL, Amazon RDS for PostgreSQL, Microsoft Azure for PostgreSQL Database - 유연한 서버: 17.x

새로 지원되는 드라이버 버전

이제 IBM Data Server Client 11.5.9는 다음 DB2 소스에 대해 지원됩니다.

• LUW용 IBM DB2

• z/OS용 IBM DB2

수명 종료 소스 및 드라이버 버전

• 수명 종료 소스 및 대상: Microsoft에서 공식적으로 지원을 중단한 Microsoft Azure Database for MySQL 및 Microsoft Azure Database for PostgreSQL에 대한 지원이 중단되었습니다.

• 수명 종료 소스 버전: IBM DB2 for iSeries 7.2(EOL)에 대한 지원이 중단되었습니다.

• 수명 종료 드라이버 버전: IBM Data Server Client 11.5.6에 대한 지원이 중단되었습니다.

해결된 문제

• HSTS 지원

  Qlik 데이터 게이트웨이 - 데이터 이동 컴퓨터에서 HSTS가 활성화되지 않았습니다.

• 데이터 이동 게이트웨이 설치 실패

  Redhat 버전 9.7에 데이터 이동 게이트웨이를 설치하면 "OPENSSL_3.4.0을 찾을 수 없음" 오류와 함께 실패합니다.

• PostgreSQL 15.7 소스 - CDC 중에 데이터가 캡처되지 않음

  CDC 중에 작업이 동일한 WAL 항목을 계속 읽고 동일한 스트림 위치를 처리합니다.

• SAP ODP - CDC 실패

  CDC 작업이 변경 중에 중지된 후(예: 연결 문제로 인해) 작업을 다시 시작하면 행 길이 오류가 발생하는 경우가 있습니다.

• 누락된 소스 연결 로그

  미리 보기 또는 Lite 커넥터를 사용한 작업을 실행한 후 소스 연결 로그를 사용할 수 없습니다.

• 모니터링 - 누락된 정보

  모니터 탭은 전체 로드 및 CDC 작업의 CDC 단계 중에 테이블이 일시 중단될 때 오류 메시지를 표시하지 않습니다.

Databricks에서 지식 마트 생성 지원

이전에는 지식 마트가 Snowflake에서만 지원되었습니다. 이제 Databricks에서도 지식 마트와 파일 기반 지식 마트를 만들고 실행할 수 있습니다.

해결된 문제:

준비 중에 다음 오류와 함께 작업이 간헐적으로 실패합니다.

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

해결된 문제:

metadataschema 내부 속성이 특수 문자로 정의된 경우 CDC 중에 작업이 실패합니다.

해결된 문제:

• EU-Central-1 지역의 프로덕션 알림

  데이터 이동 게이트웨이를 사용할 때 EU-Central-1 지역의 고객은 빈번한 프로덕션 알림을 경험하게 됩니다.

• Jira 데이터 소스: 중단된 테이블

  Jira에서 데이터를 복제할 때 다른 테이블이 성공적으로 로드를 완료하는 동안 USERS 테이블은 첫 실행 시 대기열 상태에서 중단됩니다.

• 모니터링 문제

  작업 모니터에서 CDC 모니터링이 누락되었습니다.

• Oracle-to-Oracle 복제 실패

  Oracle-to-Oracle 복제 작업은 문자열 길이의 잘못된 계산으로 인해 실패하는 경우가 있습니다.

• 보안

  Java 서버 구성 요소(sqlite-jdbc)는 이전 버전의 알려진 취약점으로 인해 3.47.0으로 업데이트되었습니다.

• 작업 시작 시 오류

  이전에 시작하지 않고 처음으로 다시 시작 모드에서 작업을 시작할 때 "데이터베이스에 대한 라이선스 없음" 오류가 발생하는 경우가 있습니다.

• 새 데이터 집합과 관련된 Salesforce 커넥터 문제

  Salesforce 데이터 소스를 사용하여 랜딩 작업에 새 데이터 집합을 추가하면 "'테이블이 존재하지 않음'" 오류와 함께 작업이 실패합니다.

해결된 문제:

• 스토리지 작업 연결 오류

  스토리지 작업은 게이트웨이를 다시 시작해야 하는 연결 오류와 함께 실패합니다.

• DB2 드라이버 설치 실패

  /tmp 폴더에 대한 액세스가 제한되면 DB2 드라이버 설치가 실패합니다.

• Qlik Cloud에 대한 과도한 연결 시간

  데이터 이동 게이트웨이 버전 2024.11.65로 업그레이드한 후 Qlik Cloud에 연결하는 데 과도한 시간이 걸립니다. 2분 시간 초과로 취소 토큰을 추가하여 문제를 해결했습니다.

• 업그레이드 후 서비스 충돌

  데이터 이동 게이트웨이 2024.11.67로 업그레이드한 후 /tmp 폴더에 대한 액세스 제한으로 인해 외부 데이터 공급자 서비스(Lite 커넥터에서 사용)가 충돌했습니다.

• 보안 수정

  알려진 취약점으로 인해 다음 구성 요소가 최신 버전으로 교체되었습니다.

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• 지식 마트 - 파일 공유(SMB)

  SMB에 연결하면 다음 오류와 함께 실패합니다.

  SmbConnection' object has no attribute 'docs_path'

• 준비 실패

  두 번째로 작업을 준비할 때 첫 번째 준비 후 DDL이 발생하면 준비 작업이 다음 오류(발췌)와 함께 실패하는 경우가 있습니다.

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• 데이터 미리 보기 문제

  Microsoft SQL Server 대상을 사용할 때 데이터 미리 보기 옵션이 작동하지 않습니다.

개선 사항:

• Qlik Cloud Government DoD 지원 추가

  이 버전은 Qlik Cloud Government DoD와 함께 데이터 이동 게이트웨이를 사용하기 위한 지원을 추가합니다.

개선 사항:

• 테이블 오류 처리 정책이 트리거되는 시점 제어

  새로운 테이블 오류를 반환하기 전 재시도 횟수 설정이 복제 및 랜딩 작업에 대한 테이블 오류 처리 설정에 추가되었습니다. 이전에는 테이블 오류가 발생하면 테이블이 일시 중단되거나 작업이 중지되었습니다(선택한 오류 처리 작업에 따라). 이로 인해 SaaS 응용 프로그램 유지 관리 기간 동안 테이블이 일시 중단되는 경우가 있었습니다. 이 새로운 옵션을 사용하면 이제 테이블 오류 처리 정책이 트리거되기 전에 테이블을 재시도해야 하는 횟수를 결정할 수 있습니다. 이 옵션은 SaaS 응용 프로그램이 정기적인 유지 관리를 수행하는 경우 특히 유용합니다. 기본 재시도 횟수(3)를 재정의하여 테이블 오류 처리 정책을 트리거하지 않고 유지 관리를 완료할 수 있기 때문입니다.

  테이블 오류 처리

  정보 메모이 옵션은 Lite 또는 Standard SaaS 응용 프로그램 커넥터로 구성된 작업에 대해서만 표시됩니다.

• 이제 데이터 미리 보기에 열 데이터 유형이 포함됩니다.

  SQL 변환을 미리 볼 때 이제 결과에 열 데이터 유형이 포함됩니다.

  데이터 미리 보기

개선 사항:

• 복제 로그 파일의 롤오버 및 제거

  게이트웨이 컴퓨터의 복제 로그 파일에 대해 롤오버 및 제거 정책이 구현되었습니다. 롤오버 정책은 로그 파일이 너무 커지는 것을 방지하고(성능 및 분석에 영향) 제거 정책은 로그 파일이 누적되어 과도한 디스크 공간을 소비하는 것을 방지합니다.

해결된 문제:

• 다시 로드 후 잘못된 테이블 상태

  일시 중단된 테이블을 다시 로드할 때 모니터에 표시되는 테이블 상태가 잘못된 경우가 있었습니다.

• 준비 작업 시간 초과

  데이터 집합을 추가한 후 랜딩 작업을 준비할 때 자산 카탈로그 단계에서 시간 초과가 발생하는 경우가 있었습니다. 이로 인해 준비 작업이 실패합니다.

이 패치는 다음 문제를 해결합니다.

• 새 테이블 추가 시 준비 실패

  복제 작업에 새 테이블을 추가하고 준비를 클릭하면 다음 오류가 발생하는 경우가 있었습니다.

  Prepare data task failed: Object reference not set to an instance of an object.

• 해결된 취약점

  다음 데이터 이동 게이트웨이 설치 파일이 알려진 취약점이 없는 버전으로 업데이트되었습니다.
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

이 패치는 다음 문제를 해결합니다.

• IBM DB2 for LUW 연결 실패

  데이터 이동 게이트웨이 2024.11.54로 업그레이드한 후 데이터베이스에 연결하지 못했습니다.

• 준비 실패

  작업이 SaaS 응용 프로그램 소스 및 Google BigQuery 대상으로 구성된 경우 데이터 작업 준비가 실패합니다.

• 업그레이드 후 Java 기반 소스가 있는 작업 실패

  Java 기반 데이터 소스가 있는 작업은 데이터 이동 게이트웨이 2024.11.54로 업그레이드한 후 실패합니다.

• Snowflake 대상: CDC 중에 작업이 "일대일" 모드로 전환되는 경우가 있음

  CDC 중에 소스 테이블의 STRING 열이 65536바이트를 초과하면 대상 STRING 열에서 데이터가 잘립니다. 그러면 작업이 "일대일" 적용 모드로 전환됩니다.

• 보안

  java_file_factory.jar 및 arep-google-cloud.jar 파일이 알려진 취약점이 없는 버전으로 업그레이드되었습니다.

이 패치는 다음 문제를 해결합니다.

• 전체 로드가 작업 설정을 무시함

  전체 로드 중에 작업이 대상 테이블이 이미 있는 경우: 무시로 구성되었음에도 불구하고 대상 테이블을 삭제하고 다시 만듭니다.

• 잘못된 레코드 수

  복제 모드가 전체 로드 및 변경 사항 적용으로 설정된 기존 복제 작업을 중지하고 준비한 후 CDC 처리된 레코드 수가 증가하여 잘못된 수가 발생합니다.

• JIRA 소스 커넥터

  기존 작업에 새 데이터 집합이 추가되면 작업이 다음 오류와 함께 실패합니다.

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• 연결 테스트 실패

  SAP 및 SQL 기반 소스에 대한 연결 테스트가 실패합니다.

• 업그레이드

  게이트웨이를 업그레이드한 후 작업이 예상대로 다시 시작되지 않는 경우가 있습니다.

Snowpipe 스트리밍 지원

이전에는 대량으로 로드만이 Snowflake에 데이터를 로딩하는 데 사용할 수 있는 방법이었습니다. 이제 고객은 대량으로 로드나 Snowpipe Streaming을 사용하여 데이터를 Snowflake에 온보딩하거나 복제할 수 있습니다.

Snowpipe Streaming이 대량으로 로드보다 우수한 점은 다음과 같습니다.

• 비용 절감: Snowpipe Streaming은 Snowflake 웨어하우스를 사용하지 않으므로 운영 비용이 상당히 저렴합니다. 단, 이는 특정 사용 사례에 따라 다릅니다.
• 지연 시간 단축: 데이터가 스테이징을 거치지 않고 대상 테이블에 직접 스트리밍되므로 데이터 소스에서 대상으로의 복제가 더 빨라집니다.

해결된 문제

이 패치는 다음 문제를 해결합니다.

• Microsoft Fabric: 연결 문제

  Microsoft Fabric 커넥터를 사용하여 데이터베이스를 검색할 때 다음 오류가 발생합니다(발췌).

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  이 문제는 드라이버 설치 유틸리티와 함께 설치된 12.9.0-preview.jar JDBC 드라이버와의 비호환성으로 인해 발생했습니다. 이제 유틸리티가 호환되는 드라이버를 설치하도록 업데이트되었습니다.

• Java 서버 다시 시작 실패

  데이터 이동 게이트웨이를 업그레이드하거나 데이터 이동 게이트웨이 서비스를 다시 시작한 후 Java 서버(SAP ODP와 같은 Java 기반 커넥터에 필요)가 시작되지 않습니다.

• 보안 강화

  • Qlik Cloud 관리 활동 센터에서 고객 호스팅 로그를 반환하는 로깅 명령 페이로드에 대해 종단 간 암호화가 상호 적용되지 않습니다.

  • 데이터 이동 게이트웨이에서 사용하는 SQLite 버전은 버전 3.42.0의 취약점으로 인해 업그레이드되었습니다. (CVE-2023-7104).

  • 데이터 이동 게이트웨이에서 사용하는 com.h2database 파일은 버전 h2-2.1.212의 취약점으로 인해 업그레이드되었습니다. (CVE-2022-45868).

이 패치는 IBM DB2 for iSeries 데이터 소스에서 데이터를 이동할 때 발생하는 다음 문제를 해결합니다.

iSeries Access ODBC 드라이버 07.01.026 이상을 사용할 때 CDC 중에 "구문 분석 오류" 오류와 함께 작업이 실패합니다.

표준

Databricks 대상에 대한 OAuth 지원

이제 고객은 Databricks가 계정 인증에 권장하는 방법인 OAuth 인증을 사용하여 Databricks 대상에 연결할 수 있습니다. 개인 액세스 토큰 인증은 현재 하위 호환성을 위해 계속 사용할 수 있지만 OAuth보다 보안성이 낮은 것으로 간주됩니다.

해결된 문제

• 병렬 로드 문제

  데이터 집합이 병렬 로드로 정의되고 이후에 전체 로드가 비활성화된 경우 작업은 타임스탬프에서 다시 시작된 경우에도 해당 데이터 집합의 전체 로드를 계속 수행합니다.

2024.11.24

패치

이 패치는 다음 문제를 해결합니다.

• SAP ODP 소스: 메타데이터 생성 실패

  이름에 점이 있는 테이블(예: Deprec.Area)의 메타데이터 생성이 완료되지 않습니다.

• 작업 복구

  작업은 환경 문제로 인해 전체 로드 중에 실패한 경우 한 번만 복구됩니다. 이제 설정 > 오류 처리 > 환경 오류 > 최대 재시도 횟수에 구성된 횟수만큼 복구됩니다.

개선 사항

PostgreSQL 장애 조치 인증

장애 조치 후 보조 데이터베이스 작업은 다음 데이터 소스로 인증되었습니다(이 모든 데이터 소스는 PostgreSQL 소스 커넥터를 사용하여 액세스할 수 있음):

• Google Cloud SQL for PostgreSQL
• Amazon RDS for PostgreSQL
• PostgreSQL(온프레미스)

관련 항목: 장애 조치 설정

MySQL 성능 개선

이전 버전에서는 제한된 LOB 크기로 구성된 작업에서 MySQL 기반 소스 종료 지점을 사용할 때 데이터 이동 게이트웨이는 소스 조회를 사용하여 LOB 열을 읽었습니다. 이제 데이터 이동 게이트웨이은 binlog에서 직접 LOB 열을 읽어 성능을 향상합니다.

데이터 유형 매핑 변경

Amazon Redshift 및 Snowflake 대상에 대한 LOB 열에 대한 매핑이 변경되었습니다.

Amazon Redshift 대상

• 이제 BLOB는 VARBYTE(16777216)에 매핑됩니다.
• 이제 NCLOB는 NVARCHAR(65535)에 매핑됩니다.
• 이제 CLOB는 NVARCHAR(65535)에 매핑됩니다.

Snowflake 대상

• 이제 BLOB는 BINARY(8388608)에 매핑됩니다.
• 이제 NCLOB는 NVARCHAR(16777216)에 매핑됩니다.
• 이제 CLOB는 VARCHAR(16777216)에 매핑됩니다.

새로 지원되는 데이터 유형

• LUW 소스용 IBM DB2

  이제 BOOLEAN 데이터 유형을 지원합니다(LUW 11.5용 DB2에서 제공).

• Google BigQuery 대상

  이제 BIGNUMERIC 데이터 유형을 지원합니다.

DDL History 제어 테이블에 대한 확장된 대상 지원

이전 데이터 이동 게이트웨이 버전에서는 DDL 기록 제어 테이블이 Databricks 및 Microsoft Fabric 대상에서만 지원되었습니다. 이 버전에서는 다음과 같은 추가 대상 커넥터에 대한 지원이 도입되었습니다.

• Amazon Redshift
• Amazon S3
• Google 클라우드 저장소
• Snowflake

관련 항목: DDL 기록

Google Cloud SQL for PostgreSQL에서 슈퍼 사용자가 아닌 사용자 사용 지원

이 버전부터는 Google Cloud SQL for PostgreSQL에서 복제할 때 슈퍼 사용자가 아닌 계정을 지정할 수 있습니다.

관련 항목: 슈퍼 사용자 역할 없이 계정 사용

새롭게 인증된 플랫폼 및 드라이버 버전

• Databricks 대상

  15.4 LTS

• Oracle 소스 및 대상

  23ai

  정보 메모

  • Oracle 23ai 소스 및 대상은 Oracle Standard 에디션에서만 인증됩니다.
  • Oracle 23ai 소스는 TDE 암호화만 지원됩니다.

• Databricks 드라이버 업데이트

  Databricks로 데이터를 이동할 때 이제 Simba Spark ODBC 드라이버 2.8.2 이상이 필요합니다. 고객은 드라이버 설치 유틸리티를 실행하거나 드라이버를 수동으로 설치해야 합니다.

  관련 항목: 드라이버 설정

지원 종료

다음 데이터베이스 버전에 대한 지원이 중단되었습니다.

• PostrgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

해결된 문제

• SAP HANA(데이터베이스) 커넥터: __CT 테이블 만들기 실패

  복제 모드가 변경 내용 저장으로 설정되고 테이블에 .INCLUDE 열이 포함되어 있는 경우 작업은 대상에 __CT 테이블을 만들지 못합니다.

• 레이크 랜딩 작업: 오해의 소지가 있는 오류

  Azure Data Lake Storage 비밀 키가 만료되면 작업이 실패하고 "데이터베이스 라이센스 없음" 오류가 표시됩니다.

• Amazon S3 대상 커넥터: 이전 파일은 삭제되지 않습니다.

  새로운 작업을 실행해도 이전 파일은 삭제되지 않습니다. 중복된 레코드나 일치하지 않는 레코드로 인해 작업이 실패할 수 있습니다.

   

• SAP HANA(데이터베이스) 소스: 사용자 정의 테이블로 인한 연결 실패

  복제를 위해 사용자 정의 테이블을 선택할 때 "지원되지 않는 기능: 사용자 정의 유형을 선택할 수 없음" 오류가 발생합니다. 이 문제는 사용자 정의 테이블(지원되지 않음)을 테이블 선택기에서 제외하여 해결되었습니다.

• Microsoft Fabric 대상 커넥터: 복구 오류

  CDC 중에 발생한 연결 오류에서 복구한 후에 "변환 실패" 오류가 발생하는 경우가 있습니다.

• Databricks 대상 커넥터: LOB 지원 없이 작업할 때 CDC 실패

  LOB 지원을 비활성화할 때, __ct 테이블에 변경 내용을 삽입하려고 하면 CDC가 "데이터 열이 충분하지 않음" 오류와 함께 실패합니다. 이 오류는 랜딩 작업에 사용할 수 있는 유일한 모드인 "변경 내용 저장" 모드에서 작업할 때 발생합니다.

• MySQL 소스에서 Snowflake 대상으로: CDC 실패

  CDC 중에 mediumtext 데이터 유형이 있는 "NOT NULL" 열을 복제할 때 작업이 다음과 같은 오류와 함께 실패하는 경우가 있었습니다.

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Microsoft Fabric 대상 커넥터: 잘림 오류

  VARCHAR 열을 삽입하는 경우 다음과 같은 잘림 오류가 발생합니다.

  String or binary data would be truncated while reading column of type 'VARCHAR'

  이 문제는 Microsoft Fabric에서 VARCHAR 열을 곱하면 해결되었습니다.

새로운 기능

추가 ODBC 및 JDBC 연결 속성 지정에 대한 지원이 Snowflake 대상 커넥터에 추가되었습니다.

자세한 내용은 추가 연결 속성을 참조하십시오.

해결된 문제

• 메타데이터가 업데이트되지 않음

  소스에서 기본 키가 변경되었을 때 다시 로드한 후 대상 메타데이터가 업데이트되지 않습니다.

• Amazon S3 대상

  새 작업을 만들고 실행할 때 이전 작업에서 남은 파일이 테이블 위치에서 삭제되지 않습니다.

• SAP HANA 소스

  로그 기반 CDC를 사용하여 SAP HANA 소스에 연결하려고 하면 다음 오류가 발생합니다.

  Cannot select user-defined type

2024.5.41

패치

이 패치는 다음 문제를 해결합니다.

• Amazon S3, Google Cloud Storage 및 Qlik Cloud 대상: 빈 문자열 값 인용

  이제 빈 문자열은 NULL 값과 구별하기 위해 CSV 파일에서 인용됩니다.

• Databricks 대상: 데이터 불일치

  특정 시나리오에서 소스와 대상 데이터 간에 불일치가 발생합니다.

• Databricks 대상: LOB 지원 비활성화로 인한 CDC 실패

  랜딩 작업에서 LOB 지원을 비활성화하면 CDC가 다음 오류(발췌)와 함께 실패합니다.

  Cannot write to '<name>__ct', not enough data columns

• Microsoft Fabric 대상: CDC 실패를 초래하는 연결 오류

  연결 오류에서 복구한 후 대상에 변경 사항을 적용하면 "변환 실패" 오류와 함께 실패하는 경우가 있습니다.

2024.5.35

패치

이 패치는 다음 문제를 해결합니다.

• Microsoft Fabric 대상: 데이터 유형 변환 문제

  스토리지 작업 중에 데이터 유형 NVARCHAR(3500)가 VARCHAR(8000)(허용되는 최대값) 대신 VARCHAR(10500)으로 잘못 변환되어 오류가 발생합니다.

• IBM DB2 for LUW 소스: 코드 페이지 941(일본어)이 있는 GRAPHIC 데이터 유형 지원

  소스 테이블에 코드 페이지 941(일본어)이 있는 GRAPHIC 데이터 유형이 포함된 경우 다음 오류가 발생합니다(발췌).

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

패치

Workday Reports 소스 커넥터에서 사용자 이름과 암호를 업데이트한 다음 작업을 다시 로드하면 자격 증명이 올바른데도 "잘못된 사용자 이름 또는 암호" 오류가 발생합니다. 이 문제는 이제 해결되었습니다.

패치

이 패치는 다음 문제를 해결합니다.

보안

데이터 이동 게이트웨이와 함께 제공되는 Oracle Java Standard Edition 17.0.8에는 몇 가지 알려진 취약점이 있습니다. 이 패치는 17.0.8을 17.0.12로 교체하여 문제를 해결합니다.

Salesforce 소스

CDC 중에 각 변경에 대해 여러 INSERT 작업이 관련 _ct 테이블에 추가됩니다(하나만 추가되는 대신). 이로 인해 _ct 테이블의 레코드 수가 크게 증가합니다.

표준

패치

이 패치는 다음 문제를 해결합니다.

Snowflake JDBC 드라이버 취약점

2024년 8월 14일, Snowflake는 보안 권고를 발표했습니다. Snowflake JDBC 드라이버 >= 3.2.6 & <= 3.19.1에 대한 내용이며, 이 중 일부는 이전 버전의 데이터 이동 게이트웨이와 함께 사용되었습니다. 이 취약점은 Snowflake JDBC 드라이버 3.20에서 패치되었으며, 이 버전은 이제 드라이버 설치 유틸리티와 함께 설치됩니다. 기존 고객은 드라이버 설정에 설명된 드라이버 업데이트 절차에 따라 가능한 한 빨리 드라이버를 업그레이드해야 합니다.

Oracle 소스

• 재실행 이벤트 11.22를 사용할 때 INSERT 이전에 압축되지 않은 압축 페이지에서 여러 INSERT를 처리할 때 누락된 INSERT가 발생합니다.
• 드문 경우지만 재실행 로그 레코드에서 DELETE 이벤트의 잘못된 구문 분석으로 인해 "재실행 로그 DELETE 이벤트에 알 수 없는 구조가 포함되어 있습니다"라는 경고가 발생하고 다양한 문제가 발생합니다.

SAP 추출기 소스

YAML 파일의 지침이 SAP Java 커넥터의 올바른 버전을 반영하도록 업데이트되었습니다.

Snowflake 대상

데이터 이동 게이트웨이를 사용하여 프록시를 통해 Snowflake 대상에 연결할 때 다음 오류와 함께 연결이 실패합니다.

500 Failed to connect to Data Movement Gateway

패치

패치

해결된 문제

• Oracle 소스

  • 11.22 다시 실행 이벤트를 사용할 때 여러 INSERT 작업에서 누락된 INSERT가 발생하는 경우가 있습니다.

  • Oracle 19g를 July 2024 패치로 업그레이드한 후 UPDATE 작업이 캡처되지 않는 경우가 있었으며 다음과 같은 경고가 표시되었습니다.

    A compressed row cannot be parsed

• Snowflake 대상

  작업 설정이 제어 테이블 스키마를 만들도록 구성되었을 때 다음 오류와 함께 작업이 실패합니다.

  Failed to delete directory

• 예정된 CDC

  작업이 주기적으로 실행되도록 예약된 경우 다음과 같은 오류가 발생하여 실패하는 경우가 있습니다.

  The task stopped abnormally

• 변환 및 저장소 작업이 중단됨

  변환 및 저장소 작업이 지나치게 오랜 시간 동안 대기 상태에 머무르는 경우가 있었습니다.

• 메타데이터 관리자

  use_manipulation_pk_for_apply 기능 플래그를 변경 내용 저장 복제와 함께 사용하면 작업이 실패합니다.

• SaaS 응용 프로그램 소스에 문제가 발생하는 장시간 제한 시간

  파일을 다운로드하는 데 필요한 토큰을 잃어버리는 것과 같은 장시간 제한 시간으로 인한 문제를 방지하기 위해 S3 제한 시간을 6시간으로 연장했습니다.

표준

개선 사항

• Snowflake 대상 커넥터에 키 쌍 인증이 추가됨

  키/쌍은 서비스 계정을 사용하여 Snowflake에 연결하기 위한 사용자/비밀번호보다 더 강력한 인증 방법을 제공합니다. 이 접근 방식은 데이터 로딩(복제 또는 랜딩 작업) 및 변환과 같은 워크로드에 권장됩니다.

• 여러 테이블에서 병렬로 메타데이터 검색 지원

  이전 버전에서는 기존 데이터 집합이나 새로 추가된 데이터 집합의 메타데이터를 새로 고치면 오류가 발생하여 실패하는 경우가 있었습니다. 이 개선 사항을 통해 문제없이 여러 테이블에서 병렬로 메타데이터를 검색할 수 있습니다.

해결된 문제

• Google BigQuery에서 DECIMAL 데이터 유형이 STRING에 잘못 매핑됨

  소스 테이블에 DECIMAL 데이터 유형의 열(예: DECIMAL(38, 20))이 포함된 경우 Google BigQuery에서 저장소 작업을 준비하면 다음 오류가 발생하여 실패합니다(발췌):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  이 문제는 소스 DECIMAL 데이터 유형을 Google BigQuery의 DECIMAL로 매핑하여 해결되었습니다.

• 스키마 규칙 오류

  데이터 작업에서 기존 스키마 규칙을 변경한 후 다음 오류가 발생합니다.

  QRI SQL error not implemented

• SAP 전송에서 /QTQVC/QRI 테이블이 누락됨

  SAP 응용 프로그램 소스에 연결된 랜딩 작업을 준비하는 동안 작업은 성공적으로 완료되었지만 다음 오류가 repsrv.log 로그 파일에 보고되었습니다.

  Invalid object name 'hk1./QTQVC/QRI'

표준

개선 사항

• 모든 테이블을 삭제하고 다시 만들 필요 없이 복제 및 레이크 랜딩 작업에서 메타데이터 변경 지원

  이전에는 메타데이터가 변경되면 메타데이터 변경 내용이 모든 테이블에 영향을 미치지 않더라도 모든 테이블이 삭제되고 다시 만들어졌습니다. 이제 변경된 테이블만 삭제되고 다시 만들어지므로 성능이 향상됩니다.

• 복제 작업에서 새 테이블의 자동 로딩 지원

  복제 데이터 작업 중에 소스 데이터베이스에 만들어진 테이블 중 포함 패턴과 일치하는 테이블은 이제 CDC(데이터 변경 내용 캡처) 중에 자동으로 캡처됩니다.

• Microsoft SQL Server(MS-CDC) 소스 향상

  • 타임스탬프 및 트랜잭션 ID 보존

    이전에는 Microsoft SQL Server(MS-CDC)에서 여러 트랜잭션을 읽을 때 Qlik Talend Data Integration은 첫 번째 트랜잭션의 트랜잭션 ID와 타임스탬프만 보존했습니다. 대상에서는 이러한 레코드가 단일 트랜잭션의 일부인 것처럼 보입니다. 이제 Qlik Talend Data Integration는 각 개별 레코드에 대한 원래 트랜잭션 ID와 타임스탬프를 보존합니다. 이는 변경 테이블에서 트랜잭션 ID 및 타임스탬프 헤더 열을 활용하려는 고객에게 이점이 됩니다.

  • 트랜잭션 ID 바이트 순서

    이전에는 트랜잭션 ID의 바이트가 역순으로 인코딩되었습니다. 이 버전에서는 바이트가 올바른 순서로 인코딩됩니다. 정보 기존 동작을 보존하려는 고객은 내부 매개 변수를 사용하여 할 수 있습니다. 자세한 내용은 Qlik 지원 센터에 문의하십시오.

• MySQL을 사용한 SHA-2 플러그형 인증 캐싱 지원

  Qlik Talend Data Integration는 이제 온프레미스 또는 클라우드에서 MySQL 소스나 대상으로 작업할 때 SHA-2 플러그형 인증(caching_sha2_password) 캐싱을 지원합니다. 이전 버전에서는 기본 플러그 가능 인증(mysql_native_password)만 지원되었습니다.

• Amazon Redshift 데이터 유형 매핑 변경

  Amazon Redshift에서는 BYTES 및 BLOB 데이터 유형이 이제 VARCHAR 대신 VARBYTE에 매핑됩니다.

새롭게 인증된 플랫폼, 종료 지점 및 버전

• 데이터 소스

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• 대상 플랫폼

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• 드라이버

  • SQL Server ODBC 드라이버 18.3

지원 종료

다음 데이터베이스 버전에 대한 지원이 중단되었습니다.

• Oracle 19.x 이전의 모든 Oracle 버전 및 드라이버
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS: z/OS 2.3

해결된 문제

• SAP(응용 프로그램) 소스

  캡처된 클러스터 문서 변경 내용으로 인해 캡처된 모든 테이블의 모든 행이 삭제되면 DELETE 작업이 누락되고 불필요한 어설션 메시지가 발생합니다.

• 보안 취약성

  알려진 취약성이 없는 버전으로 Microsoft Authentication Library for Java(MSAL4J)와 Bouncy Castle을 업데이트했습니다.

• Snowflake 대상

  • Snowflake 내부 저장소를 사용할 때 작업이 실패하는 경우가 있었습니다.
  • 대상 스키마 이름이 일본어 가타카나인 경우 작업이 실패합니다.

• Oracle 소스

  Oracle 소스를 사용하여 작업을 재개할 때 해당 작업은 적절한 오류로 실패하는 대신 삭제된 보관된 다시 실행 로그를 계속 기다립니다.

표준

개선 사항

• Snowflake 메타데이터 스키마

  이 버전에서는 Snowflake 메타데이터 스키마(준비된 파일용)가 없으면 만들어집니다.

해결된 문제

• 데이터 집합 이름 바꾸기 규칙(테이블 이름을 스키마 이름과 결합)이 변경되고 뷰가 랜딩 작업에 추가된 후, 준비 작업이 다음 오류와 함께 실패합니다.

  QRI SQL error not implemented.

• java_file_factory 구성 요소가 알려진 취약성이 없는 버전으로 업데이트되었습니다.
• org.postgresql:postgresql이 알려진 취약성이 없는 버전으로 업데이트되었습니다.
• 데이터를 SQL Server로 이동할 때 인덱스 이름이 128자를 초과하면 준비 작업이 실패합니다. 더 짧은 인덱스 이름을 만들도록 논리를 변경하여 문제가 해결되었습니다.

• SQL Server에서 데이터를 이동할 때 테이블 정의에 누락된 열 이름이 있으면 다음 메시지와 함께 repsrv.log 파일에서 무제한 알림 루프가 발생합니다.

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

표준

개선 사항

• 병렬 메타데이터 검색

  여러 테이블의 메타데이터를 동시에 검색하기 위한 지원이 추가되었습니다.

• 모니터링 성능 향상

  랜딩 및 복제 작업에 대한 모니터링 정보는 이제 60초마다가 아닌 10초마다 업데이트되어 현재 상태를 보다 정확하게 표시합니다.

• 새로 지원되는 지역

  이제 일본이 Qlik Cloud 테넌트 지역으로 지원됩니다.

해결된 문제

• 데이터 게이트웨이와 Qlik Cloud 간의 다시 시도 간격은 지속적으로 증가하지만, 서비스를 다시 시작하지 않는 한 다시 설정되지는 않습니다.
• SaaS 응용 프로그램 소스에서 데이터를 이동할 때 다시 로드하는 동안 테이블이 오류 상태가 되는 경우가 있었습니다.

• MySQL 소스를 사용한 작업은 CDC 중에 다음 오류로 인해 실패하는 경우가 있습니다.

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• 이전에는 CDC 감사 이벤트가 랜딩 작업에 대해서만 기록되었습니다. 이제 복제 작업 요청에 대해 잘 기록됩니다.
• SQL Server(MS-CDC)에서 데이터를 이동할 때 테이블이 많은 작업을 시작하는 데 몇 시간이 걸리는 경우가 있었습니다.

• 소스 테이블에 CLOB 열이 포함되어 있고 "LOB 크기 제한" 값이 10240을 초과하면 Snowflake에 대한 복제가 다음 오류와 함께 실패합니다.

  Invalid character length: 0

표준

Red Hat 9.x에 데이터 이동 게이트웨이 설치 지원

이제 고객은 Red Hat 9.x 또는 해당하는 호환 Linux 배포에 데이터 이동 게이트웨이를 설치할 수 있습니다.

데이터 이동 게이트웨이 설정

데이터 이동 게이트웨이 서비스 명령 변경

데이터 이동 게이트웨이 서비스의 상태를 중지, 시작 및 확인하는 명령이 변경되었습니다.

데이터 이동 게이트웨이 서비스 명령

Amazon Redshift 데이터 유형 매핑 변경

• Amazon Redshift에서 VARCHAR(1)에 매핑되었던 BOOLEAN 데이터 유형이 이제 BOOLEAN에 매핑됩니다.
• Amazon Redshift에서 VARCHAR(1)에 매핑되었던 BYTES 및 BLOB 데이터 유형이 이제 VARBINARY(길이)에 매핑됩니다.

새로 지원되는 데이터베이스, 데이터베이스 버전 및 드라이버 버전

이 섹션에는 새로 지원되는 데이터베이스, 데이터베이스 버전 및 드라이버 버전이 나열되어 있습니다.

• 새롭게 지원되는 데이터 소스 버전 및 에디션

  이제 다음 데이터 소스 버전이 지원됩니다.

  • Azure Database for MySQL - 유연한 서버(MySQL 소스 커넥터를 통해 지원됨)
  • MariaDB 10.4 - 10.11(이전 10.4 및 10.5)

• 새로 지원되는 대상 데이터 플랫폼 및 에디션

  이제 다음 데이터 대상 버전이 지원됩니다.

  • Azure Database for MySQL - 유연한 서버(MySQL 대상 커넥터를 통해 지원됨)
  • Databricks: Databricks 13.3 LTS 및 서버리스 SQL Warehouse

• 새롭게 지원되는 SAP HANA 드라이버 버전

  Red Hat Linux 9.x에 데이터 이동 게이트웨이를 설치하려는 SAP HANA 소스가 있는 고객은 SAP HANA ODBC 64비트 드라이버 버전 2.0.19 이상을 설치해야 합니다.

지원 종료 데이터베이스 버전

이 섹션에서는 지원 종료된 데이터베이스 버전에 대한 정보를 제공합니다.

• 다음 데이터 소스 버전에 대한 지원이 중단되었습니다.

  • Oracle 11.x
  • SAP HANA 1.0

해결된 문제

• 서버 비밀번호를 제공하지 않고 데이터 이동 게이트웨이를 설치하면 테넌트 및 프록시 URL을 하나의 명령으로 구성할 수 없습니다.
• Salesforce(SaaS 응용 프로그램) 데이터 소스에서 데이터를 이동하면 많은 중복 경고가 출력되어 데이터 로드 성능에 영향을 미칩니다.
• SaaS 응용 프로그램 데이터 소스에 대한 변경 내용을 검색할 때 테이블 중 하나에 대한 변경 내용을 검색하는 동안 오류가 발생하면 해당 테이블이 일시 중단되고 파이프라인에서 제거됩니다. 이제 오류가 발생하면 작업은 테이블을 일시 중단하기 전에 변경 내용을 최대 3번 검색하려고 시도합니다.

표준

복제 프로젝트를 위한 새로운 데이터 레이크 대상

Qlik Cloud Data Integration에서 복제 프로젝트에 대해 지원되는 대상을 계속 확장하고 있습니다. Amazon S3 외에도 이제 데이터 레이크 제공을 위해 Azure Data Lake Storage(ADLS) 및 Google 클라우드 저장소(GCS)를 Parquet, JSON 또는 CSV 파일 형식으로 선택할 수 있습니다.

해결된 문제:

• IBM DB2 for LUW 소스 커넥터

  SSL 클라이언트 인증서 및 키 저장소 파일과 같이 연결에 필요한 파일의 크기가 4KB를 초과하면 IBM DB2 for LUW에 대한 연결이 실패합니다.

• IBM DB2 for LUW 및 IBM DB2 for z/OS 소스 커넥터용 드라이버

  드라이버 설치 유틸리티를 사용할 때 DB2 드라이버 설치가 실패합니다.

표준

데이터 파이프라인 대상으로 Microsoft Fabric 지원

Microsoft Fabric은 데이터 파이프라인 프로젝트에서 대상으로 사용할 수 있는 데이터 웨어하우스의 계속 확장되는 목록을 조인합니다.

해결된 문제:

드라이버 설치 유틸리티에서 Snowflake 드라이버 버전을 업데이트했습니다.

표준

비공개 연결에 대한 지원 확장

비공개 연결을 사용하면 데이터 트래픽의 보안과 규정 준수를 보장할 수 있습니다. 인바운드 방화벽 포트, 프록시 장치 또는 라우팅 테이블을 열 필요 없이 VPC(Virtual Private Cloud)의 네트워크 관리와 보안을 모두 간소화합니다. Qlik Cloud Data Integration은 이미 Snowflake, Microsoft SQL Server 및 Amazon S3 데이터 파이프라인 대상에 대한 비공개 연결을 지원합니다. 이번 릴리스를 통해 고객은 데이터를 Databricks, Microsoft Azure Synapse, Google BigQuery 및 Amazon Redshift로 이동할 때 비공개 연결을 추가로 활용할 수 있습니다.

PostgreSQL 기반 데이터 소스

• 모든 PostgreSQL 기반 데이터 소스 - 다중 범위 데이터 유형 지원: 이제 모든 PostgreSQL 기반 데이터 소스(온프레미스 및 클라우드)에서 다음 다중 범위 데이터 유형이 지원됩니다.

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud for PostgreSQL 데이터 소스 - 슈퍼 사용자가 아닌 사용자 역할 지원: PostgreSQL 커넥터에 지정된 사용자는 AWS Aurora Cloud for PostgreSQL 데이터 소스에서 데이터를 이동하기 위해 더 이상 슈퍼 사용자 역할이 필요하지 않습니다. 이는 권한이 없는 사용자에게 슈퍼 사용자 액세스 권한을 부여하지 못하도록 하는 기업 보안 정책을 가진 조직에 특히 유용합니다.

Microsoft Azure SQL(MS-CDC) 데이터 소스: 지역 복제 지원

Microsoft Azure SQL(MS-CDC) 데이터 소스에서 데이터를 이동하는 고객은 이제 Geo Replica 데이터베이스를 사용할 수 있습니다.

Oracle 데이터 소스: HSM(하드웨어 보안 모듈) 지원

Qlik Cloud Data Integration은 이제 CDC 중에 Oracle 암호화된 테이블스페이스 및 암호화된 열에서 데이터 읽기를 지원합니다.

새로운 지역 지원

Qlik Cloud Data Integration은 이제 DE 및 UK 지역의 테넌트를 지원합니다.

새로 지원되는 버전 및 타사 소프트웨어

이 섹션에는 새로 지원되는 데이터베이스 및 드라이버 버전이 나열되어 있습니다.

• 새로 지원되는 데이터 소스 버전. 이제 다음 데이터 소스 버전이 지원됩니다.

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1(IBM DB2 for z/OS로 작업하는 경우)
  • IBM DB2 for iSeries 7.5

• 새로 지원되는 대상 데이터 플랫폼 버전. 이제 다음 데이터 대상 버전이 지원됩니다.

  • Databricks(클라우드 저장소): Databricks 12.2 LTS 및 Databricks SQL Serverless

• 드라이버 버전. 이제 다음 ODBC 드라이버 버전이 지원됩니다.

  • IBM DB2 for z/OZ 및 IBM DB2 for LUW에 대한 IBM Data Server Client 11.5.8
  • Google Cloud BigQuery용 Simba ODBC 드라이버 3.0.0.1001
  • MySQL ODBC 유니코드 드라이버 64비트 8.0.32

Microsoft SQL Server 드라이버 - 필수 업그레이드

Microsoft SQL Server에서 데이터를 이동하는 고객은 SQL Server ODBC 드라이버 버전을 18.x 이상으로 업그레이드해야 합니다. SQL Server ODBC 드라이버 17.x를 계속 사용하면 데이터 오류가 발생할 수 있습니다. 동인 업그레이드는 드라이버 설치 유틸리티를 사용하거나 수동으로 수행할 수 있습니다. 자세한 내용은 동인 설정을 참조하십시오.

지원 종료 데이터베이스 버전

이 섹션에서는 지원 종료된 데이터베이스 버전에 대한 정보를 제공합니다.

• 지원 종료 데이터 소스 버전. 다음 데이터 소스 버전에 대한 지원이 중단되었습니다.

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• 지원 종료 대상 데이터 플랫폼 버전. 다음 데이터 대상 버전에 대한 지원이 중단되었습니다.

  • Databricks 9.1 LTS

2022.11.74

표준

2023년 8월 15일

복제 지원

당사는 신속한 혁신과 채택을 가능하게 하는 클라우드 우선 접근 방식을 취합니다. 그러나 이것이 클라우드 전용이라는 의미는 아닙니다. 고객을 위한 장기적인 가치를 향상시키려는 지속적인 노력의 일환으로 데이터 프로젝트를 만들 때 복제에 대한 새로운 사용 사례 릴리스를 발표하게 된 것을 기쁘게 생각합니다. 새로운 복제 사용 사례는 데이터 웨어하우스 현대화와 같은 모든 데이터 통합 요구 사항에 맞는 데이터 파이프라인을 만드는 기존 기능에 추가됩니다.

복제 프로젝트는 지원되는 데이터 소스에서 지원되는 대상으로의 실시간 데이터 복제를 지원합니다.

이번 최신 릴리스부터 실시간 데이터 복제를 지원하는 첫 번째 대상은 Microsoft SQL Server입니다. Microsoft SQL Server 온프레미스를 지원하는 것 외에도 다음 클라우드 공급자도 지원됩니다.

• 온프레미스
• Amazon RDS
• Google Cloud
• Microsoft Azure(Microsoft Azure 관리형 인스턴스 및 Microsoft Azure 데이터베이스)

Microsoft Azure Synapse Analytics 대상 - 필요한 동인 업그레이드

데이터를 Microsoft Azure Synapse Analytics로 이동하려는 고객은 SQL Server ODBC 드라이버 버전을 18.x 이상으로 업그레이드해야 합니다. SQL Server ODBC 드라이버 17.x를 계속 사용하면 데이터 오류가 발생할 수 있습니다. 동인 업그레이드는 드라이버 설치 유틸리티를 사용하거나 수동으로 수행할 수 있습니다. 자세한 내용은 동인 설정을 참조하십시오.

SaaS 응용 프로그램 소스를 위한 새로운 "소스에서 데이터 로드" 옵션

새로운 소스에서 데이터 로드 옵션이 도입되어 고객이 캐시된 데이터를 사용하는 대신 전체 로드 중에 소스에서 직접 데이터를 읽을 수 있습니다.

사용 사례를 포함하여 이 옵션에 대한 자세한 내용은 랜딩 설정을 참조하십시오.

업데이트된 CA 인증서

데이터 이동 게이트웨이 2022.11.74에는 Qlik Cloud 테넌트를 인증하는 데 필요한 업데이트된 CA 인증서가 포함되어 있습니다. 업데이트된 CA 인증서는 아일랜드 및 프랑크푸르트 지역에 대한 지원도 제공합니다. 따라서 Qlik Cloud Data Integration을 사용하려는 아일랜드 또는 프랑크푸르트의 Qlik Cloud 테넌트가 있는 고객은 이 버전으로 업그레이드해야 합니다.

해결된 문제

Oracle 소스에서 데이터를 랜딩하는 작업은 넓은 테이블에 사용되지 않거나 지원되지 않는 열 또는 복제되지 않은 LOB 열이 포함된 경우 실패한 경우가 있습니다.

2022.11.70

표준

2023년 6월 28일

SAP 클라이언트를 위한 향상된 드라이버 설치 유틸리티

이전 버전에서는 SAP 클라이언트를 설치할 때 "source arep_login.sh" 명령을 실행해야 했습니다. 이 버전부터는 이 명령을 실행할 필요가 없습니다.

업데이트된 CA 인증서

이 버전에는 Qlik Cloud 테넌트를 인증하는 데 필요한 업데이트된 CA 인증서가 포함되어 있습니다.

해결된 문제

• 데이터 이동 게이트웨이에서 복제 작업이 실패하고 자동으로 복구되면 복구된 상태가 Qlik Cloud의 랜딩 데이터 자산에 전달되지 않습니다.

• 데이터 이동 게이트웨이에 대한 엔드투엔드 암호화는 기본적으로 활성화되지 않으며 런타임 플래그에 의해 제어되었습니다.

2022.11.63

표준

2023년 5월 2일

드라이버 설치 유틸리티

이 버전에는 드라이버를 수동으로 설치하고 구성할 필요가 없는 드라이버 설치 유틸리티가 도입되었습니다. 새 유틸리티는 사용자 오류 가능성을 크게 줄이면서 설치 프로세스를 단축합니다. 유틸리티가 실행되면 필요한 드라이버가 자동으로 다운로드되고 가능한 경우 설치됩니다. 드라이버를 다운로드할 수 없는 경우(예: DB2 드라이버에 로그인 필요), 드라이버를 다운로드하고 데이터 이동 게이트웨이 컴퓨터의 전용 폴더에 복사한 다음 유틸리티를 실행하기만 하면 됩니다.

드라이버 설치 유틸리티를 사용하여 PostgreSQL 드라이버를 설치하는 예는 전제 조건을 참조하십시오.

Snowflake 클라우드 데이터 플랫폼

Snowflake 커넥터는 이제 4바이트 이모지 문자를 지원합니다.

Azure Database for PostgreSQL - 유연한 서버를 데이터 소스로 지원

이제 PostgreSQL 커넥터는 Azure Database for PostgreSQL - 유연한 서버에서 데이터를 이동할 수 있습니다.

데이터 소스로 Cloud SQL for PostgreSQL 지원

이제 PostgreSQL 커넥터는 Cloud SQL for PostgreSQL에서 데이터를 이동할 수 있습니다.

새로 지원되는 데이터 소스 버전

이 버전에서는 다음과 같은 새 데이터 소스 버전에 대한 지원을 도입했습니다.

• PostgreSQL 14
• DB2(IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

새로 지원되는 클라우드 데이터 플랫폼 버전

Databricks 11.3 LTS

다음 데이터 소스 버전에 대한 지원 중단

다음 데이터 소스 버전은 더 이상 지원되지 않습니다.

• DB2 (IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

해결된 문제

이 버전은 다음 문제를 해결합니다.

• Oracle 데이터 소스: 작업을 중지하고 다시 시작할 때 "컨텍스트에서 스트림 위치를 설정하지 못함" 오류와 함께 작업이 실패하는 경우가 있었습니다.
• SAP 응용 프로그램 소스: 랜딩 작업 중에는 변경 내용이 캡처되지 않습니다.