Google Cloud Storage

마지막 업데이트: 2026. 10. 20.

Google Cloud Storage은 Google Cloud 인프라에서 데이터를 저장하고 액세스하기 위한 Google의 통합 객체 스토리지 서비스입니다.고가용성과 글로벌 이중화를 제공하며 더 광범위한 Google Cloud 생태계와 통합됩니다.

Qlik Talend Cloud은 Google Cloud Storage(GCS)에 연결하기 위해 대상 버킷에 대한 읽기 액세스 권한이 있는 Google Cloud 서비스 계정을 사용합니다.커넥터는 지정된 버킷에서 파일을 가져오고, 파일 콘텐츠를 샘플링하여 스키마를 자동으로 검색하며, 파일 수정 타임스탬프를 기반으로 증분 데이터 복제를 수행합니다.

유용한 링크와 지원되는 기능을 포함하여 이 커넥터에 대한 전반적인 내용을 살펴보겠습니다.

특징/기능	지원 세부 정보
지원되는 Qlik Talend Data Integration 프로젝트	복제 프로젝트에만 해당됩니다. 데이터 파이프라인 프로젝트는 지원되지 않습니다.
대상 업데이트 방법	복제 작업: 변경 내용 적용 변경 내용 저장 데이터 레이크 작업에 데이터 랜딩: 데이터 변경 내용 캡처(CDC)
SaaS 응용 프로그램에 연결	수동 메타데이터 생성이 필요하지 않습니다.
자동 스키마 진화	열 데이터 유형 변경 작업만 지원됩니다.
LOB 열(NCLOB, CLOB 및 BLOB) 복제	지원되지 않음.
예정된 CDC	필수. 이렇게 하면 소스의 변경 내용이 대상에 최신 상태로 유지됩니다. 복제 작업의 경우 작업 예약을 참조하십시오. 레이크 랜딩 작업의 경우 레이크 랜딩 작업을 위한 CDC 일정을 참조하십시오.
알림	부분적으로 지원됨 작업 변경 알림 설정
모니터링 중	CDC에만 해당되며, 이 커넥터의 경우 전체 로드가 적용되지 않습니다. 개별 데이터 작업 모니터링
JSON 열 페이로드의 자동 압축 해제	지원되지 않음. 소스 데이터 집합의 JSON 열 페이로드는 대상에서 자동으로 압축 해제되지 않습니다.

인증 준비 중

데이터에 액세스하려면 계정 자격 증명을 사용하여 연결을 인증해야 합니다.

사용하는 계정에 가져오려는 테이블에 대한 읽기 액세스 권한이 있는지 확인합니다.

Google Cloud Storage 계정을 설정하려면 다음이 필요합니다:

Cloud Storage API가 사용 설정된 Google Cloud Platform(GCP) 프로젝트.
복제할 파일이 포함된 Google Cloud Storage(GCS) 버킷입니다.
버킷에 대한 읽기 권한이 있는 서비스 계정입니다.
권장 역할은 Storage Object Viewer(roles/storage.objectViewer)이며, 필요한 storage.objects.get 및 storage.objects.list 권한을 부여합니다.자세한 내용은 Google Cloud Storage IAM 역할 문서 를 참조하십시오.
서비스 계정에 대해 다운로드한 서비스 계정 JSON 키 파일입니다.

서비스 계정을 생성하고 자격 증명을 가져오려면:

Google Cloud 계정에 로그인합니다.
IAM 및 관리자 > 서비스 계정으로 이동합니다.
서비스 계정 만들기를 클릭합니다.
서비스 계정의 이름과 설명을 입력한 다음 만들고 계속하기를 클릭합니다.
서비스 계정에 스토리지 객체 뷰어 역할 또는 storage.objects.get 및 storage.objects.list 권한이 있는 커스텀 역할을 부여합니다.
계속 및 완료를 클릭합니다.
새로 생성한 서비스 계정에서 작업 메뉴를 클릭합니다.
키 관리 > 키 추가 > 새 키 만들기로 이동합니다.
JSON을 선택하고 생성을 클릭합니다.
JSON 키 파일이 사용자의 컴퓨터로 직접 다운로드됩니다.이 파일에는 연결을 설정하는 데 필요한 project_id, client_email 및 private_key 필드가 포함되어 있습니다.
키 파일은 한 번만 다운로드할 수 있습니다.Google Cloud 리소스에 대한 액세스 권한을 제공하므로 안전하게 보관하고 백업해 두어야 합니다.

지원되는 파일 형식

구분 기호로 분리된 텍스트: CSV, TSV, PSV, TXT(구분 기호 설정 가능)
JSON Lines (.jsonl)
Parquet (.parquet)
Avro (.avro)
위의 형식 중 어느 것이든 포함하는 Gzip 압축 파일 (.gz)
CSV, JSON Lines, TXT, TSV, PSV 또는 Gzip 파일이 포함된 ZIP 아카이브

연결 생성

자세한 내용은 SaaS 응용 프로그램에 연결을 참조하십시오.

필요한 연결 속성을 입력합니다.
연결 이름에 연결 이름을 입력합니다.
연결이 만들어질 때 연결에 대한 메타데이터를 정의하려면 연결 메타데이터 열기를 선택합니다.
만들기를 클릭합니다.

연결 설정
설정	설명
데이터 게이트웨이	사용 사례에 필요한 경우 데이터 이동 게이트웨이를 선택합니다. 정보 메모 이 필드는 데이터 이동 게이트웨이를 지원하지 않으므로 Qlik Talend Cloud 시작 구독에서는 사용할 수 없습니다. 다른 구독 계층이 있고 데이터 이동 게이트웨이를 사용하지 않으려면 없음을 선택합니다. 데이터 이동 게이트웨이의 이점과 이를 필요로 하는 사용 사례에 대한 자세한 내용은 Qlik Data Gateway - Data Movement를 참조하십시오.
시작 날짜	데이터를 소스에서 대상으로 복제해야 하는 날짜를 `MM/DD/YYYY` 형식으로 입력합니다.
클라이언트 이메일	서비스 계정 JSON 키 파일의 클라이언트 이메일입니다.
프로젝트 ID	서비스 계정 JSON 키 파일의 프로젝트 ID입니다.
버킷	파일이 저장된 Google Cloud Storage(GCS) 버킷의 이름(예: `my-gcs-bucket`). `gs://` 접두사를 포함하지 마십시오.
테이블	테이블을 구성하여 읽을 파일과 해당 내용을 해석하는 방식을 제어합니다.각 테이블 정의에는 파일 검색 패턴, 테이블 이름 및 고급 동작을 위한 선택적 설정이 포함됩니다.
개인 키	서비스 계정 JSON 키 파일의 비공개 키입니다.

테이블 구성

테이블 구성의 각 항목은 대상 버킷의 파일에서 생성된 논리 테이블을 지정합니다.각 테이블에 대해 다음 속성을 구성할 수 있습니다.

속성	필수 또는 선택	설명
테이블 이름	필수	논리 테이블의 이름을 지정하십시오(예: `my_orders_csv`).이 이름은 Qlik Talend Cloud에서 스트림 이름으로 표시됩니다.
검색 패턴	필수	파일 이름과 일치시킬 정규식을 입력하십시오. 예를 들어 모든 CSV 파일을 선택하려면 `.\.csv$`을(를) 입력합니다.커넥터는 regex 및 glob 검색 패턴 구문을 사용합니다.정규식에서 ``은 반복할 표현식을 팔로우해야 하므로 `.csv`은 CSV 파일 이름과 일치하지 않습니다.`report.csv` 및 `my.data.csv`와 같은 파일 이름과 일치시키려면 `\.csv$` 또는 `.\.csv$`와 같은 패턴을 사용하세요.
검색 접두사	선택 사항	파일 검색 범위를 좁히려면 버킷 내의 경로 접두사를 입력하세요(예: `exports/orders/`).접두사를 사용하면 스캔되는 파일 수를 제한하여 성능이 향상됩니다.
주요 속성	선택 사항	기본 키를 정의하려면 쉼표로 구분하여 하나 이상의 열 이름을 나열하십시오.예: `id` 또는 `id,date`.
날짜 재정의	선택 사항	날짜/시간 필드로 처리할 열 이름을 쉼표로 구분하여 나열합니다.스키마 검색 중에 이러한 필드가 자동으로 감지되지 않는 경우 이 옵션을 사용하십시오.
구분 기호	선택 사항	파일에서 값을 구분하는 문자를 지정하십시오.기본값은 `,` (쉼표)입니다.탭으로 구분된(TSV) 파일에는 `\t`을, 파이프로 구분된(PSV) 파일에는 `\|`를 사용하세요.비워 두면 시스템이 파일 확장을 기반으로 구분 기호를 자동으로 감지합니다.

복제된 테이블

테이블은 테이블 구성(위 참조)을 기반으로 생성됩니다.각 테이블은 지정된 검색 패턴과 선택적 접두사에 모두 일치하는 Google Cloud Storage(GCS) 버킷의 파일 집합에 해당합니다.커넥터는 테이블당 최대 5개의 파일을 샘플링하고 파일당 최대 1,000개의 레코드 한도로 5번째 행마다 읽어 스키마를 자동으로 검색합니다.

복제는 증분 방식으로 수행되며 파일 수정 타임스탬프를 사용하여 변경 사항을 추적합니다.각 추출 시 커넥터는 동기화 북마크에 기록된 대로 마지막으로 성공한 동기화 이후 수정된 파일만 처리합니다.

기본적으로 각 테이블에 다음 시스템 열이 추가됩니다:

열	설명
`_sdc_source_bucket`	레코드를 읽은 Google Cloud Storage(GCS) 버킷의 이름입니다.
`_sdc_source_file`	레코드가 포함된 파일의 전체 경로입니다.
`_sdc_source_lineno`	파일 내 레코드의 행 번호입니다.
`_sdc_extra`	파싱 중에 발견되었으며 감지된 스키마와 일치하지 않는 추가 열입니다.JSONL 파일에만 적용됩니다.

제한 사항 및 고려 사항

서비스 계정 자격 증명(project_id, client_email, private_key)은 JSON 키 파일에서 추출한 개별 값으로 제공되어야 합니다. 파일 업로드는 지원되지 않습니다.
Gzip 압축 파일(.gz)이 지원됩니다.커넥터는 내부 파일 형식을 결정하기 위해 gzip 헤더에서 원본 파일 이름을 읽습니다.--no-name (헤더에 파일 이름이 저장되지 않음)으로 생성된 Gzip 파일은 건너뜁니다.
중첩 압축(예: 다른 .gz 내부의 .gz 또는 .zip 내부의 .zip)은 지원되지 않습니다.이 파일들은 건너뜁니다.
.csv, .txt, .tsv, .psv 또는 .jsonl 확장이 있는 파일은 gzip 매직 바이트를 확인하며 gzip으로 압축된 경우 압축을 해제합니다—파일에 .gz 확장이 없는 경우에도 마찬가지입니다.
search_pattern 필드는 정규식 및 glob 검색 패턴 구문을 사용합니다.정규식에서 *은 반복할 표현식을 팔로우해야 하므로 *.csv은 CSV 파일 이름과 일치하지 않습니다.report.csv 및 my.data.csv과 같은 파일 이름을 일치시키려면 .*\.csv$을(를) 사용하십시오.
커넥터에는 Google Cloud Storage (GCS) API 속도 제한(429) 및 일시적인 서버 오류(500, 502, 503, 504)에 대해 지수 백오프가 적용된 재시도 로직이 내장되어 있습니다.실패하기 전까지 최대 5회 시도합니다.
인식된 확장이 없는 파일은 건너뛰고 경고가 표시됩니다.

이 페이지가 도움이 되었습니까?

이 페이지 또는 해당 콘텐츠에서 오타, 누락된 단계 또는 기술적 오류와 같은 문제를 발견하면 알려 주십시오!

여기에 피드백을 남겨주십시오.