기본 콘텐츠로 건너뛰기

단계별 연습 - Store 명령을 사용하여 증분 데이터 로드

이 단계별 예에서는 Qlik Sense SaaS에서 Store 명령을 사용하여 증분 데이터를 로드하는 방법을 보여 줍니다.

Store를 사용하여 QVD 파일을 만들고 해당 파일을 DataFiles로 로드할 수 있습니다. 예를 들어 이 데이터는 현재 날짜 이전의 특정 일 수 등 한정된 시간 동안만 데이터베이스에서 사용할 수 있는 데이터 레코드일 수 있습니다. 만든 QVD 파일에서 이전 데이터를 로드한 다음 소스 데이터베이스의 사용 가능한 최신 데이터와 결합할 수 있습니다. 그런 다음 최신 데이터를 QVD 파일에 다시 삽입할 수 있습니다. 이 예제에서는 이러한 사용 사례를 설명합니다.

또한 Store를 사용하여 저장하려는 연결에서 데이터를 한 번만 저장한 다음 데이터베이스에서 새 데이터를 추가할 수 있습니다. 이렇게 하면 후속 데이터 로드 시간을 줄이고 데이터베이스 서버, 네트워크 등의 부하를 줄일 수 있습니다. 이 예제에서는 이러한 사용 사례를 고려하지 않습니다. 그러나 일반적으로 동일한 단계가 적용됩니다.

이 예제에서는 Standard Search Twitter API를 사용하여 연결을 만들고 특정 텍스트 용어를 검색합니다. 검색은 Twitter에서 적용한 제한인 지난 7일 동안의 트윗과 일치하는지 비교합니다. 이 예제에서 Standard Search Twitter APITwitter 데이터베이스에서 로드되는 데이터 양을 제한합니다.

Store를 사용하여 Twitter 데이터 테이블을 QVD 파일에 저장하고 해당 파일을 DataFiles로 로드합니다. 그런 다음 Twitter의 최신 데이터를 요청하고 데이터를 QVD 파일의 데이터와 함께 앱에 로드합니다. 데이터가 QVD 파일로 다시 로드되어 QVD 파일이 증가합니다.

앱을 게시한 다음 최신 데이터가 포함된 게시된 앱을 로드합니다.

이 예제에 나오는 작업 및 개념에 대한 자세한 내용은 다음을 참조하십시오.

전제 조건

  • 클라우드 허브(Qlik Sense SaaS) 구독.
  • Twitter Twitter API를 사용할 계정.
  • 클라우드 허브에서 앱을 만드는 방법을 알아야 합니다. 자세한 내용은 앱 만들기 및 데이터 추가를 참조하십시오.
  • 데이터 로드 편집기 사용 방법을 알아야 합니다. 자세한 내용은 데이터 로드 편집기 사용를 참조하십시오.

작업

이 예제를 완료하려면 다음 작업을 수행해야 합니다.

  1. 앱을 만들어 Twitter에 연결
  2. Twitter에서 데이터 선택
  3. Twitter 데이터를 사용하여 QVD 파일을 만들고 증분시키는 스크립트 문 추가
  4. 스크립트 실행
  5. 데이터 다시 로드 일정 설정

앱을 만들어 Twitter에 연결

  1. 클라우드 허브 작업 영역에서 앱을 만듭니다.
  2. 스크립트 편집기를 엽니다. 스크립트 편집기를 여는 옵션은 새 앱을 만들 때 표시됩니다. 데이터 로드 편집기에서도 스크립트 편집기에 액세스할 수 있습니다.
  3. 오른쪽 메뉴의 데이터 연결에서 새 연결 만들기를 클릭합니다. 새 연결 만들기 창이 열립니다.
  4. 데이터 소스 드롭다운 목록에서 Twitter 를 선택합니다. 인증 창이 열립니다.
  5. 인증을 클릭합니다. Twitter API 인증 창이 열립니다. 브라우저에서 팝업을 활성화해야 할 수 있습니다.
  6. Twitter 계정을 사용하기 위해 Qlik 웹 커넥터를 인증하려면 Twitter 자격 증명을 입력합니다.
  7. 로그인을 클릭합니다. Twitter 창이 열리고 액세스 코드가 표시됩니다. 코드를 복사합니다.
  8. Qlik Sense 인증 창에서 코드를 붙여넣은 다음 확인을 클릭합니다. 연결이 인증됩니다.
  9. 연결 테스트를 클릭하여 연결이 생성되었는지 확인합니다.
  10. 연결 이름을 지정한 다음 만들기를 클릭합니다. 연결이 생성되고 데이터 로드 편집기가 열립니다. 오른쪽 메뉴의 데이터 연결 목록에 연결이 추가됩니다.

Twitter에서 데이터 선택

연결을 만든 후 Twitter에서 로드할 데이터를 선택할 수 있습니다.

  1. 스크립트 편집기에서 스크립트에 새 탭을 추가합니다.
  2. 탭 이름을 지정합니다. 탭 이름을 New Data (Twitter)라고 합니다. 스크립트 편집기 창에 커서를 놓습니다.
  3. 데이터 로드 편집기에서 Twitter 연결에 대한 데이터 선택을 클릭합니다.

    로드할 데이터 선택 창이 열립니다.

  4. Search라는 테이블을 선택한 다음 검색할 용어를 선택합니다. 이 예제에서는 "Kubernetes"를 사용합니다.

     

    Search 테이블이 선택된 데이터 로드 창

    Search 테이블이 선택된 데이터 로드 창

  5. 데이터 미리 보기를 클릭합니다. Search 테이블의 데이터 필드가 표시됩니다. 로드할 필드를 선택합니다. 이 예제에서는 id, created_at, text, source 및 user_name 필드를 선택합니다.

     

    데이터 미리 보기가 표시된 데이터 로드 창

    데이터 미리 보기가 표시된 데이터 로드 창

  6. 스크립트 삽입을 클릭합니다. 데이터 로드 편집기에서 스크립트 편집기의 새 데이터(Twitter) 탭에 스크립트 세그먼트가 추가됩니다.

  7. Load 문 위에 한 줄을 추가하여 테이블 이름을 지정합니다. 이 예제에서는 TwitterSearch라고 합니다.

     

    탭은 다음 스크린샷과 유사하게 표시되어야 합니다(주석 제외).

     

    데이터 로드 편집기의 새 데이터(Twitter) 탭

    데이터 로드 편집기의 새 데이터(Twitter) 탭입니다.

  8. 데이터가 로드되는지 확인하려면 상단 메뉴에서 데이터 로드를 클릭합니다. 데이터가 로드됩니다.

     

    데이터 로드 진행률 창

    데이터 로드 진행률 창입니다.

필요한 경우 데이터 모델 뷰어에서 테이블 및 필드의 데이터를 볼 수 있습니다. 또한 앱에서 테이블을 만들어 현재 데이터를 볼 수도 있습니다.

Twitter 데이터를 사용하여 QVD 파일을 만들고 증분시키는 스크립트 문 추가

Twitter에서 데이터를 로드하도록 앱을 설정한 후 해당 데이터를 QVD 파일에 저장할 수 있습니다. Twitter Standard API를 통해서만 이전 7일 동안의 데이터를 가져올 수 있으므로 데이터가 로드된 후 처음에는 해당 데이터가 QVD에 포함됩니다.

  1. 스크립트 편집기에서 스크립트에 새 탭을 추가합니다.
  2. 탭 이름을 지정합니다. 탭 이름을 Historical data (QVD)라고 합니다.
  3. 탭에서 다음 스크립트 문을 추가합니다. 주석(//)은 참조용입니다. 스크립트를 실행할 때 주석은 실행되지 않습니다.

     

    정보 메모 Firefox에서 복사하여 붙여넣는 경우, Word와 같은 다른 문서에 먼저 붙여넣어야 스크립트 편집기에서 줄 바꿈이 제대로 표시될 수 있습니다.

     

    //Method to test QVD file size. If the file does not exist returns <null> let size = FileSize('lib://DataFiles/AllTweets.qvd'); //Set the historical data pull range to a variable LET vRollingDate = Today()-90; //If the file exists and contains some data then the if statement is executed; //if the file does not exist, i.e. is null, then the if statement will be skipped if not isnull(size) then TwitterSearch: LOAD * FROM ['lib://DataFiles/AllTweets.qvd'](qvd) //Twitter ids are unique; ensures only new tweets added WHERE NOT EXISTS (Search.id) //Load last 90 days of data from the qvd file; //QVD file provides historical data beyond Twitter Standard API limit of 7 days. //Also ensures that stored incremented qvd file does not grow too large in size. AND FLOOR (Date([Search.created_at]))>=$(vRollingDate); end if

     

    탭은 다음 스크린샷과 유사하게 표시되어야 합니다.

     

    데이터 로드 편집기의 이전 데이터(QVD) 탭

    데이터 로드 편집기의 이전 데이터(QVD)입니다.

  4. 스크립트에 다른 새 탭을 추가합니다.
  5. 탭 이름을 지정합니다. 탭 이름을 Store to QVD라고 합니다.
  6. 탭에서 다음 스크립트 문을 추가합니다.

     

    //Regardless of the QVD file existing previously or not, updated data gets stored into the QVD. STORE TwitterSearch INTO [lib://DataFiles/AllTweets.qvd](qvd);

     

    탭은 다음 스크린샷과 유사하게 표시되어야 합니다.

     

    데이터 로드 편집기의 QVD에 저장 탭

    데이터 로드 편집기의 QVD에 저장 탭입니다.

스크립트 실행

처음으로 스크립트를 실행하면 Twitter에서 데이터가 로드되고 Twitter 데이터를 사용하여 AllTweets.qvd라는 QVD 파일이 만들어집니다. QVD 파일이 DataFiles 공간에 추가됩니다. 스크립트를 다시 실행하면 TwitterQVD 파일에서 데이터가 로드됩니다. QVD 파일이 QVD 파일에서 로드한 데이터로 업데이트됩니다.

  1. 데이터 로드를 클릭합니다. 처음으로 스크립트를 실행하면 Twitter에서 데이터가 로드되고 데이터를 사용하여 AllTweets QVD 파일이 만들어집니다. QVD 파일이 DataFiles 공간에 추가되고 Select data을 클릭하여 볼 수 있습니다.

     

    처음으로 스크립트를 실행하면 다음과 유사한 메시지가 표시됩니다.

     

    데이터 로드 진행률 창

    데이터 로드 진행률 창입니다.

     

    그 이후로 데이터를 로드하면 다음과 유사한 메시지가 표시됩니다.

     

    데이터 로드 진행률 창

    데이터 로드 진행률 창입니다.

  2. 데이터를 사용하여 앱에서 차트 및 테이블을 만듭니다.

데이터 다시 로드 일정 설정

데이터를 로드한 후 앱에서 해당 데이터를 표시할 수 있습니다. 데이터를 다시 로드하는 한 가지 방법은 앞에서 살펴본 것처럼 스크립트 편집기를 열고 데이터 로드를 클릭하는 것입니다. 그러나 데이터를 수동으로 로드할 수도 있으며 선택한 일정으로 또는 사용자 인터페이스에서 로드할 수 있습니다. 자세한 내용은 클라우드 앱에서 앱 데이터 로드를 참조하십시오.