빅쿼리는 확장성이 뛰어나고 가격 대비 성능이 좋은 기업용 서버리스 데이터 웨어하우스 입니다.

객체 스토리지(메타데이터와 고유의 식별자를 통해 객체로 저장), 스프레드시트의 데이터, 관리형 열 형식 스토리지(분석 앱에서 데이터 열을 빠르게 검색하는데 최적화) 를 통해 논리적 데이터 웨어하우스를 생성하여 모든 배치와 연속적으로 생성되는 스트리밍 데이터를 분석합니다.

빅쿼리 공식 페이지에서 장점이나 기능, 그리고 사용 사례 등 궁금해할 수 있는 전반적인 내용 확인이 가능한데요. https://cloud.google.com/bigquery/?hl=ko

소개되어있는 장점 중 두드러지는 점은 일단 빅쿼리를 사용하면 초기 셋팅이나 확인하고자 하는 정보를 처리하는 데에 소요 시간이 짧아서 구축/활용의 사이클을 앞당긴다는 점 입니다. 특히 페타바이트 급(페타바이트라고 하면 2012년 기준으로 유투브에서 한달동안 저장하는 데이터)의 데이터를 SQL 쿼리를 통해 확인할 수 있으며, SQL 쿼리를 실행하여 7 테라 바이트(테이블에서 천억개의 행)를 30초 이내에 처리할 수 있다고 합니다. 이에 스트리밍 데이터를 수집하고 통계 정보로 시각화하는 것이 용이합니다. https://cloud.google.com/blog/products/gcp/anatomy-of-a-bigquery-query

이러한 특징은 우리가 가진 데이터 그리고 앞으로 처리해야 할 실시간 데이터를 적재하고 분석하는 데에 있어 가장 큰 장점이 아닌가 합니다. 데이터 로드, 변환, 시각화 도구가 빅쿼리와 통합되기 때문에 앞으로 비즈스프링에서 제공할 플랫폼을 구현하는 데에 효율적으로 운영이 가능하다고 생각됩니다.

빅쿼리를 사용해야하는 이유와 어떻게 활용해야 할지에 대해 고민해 보았으니 초기 셋팅을 진행하도록 하겠습니다.

 

▶ Google Cloud Platform(이하 GCP)에서 BigQuery 사용하기


1. Google Cloud 접속하여 구글 계정으로 로그인합니다.
( https://cloud.google.com/ )

 

 

2. 새 계정으로 로그인하는 경우 ‘새 계정 시작’ 동의를 해주세요. 이는 GCP에 처음 접근했을 때 숙지해야할 점에 대해 설명합니다.

 

 

3. 로그인 하여 첫 페이지 [무료로 시작하기] 클릭. 새로 시작하는 계정이 아니라면 [무료로 시작하기] 버튼이 없고, [콘솔] 로 접근 가능합니다.

 

 

4. GCP 이용 전 필요한 정보 및 결제 수단을 등록합니다.



결제 수단을 등록하여도 무료크레딧 제공으로 12개월 동안은 과금되지 않습니다. 결제수단 정보를 입력하는 것은 자동가입 방지를 위함이고 12개월이 지나서 유료 계정으로 직접 변경하지 않으면 추가 결제되지 않는다고 합니다.

입력 후 [무료 평가판 시작하기] 를 누릅니다.

 

5. 신청 완료.

 

 

6. [My First Project]를 눌러서 프로젝트를 확인합니다. 기본 생성된 프로젝트를 선택하거나 신규로 생성할 수 있습니다.

1) 기본 생성된 프로젝트 선택하면 그에 대한 대시보드로 이동합니다.

2) 새 프로젝트 선택하면 프로젝트를 선택할 수 있는 화면으로 이동합니다. 프로젝트 이름과 프로젝트가 위치할 폴더를 선택할 수 있습니다. 프로젝트 ID도 함께 생성되는데 이는 수정이 불가합니다.

 

 

7. BigQuery 를사용하기 위하여 좌측 메뉴를 확인합니다. BigQuery 는 빅데이터 섹션에 있습니다. [BigQuery]에 마우스를 오버하면 상단에 고정할 수 있는 핀 기능이 나타납니다. 이를 클릭하면 스크롤을 내리지 않고도 상단에서 바로 확인이 가능합니다.

 

 

8. BigQuery 를 클릭합니다. 처음을 환영하는 안내문을 확인할 수 있습니다.

 

 

9. BigQuery 대시보드에서 리소스를 확인하거나 신규 데이터셋을 생성&조회할 수 있습니다.
데이터셋은 프로젝트 하위에 속합니다. 데이터를 빅쿼리에 로드하는 것은 최소한 한 개 이상의 데이터셋을 만든 후에 가능합니다.

 

회원가입부터 빅쿼리 데이터셋 생성까지 GCP 초기 설정에 대하여 알아보았습니다. 절차에 따라 진행해보시고 궁금한 점 있으시면 댓글 달아주세요 🙂

Post filed under BizSpring Blog, e-Biz 이야기, e-Biz 칼럼 and tagged , , , , , .