[월간웹] 활용할 수 없는 데이터는 데이터가 아니다!

글. 김원주 비즈스프링 과장

데이터 분석에 대한 니즈가 증가하면서 데이터 분석가와 데이터 과학자의 수요가 늘고 있다. 어디 그뿐이겠는가. 데이터를 자동으로 처리하는 자동화 시스템의 활용도 증가 추세다. 이유는 무엇일까? 사실 우리는 이미 정답을 알고 있다. 활용할 수 없는 데이터는 그저 쓸모 없는 정보 공해가 되기 때문이다.

폭발적인 데이터의 증가

데이터는 매일매일 늘어난다. 현재 데이터의 증가 속도는 저장 공간 증가 속도 대비 2배에 이른다고 한다. 상상하기 어려울 만큼의 정보량은 홍수가 돼 흐른다. 이 때문에 데이터 수집부터 저장, 관리, 분석 및 시각화 등 다양한 기술 발전이 중요해지고 있다. 그렇다면 많은 양의 정보를 처리할 수 없다면 어떻게 될까? 혹은 분석한 기술이 없어 정보를 내버리게 되면 어떻게 될까? 과거라면 이는 제어할 수 없는 정보는 무의미한 정보로 내팽개쳤을 것이다. 그러나 지금의 정보들은 기술 발전에 힘입어 새로운 시대의 패러다임을 만들어내는데 영향을 주고 있다. 지금 우리 시대를 빅데이터 시대라고 부르는 것은 의미하는 바가 크다.

데이터 수집 기술의 발전사

앞서 설명했듯 데이터 관련 기술의 발전은 우리가 상상하던 수준을 이미 크게 뛰어 넘었다. 그러면서 다양한 산업 분야에 접목돼 놀라운 만큼의 편리함을 제공하고 있다. 간단한 자바스크립트를 웹사이트에 추가하거나 모바일 앱에 SDK(Software Development Kit)를 삽입하는 것만으로도 우리는 사용자에 대한 다양한 데이터를 수집할 수 있다. 패널 데이터나 리서치 데이터도 아닌 전수 데이터를 말이다. 온라인 비즈니스에서는 이것이 의미하는 바가 꽤나 크다. 웹사이트나 모바일 앱을 이용하는 모든 방문자의 시스템 환경, 인터넷 서핑 패턴, 관심 분야, 인구통계학적 정보와 같은 데이터를 손쉽게 수집할 수 있으니 말이다. 이는 단순한 정보의 축적을 넘어 비즈니스 의사 결정에서 중요한 근거 데이터로 활용할 수 있다.

정보를 추적하는 것은 앞서 열거한 자바스크립트와 SDB뿐만이 아니며, 추적 코드를 통해 수집할 수 있는 데이터의 범주는 실로 광범위하다. 분석 솔루션의 기본 설정 변경만으로도 데이터 수집자가 얻을 수 있는 정보는 무수히 많다. 그러한 솔루션 대부분은 커스터마이징 기능까지 제공하니 비즈니스의 목적, 타깃에 따라 맞춤 데이터를 수집하기엔 더욱 편리해졌다. 많은 시간과 비용을 들이지 않아도 원하는 데이터를 수집할 수 있게 된 셈이다. 우리는 간단한 온라인상의 활동만으로 그들에게 데이터를 제공하고 있다는 점은 조금은 섬뜩하지만 말이다.

데이터 분석가의 필요성

그러나 데이터가 의미가 있기 위해선 반드시 필요한 작업이 있다. 바로 분석(Analytics)이다. 하나하나 살펴볼 수 없을 만큼 많은 데이터 속에도 불필요한(Garbage) 데이터 또한 존재하기 마련. 또한, 유의미하다고 판단되는 데이터도 분석하지 못하고 무작정 쌓아두기만 하면 쓸모가 없다. 이럴 땐 그냥 서버 공간을 축낼 뿐이 아니겠는가. 그러니 결국 분석 작업은 상당히 중요한 것이다. 그래서 최근에는 데이터 과학자(Data Scientist) 혹은 데이터 분석가라 불리는 직업군이 주목을 받고 있다. 모든 기업이 그들을 못 모셔가서 안달이 날 만큼 말이다.

결국, 데이터의 가치는 데이터 과학자와 분석가의 유무에 따라 크게 달라진다. 쌓인 정보를 유의미한 값으로 분석하는 것도 쉽지 않지만, 이를 또 실제 비즈니스에 적용할 수 있는 방법을 만드는 것은 더더욱 어렵다. 예를 들어, 하나의 웹사이트에 방문하는 주요 타깃이 20대 여성들이 네이버를 통해 ‘맛집’을 검색해 유입한다는 것을 알았다고 상상해보자. 웹사이트는 이를 충분히 대응해 그들이 만족할만한 콘텐츠를 제공해야 한다. 그렇지 않다면 데이터 분석이 무슨 소용이 있을까. 오히려 분석에 필요한 수고가 비용으로 발생하는 계기가 된다. 결국 데이터를 분석하고 관리해 다양한 활용법을 만들어내는 것이 데이터 활용의 목적이며 앞으로 그 중요성은 더욱 커질 것이다.

시스템의 진화

데이터를 분석할 수 있는 전문 인력을 끌어들일 수 없다면 기업이 직접 이들을 양성하는 것 또한 하나의 방법이다. 그러나 그게 어디 쉽겠는가. 아직 데이터 전문가의 개념 정립이 온전치 않은 상태에서 인재를 발굴하고 데이터 전문가로 발전시키는 것은 많은 시간과 비용이 필요하다. 하지만 앞서 밝혔듯 데이터 관련 기술은 우리 생각보다 크게 발전하고 있다. 물론, 데이터 분석가만큼 복잡한 작업을 섬세하게 수행할 순 없겠지만, 정보 분석이 비교적 단순한 영역에서는 오히려 사람보다 기술이 더욱 신속하고 정확한 결과를 도출할 수 있다. 그것도 저렴한 투자로 말이다. 많은 기업이 데이터 분석 자동화 시스템을 반기는 이유도 이 때문일 것이다.

분석 데이터에 기반을 둔 자동화 시스템

최근 IBM, 어도비, 오라클 등 글로벌 기업들은 실리콘밸리에 있는 마케팅 자동화 소프트웨어 스타트업 인수에 열을 올리는 이유도 같은 맥락이다. 그들은 이미 빅데이터 시대에서의 마케팅 자동화 솔루션이 얼마나 중요한지 이미 파악을 마친 상태다. 인수의 장점은 전문 인력까지 한 번에 끌어올 수 있다는 점. 최근 기술의 발전 양상을 보면 이러한 선택이 합리적이라는 데엔 의심할 여지가 없다.

예를 들어 보자. 2015년 한국 시장 진출을 선언한 넷플릭스는 영화, 드라마 등의 영상 콘텐츠를 온라인에서 제공하는 플랫폼 업체다. 1998년 창업 당시 업계 전문가들은 넷플릭스의 비즈니스 방식에 대해 혹평을 퍼부었지만, 지금은 연 매출 5조 원에 이르는 동영상 스트리밍 서비스에 세계 최고로 우뚝 섰다. 이러한 급격한 성장의 배후에는 추천 시스템이 있었다. 넷플릭스는 현재 미국 인구의 1/4에 달하는 시청자 취향을 데이터베이스로 구축하고 있다. 그 데이터는 77,000여 개의 분류 방식을 통해 사용자 맞춤 영화를 추천하는데 그 기술은 현재 넷플릭스의 효자 노릇을 하고 있다. 그러나 여러분의 기대처럼 넷플릭스엔 데이터 분석가가 없다. 물론, 전문가가 있었다면 당장 추천 기술은 질적으로 향상됐겠지만, 자동화 시스템만큼 효율을 뽑아내기는 어려웠을 것이다.

국내 사례도 있다. CJ오쇼핑은 지난 2014년 자체 개발한 ATS(Auto Targeting System)를 선보였다. ATS는 실시간으로 데이터를 수집하고 분석해 방송 시간에 맞춰 자동으로 타깃 고객을 선별한다. 동시에 시청 대상이 되는 고객에게 모바일 앱으로 푸시 메시지를 발송한다. 타깃 그룹을 분류하는 데이터 분석가의 역할은 자동화 시스템으로 대체해 메시지 발송 시간을 대폭 단축한 것이다. 무엇보다 중요한 건 이뿐만 아니다. 메시지를 통한 오픈율 및 구매전환율이 이전 대비 크게 증가했으니까 말이다.

그 밖에도 서비스 방문자의 부서, 직급 정보를 수집해 매일 맞춤형 정보를 자동으로 메일 발송하는 것이나 연관 상품을 노출해 추가 구매를 유도하는 것은 이미 널리 알려진 자동화 시스템 사용 사례다. 사람이 직접 수행하는 분석 작업을 통해 인사이트를 얻어내는 것과는 분명 차이가 있지만, 간단한 프로세스 수행만으로도 비슷한 결과를 얻어내는 것은 이미 많은 사례로 입증하고 있다.

데이터는 활용할 수 있어야 한다

글로벌 시장조사 기관인 프로스트 앤 설리번의 시장 분석 보고서에 의하면 2020년까지 전 세계 마케팅 자동화 소프트웨어 시장 규모가 145억 달러(약 16조 7천 억 원)까지 급성장할 것이라고 한다. 많은 기업이 방대하게 쌓이는 데이터 활용의 해법을 시스템에서 찾고 있기 때문으로 보인다. 정보 소유가 힘의 원천이었던 과거와는 달리 이제는 정보를 활용할 줄 알아야 하는 시대가 도래한 것이다.

필자가 웹 분석 강의를 진행할 때 가장 많이 듣는 질문도 역시 데이터 활용에 대한 것이다. 이를 유추해 봤을 때 대부분 기업에서 데이터 분석에 대한 관심도가 높아진 게 분명하다. 그러나 많은 기업 담당자가 필요에 의해 데이터를 모아두지만, 정작 수집한 데이터를 어떻게 사용해야 할지 모르는 경우가 많다. 그래서 강의에서의 질문 대부분은 모두 데이터 활용에 대한 것들이다. 그럴 때마다 필자는 기업 내부에 분석가를 양성하거나 또는 분석팀을 별도 구성하라는 말로 끝을 맺곤 한다. 데이터 분석과 활용을 위한 비법 같은 것은 사실 존재하지 않기 때문이다. 다만 확실한 것은 데이터는 그 자체만으로는 아무런 의미를 갖지 않는다는 것이며 기업 내부에 주된 업무로써 수행할 담당자 또는 팀을 배정해야지만 지속적으로 데이터에 가치를 부여하는 일이 가능하다는 것이다.

최적의 방법 찾아보기

데이터 활용을 위한 최적의 방법은 데이터 분석가와 자동화 시스템을 동시에 확보하는 것이다. 데이터 분석가는 데이터 활용을 위한 최적의 알고리즘을 만들어 지속적으로 시스템을 개선해야 하며 동시에 그 알고리즘을 바탕으로 사람이 직접 수행하기 어려운 영역에서 자동화 시스템이 지속적인 임무를 수행해야 한다. 그러나 두 가지 토끼를 모두 잡는 건 생각보다 쉽지 않은 일이다. 우리는 언제나 효율적이고 합리적인 선택을 해야 한다. 그 선택이 어떠한 결과를 가져올지 예측하고 계획을 수립하는 것은 각 담당자의 몫. 결국 중요한 것은 데이터를 어떻게 활용하느냐에 대한 문제이며 이는 앞으로도 끊임없이 풀어나가야 할 과제다.

편집자 주. 클릭 이슈는 격월로 온·오프라인에서 발생하는 이슈를 주제로 진행하며, 대표적인 e-Business 솔루션 업체로 웹 분석 서비스를 전문적으로 제공하는 비즈스프링(www.bizspring.co.kr)과 함께 합니다.