Business Thinking/Technology

빅 데이터(Big Data)는 결국 인간의 뇌로 진화할 것이다

지하련 2011. 10. 31. 17:56



며칠 전 Mckinsey Quarterly Website의 특집이 Big Data였다. 내가 몸 담고 있는 기업에서는 Big Data가 아니라, 기본적인 Data Design이나 Architecture 없이 모여진 Data을 어떻게 관리하고 변화시켜나갈 것인가 고민이지만, 이 고민의 가운데 Big Data로 진화할 것이라는, 좀 멀리 있는 관점이 필요할 것이다.

Data에는 정형화된 Data와 비정형화된 Data가 있다. 최근 논의가 되고 있는 Big Data는, 그것이 정형화된 것이든, 아니든 상관없이 너무 덩치가 커서 어떻게 할 수 없는 Data를 말한다. 특히 기업에서 기존에 모아둔 분석 Data들과 최근에 다양한 고객들의 활동 정보 - SNS에 기반한 - 들은 대부분 비정형화 Data이거나 정형화하기 전에 먼저 Data로 추출되어 쌓인 Data들이다. 


(* 멥리듀스MapReduce: 구글의 소프트웨어 방법론으로, 페타바이트 이상의 대용량 데이터를 불특정 데이터로 궝된 클러스터 환경에서 병렬처리함)
- 위 도표는  정보통신산업진흥원(www.nipa.kr)의 '빅데이터 확산에 따른 도전과 기회' 리포트에서 재인용한 것임.



하지만 기존의 ERP나 CRM 등을 통해 수집된 Data를 기반으로, 기업의 의사결정을 논의하는 분석경영(Business Analytics)나 비즈니스 인텔리전스(Business Inteligence) 차원에서는 최근의 Big Data를 처리하기 역부족이라는 것이 관계자들의 공통된 의견들이다.

이러한 문제로 인해 Big Data를 전문적으로 분석할 수 있는 Tool나 Solution이 나오고 있지만, 시장에서의 반응은 아직 구체적이지 않다. 다만 흥미로운 것은 최근의 Big Data가 Facebook과 같은 Social Networking Service과 밀접한 관련을 맺고 있다는 것이다. 예전에는 고객들의 반응을 모으기 위해서는 Website를 만들고 그 위에 정해진 절차 - 로그인 프로세스, 이벤트나 설문 조사 등의 정보 수집 활동 등 - 를 통해서 였다면, 최근의 수집 활동은 전혀 다르다. Facebook이나 Twitter는 API형태로 기업체에서 특정 Application이나 Widget, 또는 자사의 웹사이트, Facebook 페이지, Twitter 계정 등을 통해 고객의 동의를 거쳐 다양한 고객 정보를 수집할 수 있도록 하였다. 예전과 비교해 고객의 번거로움을 줄이면서 손쉽게 고객 정보에 접근할 수 있게 된 것이다. 하지만 이 손쉬움은 정형화된 Data 대신 비정형화된 Data를 수집하게 된 것이다.

최근 주목받고 있는 Social Analytics도 이러한 배경에서 시작된 것이라 할 수 있다.

원래 이글은 제프리 스티벨의 흥미로운 의견, '인터넷은 뇌로 진화할 것이며, 그것은 우리의 삶을 이제까지와는 다른 차원으로 바꿀 것이다''- 구글 이후의 세계(웅진지식하우스, 2011) - 에 대해 논의하기 위해 시작된 것이었다. Big Data에 대한 분석 기술이 발달할 수록 우리가 원하는 어떤 정보를 인터넷을 하나하나 서핑하지 않고도 구할 수 있을 것이고 제프리 스티벨은 이를 인간의 뇌로 진화할 것이라고 말하는 것은 아닐까.

내가 좋아하는 웹사이트 Hunch.com은 내가 가입된 몇 개의 SNS 사이트 계정에 대한 접근을 허락하고 난 뒤, 몇 개의 질문들을 통해 나의 취향을 알아내고 다양한 상품들과 서비스를 추천한다. 다 좋은 것은 아니지만, Hunch.com에서 추천하는 목록들 중 일부는 내 취향과 너무 잘 맞아 기분까지 유쾌해지게 만들곤 한다. 한국에서도 이런 서비스를 해볼까 하는 생각까지 들게끔 말이다.

결국 Big Data의 문제는 보다 확장된 형태의 Business Analytics나 Business Intelligence가 커버하면서, Social Analytics과 밀접한 연관관계를 맺으며 발전하게 될 것이다.


- 아래 링크에서는 Big Data에 대한, 읽은 만한 내용이 언급되어 있다.

2011/06/21 - [책들의 우주/비즈] - 읽을 만한 경영 잡지, IGM Business Review 


- 오늘 '빅데이터'와 관련해 웹검색을 했더니, 좋은 글을 발견했다. 



- Big Data와 관련된 몇 권의 책을 리스팅한다. 현재까지는 Data를 바탕으로 한 Business Analytics의 관점에서 접근한 책들만 있었다. 

- 최근 나온 책으로 데이터를 바탕으로 기업 경영이나 기업 활동이 어떻게 이루어져야 하는가를 비교적 상세하게 기술하고 있다. 나는 이 책을 구입해 읽고 있다.


구글 이후의 세계
제프리 스티벨 저/이영기

- 이 책은 Big Data와는 직접적인 연관은 없다. 하지만 Big Data의 대표적인 기업인 구글, 그리고 그 구글이 펼쳐나가는 다음 인터넷(Next Internet), 저자가 Web 3.0이라고 말하는 세계는 흥미롭지 않을까. (나는 이 책을 읽지 않았고 펼쳐보지 않았다.) 


- 토머스 H. 데이븐포트는 분석 경영(Business Analytics)에 있어 세계적인 경영학자이다. 올해 초에 찾아보았을 때는 번역된 것이 없어 아마존 Wishlist에 올려놓고 있었는데, 며칠 전에 이 책이 번역되었다는 것을 알았다. 그러나 막상 책은 전문화된 BI, Business Intelligence에 대한 책이라고 할까. 분석 경영을 위해 솔루션 도입을 검토하고 있거나 여기에 대한, 경영의 관점에서 체계적인 지식이 필요한 사람에게 이 책은 유용할 것으로 생각된다.


- 현재 Big Data와 관련된 맥킨지의 아티클과 그 외 몇 개의 논문들을 읽고 있으니, 조만간 Big Data에 대한 또다른 글을 올릴 수 있을 것이다.