HOME 사회 스페셜 칼럼
빅데이터 혁명, 어디까지 왔나
<사진=.sfchronicle.com>

저장장치인 스토리지와 연산장치, 인공지능이 고도로 발달하면서 엄청난 양의 데이터를 ‘전수분석’하는 것이 가능해졌다. 전수분석하는 기법이 바로 ‘빅데이터’기술의 핵심이다. 이글을 읽고 있는 1초의 순간에도 구글에서는 1억개의 검색이 이루어지고 페이스북에서는 200만개의 글이 공유되어 퍼져나간다. 이틀이면 백만개의 테라바이트급 하드디스크를 가득 채우는 방대한 데이터가 생산된다.

필자가 계산해보니 1TB하드를 단순히 구매하여 위 데이터를 저장한다면 전세계적으로 하루에 약 300억원에 가까운 비용이 소모된다. 그런데, 우리가 발굴하는 광범위한 데이터들 중 54%는 전혀 확인 못하고 버려지며, 32%는 중복되거나 오래된 데이터를로 인식되어 버려진다고 한다. 빅데이터 기법은 버려질 수도 있는 위 데이터에서 금맥을 찾는 첨단기술이다.

LCD 수리를 직업으로 하던 필자가 빅데이터에 대하여 처음으로 관심을 가지게 된 것은 스마트TV를 수리하면서부터이다. 유럽당국이 새로운 규제를 내놓아 데이터 축적과 전송을 제한했다고 들었지만, 스마트TV와 관련된 유럽인들의 시청정보를 저장한다면 1일 16TB가 쌓인다고 한다. 만약 이를 효과적으로 분석하면 유럽인들이 어떤 물품을 구매하고 싶어하고, 어떤 콘서트와 스포츠경기에 관심을 가지고 있는지 실시간으로 알 수 있다. 위 스마트TV의 빅데이터를 하드디스크를 구매하여 저장한다면 하루에도 최소 80만원을 투자해야한다. 하지만 요즈음은 아마존 등이 자체적으로 약 46,000개 정도의 넉넉한 서버를 보유하고 필요한 개인이나 단체에 이를 임대해준다. 빅데이터를 쉽게 다룰 수 있는 하둡 등의 도구도 개발되어 있고, 처리된 빅데이터를 인간이 시각적인 도표로 손쉽게 인식할 수 있도록 하는 소프트웨어들도 출시되고 있다.

빅데이터의 상업적 이용과 관련된 유명한 일화는 고등학생을 둔 자녀에게 임신 관련 카다로그가 배달되어 항의를 하였더니 실제로 어린 딸이 임신을 하고 있었다는 것이다. 빅데이터와 인공지능 기법이 색상에 대한 선호도의 미세한 변화를 통하여 새로운 고객을 발굴한 것이다.

한국에서는 대부분의 지역에 익일 배송이 가능하지만, 미국 실리콘밸리에서 운송비가 저렴한 '페덱스 그라운드' 등의 배송상품으로 물품을 배송하면 먼 곳은 4일이나 걸린다. 그러므로 대부분의 미국인들이 이미 물품이 늦게 배송되고, 서비스가 느리게 제공되는데 익숙해있다. 하지만, 첨단 빅데이터 기법을 이용하는 기업들은 이미 고객이 물품을 구매할 것을 사전에 예측하여 고객의 주소지 인근으로 미리 물품을 보내서 대기하면서 전체적인 운송기간을 단축시키고 있다.

개인정보보호법으로 개인정보의 활용이 제한되었지만, 실리콘밸리에서는 인적 제공 프로그램으로 주요 IT대기업의 담당자의 연락처를 파악하여 영업에 활용하도록 사전에 알려주기도 한다. 이러한 빅데이터의 활용은 개인의 삶에도 영향을 미친다. 2013년 한국에서 '오빠'와 관련된 빅데이터는 ‘밥’ 사주고, ‘옷’ 사주는 것과 깊은 관련성이 있었다. 그런데, 시간이 흐르자 오빠는 가까운 곳으로의 '여행'이나 '고기'로 변하고 있다. 이제 시대의 변화 흐름을 미리 읽는 빅데이터 전문가는 결혼할 가능성마저 그렇지 못한 사람보다 높아지고 있는 것이다.

빅데이터 정보는 의학적으로도 활용 가능성을 높였다. 법의학 실험실에서나 가능하던 유전자 해석이 100달러 정도의 가격에 가능해지자, 빅데이터와 결합한 유전자정보는 질병을 예방하는 목적으로 사용되고 있다. 예방적 유방절제수술을 한 안젤리나 졸리의 사례도 참고할 수 있다.

빅데이터는 정부의 정책결정과정에도 기여할 수 있다. 여론조사결과는 틀렸지만 빅데이터는 작년말 치뤄진 미국의 대통령 선거결과를 정확히 예측했다. 캘리포니아주는 카운티별로 자세한 범죄율 정보를 제공하며, 빅데이터로 이를 분석하면 어디에 주택을 구매하는 것이 안전한지도 알려준다. 미국의 피츠버그 경찰국은 지난해 10월 이미 영화 '마이너리티 리포트'와 유사한 '크라임 스캔' 이라는 프로그램을 도입하였다. 범죄발생가능성을 분석하여 범죄의 발생이 예견되는 곳에 사전에 순찰차를 배치하여 범죄를 예방하는 것이다. 뿐만 아니라 여러 국가에서 금융당국이 빅데이터 정보를 분석하여 이상징후를 파악하고 불법적인 자금세탁을 손쉽게 추적하는 기법도 연구하고 있다.

현재 일부 검색엔진의 트렌드 분석은 1주일 정도 지나야 공개되고 있지만, 구글의 트렌드 분석은 일반인에게 실시간으로 공개되고 있다. 지난 5월에 치러진 제19대 대통령선거에서도 구글의 트렌드 분석은 여론의 동향을 지역적으로 비교적 정확하게 예측하는 것을 지켜볼 수 있었다.

필자가 한국의 정책관련 키워드를 빅데이터 기법으로 분석해본 결과 사람이 알아내기 어려운 새로운 사실들도 찾을 수 있었다. 사드배치와 주한미군기지의 평택이전 정보가 신문의 지면을 장식하지만, 정작 극심한 ‘취업빙하기’를 반영하듯 일부 청년은 ‘주한미군군무원’으로 채용되는 방법을 알아보고 있었다. ‘국방부 체력단련장’을 검색하는 사람들이 늘어나 군인들이 몸짱 만들기에 관심이 늘어났는지 살펴보았더니, 골프장 예약과 관련성이 있었다. 외국에서 한국 관련 기사는 네이버나 다음의 포털뉴스를 볼 수 있지만, 빅데이터 기법으로 살필 수도 있다. 1일 5백만자 정도 자동으로 수집한 빅데이터로 한국 관련 영문기사를 분석해보니, 외국인들이 북핵문제뿐만 아니라 한국의 골프선수, 축구선수 등 스포츠선수들과 알려지지 않은 예술가들에게 관심을 키워가는 것을 관찰할 수 있었다.

한국에서는 이미 개인정보보호법이 제정되어 빅데이터를 개별적인 동의가 없이 무단으로 수집해 판매하거나, 신용평가나 보험료 산정에 활용하는데 제한을 가하고 있다. 이에 IT기업과 은행 등에서 빅데이터 산업의 발전을 위하여 규제완화의 목소리를 높이고 있다.

개인정보보호를 위해 일부 상업적 이용은 제한되지만, 공공분야에서 빅데이터의 활용 가능성은 무궁무진하다. 송파구에서는 지난 2014년 생활고를 견디지 못한 3모녀가 70만원을 남겨놓고 자살한 안타까운 사건이 있었다. 사회적인 합의가 필요하겠지만, 사회복지분야에서 빅데이터 기법을 활용한다면 전기료· 수도료· 가스요금의 변동, 병원진료기록, 자녀취학기록을 조사하여 복지공무원을 신속히 파견하여 위기에 빠진 가정을 긴급히 지원하고, 학대 위험에 방치된 아동도 구조할 날이 멀지 않다.
 

<필자 약력 소개>

서울대학교 법과대학 졸업

대우그룹 회장비서실

안양대학교 평생교육원 강사

(주)명정보기술 산호세법인 근무

여정현  admin@koreanlawyer.com

<저작권자 © 월요신문, 무단 전재 및 재배포 금지>

[제보 받습니다] 월요신문 MDN이 독자 여러분의 소중한 제보를 기다립니다.
뉴스 가치나 화제성이 있다고 판단되는 기사 제보 및 사진·영상 등을
월요신문 편집국(wolyo2253@daum.net / 02-2253-4500)으로 보내주시면 적극 반영하겠습니다.

기사 댓글 0
전체보기
첫번째 댓글을 남겨주세요.
여백
여백
Back to Top