17. 빅데이터 시장 규모와 발전 스토리

빅데이터란 말 그대로 거대한 데이터라는 뜻입니다. 이러한 빅데이터 관련 시장규모는 날로 커지고 있으면 발전하는 스토리 양상을 띠고 있습니다. 우리가 매일매일 인터넷과 스마트폰을 이용하면서 생성되는 방대한 양의 정보들을 모두 빅데이터라고 부르게 됩니다.

 

빅데이터의 정의 

이렇게 많은 양의 데이터들이 쌓이고 쌓이다 보면 나중에는 어마어마한 가치를 지니게 됩니다. 실제로 미국에서는 이러한 빅데이터를 활용해서 범죄자를 검거하기도 하고, 기업에서도 마케팅 전략 등 다양하게 활용하고 있다고 합니다. 최근 가장 많은 관심을 받고 있는 챗GPT AI의 경우, 방대한 양의 데이터를 익힌 인공지능합니다. 이러한 빅데이터기술은 지속적으로 발달하고 있습니다. 그렇다면  빅데이터 분석이란 무엇일까요? 빅데이터분석이란 쉽게 말해서 대용량의 데이터를 수집하고 저장 및 처리하며 분석함으로써 유의미한 결과를 도출하는 과정을 말합니다. 예를 들어 어떤 사람이 특정 지역에서의 이동경로나 시간등을 파악하면 해당지역 방문 빈도수라던가 교통수단별 소요시간 같은 통계자료를 얻을 수 있습니다. 이러한 엄청난 양의 데이터를 모아서 의미 있는 자료로 만드는 작업을 빅데이터 분석이라고 합니다.

 

빅데이터 시장 규모

빅데이터 시장 규모는 얼마나 될까요? 현재 세계 빅데이터 시장규모는 약 5조 원 수준이며 매년 10% 이상씩 성장하고 있습니다.  2023년에는 약 40조 원가량 될 것으로 전망되기도 합니다. 국내시장 역시 2017년 1조 7천억 원이었던 산업 규모는 2019년 2조 4천억 원으로 크게 성장했습니다. 특히 코로나19 사태로 인해 비대면 서비스 수요가 급증하면서 빅데이터 산업 또한 더욱 활성화되고 있습니다. 빅데이터의 중요성이 커지면서 이 분야를 전문적으로 다루는 빅데이터 전문성이 주목받고 있습니다. 빅데이터 시장의 핵심인력인 빅데이터 전문가는 주로 경영학, 경제학, 컴퓨터공학, 통계학 전공자들이 많이 진출하여 성과를 나타내고 있습니다. 대표적인 직업으로는 소프트웨어 개발자, 데이터베이스관리자, 시스템소프트웨어개발자, 웹프로그래머, 응용소프트웨어개발자, IT컨설턴트, 품질관리전문가, 연구원, 기획자, 마케터, 컨설턴트 등이 있습니다. 이외에도 여러 가지 분야에서 빅데이터를 활용하기 때문에 무궁무진한 일자리 창출이 기대되는 시장입니다. 

 

빅데이터 기술의 발전 스토리

빅데이터 기술의 발전 스토리는 굉장히 빠르게 진행되어 왔습니다. 빅데이터는 기존 데이터베이스 관리도구의 능력을 넘어서는 대량의 정형 또는 비정형 데이터를 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술입니다. 데이터의 크기, 복잡성, 다양성, 실시간성, 미정형성 등의 문제를 해결하고 데이터를 저장, 분석, 처리하는 기술을 뜻하는 분야입니다. 이러한 빅데이터 기술의 발전 과정은 빠르게 진행되어 왔습니다. 빅데이터 기술은 2000년대 중반부터 급격하게 발전하여. 2003년 구글에서는 분산 파일 시스템인 GFS(Google File System)를 개발하면서 가속화되기 시작했습니다.  2004년 구글에서는 분산 처리 기술인 맵리듀스(MapReduce)를 개발하였고  2006년 아마존에서는 클라우드 컴퓨팅 서비스인 AWS(Amazon Web Services)를 출시하게 되었습니다. 이어 2008년 구글에서는 대용량 데이터를 분산 처리하는 기술인 하둡(Hadoop)을 개발하기에 이르렀습니다. 이러한 기술들이 발전하면서 빅데이터 기술은 점점 중요도가 커지며 다양한 분야에서 방대하게 활용되고 있습니다. 빅데이터 기술은 광범위한 분야에서 활용되고 있습니다. 예를 들어, 금융 분야에서는 대출 심사, 보험료 책정, 투자 의사 결정 등에 활용되고 있습니다. 제조 분야에서는 제품 생산, 품질 관리, 유지 보수 등에 활용되어 제조 과정의 변화를 만들고 있습니다. 또한, 교통 분야에서는 교통 체증 예측, 교통안전 관리, 교통 정책 수립 등에 활용되어 더욱 정교한 예측을 가능하게 하고 대비할 수 있는 기회를 줍니다. 의료 분야에서는 질병 예측, 의료 서비스 개선, 의약품 개발 등에 활용되어 유전적인 질병에 대한 데이터 분석이나, 환자 이력관리 등이 체계적으로 이루어질 수 있도록 도와줍니다.

 

빅데이터 기술은 미래의 산업과 사회를 지배할 핵심 기술 중 하나입니다. 빅데이터 기술이 어떤 것인지, 어떻게 발전해 왔는지, 어떻게 활용되고 있는지에 대해서 매일 살아가면서 체감할 수 있는 상황에 되었습니다. 이 기술은 앞으로 더욱 발전하여 인간에게 새로운 가치를 창출할 수 있는 기회를 줄 것으로 예상됩니다. 빅데이터 기술의 역사와 현재 그리고 미래전망까지 깊이 생각해 본다면 앞으로의 세상은 수많은 데이터의 중심에서 살아가는 시대가 될 것으로 추측해 볼 수 있습니다. 인류에게 도움을 주는 고마운 기술인 만큼 더욱 세심한 관리와 규제가 필요합니다. 우리 개인의 개인정보 역시 빅데이터의 일종이기 때문입니다.