[Book Review] 데이터 천재들은 어떻게 기획하고 분석할까? | LIM

 

최근 회사 내에서 tableau 를 이용해 데이터 시각화 작업을 하고 있어서 tableau 관련 책을 빌리러 갔다가 제목이 눈에 띄어 빌려왔던 책이다. 엔지니어로서의 작업도 재밌었지만 현재 이직한 회사로 와서는 실제 데이터를 가지고 어떤 의미를 도출해 낼 수 있는지, 어떤 가설을 입증할 수 있는지에 대해서도 고민을 많이 하고 있고, 이러한 부분에 대해서도 재미를 느끼는 중이다.

 

이 책은 총 6장으로 이루어져있다. 중간중간 개념적 설명과 더불어 어떻게 분석해야 하는지 자세히 나와 있어서 배경지식이 없다면 읽기 조금 힘들 수는 있으나 나 같은 경우 책을 읽을 때 하나하나 모두 내 머리에 담아야지!로 읽기보다는 나에게 와닿는 내용 필요한 내용만을 취사선택해서 읽고 있다. 

 

 

데이터로 의사결정하기 위해서는

이전에 읽었던 책 리뷰에도 적었지만 데이터의 양과 좋은 기획은 정비례하는 것이 아니다. 데이터의 양이 많다고 해도 제대로 된 기획과 목적이 없다면 결국 그 데이터는 저장소의 용량만 차지하고 있을 뿐이다. 

https://amazelimi.tistory.com/entry/Book-Review-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%A1%9C-%EA%B2%BD%ED%97%98%EC%9D%84-%EB%94%94%EC%9E%90%EC%9D%B8%ED%95%98%EB%9D%BC-LIM

[Book Review] 데이터로 경험을 디자인하라 | LIM

 

따라서 이 책의 첫 장에서도 "좋은 기획이 빅데이터의 가치를 결정한다" 고 말하고 있다. 

즉, 내가 데이터를 통해 입증하고 싶은 것 혹은 목표가 명확해야한다. 

 

예를 들어, 자라는 어떤 옷이 사람들에게 인기가 많고 많이 팔릴 지 예측해서 그 옷에 대한 공급을 늘리고, 인기가 없는 옷에 대해서는 공급을 다른 옷에 비해 낮추는 식으로 조절할 필요가 있다. 즉, 팔릴 것만 만들어, 판매되지 않는 재고량을 최소화해 비용을 절감하는 것이다. 

 

데이터는 비단 이런 상품의 매출 및 예측에서만 사용되는 것이 아닌 회사 내의 인재 시스템에서도 사용할 수 있다. 신입 사원을 뽑을 때, 입사 시 확보한 이력서, 인적성 검사 등의 자료로 그 사람의 향후 성과를 예측하는 것이다. 

 

 

어떻게 빅데이터를 분석할 것인가

데이터를 분석하는 방법은 여러가지가 있다. 이 책에서는 요리법이라고 표현한다. 크게 시각화, 분류 및 예측, 군집화 및 클러스터링 이 세 가지 방법을 제시한다.

 

그중 내가 최근 가장 관심 있고 깊게 다루는 분야가 시각화이다. 좋은 시각화는 복잡한 데이터를 단순화시켜 사람들이 중요한 트렌드와 패턴을 쉽게 파악할 수 있게 해 준다. 

"백문이 불여일견", "보는 것이 믿는 것이다" 의 속담은 데이터 시각화의 필요성을 잘 설명해 준다. 숫자만 나열되어 있거나 데이터가  표 형태로 단순 나열만 되어 있다면 그 속에서 어떤 의미를 도출하는 데는 시간이 많이 걸릴 수 있다. 시각화를 통해 사람들의 데이터 인지 시간을 줄여주고 이목을 집중시킬 수 있다. 

 

데이터 시각화는 통계학이나 컴퓨터 언어를 잘 몰라도 일정 수준의 정보를 산출해낼 수 있도록 한다. 전문가가 아니더라도 데이터 이해력과 시각화 능력이 있다면 시각화 툴을 통해 데이터 의미를 도출해 낼 수 있는 것이다.

 

그렇다면 데이터 보는 눈을 길려야 하는데 그걸 기르기 위해서는 가장 중요한 것은 다양한 데이터셋을 경험해봐야 한다고 말한다.

각 분야에서 데이터를 통해 어떤 지표를 뽑아낼 수 있는지, 어떤 필드가 중요하게 동작하는지 등등을 알고 있어야 시각화를 통해 의미 있는 결과를 도출해 낼 수 있는 것이다. 

 

최근 데이터 시각화 작업을 하면서 중요한 깨달음을 얻었다. 바로 스토리의 중요성이다. 단순히 정보를 나열하는 대시보드는 사람들의 관심을 일시적으로 끌 수는 있지만, 이는 대개 빠르게 사그라든다. 반면, 스토리가 있는 데이터 시각화는 사람들이 데이터에 더 깊은 관심을 가지게 만들며, 단순한 일회성 발표나 보고를 넘어서 지속적으로 가치를 제공한다. 스토리는 데이터를 단순한 숫자와 그래프를 넘어선다. 이는 대시보드가 단순한 정보 전달 도구가 아닌, 의미 있는 인사이트를 제공하는 중요한 매체로 자리매김하게 한다. 이렇게 스토리를 통해 데이터에 생명을 불어넣음으로써, 우리는 단순히 보고서를 넘어선, 사람들의 마음속에 오래 남을 수 있는 강력한 데이터 경험을 창출할 수 있게 된다. 

 

분류 및 예측과 군집화 및 클러스터링 부분에 대해서는 각 용어에 대한 개념과 어떻게 분석해야 하는지에 대해 설명해주고 있다. 

 

비즈니스 성패를 가르는 텍스트 데이터에 주목하라

텍스트 분석은 방대한 양의 텍스트 데이터에서 의사결정에 필요한 인사이트를 도출하는 일련의 과정을 의미한다. 우리는 하루 대부분의 시간을 텍스트 데이터에 소비하고 우리가 내리는 수많은 결정들은 텍스트 정보에 기반한다. 텍스트 정보를 어떻게 활용하느냐가 결국 비즈니스 성공의 핵심 요인이 될 수 있다. 

 

먼저, 텍스트 데이터는 소비자의 직접적인 의견과 경험을 담고 있다. 제품 리뷰, 소셜 미디어의 게시물, 고객 피드백은 소비자의 만족도, 제품에 대한 기대치, 그리고 개선이 필요한 영역에 대한 풍부한 정보를 제공한다. 이를 통해 기업은 고객의 요구를 더 잘 이해하고, 제품이나 서비스를 개선할 수 있게 된다. 

 

또한, 텍스트 데이터는 시장 트렌드와 고객의 변화하는 요구를 신속하게 포착할 수 있는 기회를 제공한다. 

예를 들어, 소셜 미디어에서의 대화 트렌드나 검색 엔진에서의 검색어 추이 등을 분석함으로써, 시장의 방향성을 예측하고 새로운 비즈니스 기회를 발굴할 수 있다. 

 

그리고 텍스트 분석은 기업이 소비자 심리를 이해하는 데 중요한 역할을 한다. 언어의 뉘앙스, 감정의 표현, 의견의 방향성 등은 소비자가 무엇을 중요시하게 생각하고 어떤 요소에 민감하게 반응하는 지를 드러낸다. 이는 타겟 마케팅 전략을 수립하거나, 고객 서비스를 개선하는 데 필수적이다. 

 

따라서, 텍스트 데이터의 분석은 단순한 정보 수집을 넘어서, 기업이 시장을 이해하고 전략적 의사결정을 내리는 데 핵심적인 역할을 한다. 이는 기업이 고객의 요구에 더욱 민감하게 반응하고, 경쟁에서 우위를 점할 수 있도록 도와준다.

 

이런 텍스트 데이터를 수집하기 위한 방법(ex. 크롤링), 수집한 텍스트 데이터의 전처리 및 수집한 텍스트 데이터를 어떻게 파악하고 분석해야 하는 지에 대해 자세히 설명해주고 있다. 

 

 

그렇다면 텍스트 분석을 잘하기 위해서는 어떤 것이 중요할까?

텍스트 데이터는 비정형 형태의 특성으로 인해 그 수집 과정에서부터 전처리 과정, 수치화 과정까지 다른 데이터와 비교해 추가적인 정제 과정이 요구된다. 텍스트 데이터의 경우 특히 정제 과정에 많은 시간과 노력이 소요된다. 

 

텍스트 데이터 분석을 제대로 수행하기 위해서는 먼저, 올바른 분석 대상을 선택했는지에 대한 고찰이 필요하다. 예를 들어, 블로그의 리뷰 글을 통해 고객의 반응을 파악하고자 하는 의사결정자는 블로그의 글에 고객의 실제 의견 글과 광고성 리뷰가 같이 포함되어 있음을 인지해야 한다. 

 

즉, 전처리가 매우 중요하다. 수집하고자 하는 데이터가 어떤 특성을 가지고 있는지, 얻고자 하는 질문의 답을 포함하고 있는지를 반드시 고민해야 한다. "쓰레기를 넣으면 쓰레기가 나온다. (Garbage in, Garbage out)" 는 것을 항상 명심해야 한다. 

 

마지막으로 텍스트 데이터 분석이 미지의 무언가를 한 방에 깨우쳐주는 마법이라는 착각에서 벗어나야 한다. 텍스트 데이터 분석을 통해 의미 있는 인사이트는 자동으로 도출되지 않는다. 따라서 유의미한 텍스트 데이터 분석을 위해서는 끊임없이 의심하고 지속적인 탐구를 해야 할 필요가 있다. 

 

 

---

 

최근에 업무 환경이 변화하면서, 데이터를 기반으로 한 기획과 운영에 더 많은 시간을 할애하고 있다. 이전에는 엔지니어로서 주로 데이터의 저장과 전달에 집중했지만, 이제는 그 데이터를 활용해 어떤 의사결정을 내릴지, 사용자에게 어떤 개선을 제공할 수 있을지에 대해 깊이 고민하고 있다. 이전에 엔지니어링에 초점을 맞추었을 때보다 이제는 데이터에 대한 깊은 관찰과 이해가 필요함을 느끼고 있다.

 

새로운 일에 좀 더 적응하고 나면 다시 엔지니어로서의 기술을 강화하기 위해 추가적인 공부를 할 계획이 있으며, 이러한 과정을 통해 얻은 지식과 경험에 대해 글을 작성할 수 있도록 해야겠다.