데이터 과학이 예상보다 훨씬 '상식적'인 5가지 이유

1. 데이터 과학, 정말 천재들의 전유물일까?

'데이터 과학자(Data Scientist)'라는 단어를 들으면 어떤 이미지가 떠오르시나요? 아마 컴퓨터 과학 박사 학위를 가진 천재가 엄청난 양의 카페인에 의존하며 밤새 복잡한 코드를 짜는 모습을 상상하실지도 모릅니다. 하지만 현업에서 활동하는 데이터 과학자로서 한 가지 비밀을 공유하자면, 데이터 과학 업무의 상당 부분은 복잡한 수학 공식이 아닌 '순수한 상식'에 기반하고 있습니다.

데이터 과학의 본질은 데이터를 깊이 있게 이해하고, 적절한 질문을 던지며, 그 안에서 유의미한 패턴을 찾아내는 과정입니다. 이는 기술적인 배경이 없어도, 코딩을 전혀 모르는 입문자라도 논리적인 사고력만 있다면 충분히 시작할 수 있는 영역입니다. 지금부터 데이터 과학이 왜 우리가 생각하는 것보다 훨씬 더 상식적이고 흥미로운지, 그 핵심적인 5가지 이유를 살펴보겠습니다.

2. 첫 번째 반전: 데이터 과학자의 시간은 '청소'에 쓰인다 (데이터 정제)

데이터 과학의 세계에 발을 들일 때 가장 먼저 마주하는 현실은 우리가 다루는 데이터가 매우 '지저분하다'는 사실입니다. 현실의 데이터는 결코 깔끔한 상태로 우리를 기다려주지 않습니다. 부주의하게 작성된 설문지, 서로 소통하지 못하는 파편화된 시스템, 혹은 내보내기(Export) 과정에서 발생한 오류 등으로 인해 데이터는 엉망진창이기 일쑤입니다.

실제로 분석을 시작하기 전, 데이터 세트를 열어보면 날짜 형식이 제각각이거나 같은 도시 이름이 "Paris", "paris", "PARIS"로 혼용되어 기록된 경우를 흔히 봅니다. 심지어 나이가 '999세'로 입력된 황당한 오류도 존재하죠. 데이터 과학자는 본격적인 분석에 앞서 이런 오류를 수정하고 중복을 제거하며 형식을 통일하는 '데이터 정제(Data Cleaning)'에 가장 많은 시간을 쏟습니다. 이는 마치 요리사가 요리를 시작하기 전 식재료를 깨끗이 씻고 다듬는 것과 같은 지극히 상식적인 과정입니다.

쓰레기가 들어가면 쓰레기가 나온다(Garbage in, garbage out). 데이터가 정확하지 않으면 그로부터 얻은 모든 결론 역시 부정확할 수밖에 없습니다.

3. 두 번째 반전: 모델링보다 중요한 '탐정 놀이' (탐색적 데이터 분석 - EDA)

데이터가 깨끗해졌다고 해서 바로 화려한 인공지능 모델을 만드는 것은 아닙니다. 그다음 단계는 데이터를 깊게 들여다보며 질문을 던지는 '탐색적 데이터 분석(EDA)'입니다. 이 과정은 데이터 속에 숨겨진 단서를 찾는 탐정 놀이와 매우 닮아 있습니다.

EDA는 단순히 복잡한 수식을 계산하는 것이 아니라, 평균과 범위를 산출하고 간단한 차트를 그려보며 다음과 같은 질문을 던지는 과정입니다.

값의 범위는 어느 정도인가?

이상치(Outliers)와 같은 희귀한 패턴이 존재하는가?

데이터의 전반적인 분포는 어떠한가?

어디에 흥미롭고 숨겨진 패턴이 있는가?

예를 들어, 소매점의 매출 데이터를 EDA 하던 중 매주 금요일마다 매출이 급증하는 패턴을 발견했다고 가정해 봅시다. 데이터 과학자는 여기서 멈추지 않고 질문을 던집니다. "왜 하필 금요일일까?", "매주 금요일에 특별한 프로모션을 진행하나?", "혹시 주말 직전에 쇼핑을 즐기는 사람들의 심리가 반영된 것일까?" 이러한 질문들이 모여 분석의 깊이를 더하고, 비즈니스의 향방을 결정짓는 중요한 맥락을 제공하게 됩니다.

4. 세 번째 반전: 데이터에 없는 '맥락' 만들기 (피처 엔지니어링)

데이터 과학의 성능을 비약적으로 높이는 비결은 새로운 데이터를 추가로 수집하는 데 있지 않습니다. 오히려 현재 가진 정보에서 더 스마트한 '맥락'을 추출해내는 '피처 엔지니어링(Feature Engineering)'에 있습니다. 이는 기존 데이터를 가공하여 모델에게 더 유용한 정보를 제공하는 영리한 방법입니다.

가장 대표적인 예가 '타임스탬프'입니다. 단순히 "2023-10-27 15:30:00"이라는 날짜와 시간 데이터 자체는 모델에게 큰 의미가 없을 수 있습니다. 하지만 여기서 '금요일'이라는 요일 정보를 추출하거나 '오후 시간대'라는 정보를 만들어내면, 모델은 훨씬 더 풍부한 맥락을 파악할 수 있게 됩니다.

또한 대출 상환 여부를 예측할 때, 고객의 '월 소득'과 '월 지출' 데이터가 있다면 두 수치 사이의 '비율'을 계산하여 새로운 항목을 만들 수 있습니다. 소득 대비 지출이 얼마나 되는지를 나타내는 이 지표는 모델이 문제를 해결하는 데 결정적인 단서가 됩니다. 이처럼 피처 엔지니어링은 우리가 가진 자산 안에서 최선의 해답을 찾는 '상식적인 지혜'의 산물입니다.

5. 네 번째 반전: 관계가 있다고 해서 원인은 아니다 (상관관계 vs 인과관계)

데이터 과학에서 자주 언급되는 '상관관계(Correlation)'는 두 수치가 함께 움직이는 관계를 의미하며, 이는 우리 일상에서도 쉽게 발견할 수 있습니다.

양의 상관관계: 한쪽이 늘어날 때 다른 쪽도 늘어나는 관계 (예: 공부 시간이 늘어나면 성적이 올라간다.)

음의 상관관계: 한쪽이 늘어날 때 다른 쪽은 줄어드는 관계 (예: 수면 시간이 충분하면 업무 실수가 줄어든다.)

여기서 가장 중요한 상식은 상관관계가 반드시 인과관계를 의미하지는 않는다는 것입니다. 예를 들어 아이스크림 판매량과 익사 사고율은 양의 상관관계를 보이지만, 아이스크림을 먹어서 익사하는 것은 아닙니다. 그저 두 현상 모두 '여름'이라는 계절적 요인 때문에 동시에 발생하는 것뿐이죠.

반면, 슈퍼마켓에서 기저귀와 맥주의 판매량이 동시에 증가하는 상관관계를 발견했을 때, 매장은 두 제품을 가까이 배치하는 전략을 세울 수 있습니다. 왜 같이 구매하는지 원인(인과관계)을 정확히 몰라도, 함께 팔린다는 사실(상관관계)만으로도 비즈니스 수익을 높이는 훌륭한 결정을 내릴 수 있는 것입니다. 상관관계는 실마리를 제공하지만, 인과관계는 정답을 제공합니다.

6. 다섯 번째 반전: 추측 대신 실험으로 결정한다 (A/B 테스트)

마지막으로 살펴볼 개념은 주요 IT 기업들이 의사결정의 핵심으로 사용하는 'A/B 테스트'입니다. 참고로 이 개념은 많은 기술 면접에서도 단골로 질문되는 '프로 팁'과 같은 주제이기도 합니다.

A/B 테스트는 직관이나 추측을 배제하고 오직 증거에 기반해 결정하는 간단하고 명확한 실험입니다. 예를 들어 웹사이트 버튼 색상을 초록색으로 할지 파란색으로 할지 고민될 때, 리더의 취향에 따르는 대신 실제 사용자들을 무작위로 두 그룹으로 나누어 테스트합니다. 어떤 색상이 더 많은 클릭과 구매를 이끌어내는지 직접 확인하는 것이죠.

이 실험의 핵심은 '무작위성(Randomness)'입니다. 편향 없는 결과를 얻기 위해 대상을 무작위로 배정함으로써 공정한 비교를 수행하는 것입니다. 음식 배달 앱이 할인 알림을 점심 직전에 보낼지 저녁 직전에 보낼지 실험하여 실제 주문량이 많은 시간대를 찾아내는 것도 같은 원리입니다. 이제 비즈니스는 "내 생각엔 이래"가 아니라 "데이터가 이렇게 말해"라는 방식으로 움직이고 있습니다.

결론: 명확한 사고가 만드는 데이터 과학

지금까지 살펴본 데이터 과학의 5가지 핵심 개념은 생각보다 복잡하지 않았을 것입니다. 데이터 과학은 화려한 기술이나 난해한 공식 이전에, 현상을 논리적으로 바라보고 질문을 던지는 '명확한 사고(Clear thinking)'의 산물입니다.

지저분한 것을 정리하고, 세밀하게 관찰하여 패턴을 찾으며, 정보의 맥락을 파악하고, 관계와 원인을 혼동하지 않으며 실험을 통해 증명하는 것. 이것이 바로 데이터 과학의 진짜 얼굴입니다.

여러분은 오늘 하루 일상에서 어떤 패턴을 발견하셨나요? 무심코 지나쳤던 그 현상 속에 데이터 과학으로 검증해보고 싶은 재미있는 질문이 숨겨져 있지는 않나요? 데이터 과학은 바로 그 사소한 호기심과 상식적인 생각에서부터 시작됩니다.

Source: Shreyas Naphad, Data Science From Zero: 5 Concepts Anyone Can Learn Today, Medium, Apr 24, 2026