[Think Stats] 프로그래머를 위한 통계적 사고

Statistical thinking for programmers

---

https://greenteapress.com/thinkstats/thinkstats.pdf

이 글은 위 책을 기반으로 작성되었다. 무료로 배포 되어 있으니 참고하길 바란다.

 

서론

---

이 책은 데이터를 다루는 방법에 대해 알려주고 있다.

프로그래머들이 일하면서 데이터를 다룰 일이 많고 데이터 사이언티스트는 더욱 더 많다.

때문에 우리는 어떻게 해야 데이터로 가치를 생산할지를 고민해보아야 한다.

 

저자는 3가지 키워드를 던진다. 확률 / 통계 / 계산 이다. 

 

확률은 무작위 사건에 대한 연구이다. 대부분의 사람들은 확률에 대한 직관적인 이해를 가지고 있다. 

우리가 "아마도" 라는 단어를 쓰는 것은 이 때문일 것이다.

하지만 우리는 직관적인 이해보다 깊게 들어가야 할 것이다.

 

통계는 확률과 깊은 연관이 있다.

나무위키에는 수량적인 비교를 기초로 많은 사실을 다양한 방법으로 관찰, 처리를 연구하는 학문이라고 정의되어 있다.

 

계산은 정략적인 분석을 위한 도구이다. 컴퓨터는 통계의 과정을 처리할 수 있다.

계산적인 실험은 확률과 통계를 공부하기 좋다.

Do first babies arrive late?

---

이 질문에 대해 구글에 검색하면 많은 토론들이 있다.

첫번째 아기가 뱃 속에 더 오래 있을 것이라는 이야기이다. 한국에서 이런 말은 못들어 봤지만 미국 정서인 것 같다.

꽤 많은 사람들이 이 말을 사실이라고 믿기도 하고 미신이라고 믿기도 한다. 

 

 

“My two friends that have given birth recently to their first babies, BOTH went almost 2 weeks overdue before going into labour or being induced.”

“My first one came 2 weeks late and now I think the second one is going to come out two weeks early!!”

“I don’t think that can be true because my sister was my mother’s first and she was early, as with many of my cousins.”

 

 

다음과 같은 이야기 증언(anecdotal evidence)들이 있다. 사람들끼리 하는 개인적인 이야기들이다. 

하지만 이것들은 일상 생활에서 이야기 할 때는 문제가 없지만 설득력이 있거나 확실한 증거는 아니다.

 

왜냐하면 관찰의 수가 너무 적다. 내가 아는 사람 몇명이 전체를 대표할 수는 없는 것이다.

내가 천년만년 살아서 모든 지식을 경험으로 아는 것도 아니고 내 주변 이야기가 모두 맞는 것도 아니다. 

 

선택/확신 편향이다. 이러한 토론에 참여하는 사람들은 주변에 첫번째 아이가 늦게 태어나서 이러한 토론에 참여했을 가능성이 높다. 

때문에 결과에 대한 편향이 생길 수 있다. 또한 자신이 믿는 것에 대한 증거를 댈 것이다. 

 

또한 부정확하다. 이야기라는 것은 와전되기 마련이다. 건너건너 듣기 되면 정확한 정보가 아니게 된다. 

 

때문에 우리는 어떻게 하는 것이 좋을지 생각해보아야 한다.