넘버스, 숫자가 당신을 지배한다 - 카이저 펑

단순화시킨 편리함 때문에 우리는 평균 개념을 많이 활용한다. 사실 통계의 본질은 평균의 성질보다 다양성/변동성의 본질을 연구하는 학문이고 그 안에 포함된 오류의 존재와 인과관계를 이해하고 관리하는 게 핵심이다.

 

 

[본문발췌]

 

 

큰 숫자를 평균값으로 단순화시키면 우리의 뇌세포는 이를 잘 받아들인다.

 

 

평균화는 다양성을 짓밟고, 무엇이든 가장 단순무식한 개념으로 축소시켜 버린다. 이 과정에서 우리는 평균을 앞세워서 다양성을 무시하거나 회피하는 과대단순화의 위험에 빠지게 된다. 평균보다 다양성에 주의를 기울인다면 그것은 통계적 사고가 성숙되었다는 확실한 증거다. 사실 통계는 다양성의 본질을 연구하는 학문이라고 할 수도 있다. 세상은 얼마나 많이 바뀌는가? 다양성을 얼마나 광범위한가? 왜 이런 일이 일어나는가? ... 평균은 다양성을 측정하는 방법 가운데 하나였으며, 결코 평균화 그 자체가 목적이 아니었다. ... 평균이 아닌 사람을 찾아내려면 일단은 평균부터 알아야 할 필요가 있었을 뿐이다.

 

 

숫자보다는 사람의 심리를 움직여야 한다. ... 평균인 개념은 손에 꼽을 만한 통계학자의 발명 가운데 하나로 이제는 널리 쓰이는 개념으로 정착되었다. 하지만 통계학자들은 대부분의 사람들과는 완전히 다른 방향으로 이 개념을 이용한다. 긴 대기시간을 걱정하는 놀이공원 마니아들과 긴 출퇴근 시간에 대해 불평하는 직장인들은 평균 대기시간의 관점에서 자신들의 생각을 표현했다. 하지만 통계학자들은 사람들을 짜증나게 만드는 원인은 시간대별로 불규칙적인 입장객 수, 또는 우연한 사건 때문에 수시로 벌어지는 변동성이라고 말했다. 이러한 변동성은 잘 짜인 계획을 헝클어 놓는다. 따라서, 대기줄이나 고속도로 교통을 관리하는 가장 효과적인 대책은 디즈니의 패스트패스 예약 시스템이나 미네소타 교통국의 램프 미터링처럼 변동성을 제거하는 것이다. 수용능력을 확장시켜서 대기줄을 줄일 수 있을 거라고, 또는 도로를 더 건설해서 교통 체증을 줄일 수 있을 거라고 생각하는 사람들도 있을 것이다. 이런 방법은 변동성을 해소하는 데에는 거의 효과가 없다. 한마디로 말해서 평균의 함정이다.

 

 

모델은 알려진 것들을 동원해서 아직 알지 못하는 것에 대해 설명하려는 시도다. 전염병을 탐지하는 과정에서 모델은 설문 응답, 과거의 패턴, 생물학적 증거에 바탕을 두고 감염 경로를 설명한다(보고되지 않은 경우를 포함한 모든 사례에 대하여). 신용평점 시스템에서 모델은 개인적인 특성과 과거의 패턴에 바탕을 두고 대출을 상환하지 않을 확률을 산출해 낸다.

 

 

전염병학은 오로지 원인을 찾아내는 것만이 의미 있는 목표인 응용 분야다. 몇 가지 생물학 또는 화학적 메커니즘이 질병을 일으킨 원인으로 제시된다면 모두가 동의할 수 있을 것이다. 하지만 상관관계만을 가지고 성급하게 행동하면 전염병도 막지 못하면서 전체 산업계를 무너뜨리는 결과만을 낳을 수도 있다. 이와는 반대로 신용평점은 상관관계에 의존하며 그 이상도 그 이하도 아니다. 신용 모델러들은 인간 행동이 갖는 다양성을 단순한 규칙으로 해석할 수 있다고 생각하지 않는다. 증권 투자와 소비자 행동을 전공하는 모델러들도 비슷한 생각을 가진다. 이들은 규칙 대신 과거로부터 얻은 축적된 지식에 의존한다.

 

 

"모든 모델은 오류를 안고 있지만 일부는 쓸모가 있다." - 조지 박스,

최고의 통계학적인 모델조차도 현실 세계를 완벽하게 재현할 수는 없다. 우주의 진실을 탐구하는 이론 물리학자와는 달리, 응용 통계학자들은 사회에 미치는 영향으로만 평가받기를 원한다. 박스의 명언은 모델러들의 좌우명이 되었다. 이들은 상상 속의 완벽한 시스템과 경쟁하려 들지 않는다. 그저 지금보다 나은 뭔가를 만들어내려고 할 뿐이다. 이들은 오류의 미덕을 이해하고 있다. 경험에 의존하여 수작업으로 적용하던 규칙에 비하면 FICO 평점 기법은 의심할 여지없이 발전된 것이다. 사례군-대조군 연구와 DNA 지문 일치와 같은 현대적 기법은 전염병학계에서 발전을 이루었다.

 

 

마케터들이 회사의 제품에 대해서 어떤 소비자들이 긍정적인지를 알기 위해서 데이터 마이닝을 활용하는 경우, 거짓 양성 판정은 잘못 선택된 소비자들에게 스팸 메일을 뿌리는 결과를 낳는다. 신용카드 결제가 사기인지 아닌지를 판단하기 위해서 데이터마이닝을 쓴다면 거짓 양성 판정 때문에 진실한 고객조차도 결제가 차단되어 고객센터에 전화를 걸고 결제가 정상적이라는 사실을 확인하는 데에 시간을 낭비하게 된다. 하지만 이 정도 불편이야 '수다죄'로 육체적 고통을 받고 인생이 망가질 수도 있는 문제에 비하면 별것 아니다. 무고한 사람을 감옥에 가두고 시민으로서 누려야 할 자유를 박탈하는 것만이 아니다. 정보기관들이 수백만 건의 거짓 경고를 추적하는 일이 얼마나 비도덕적이고 값비싼 대가를 치러야 하며, 역효과가 얼마나 큰지를 생각해야 한다. 9.11 테러로부터 배워야 할 것은 이것이다. 테러리스트의 음모는 극도로 희귀한 경우다. 현존하는 검출 기술은 제구실을 하고 있다고 보기에는 너무나 정확도가 떨어진다. 거짓말탐지기는 별 볼일이 없으며 대규모 데이터 마이닝 시스템은 더 허접하다는 사실을 알아야 한다. 두 가지 오류 사이에 존재하는 받아들일 수 없는 시소 관계는 그냥 받아들일 수 없는 수준으로 남는다. 마법의 올가미는 여전히 저 멀리에 있다. 우리는 훨씬훨씬 더 나은 그 무언가가 필요하다.

 

 

조작되지 않은 수많은 데이터보다 잘 선택된 몇 가지 숫자들이 더 많은 의미를 전달해줄 것이다.

 

 

통계적 평균은 변이성에 대해서는 아무런 정보도 주지 못한다. 통계적 사고는 변이성을 인식하고 이를 이해하는 데에서 시작된다.

 

 

원인과 결과 사이의 연관성은 무척 까다롭고 여러 전문 분야를 망라한 접근이 필요한데, 이를 위해서는 치열한 현장 조사, 또는 정보 수집이란 이름으로 알려진 노력이 필요할 것이다.

 

 

언제나 비슷한 것끼리 비교. 비슷한 집단 간에 차이점이 발견될 때, 통계학자들은 이 집단을 별개로 다루게 될 것이다. ... 집단 간 격차가 존재한다면 각 집단은 분리되어야 한다. 집단을 나눌 수 있는 기준의 생략에서 오는 오류를 막으려면 관계가 있든 없든 모든 집단에 대한 정보를 요청해야 한다. 사례군-대조군 연구.

 

 

일반화를 할 때에 통계학자들은 언제나 실수가 있을지도 모른다는 점을 인정하는 뜻으로 오차를 포함시킨다. 이러한 부정확성은 두 가지 형태로 나타난다. 이는 거짓 양성 반응, 또는 거짓 음성 반응으로 통계학 서적에서는 이를 각각 제1종 오류와 제2종 오류로 부른다. 그것보다는 거짓 경고와 가능성을 놓치는 오류라고 부르는 편이 이해하기가 쉬울 것 같다. 그러니까 정확도는 정확하게 양성 반응을 잡아내는 능력과 정확하게 음성 반응을 잡아내는 능력을 포함하는 것이다. 의학적으로 말하자면 진짜 양성을 검출하는 능력을 '민감도'라고 하며, 진짜 음성을 검출하는 능력은 '특이도'라고 한다. 문제는 이 두 가지 중에 한쪽의 정확도를 향상시키게 되면 반드시 다른 한쪽은 정확도가 떨어진다는 점이다. ... 실제 삶에서 겪는 대부분 상황에서 두 오류 때문에 치르는 대가는 비대칭적이다. 

 

 

 

 

https://book.naver.com/bookdb/book_detail.nhn?bid=6590915