(빅데이터의 다음 단계는) 예측 분석이다 - 에릭 시겔

예측은 확률적 가능성이다. 데이터 양과 종류가 많아지고 예측 방법이 발달함으로 예측의 정확도는 높일 수 있으나 100% 확실성을 담보할 수도, 담보할 필요도 없다. 세상이 돌아가는 원리는 불확실성 속에서 선택과 집중, 다양성이 균형을 이루며 여러 가능성이 나타나는 것이다.

 

 

[본문발췌]

 

 

"사람들은 만병통치약을 찾는다. 사람들은 모두를 치료할 수 있는 딱 하나의 비방을 찾는다. 19세기부터 20세기 대부분에 이르기까지 모든 과학은 보편적인 것에 집착했다. 심리학자, 의학자, 경제학자들은 우리 모두의 행동을 결정하는 규칙을 찾아내는 데 관심이 있었다. 그런데 이제 상황이 바뀌었다. 지난 10년 내지는 15년 동안 과학 분야에서 일어난 위대한 혁명은 무엇인가? 그것은 보편성의 추구로부터 다양성의 이해로 옮겨간 것이다. 이제 의학 분야에서 우리는 단지 암이 어떻게 발생하는지에 대해서아는 것을 원치 않는다. 우리는 당신의 암이 내 암과 어떻게 다른지 알고 싶어한다." - 말콤 글래드웰

 

 

셀 수 있는 모든 것을 세고, 잴 수 있는 모든 것을 재어라. 그리고 잴 수 없는 것은 잴 수 있게 만들어라. - 갈리레오

 

 

'큰 데이터'는 문법적으로 잘못되었다. 그것은 마치 '큰 물'이라고 말하는 것과 같다. 차라리 '많은 데이터' 또는 '풍부한 데이터'라고 해야 한다. 크기는 중요하지 않다. 확장 속도가 중요하다.

 

 

사실상 한 사람이 과거에 무엇을 했는지가 그 사람이 미래에 무엇을 할지를 예측하게 해준다. 과거에는 지역이나 성별과 같은 무미건조하면서도 핵심적인 인구학적 특징들을 많이 사용한 반면에 예측 분석은 이를 더 확장하여 최근성, 빈도, 구매, 금융활동, 통화 및 웹서핑 등 '행위 예측 변수'를 포함하는 데이터를 섭취한다. 상당수의 경우 이러한 행위들은 가장 가치 있는 데이터이다. 우리가 예측하고자 하는 것은 항상 특정한 행위이며, 실제로 행위가 행위를 예측하게 해준다. 장폴 샤르트르가 말하였듯이 "[한 사람의] 행동이 그의 진정한 자아를 말해 준다."

 

 

과거와 현대의 경계를 가르는 혁명적 사고는 바로 리스크를 다룰 줄 알게 되었다는 것이다. 거기엔 미래란 단순히 신들의 변덕이 아니며, 사람들이 자연에 순응만 하는 것은 아니라는 뜻이 담겨 있다. 인간이 이러한 경계선을 넘어설 방법을 발견하기 전까지는 미래란 단지 과거의 거울이었거나 예언자나 점쟁이의 음산한 영역에 불과했다. - 피터 번스타인, <신들에 맞서다: 리스크에 대한 놀라운 이야기>

 

 

세상에는 세 종류의 거짓말이 있다. 거짓말, 새빨간 거짓말, 그리고 통계이다. - 영국 총리 벤자민 디즈랠리, 마크트웨인이 인용해서 유명해짐.

 

 

예측을 위한 모델링을 하려는 모든 시도들은 일반적 원칙을 수립해야 하고 확보한 데이터에서 잡음을 걸러내야 하는 핵심적 도전과제에 직면한다. 이것이 문제의 본질이다. 학습 대상인 데이터에 설사 수백만 개 또는 수십억 개의 사례가 존재하더라도 미래에 맞닥뜨릴 상상 가능한 상황들이 얼마나 많은지와 비교해 보면 그것은 여전히 제한적인 부분집합에 불과하다. 학습사례를 구성할 수 있는 가능한 조합의 수는 기하급수적이다. 그러므로 지나치게 많은 학습과 지나치게 적은 학습 사이에서 균형을 맞출 수 있는 학습 프로세스를 설계하는 것은 가장 뛰어난 과학자조차도 제대로 파악하기 어렵고 신비로운 것으로 느껴진다. 이 수수께끼를 풀기 위해서는 과학보다 예술이 필요하지만 이 두 가지 모두 빠질 수 없는 구성요소이다. 예술은 그것을 작동하게 만들고, 과학은 그것이 작동하는 것을 증명해준다.

 

 

대리석 덩어리를 볼 때면 내 앞에 자연스럽게 서 있는 듯한 인물상이 보인다. 그 인물은 자세한 행위를 완벽하게 취하고 있다. 나는 단지 이 사랑스러운 환영을 가두고 있는 거친 장벽들을 깍아내어 내 눈에 보이는 것처럼 그것이 다른 사람의 눈에도 보이도록 하는 일을 할 뿐이다. - 미켈란젤로

 

 

대개의 경우에 평균은 평범하다. 그러나 의사결정을 할 때 평균은 대체로 우월하다. - 제임스 서로위키, <대중의 지혜>

 

 

전문가든 보통사람이든 더 확신에 찬 예측을 더 정확한 예측이라고 잘못 생각한다. 그러나 지나친 확신이 대개는 실패의 원인이다. 불확실성에 대한 우리의 이해가 나아질수록 우리의 예측 또한 나아질 것이다. - 네이트 실버, <신호와 잡음:왜 많은 예측이 실패하는 반면에 어떤 예측은 성공하는가>

 

 

바보들은 철석같이 확신하는데 지식인은 언제나 회의에 차 있다는 것이 이 세상의 문제이다 - 버트란트 러셀

 

 

 

 

 

https://book.naver.com/bookdb/book_detail.nhn?bid=8377266