저는 계속 똑같은 컴퓨터를 디자인했고 다시 만들 때마다 필요한 부품의 수를 점점 줄여나가 보고자 했고, 그 결과 책에서는 알 수 없는 비법들을 알게 되었죠. --스티브 워즈니악 (애플 공동 창업자), 제주의 한 여고생에게 보낸 편지에서

저는 오래전부터 전문성 연구(expertise research)와 교육에 많은 관심을 갖고 연구, 컨설팅, 실험을 해오고 있습니다. 관련해서는 당신은 몇 년 차라는 글을 보시면 제가 어떤 이야기를 하는지 아실 수 있을 겁니다.

그런데, 지난 7월 중순 어느날 뉴스에 이 전문성 연구에 대한 기사들이 뜨더군요. 소위 1만 시간 법칙에 대해 세간에 널리 퍼진 믿음(여기에 대해 오해가 많은데 관련해서는 "1만 시간 법칙에 대한 오해"와 "달인이 되는 비결", "수십년 동안 전문가가 안되는 비결"을 참고)을 뒤흔드는 연구결과라며 아래와 같은 내용이 쏟아지기 시작했습니다. 

논문의 결론은 아무리 노력해도 선천적 재능을 따라잡기 힘들다는 것이다. ... 학술 분야에서 노력한 시간이 실력의 차이를 결정짓는 비율은 4%에 불과한 것으로 나타났다. 음악·스포츠·체스 등의 분야는 실력의 차이에서 차지하는 노력 시간의 비중이 20~25%였다. 어떤 분야든 선천적 재능이 없으면 아무리 노력해도 대가가 될 수 있는 확률은 그리 높지 않다는 결론이다. --중앙일보 2014년 7월 17일자

햄브릭 교수팀은 음악의 경우 실력 차이의 원인 가운데 노력이 차지하는 비중은 21%, 선천적 재능이 차지하는 비중은 79%이며 체스 등 게임에서는 각각 26%, 74%라고 설명했습니다. 또 스포츠는 노력이 18%, 선천적 재능이 82% 학술 분야는 노력이 4%, 선천적 재능이 96%라고 제시했습니다. --YTN 2014년 7월 27일 방송

박지성, 류현진의 실력 100% 중에 연습이 차지하는 비중은 18%뿐이고, 82%는 타고난 몸과 운동신경에서 왔다는 설명입니다. ... 도서관에서 밤잠 설치며 공부한들 성적에 미치는 영향은 4%뿐이고 나머지 96%는 타고난 머리에서 나온다는 것인데 머리 나쁘면 아무리 공부해도 소용없다는 뜻입니다. --SBS 뉴스 2014년 7월 20일

맥나마라(Macnamara et al.) 등의 연구를 말하는 것입니다. 사실 이런 여러 연구를 종합한 평균 수치로(즉, 참고한 연구에 따라 노력이 실력의 80%인 것이 있고 10%인 것이 섞여 있었다는 뜻) 자신의 개별적 상황에 적용하는 것은 위험성이 있긴 한데, 그 외에도 이번 일은 크게 보면 두 가지 수준에서의 문제가 있습니다. 첫번째는 우리나라 뉴스의 문제입니다. 두번째는 연구 자체의 문제입니다. 제가 이미 7월 17일에 온라인에 해당 뉴스와 연구에 대한 비판을 게재한 바 있습니다.

첫번째 문제부터 언급하죠. 예컨대 중앙일보 경우 이런 문제의 일부를 차후에 알게되어 기사를 약간 수정한 것으로 보입니다(그래도 여전히 문제있는 기사입니다만).

아래 두 개의 이미지를 비교해 보시죠. (전자는 7월 17일 올라온 이미지로 인터넷 검색을 통해 개인 블로그에서 찾았고, 후자는 23일 수정된 것으로 현재 중앙일보 기사에 걸려있는 것입니다)




관찰력이 좋은 분들은 대번에 두 개의 차이를 찾아내실 겁니다. 첫째는 이미지 제목입니다. "전체 성과에서 노력과 선천적 재능의 비중"이라는 제목이 "전체 성과에서 노력이 차지하는 비중"으로 바뀌었습니다. 두째는 이미지 좌측에 "선천적 재능"이라는 말에 "등"이라는 의존명사가 붙었습니다. 문제는 기사가 수정된 시점이 약 일주일 후인 7월 23일이라는 점이고 무엇을 수정했는지를 표시하고 있지 않는다는 점입니다. 한마디로 슬그머니 고친 셈입니다. 대다수의 대중은 7월 17일의 원 기사를 보았을 것이고 23일날 다시 보게되는 경우는 흔치 않을 것이며, 첫 인상으로 이미 머리 속에 각인되어 있을 것이기에 명시적으로 언급하지도 않는 기사 이미지의 작은 변화로 그것이 수정되지 않을 것입니다(이에 대한 연구가 많습니다 --- 잘못된 뉴스를 바로잡는 것은 매우 어렵다는 사회학/심리학 연구들).

참고로 원 논문에도 거의 비슷한 그래프가 있습니다만 이미지 캡션은 이렇습니다. "Percentage of variance in performance explained (light gray) and not explained (dark gray) by deliberate practice within each domain studied." 그걸 싹 빼버리고 이상하게 만들어 버린 거죠. 각 영역을 대표하는 아이콘 같은 거 집어넣고, 음영 넣고 정보 시각화 했다고 생각하는 건지 모르겠네요.

대략 감을 잡으셨겠는데 뉴스 차원에서의 대표적 문제는 아래와 같습니다. 한마디로 말하자면 논문을 오독하거나, 혹은 논문을 확인하지 않고 해외뉴스를 대충 번역한 문제입니다.


1. 노력을 제외한 나머지는 다 타고난 것? 예컨대 노력의 비중이 실력차이의 26% 수준이라고 하는 게임 부분에서, 실력차이의 26%를 제외한, 74%는 모두 재능(Talent)이 아니다. 나머지는 모른다. 운, 환경, 성격, 끈기, 기타 등등을 다 합한 것이다. (그리고 이 중에 우리가 컨트롤할 수 있는 건 얼마나 될까, 그것도 모른다)

2. 노력이라는 개념 전체를 연구한 것? 같은 게임 부분에서, 정확히 말하면 "개인이 연습 시간으로 생각하는 시간의 양"이 실력의 차이(개별 연구에서 다 달리 측정했던)에서 설명하는 부분이 26%라고 봐야 한다. 즉, 연습이라는 개념의 종합적 면을 본 것이 아니라 오로지 누적 시간(혹은 주당 시간)만 따진 것이다.

3. 그정도면 미미한 것? 예컨대 26%를 굉장히 작은 수치인 것처럼 소개한다. 분산의 26%를 설명한다면 상관성으로 치면 약 0.5인데, 심리학이나 사회학 연구에서 이 정도 수치는 높은 편에 속한다. 참고로 흡연과 폐암 발병의 상관성 경우 0.5도 안된다고 보고되는 경우가 많았다. 아벨슨의 연구에 따르면 한 야구선수의 실력(타율)이 결과(히트 대 노히트)의 차이를 설명하는 것은 1%가 되지 않는다. (아벨슨의 패러독스 Abelson's Paradox로 불림) 그러나 그런 작은 것들이 쌓여서 경기의 승패를 좌우한다.

4. 노력이 중요하지 않다? 저자 자신 노력이 중요하지 않다는 것을 말하려고 한 것이 아니라 에릭손이 주장하는 만큼 압도적인 부분을 차지하지 않는다는 것을 말하려는 것이다. 저자들의 원논문에서 인용하면 다음과 같다. "의도적 수련의 양은 통계적, 실용적 견지에서 의심할 바 없이 중요한 예측변수이지만 에릭손과 그의 동료들이 주장한 정도는 아니다"(We conclude that amount of deliberate practice -- although unquestionably important as a predictor of individual differences in performance from both a statistical and a practical perspective -- is not as important as Ericsson and his colleagues have argued.)


이 정도는 논문만 대충 읽어봐도, 혹은 통계에 대한 기본적 지식만 있어도 충분히 알 수 있는 내용인데 어처구니 없는 실수, 혹은 책임 방기(논문을 보거나 그럴 역량이 없으면 전문가에게 확인하기 등), 또는 전문성 결여라고 생각이 듭니다. 제 경험에 따르면, 우리나라 미디어에서 소개하는 해외 과학 뉴스의 절반 이상은 잘못 전달되는 부분이 있다고 보셔도 무방합니다.

이번에는 연구 자체 차원에서의 문제를 이야기해 보죠.


1. 얼마나 대표성이 있나? 영역(domain)별로 묶어서 결과를 산출했는데, 참고한 연구들이 해당 영역을 대표할 수준이 되지 못한다. 예컨대, 해당 논문에서 Profession(전문직)의 의도적 수련 시간과 퍼포먼스에 대한 분석에는 연구가 4개 밖에 포함되지 않았고 직업도 축구 심판에 대한 연구 하나, 전투기 조종사(실제 의도적 수련시간 대신 비행시간을 사용)에 대한 연구 하나, 보험 세일즈맨에 대한 연구 하나, 프로그래머에 대한 연구 하나만 포함된다. 또 게임 영역도 참고한 것은 8개 연구인데, 그 중 6개는 체스, 2개는 스크램블 게임이다.

2. 비슷한 것끼리 비교했나? 원저자의 연구에서 보면 연구간에 분산의 차이가 크고(이 부분은 메타분석의 기법을 사용해 보정하긴 함), 연구에서 측정 방법의 차이도 크다(이 부분이 심각한 문제). 즉, 연구마다 성과를 측정한 방법이나, 의도적 수련량을 측정한 방법이 매우 상이하다. 뿐만 아니라 연구 대상의 차이도 큰데, 예컨대 대상이 연습시간이 적은 초보자들로만 구성된 연구가 있고, 대부분 연습시간이 높은 전문가(엘리트)들로만 구성된 연구가 있으며, 다양한 연습시간의 초보자와 전문가가 함께 포함된 연구가 있다(에릭손이 의도적 수련이 퍼포먼스의 80%를 설명했다고 한 연구도 이 경우에 속함). 이렇게 연구 대상의 범위에 따라 의도적 훈련의 효과는 그 크기가 매우 달라질 수 있다. 그러나 이 연구에서는 이런 것들을 동등하게 고려했다.

3. 특정 소수의 연구들이 더 큰 영향을 끼치지 않았나? 참고 논문 중 한 연구논문에 개별 스터디가 복수개로 포함된 경우(예컨대 한가지 연구논문 쓰면서 피실험자를 나이별로 군을 나눠 측정해서 효과크기를 계산한 경우), 각각의 결과를 독립적으로 고려하고 가중치에 반영하지 않는다. 연구마다 측정 방법등이 다르다. 그걸 고려하지 않았다. 어떤 논문은 14건의 개별 효과크기가 포함되었다. 당연히 해당 연구에서 사용한 측정 방법과 연구 방법에 크게 휘둘릴 수 밖에 없다. 가령, 교육 분야를 보면, 총 효과크기는 51개인데, 그중 절반에 가까운 22개가 두 논문에서만 나왔다. 그 두가지도 심리학 수업을 들은 1학년 학생들, 그리고 경영경제학과 1학년 학생들에 대한 연구이다.

4. 의도적 수련의 정의가 무엇인가? 의도적 수련의 정의가 엄격하지 못했다. 논문에는 "의도적 수련으로 해석할 수 있는 것"을 기준삼아 연구를 선택했다고 하는데 그것이 모호하다. 실제로 선정된 개별 논문을 살펴보면 천지차이이다. 특히 연습의 질과 밀도라는 면에서. "전 주당 평균 15시간 공부해요"하는 아이의 말만 듣고 그 아이가 "저는 10시간요"하는 애보다 그 학기 시험 결과가 더 좋을 거라고 생각하는 사람은 드물 것이다. 참고로 에릭손의 책에서는 다음과 같이 "제대로 된" 의도적 수련의 요건을 정의한다. "a well-defined task with an appropriate difficulty level for the particular individual, informative feedback, and opportunities for repetition and correction of errors." 그리고 이렇게 되기 위해서는 특히 초기에 뛰어난 교사의 코칭이 중요함을 강조하고 있다. 그러나 맥나마라의 연구에서 인용된 연구 대부분은 이 요소가 없다. 예를 들어, 이 논문에서 전문직에서의 의도적 수련 시간 대비 퍼포먼스에 대한 분석에서 사용된 4개의 논문 중 하나인 Catteeuw 등의 연구에서는 퍼포먼스는 파울이나 오프사이드 평가를 통해 측정한 반면, 의도적 수련의 양은 설문지를 통해 과거 기억으로 추정하게 했을 뿐 아니라, 의도적 수련의 범주도 달리기 훈련, 스트레칭, 심지어는 사우나 시간까지 포함되어 있다. 퍼포먼스는 인지/판단하는 능력을 보면서 의도적 수련은 빨리, 오래 달리기 훈련을 얼마나 했나 같은 상관없는 것으로 본 것이다. 전문직 분석에 사용된 우드(Wood)의 연구 경우는, 프로그래머의 의도적 수련과 퍼포먼스에 대한 것인데, 퍼포먼스를 직위(job level)로 측정했다. 직위는 보통 경력연차와 상관이 높으며 퍼포먼스와는 큰 관계가 없다. 종합적으로 보면, 에릭손의 논문에서는 맥나마라 등의 연구에서 사용된 효과크기 157개 중 단 2개만이 이런 의도적 수련의 요건을 만족한다고 분석하고 있다(그의 기준이 지나치게 엄격해보인다는 면이 있기는 하다).



위에 적은 것들 중, 개인들 입장에서는 특히 마지막 부분이 중요한데, 최근 여러 연구들에서 이 연습의 질 부분에 집중하고 있습니다. 에릭손 역시 이 부분을 더 연구하고 있고요.

예를 들어 최근 연구된 약 90만명에 대한 게임기록연구(Stafford&Dewar)에서 개인의 첫 5판의 점수 분산이 차후 5판(6번째부터 10번째)의 최고 점수를 약 36% 설명할 수 있었습니다. 즉 초기에 탐색을 잘 하면(그래서 점수가 오히려 들쭉날쭉한 것이) 수련이 더 많이 된다(고로 실력이 더 쌓인다)는 뜻입니다. 역시 같은 연구에서 연습시간을 분산시킨(한번에 몰아서 게임 안하고 띄엄띄엄 한 것) 플레이어가 더 높은 최고득점을 얻을 수 있었습니다. 이는 학습이론에서 널리 검증된 간격 두기 효과(spacing effect)입니다. 예전에 쓴 "당신이 제자리 걸음인 이유"도 비슷한 예이고요. 다시 말해, 같은 시간 수련해도 그 방법에 따라 결과에 차이가 크다는 것이지요.

얼마전 유재명님(이분도 같은 사안에 대해 글을 쓰셨네요 "머리 나쁘면 공부해도 소용이 없을까?")과 함께 진행한 일련의 "근거 기반 훈련" 공개 교육과 트리움에서 진행한 기업 대상 교육에서 이런 연구들을 정리해 발표한 바 있습니다. 미국에서는 주별로 이런 연구 결과를 교사와 부모, 학생을 위해 정리해 배포하고 있습니다. 예컨대 교육 심리학자들은 책 반복해 읽기나 밑줄 긋기, 요약하기 등을 그다지 권하지 않습니다. 좋은 수련법이 아니라는 것입니다. 같은 시간이면 다른 걸 하는 게 훨씬 효과가 높다는 얘기(사실 시간을 안늘리고 이런 것들만 적용해도 학습 효과가 훨씬 높아진다)입니다. 참고로 AC2 과정에서도 이런 근거 기반 학습을 중요하게 여기고 그에 기반해 과정이 설계되어 있으며, 그 기법들을 훈련하게 해드리고 있는데, 3개월 개인 코칭을 근 2백명에 가까운 분들 대상으로 진행하면서 놀란 것은 오래 해도 실력이 안느는 분들은 대부분 비효과적인(때로는 마이너스의) 학습 습관을 갖고 있더라는 점이었습니다. 결국 연습의 질이 양 이상으로 중요하다는 말이겠죠. 문두에 인용한 워즈니악의 말도 그런 맥락입니다. 워즈니악이 독서백편의자현하지 않고 저런 특수훈련(매우 효과적인 방법입니다)을 했다는 것이 시사하는 바가 있다고 봅니다.

그런데 이런 논의를 떠나서, 일반적으로 실력이 재능에 의해 정해진다, 타고난다고 믿을수록(고정 사고관) 손해를 본다는 연구가 많이 있습니다(관련해서는 "나는 왜 학습을 이야기하는가"를 참고하세요). 대신 실력은 내가 노력하기 나름이다라고 믿는(성장 사고관) 사람일수록 더 성장하게 됩니다. 문제는 앞서와 같은 뉴스를 보게 되면 고정 사고관 쪽으로 프라이밍(priming)되어서 노력을 덜 하게 될 수 있다는 것이죠. 참고로 이쪽의 전문가인 캐롤 드웩 교수는 성장 사고관 쪽으로 프라이밍할 경우(예컨대 선배로부터 "난 예전에 공부 못했는데 노력했더니 잘 되었다"는 이야기를 듣게 되면) 실제로 성적이 유의미하게 오르게 되더라는 연구 결과를 얻었습니다. 그래서 정말 재능이 얼마나 영향을 끼치는지는 몰라도 밑져야 본전이니 내 믿음은 어느 쪽을 향하는 것이 좋을까 자문해 볼 수 있을 것입니다.

게다가 앞에서도 잠깐 나왔지만 여러가지 변수 중에 우리가 통제할 수 있는 것은 무엇일까요? 타고난 재능은 (만약 고정되어 있다고 믿는다면) 우리가 바꿀 수 있는 변수가 아닙니다. 그러면 우리 개인이 할 수 있는 선택은 무엇일까요? 여러분은 자신을 어떤 사람으로 생각하며 살고 싶으십니까?

--김창준