음의 생산성
예전에 모 프로젝트에서 만난 잊지 못할 개발자가 있었습니다.

개발자만 20여명이 함께 하는 프로젝트였는데, 애자일 방식으로 진행하며 1달을 반복주기로 해서 여러가지 장점이 있었는데, 그 중 하나는 프로젝트 말미(약 1년 후)가 아니라 매 달 테스팅을 하고 버그를 발견해서 거기에서 학습할 수 있다는 점이었습니다.

개발 첫달에 발견된 버그를 확인해 보니 한 분에게서 전체 버그의 80%(스무명 중 하나이니 평균인 5%가 아니라)가 나온 것입니다. 이렇게 놀라운 수치가 나올 경우 보통은 뭔가 잘못된 것이죠. 그 분이 맡은 부분이 굉장히 복잡한 부분일 수도 있고, 혹은 다른 개발자들은 코딩을 별로 안한 것일 수도 있고 하지만, 그런 경우가 아니었을 뿐더러, 여러 정황을 고려해도 그 정도 비율은 지나치다는 판단이 들었죠. 그 분의 업무속도와 버그 생산 속도, 버그 심각도(severity), 디버깅 시간 등을 고려해 전체적 계산을 해보니 음의 생산성이 나왔습니다.

한마디로, 그 분이 일을 하면 할 수록 전체 팀이 할 일의 양이 늘어난다는 결론이었습니다.

확인해 보니 하청업체에서 경력 속이기를 해서 보낸 분이었고 업체에 항의를 하니 악질업체인지라 배째라라고 하더군요. ^^; 그 분과 면담을 하고, 교육을 해드리고, 그분만을 위한 툴을 만들어드리고, 업무 조정을 하고 해서 "음"의 영향력을 최소화하고 서서히 양으로 돌릴 수 있었던 기억이 있습니다. 그나마 애자일이었기에 다행이었지 폭포수로 진행했으면 큰 일 날뻔 했죠.

오늘 할 이야기는 기준선(baseline)에 대한 것입니다.

공부하면 손해?

학창 시절 이런 조언 들어봤을 겁니다. "야, 자꾸 영어 공부법 찾으러 다니지 말고 일단 엉덩이 붙이고 어떤 식으로든 공부해봐. 이득이 됐으면 됐지 손해될 건 없으니까" 주변에 보면 영어 공부 못하는 친구들 중에 실제 영어 공부는 잘 안하고 공부법만 공부하는 친구들이 있었죠. 근데, 정말 어떻게든 공부하면 득이 된다는 게 맞을까요? 혹시 의심해 보신 분 안계신가요?

존 해티(John Hattie)라고 하는 멜버른 대학의 교육학 교수가 있습니다. 이분은 교육학 연구에 한 획을 그은 분이라고 할 수 있는데, 6만개가 넘는 교육학 연구를 기반으로한 메타 분석 연구 1천여건을 토대로 메타-메타 분석을 했습니다. 교육 효과 연구의 결정체라고 볼 수 있는데, 예컨대 학업 성취도에 있어 영향을 끼치는 요소들을 그 효과 크기 순서로 나열을 합니다. 효과 크기는 간단히 말하자면 어떤 요소(교육 방법 등)를 넣었을 때와 안넣었을 때 학생들이 1년 후 학업성취도에 얼마만큼의 차이를 보이는가를 표준화해서 보여주는 수치입니다.

그러면 교육적 요소 중에 음의 효과(즉, 안하느니만 못한)가 존재하나요? 합니다. 더 나아가서, 효과 크기(d)가 0.15 이하면 발달 효과(아이들 머리가 커가면서 자연스럽게 똑똑해지는 효과)보다 못한 걸로 봅니다. 즉, 학교를 안보내고 집에서 놀려도 학업성취도가 늘어나는 정도가 있다는 것이고요, 고로 0.15 이하는 해로운 거로 봐도 크게 틀리지 않습니다. 그냥 가만히 두는 것이 더 낫다는 거죠.

하지만, 해티는 자신의 연구에서 0.40을 기준으로 삼습니다. 그 이상은 되어야 추천할만 하다는 겁니다. 대부분의 교육적 개입이 0.4는 되거든요(효과에 영향을 미치는 전체 요소들의 중간값이 0.40이니, 0.40 이하인 교육법을 쓴다면 평균보다 못한 방법이라는 겁니다). 참고로 숙제 경우, 초등학생들에게는 효과 크기가 0에 가깝습니다(특히 공부 못하는 애들에게는 효과가 정말 없습니다). 초등학생들은 숙제할 시간에 다른 걸 시키는 것이 낫다는 것이죠.

학생들의 공부 습관에 대한 연구에서도 비슷한 이야기들이 있습니다. 여러 연구를 통해 밝혀진 것은, 학생들은 어떤 공부법이 효과적이라는 모형을 갖고 있으며, 그 모형이 잘못된 경우가 흔하다는 것이죠. 우리가 많이 추천하는 책을 다시 읽기(독서백편의자현)는 통상적으로 그 시간에 다른 공부법을 하는 것이 훨씬 낫다고 이야기 되는 방법입니다. 책을 여러번 읽는 것은 실제 실력에는 큰 도움이 되지 않지만 자신감을 높여줍니다. 그래서 겉으로 보면 공부를 잘 한 것 같은 환상을 주죠.

운동 전 스트레칭이 해를 입힐 수 있다?

다른 영역에도 이런 음의 효과가 있습니다.

운동 쪽을 보면, 흔히들 운동 전에 하는 스트레칭이란 것이 있죠. 정적인 스트레칭(스트레칭된 상태로 한 자세로 있기 등), 많이들 하시는데 효과가 있을까요?

효과가 없고, 있다면 음의 효과가 있다는 것이 최근 연구 결과입니다. 이렇게 정적 스트레칭을 하고 나면 근력이 떨어져서 운동 기록이 안좋아질 뿐 아니라, 운동 중 사고발생률이 높아집니다. 안하느니만 못합니다.

상담 받아서 손해본다?

정신치료와 상담 쪽도 이런 음의 효과를 가진 것들이 종종 있습니다.

예전에 유행했던 치료인데, 폭력적인 부부를 각기 방에 넣고 야구방망이를 주고 인형을 때리며 화를 분출하게 합니다. 그러면 스트레스가 해소되고 폭력성이 줄어드는 듯 보입니다. 하지만 종단 추적 조사를 통해, 장기적으로 이 방법이 폭력성을 강화한다는 것이 밝혀져서 이제는 사용하지 않습니다.

9/11 사건으로 대규모의 미국인들이 외상후 스트레스 증후군을 겪게 되었는데, 이 사람들을 대상으로 연구를 해보았더니, 당시에 많이 쓰던 치료법(당시의 경험을 더 생생하게 직면하게 함)이 사실 이 증후군을 강화시키고 있더라는 연구도 있습니다.

회사에 손해되는 개발자만 골라 뽑는 사람

앞에서도 들었지만 소프트웨어 개발 쪽도 그런 예가 꽤 있습니다.

저는 구인 컨설팅을 여러 회사를 대상으로 해왔습니다. 사람을 잘 뽑는 것은 여러 단계가 있는데, 일차적으로는 내가 원하는 사람을 뽑는 것이고, 다음에는 그걸 넘어서 우리에게 필요한 사람을 뽑는 것이죠. 여기에서는 내가 원하는 사람을 뽑는 수준에서만 말해보죠. 그 과정에서 데이터 분석을 해보는데 재미있는 패턴을 발견했습니다.

새직원을 데리고 있을 팀장이 서류전형이나 면접 당시 평가했던 것(여러가지 질문, 테스트 등)과 몇 년이 지난 후 이 직원에 대한 그 팀장의 평가(업무적 성과, 역량 등)를 서로 비교해서 통계분석을 해봅니다. 그러면 거의 90% 이상의 경우, 팀장이 스스로 중요하다고 생각하는 면접시 평가 요소(예컨대 특정 질문에 대한 답이라든가)가 사실은 몇 년 후 이 직원에 대한 팀장의 평가를 예측하지 못합니다. 하지만 팀장들은 굉장히 자신있어 하죠. "아, 이거 하나만 보면 난 알 수 있다니까요!" 심지어는 음의 방향을 가진 면접시 평가 요소도 드물지 않게 발견되었습니다. 즉, 면접시 특정 요소에서 뛰어나게 나온 사람일수록 몇 년 후 팀장의 평가에서는 반대로 안좋게 나오는 게 있다는 겁니다.

그렇다면 이 팀장은 자기가 나중에 불만족스러워할 직원만 골라 뽑고 있었던 게 됩니다. 대부분은 이 사실을 접하면 충격을 받게 되죠.

제럴드 와인버그는 소프트웨어 개발에서 기준선을 무작위 프로세스로 잡아야 한다고 말한 바가 있습니다. 채용 경우도 무작위, 즉 지원한 사람 중에서 눈감고 주사위 굴려서 뽑는 것이, 자신이 현재 뽑는 방식보다 나은 채용관들이 의외로 있습니다.

더닝-크루거 효과

심리학에서 더닝-크루거 효과라고 부르는 것이 있습니다. 간단하게 말하자면, 실력이 떨어지는 사람일수록 자기 평가가 부정확하게 높다는 겁니다. 말 되죠. 상황판단력과 사람의 실력 평가 등도 굉장히 중요한 전문성인데, 아무래도 실력이 떨어지면 이런 능력이 부족할 것이고, 이는 곧 자기 자신의 평가에 대한 부정확성으로 이어지겠죠.

근데 문제는 이 사람들이 경력이 늘어나면 자기 확신이 강해지는 경향이 있습니다. 실제 실력은 뛰어나지 않은 사람일수록 자기 실력이 뛰어나다고 믿으며, 또 강한 확신을 하고 있습니다. 설상가상인 것은, 우리가 통상 상대의 전문성을 판단할 때 그 사람의 확신 정도가 큰 영향을 미친다는 겁니다. 그래서 가짜 전문가들이 판을 칠 수 밖에 없는 것이죠.

역으로 말하자면 자기 확신이 강하고, 스스로의 평가가 높은 사람은 한 번 의심해 볼 필요가 있다는 겁니다. 안그러면 오히려 그 사람의 조언을 듣는 것이 안듣느니만 못한 수가 생깁니다.

그러면 어떻게?

정리하자면,
  1. 어느 것이 효과가 높냐 낮냐를 떠나 효과가 아예 없을 수도 있고, 심지어는 음의 효과를 가진 개입들이 존재한다. (그러므로 이것과 저것 중 어느 것이 낫냐는 물음은 함정이 있으며 기준선을 잘 잡아야 한다)
  2. 기준선을 무엇으로 잡느냐를 고민해 보라. 예컨대 가만 있는 것(발달 효과)이 효과가 있을 수 있고, 무작위 프로세스가 더 나을 수도 있다.
  3. 고로 각종 조언, 개입을 무조건 받아들이지 않고 주의 깊은 방법이 필요하다. 예컨대 앞에서 나온 애자일 방식처럼 좀 더 짧은 주기로 피드백을 받고 분석하고, 안좋은 신호가 나면 빨리 반응하면서(실수는 예방하는 것이 아니라 관리하는 것이다) 조정해 나가는 것과 기존 근거를 활용하는 근거 기반 실천(Evidence-based Practice) 등.

친구 사귀게 도와주는 전문가

마지막으로 인상적인 일화로 끝을 맺어 보겠습니다.

존 가트맨(John Gottman)이라는 부부 상담자가 있습니다. 부부 상담에 새로운 획을 그은 분으로 평가되고 있죠. 국내에도 "감정 코칭" 등으로 많이 알려져 있는데, 이 분은 사실 배경이 물리학과 통계학입니다. 이 분이 이 쪽 연구를 처음 하게 된 계기가 있습니다.

아이들이 친구를 어떻게 사귀는지가 궁금했다고 합니다. 그래서 처음 한 것이 이쪽 전문가를 만나서 인터뷰를 한 것입니다. 전문가는 이런 방법을 가르치고 있었습니다. "안녕? 내 이름은 데이비드야. 네 이름은 뭐니? 난 너의 친구가 되고 싶어." 가트맨이 전문가에게 물었습니다. 어떤 근거에서 이 방식을 가르치고 있습니까? 답은, 자신이 어렸을 때에 이 방법으로 친구를 많이 사귀었다는 것이었습니다.

가트맨은 그 이후 수 년에 걸쳐 놀이터나 학교 등에서 관찰조사를 하며 아이들이 어떻게 친구를 사귀는지 연구를 했습니다. 자신의 배경이 자연과학이었기 때문에 현상을 관찰하고 연구하는 것이 습관이 되었기 때문이었죠.

수년의 연구를 통해 그가 발견한 것은 놀라운 것이었습니다. "안녕? 내 이름은 데이비드야. 네 이름은 뭐니? 난 너의 친구가 되고 싶어."라고 하는 아이들이 가장 친구가 없었습니다. 애들은 일단 좀 놀고 친해지고 난 뒤에 이름을 알게 되는 것이 더 흔했습니다.

--김창준
by 애자일컨설팅 | 2014/09/29 12:30 | 트랙백 | 덧글(2)
AC2 과정에서 개인적 변화의 측정
제가 2009년부터 AC2 과정이라는 교육 과정을 해오고 있는데, 간혹 AC2 과정에 대한 효과 측정을 어떻게 하는가 물어보시는 분들이 계십니다. 또, 제 전문성의 개선이라는 면에서 제가 측정해 오고 있기도 한데 그걸 간략히 소개드려볼까 합니다.

크게 보면 두 가지 방식을 병용하고 있는데, 하나는 현재 AC2 과정이 진행되는 중에 사람들의 변화를 보는 것이고(단기), 다른 하나는 과정이 끝나고 몇 년이 지난 후의 변화를 보는 것(장기)입니다.

후자에 대해서는 교육 만족도의 함정이라는 글과 연결된 링크글에서 언급한 적이 있습니다. 간략히 말하면 대략 2-3년에 한 번 꼴로 과정 졸업생들의 행동 변화에 대한 조사를 합니다. 그래서 이 사람이 교육에서 배운 것을 실제로 행동으로 옮긴 적이 있는지, 그 결과는 어떠 했는지 등을 브링커호프(Brinkerhoff)의 석세스 케이스 메서드(Success Case Method)를 사용해 측정하고 있습니다. 참고로 2012년 조사에서는 졸업생 중 94%의 인원이 교육 종료후 교육에서 배운 내용을 실제 업무와 삶에서 적용한다는 분석이 나왔습니다.

다른 하나는 3개월 동안의 변화를 추적하는 것입니다. 한 번의 측정으로 끝나는 것이 아니고 3개월 중 총 5번에 걸쳐 측정을 하게 되어 좀 더 신뢰도와 유용성(특히 형성 평가의 면에서)이 있다고 말할 수 있습니다. 측정도구는 ORS(Outcome Rating Scale)이라는 도구를 씁니다.

ORS는 상담에서 쓰이는 측정도구인데(특히 공통 요인 학파에서), 상담을 통해 얼마나 효과가 있었는가를 측정하며, 그 신뢰도와 타당도가 여러 연구를 통해 확인된 좋은 도구입니다. 최근 근거 기반 실천이 상담에도 도입되고 있는데, 그 운동의 중심에 있는 것 중 하나가 ORS라고 말씀드릴 수 있습니다. 스캇 밀러(Scott Miller) 박사가 다른 이들과 함께 개발했고, 제가 한국어 번역작업을 진행 중입니다.

ORS는 상담/코칭이 시작되기 전에 개인적 웰빙, 가족과 가까운 사람과 관계, 하는 일과 직장/학교에서의 관계, 삶 전반 이렇게 네 가지 영역에 대해 각 점수를 측정해 합산합니다(각 10점, 총40점 만점). 쉽게 말해 점수가 높으면 요즘 잘 살고 있다고 느끼는 것이고, 낮으면 반대가 되는 것이죠. 물론, 어떤식으로 측정을 진행해야 하는지에 대해 명확하고 엄격한 프로토콜(예컨대 질문하는 방식)이 정해져 있어서 그걸 따라야 하고요.

ORS 연구에서는 25점을 커트라인으로 삼고 있습니다. 25점 이하는 상담이 필요하다고 보는 것이고요. 연구에 따르면 5점의 차이가 생기면 이것은 통계적으로 유의미한 변화가 생겼다고 봅니다.

최근 종료한 기수의 ORS 점수 그래프를 한 번 보시죠.



세로축은 ORS 점수, 가로축이 코칭 회기이고 약 3개월에 걸쳐 있었던 것입니다(개인에 따라 전체 횟수나 횟수간 날짜 간격 등은 약간씩 차이가 있음). 각 선 하나가 한 사람의 변화를 나타냅니다. 가로로 굵은 붉은색 선은 커트라인인 25점을 보여주는 겁니다.

각 측정은 코칭 시작하기 전이었으므로, 가로축에 1이라고 표시된 시작점은 3개월 코칭 시작하기 이전 상태로 보시면 되고요. 1회차 코칭이 시작하기 전 상태로 보면, 25점 커트라인 밑에 있는 분들이 꽤 되십니다. 아무래도 힘들고 괴로운 일들이 있으셔서 이 과정을 선택하신 거겠죠.

전체적으로 ORS 점수의 개선이 보이는데, 5회차 시작전을 보면(가로축에서 5) 한 분도 커트라인 밑에 있는 분이 없으십니다.

전체 인원에 대해 1회 때와 마지막 때의 ORS 점수 차이를 보면 평균 약 7점의 개선이 있었습니다. 통계적으로 유의미한 차이가 되는 것이고요(기존 베이스라인 연구에서는 6개월 동안 전혀 개입을 안했을 때 2.5점 정도 오름). 개인에 따라 정도 차이가 있긴 한데, 전반적으로 삶의 만족도에 개선이 있다고 말할 수 있겠습니다.

이런 측정을 통해 제가 어떻게 하고 있는지 확인하고 또 개개인들에게 더 많은 도움을 드릴 수 있는 것 같습니다.

다음주면 벌써 AC2 17기 시작이네요. 마침 한 자리가 비었네요. 관심있는 분들은 신청을 서둘러주세요. ^^ http://ac2.kr
by 애자일컨설팅 | 2014/09/15 10:23 | 트랙백 | 덧글(0)
아무리 노력해도 선천적 재능을 따라잡기 힘들다?
저는 계속 똑같은 컴퓨터를 디자인했고 다시 만들 때마다 필요한 부품의 수를 점점 줄여나가 보고자 했고, 그 결과 책에서는 알 수 없는 비법들을 알게 되었죠. --스티브 워즈니악 (애플 공동 창업자), 제주의 한 여고생에게 보낸 편지에서


저는 오래전부터 전문성 연구(expertise research)와 교육에 많은 관심을 갖고 연구, 컨설팅, 실험을 해오고 있습니다. 관련해서는 당신은 몇 년 차라는 글을 보시면 제가 어떤 이야기를 하는지 아실 수 있을 겁니다.

그런데, 지난 7월 중순 어느날 뉴스에 이 전문성 연구에 대한 기사들이 뜨더군요. 소위 1만 시간 법칙에 대해 세간에 널리 퍼진 믿음(여기에 대해 오해가 많은데 관련해서는 "1만 시간 법칙에 대한 오해"와 "달인이 되는 비결", "수십년 동안 전문가가 안되는 비결"을 참고)을 뒤흔드는 연구결과라며 아래와 같은 내용이 쏟아지기 시작했습니다. 

논문의 결론은 아무리 노력해도 선천적 재능을 따라잡기 힘들다는 것이다. ... 학술 분야에서 노력한 시간이 실력의 차이를 결정짓는 비율은 4%에 불과한 것으로 나타났다. 음악·스포츠·체스 등의 분야는 실력의 차이에서 차지하는 노력 시간의 비중이 20~25%였다. 어떤 분야든 선천적 재능이 없으면 아무리 노력해도 대가가 될 수 있는 확률은 그리 높지 않다는 결론이다. --중앙일보 2014년 7월 17일자

햄브릭 교수팀은 음악의 경우 실력 차이의 원인 가운데 노력이 차지하는 비중은 21%, 선천적 재능이 차지하는 비중은 79%이며 체스 등 게임에서는 각각 26%, 74%라고 설명했습니다. 또 스포츠는 노력이 18%, 선천적 재능이 82% 학술 분야는 노력이 4%, 선천적 재능이 96%라고 제시했습니다. --YTN 2014년 7월 27일 방송

박지성, 류현진의 실력 100% 중에 연습이 차지하는 비중은 18%뿐이고, 82%는 타고난 몸과 운동신경에서 왔다는 설명입니다. ... 도서관에서 밤잠 설치며 공부한들 성적에 미치는 영향은 4%뿐이고 나머지 96%는 타고난 머리에서 나온다는 것인데 머리 나쁘면 아무리 공부해도 소용없다는 뜻입니다. --SBS 뉴스 2014년 7월 20일


맥나마라(Macnamara et al.) 등의 연구를 말하는 것입니다. 사실 이런 여러 연구를 종합한 평균 수치로(즉, 참고한 연구에 따라 노력이 실력의 80%인 것이 있고 10%인 것이 섞여 있었다는 뜻) 자신의 개별적 상황에 적용하는 것은 위험성이 있긴 한데, 그 외에도 이번 일은 크게 보면 두 가지 수준에서의 문제가 있습니다. 첫번째는 우리나라 뉴스의 문제입니다. 두번째는 연구 자체의 문제입니다. 제가 이미 7월 17일에 온라인에 해당 뉴스와 연구에 대한 비판을 게재한 바 있습니다.

첫번째 문제부터 언급하죠. 예컨대 중앙일보 경우 이런 문제의 일부를 차후에 알게되어 기사를 약간 수정한 것으로 보입니다(그래도 여전히 문제있는 기사입니다만).

아래 두 개의 이미지를 비교해 보시죠. (전자는 7월 17일 올라온 이미지로 인터넷 검색을 통해 개인 블로그에서 찾았고, 후자는 23일 수정된 것으로 현재 중앙일보 기사에 걸려있는 것입니다)




관찰력이 좋은 분들은 대번에 두 개의 차이를 찾아내실 겁니다. 첫째는 이미지 제목입니다. "전체 성과에서 노력과 선천적 재능의 비중"이라는 제목이 "전체 성과에서 노력이 차지하는 비중"으로 바뀌었습니다. 두째는 이미지 좌측에 "선천적 재능"이라는 말에 "등"이라는 의존명사가 붙었습니다. 문제는 기사가 수정된 시점이 약 일주일 후인 7월 23일이라는 점이고 무엇을 수정했는지를 표시하고 있지 않는다는 점입니다. 한마디로 슬그머니 고친 셈입니다. 대다수의 대중은 7월 17일의 원 기사를 보았을 것이고 23일날 다시 보게되는 경우는 흔치 않을 것이며, 첫 인상으로 이미 머리 속에 각인되어 있을 것이기에 명시적으로 언급하지도 않는 기사 이미지의 작은 변화로 그것이 수정되지 않을 것입니다(이에 대한 연구가 많습니다 --- 잘못된 뉴스를 바로잡는 것은 매우 어렵다는 사회학/심리학 연구들).

참고로 원 논문에도 거의 비슷한 그래프가 있습니다만 이미지 캡션은 이렇습니다. "Percentage of variance in performance explained (light gray) and not explained (dark gray) by deliberate practice within each domain studied." 그걸 싹 빼버리고 이상하게 만들어 버린 거죠. 각 영역을 대표하는 아이콘 같은 거 집어넣고, 음영 넣고 정보 시각화 했다고 생각하는 건지 모르겠네요.

대략 감을 잡으셨겠는데 뉴스 차원에서의 대표적 문제는 아래와 같습니다. 한마디로 말하자면 논문을 오독하거나, 혹은 논문을 확인하지 않고 해외뉴스를 대충 번역한 문제입니다.


1. 노력을 제외한 나머지는 다 타고난 것? 예컨대 노력의 비중이 실력차이의 26% 수준이라고 하는 게임 부분에서, 실력차이의 26%를 제외한, 74%는 모두 재능(Talent)이 아니다. 나머지는 모른다. 운, 환경, 성격, 끈기, 기타 등등을 다 합한 것이다. (그리고 이 중에 우리가 컨트롤할 수 있는 건 얼마나 될까, 그것도 모른다)

2. 노력이라는 개념 전체를 연구한 것? 같은 게임 부분에서, 정확히 말하면 "개인이 연습 시간으로 생각하는 시간의 양"이 실력의 차이(개별 연구에서 다 달리 측정했던)에서 설명하는 부분이 26%라고 봐야 한다. 즉, 연습이라는 개념의 종합적 면을 본 것이 아니라 오로지 누적 시간(혹은 주당 시간)만 따진 것이다.

3. 그정도면 미미한 것? 예컨대 26%를 굉장히 작은 수치인 것처럼 소개한다. 분산의 26%를 설명한다면 상관성으로 치면 약 0.5인데, 심리학이나 사회학 연구에서 이 정도 수치는 높은 편에 속한다. 참고로 흡연과 폐암 발병의 상관성 경우 0.5도 안된다고 보고되는 경우가 많았다. 아벨슨의 연구에 따르면 한 야구선수의 실력(타율)이 결과(히트 대 노히트)의 차이를 설명하는 것은 1%가 되지 않는다. (아벨슨의 패러독스 Abelson's Paradox로 불림) 그러나 그런 작은 것들이 쌓여서 경기의 승패를 좌우한다.

4. 노력이 중요하지 않다? 저자 자신 노력이 중요하지 않다는 것을 말하려고 한 것이 아니라 에릭손이 주장하는 만큼 압도적인 부분을 차지하지 않는다는 것을 말하려는 것이다. 저자들의 원논문에서 인용하면 다음과 같다. "의도적 수련의 양은 통계적, 실용적 견지에서 의심할 바 없이 중요한 예측변수이지만 에릭손과 그의 동료들이 주장한 정도는 아니다"(We conclude that amount of deliberate practice -- although unquestionably important as a predictor of individual differences in performance from both a statistical and a practical perspective -- is not as important as Ericsson and his colleagues have argued.)


이 정도는 논문만 대충 읽어봐도, 혹은 통계에 대한 기본적 지식만 있어도 충분히 알 수 있는 내용인데 어처구니 없는 실수, 혹은 책임 방기(논문을 보거나 그럴 역량이 없으면 전문가에게 확인하기 등), 또는 전문성 결여라고 생각이 듭니다. 제 경험에 따르면, 우리나라 미디어에서 소개하는 해외 과학 뉴스의 절반 이상은 잘못 전달되는 부분이 있다고 보셔도 무방합니다.

이번에는 연구 자체 차원에서의 문제를 이야기해 보죠.


1. 얼마나 대표성이 있나?영역(domain)별로 묶어서 결과를 산출했는데, 참고한 연구들이 해당 영역을 대표할 수준이 되지 못한다. 예컨대, 해당 논문에서 Profession(전문직)의 의도적 수련 시간과 퍼포먼스에 대한 분석에는 연구가 4개 밖에 포함되지 않았고 직업도 축구 심판에 대한 연구 하나, 전투기 조종사(실제 의도적 수련시간 대신 비행시간을 사용)에 대한 연구 하나, 세일즈맨에 대한 연구 하나, 프로그래머에 대한 연구 하나만 포함된다. 또 게임 영역도 참고한 것은 8개 연구인데, 그 중 6개는 체스, 2개는 스크램블 게임이다.

2. 비슷한 것끼리 비교했나? 원저자의 연구에서 보면 연구간에 분산의 차이가 크고(이 부분은 메타분석의 기법을 사용해 보정하긴 함), 연구에서 측정 방법의 차이도 크다(이 부분이 심각한 문제). 즉, 연구마다 성과를 측정한 방법이나, 의도적 수련량을 측정한 방법이 매우 상이하다. 뿐만 아니라 연구 대상의 차이도 큰데, 예컨대 대상이 연습시간이 적은 초보자들로만 구성된 연구가 있고, 대부분 연습시간이 높은 전문가(엘리트)들로만 구성된 연구가 있으며, 다양한 연습시간의 초보자와 전문가가 함께 포함된 연구가 있다(에릭손이 의도적 수련이 퍼포먼스의 80%를 설명했다고 한 연구도 이 경우에 속함). 이렇게 연구 대상의 범위에 따라 의도적 훈련의 효과는 그 크기가 매우 달라질 수 있다. 그러나 이 연구에서는 이런 것들을 동등하게 고려했다.

3. 특정 소수의 연구들이 더 큰 영향을 끼치지 않았나? 참고 논문 중 한 연구논문에 개별 스터디가 복수개로 포함된 경우(예컨대 한가지 연구논문 쓰면서 피실험자를 나이별로 군을 나눠 측정해서 효과크기를 계산한 경우), 각각의 결과를 독립적으로 고려하고 가중치에 반영하지 않는다. 연구마다 측정 방법등이 다르다. 그걸 고려하지 않았다. 어떤 논문은 14건의 개별 효과크기가 포함되었다. 당연히 해당 연구에서 사용한 측정 방법과 연구 방법에 크게 휘둘릴 수 밖에 없다. 가령, 교육 분야를 보면, 총 효과크기는 51개인데, 그중 절반에 가까운 22개가 두 논문에서만 나왔다. 그 두가지도 심리학 수업을 들은 1학년 학생들, 그리고 경영경제학과 1학년 학생들에 대한 연구이다.

4. 의도적 수련의 정의가 무엇인가? 의도적 수련의 정의가 엄격하지 못했다. 논문에는 "의도적 수련으로 해석할 수 있는 것"을 기준삼아 연구를 선택했다고 하는데 그것이 모호하다. 실제로 선정된 개별 논문을 살펴보면 천지차이이다. 특히 연습의 질과 밀도라는 면에서. "전 주당 평균 15시간 공부해요"하는 아이의 말만 듣고 그 아이가 "저는 10시간요"하는 애보다 그 학기 시험 결과가 더 좋을 거라고 생각하는 사람은 드물 것이다. 참고로 에릭손의 책에서는 다음과 같이 "제대로 된" 의도적 수련의 요건을 정의한다. "a well-defined task with an appropriate difficulty level for the particular individual, informative feedback, and opportunities for repetition and correction of errors." 그리고 이렇게 되기 위해서는 특히 초기에 뛰어난 교사의 코칭이 중요함을 강조하고 있다. 그러나 맥나마라의 연구에서 인용된 연구 대부분은 이 요소가 없다.



위에 적은 것들 중, 개인들 입장에서는 특히 마지막 부분이 중요한데, 최근 여러 연구들에서 이 연습의 질 부분에 집중하고 있습니다. 에릭손 역시 이 부분을 더 연구하고 있고요.

예를 들어 최근 연구된 약 90만명에 대한 게임기록연구(Stafford&Dewar)에서 개인의 첫 5판의 점수 분산이 차후 5판(6번째부터 10번째)의 최고 점수를 약 36% 설명할 수 있었습니다. 즉 초기에 탐색을 잘 하면(그래서 점수가 오히려 들쭉날쭉한 것이) 수련이 더 많이 된다(고로 실력이 더 쌓인다)는 뜻입니다. 역시 같은 연구에서 연습시간을 분산시킨(한번에 몰아서 게임 안하고 띄엄띄엄 한 것) 플레이어가 더 높은 최고득점을 얻을 수 있었습니다. 이는 학습이론에서 널리 검증된 간격 두기 효과(spacing effect)입니다. 예전에 쓴 "당신이 제자리 걸음인 이유"도 비슷한 예이고요. 다시 말해, 같은 시간 수련해도 그 방법에 따라 결과에 차이가 크다는 것이지요.

얼마전 유재명님(이분도 같은 사안에 대해 글을 쓰셨네요 "머리 나쁘면 공부해도 소용이 없을까?")과 함께 진행한 일련의 "근거 기반 훈련" 공개 교육과 트리움에서 진행한 기업 대상 교육에서 이런 연구들을 정리해 발표한 바 있습니다. 미국에서는 주별로 이런 연구 결과를 교사와 부모, 학생을 위해 정리해 배포하고 있습니다. 예컨대 교육 심리학자들은 책 반복해 읽기나 밑줄 긋기, 요약하기 등을 그다지 권하지 않습니다. 좋은 수련법이 아니라는 것입니다. 같은 시간이면 다른 걸 하는 게 훨씬 효과가 높다는 얘기(사실 시간을 안늘리고 이런 것들만 적용해도 학습 효과가 훨씬 높아진다)입니다. 참고로 AC2 과정에서도 이런 근거 기반 학습을 중요하게 여기고 그에 기반해 과정이 설계되어 있으며, 그 기법들을 훈련하게 해드리고 있는데, 3개월 개인 코칭을 근 2백명에 가까운 분들 대상으로 진행하면서 놀란 것은 오래 해도 실력이 안느는 분들은 대부분 비효과적인(때로는 마이너스의) 학습 습관을 갖고 있더라는 점이었습니다. 결국 연습의 질이 양 이상으로 중요하다는 말이겠죠. 문두에 인용한 워즈니악의 말도 그런 맥락입니다. 워즈니악이 독서백편의자현하지 않고 저런 특수훈련(매우 효과적인 방법입니다)을 했다는 것이 시사하는 바가 있다고 봅니다.

그런데 이런 논의를 떠나서, 일반적으로 실력이 재능에 의해 정해진다, 타고난다고 믿을수록(고정 사고관) 손해를 본다는 연구가 많이 있습니다(관련해서는 "나는 왜 학습을 이야기하는가"를 참고하세요). 대신 실력은 내가 노력하기 나름이다라고 믿는(성장 사고관) 사람일수록 더 성장하게 됩니다. 문제는 앞서와 같은 뉴스를 보게 되면 고정 사고관 쪽으로 프라이밍(priming)되어서 노력을 덜 하게 될 수 있다는 것이죠. 참고로 이쪽의 전문가인 캐롤 드웩 교수는 성장 사고관 쪽으로 프라이밍할 경우(예컨대 선배로부터 "난 예전에 공부 못했는데 노력했더니 잘 되었다"는 이야기를 듣게 되면) 실제로 성적이 유의미하게 오르게 되더라는 연구 결과를 얻었습니다. 그래서 정말 재능이 얼마나 영향을 끼치는지는 몰라도 밑져야 본전이니 내 믿음은 어느 쪽을 향하는 것이 좋을까 자문해 볼 수 있을 것입니다.

게다가 앞에서도 잠깐 나왔지만 여러가지 변수 중에 우리가 통제할 수 있는 것은 무엇일까요? 타고난 재능은 (만약 고정되어 있다고 믿는다면) 우리가 바꿀 수 있는 변수가 아닙니다. 그러면 우리 개인이 할 수 있는 선택은 무엇일까요? 여러분은 자신을 어떤 사람으로 생각하며 살고 싶으십니까?

--김창준
by 애자일컨설팅 | 2014/08/31 14:22 | 트랙백 | 핑백(1) | 덧글(0)
< 이전페이지 다음페이지 >


Site Meter