음의 생산성
예전에 모 프로젝트에서 만난 잊지 못할 개발자가 있었습니다.

개발자만 20여명이 함께 하는 프로젝트였는데, 애자일 방식으로 진행하며 1달을 반복주기로 해서 여러가지 장점이 있었는데, 그 중 하나는 프로젝트 말미(약 1년 후)가 아니라 매 달 테스팅을 하고 버그를 발견해서 거기에서 학습할 수 있다는 점이었습니다.

개발 첫달에 발견된 버그를 확인해 보니 한 분에게서 전체 버그의 80%(스무명 중 하나이니 평균인 5%가 아니라)가 나온 것입니다. 이렇게 놀라운 수치가 나올 경우 보통은 뭔가 잘못된 것이죠. 그 분이 맡은 부분이 굉장히 복잡한 부분일 수도 있고, 혹은 다른 개발자들은 코딩을 별로 안한 것일 수도 있고 하지만, 그런 경우가 아니었을 뿐더러, 여러 정황을 고려해도 그 정도 비율은 지나치다는 판단이 들었죠. 그 분의 업무속도와 버그 생산 속도, 버그 심각도(severity), 디버깅 시간 등을 고려해 전체적 계산을 해보니 음의 생산성이 나왔습니다.

한마디로, 그 분이 일을 하면 할 수록 전체 팀이 할 일의 양이 늘어난다는 결론이었습니다.

확인해 보니 하청업체에서 경력 속이기를 해서 보낸 분이었고 업체에 항의를 하니 악질업체인지라 배째라라고 하더군요. ^^; 그 분과 면담을 하고, 교육을 해드리고, 그분만을 위한 툴을 만들어드리고, 업무 조정을 하고 해서 "음"의 영향력을 최소화하고 서서히 양으로 돌릴 수 있었던 기억이 있습니다. 그나마 애자일이었기에 다행이었지 폭포수로 진행했으면 큰 일 날뻔 했죠.

오늘 할 이야기는 기준선(baseline)에 대한 것입니다.

공부하면 손해?

학창 시절 이런 조언 들어봤을 겁니다. "야, 자꾸 영어 공부법 찾으러 다니지 말고 일단 엉덩이 붙이고 어떤 식으로든 공부해봐. 이득이 됐으면 됐지 손해될 건 없으니까" 주변에 보면 영어 공부 못하는 친구들 중에 실제 영어 공부는 잘 안하고 공부법만 공부하는 친구들이 있었죠. 근데, 정말 어떻게든 공부하면 득이 된다는 게 맞을까요? 혹시 의심해 보신 분 안계신가요?

존 해티(John Hattie)라고 하는 멜버른 대학의 교육학 교수가 있습니다. 이분은 교육학 연구에 한 획을 그은 분이라고 할 수 있는데, 6만개가 넘는 교육학 연구를 기반으로한 메타 분석 연구 1천여건을 토대로 메타-메타 분석을 했습니다. 교육 효과 연구의 결정체라고 볼 수 있는데, 예컨대 학업 성취도에 있어 영향을 끼치는 요소들을 그 효과 크기 순서로 나열을 합니다. 효과 크기는 간단히 말하자면 어떤 요소(교육 방법 등)를 넣었을 때와 안넣었을 때 학생들이 1년 후 학업성취도에 얼마만큼의 차이를 보이는가를 표준화해서 보여주는 수치입니다.

그러면 교육적 요소 중에 음의 효과(즉, 안하느니만 못한)가 존재하나요? 합니다. 더 나아가서, 효과 크기(d)가 0.15 이하면 발달 효과(아이들 머리가 커가면서 자연스럽게 똑똑해지는 효과)보다 못한 걸로 봅니다. 즉, 학교를 안보내고 집에서 놀려도 학업성취도가 늘어나는 정도가 있다는 것이고요, 고로 0.15 이하는 해로운 거로 봐도 크게 틀리지 않습니다. 그냥 가만히 두는 것이 더 낫다는 거죠.

하지만, 해티는 자신의 연구에서 0.40을 기준으로 삼습니다. 그 이상은 되어야 추천할만 하다는 겁니다. 대부분의 교육적 개입이 0.4는 되거든요(효과에 영향을 미치는 전체 요소들의 중간값이 0.40이니, 0.40 이하인 교육법을 쓴다면 평균보다 못한 방법이라는 겁니다). 참고로 숙제 경우, 초등학생들에게는 효과 크기가 0에 가깝습니다(특히 공부 못하는 애들에게는 효과가 정말 없습니다). 초등학생들은 숙제할 시간에 다른 걸 시키는 것이 낫다는 것이죠.

학생들의 공부 습관에 대한 연구에서도 비슷한 이야기들이 있습니다. 여러 연구를 통해 밝혀진 것은, 학생들은 어떤 공부법이 효과적이라는 모형을 갖고 있으며, 그 모형이 잘못된 경우가 흔하다는 것이죠. 우리가 많이 추천하는 책을 다시 읽기(독서백편의자현)는 통상적으로 그 시간에 다른 공부법을 하는 것이 훨씬 낫다고 이야기 되는 방법입니다. 책을 여러번 읽는 것은 실제 실력에는 큰 도움이 되지 않지만 자신감을 높여줍니다. 그래서 겉으로 보면 공부를 잘 한 것 같은 환상을 주죠.

운동 전 스트레칭이 해를 입힐 수 있다?

다른 영역에도 이런 음의 효과가 있습니다.

운동 쪽을 보면, 흔히들 운동 전에 하는 스트레칭이란 것이 있죠. 정적인 스트레칭(스트레칭된 상태로 한 자세로 있기 등), 많이들 하시는데 효과가 있을까요?

효과가 없고, 있다면 음의 효과가 있다는 것이 최근 연구 결과입니다. 이렇게 정적 스트레칭을 하고 나면 근력이 떨어져서 운동 기록이 안좋아질 뿐 아니라, 운동 중 사고발생률이 높아집니다. 안하느니만 못합니다.

상담 받아서 손해본다?

정신치료와 상담 쪽도 이런 음의 효과를 가진 것들이 종종 있습니다.

예전에 유행했던 치료인데, 폭력적인 부부를 각기 방에 넣고 야구방망이를 주고 인형을 때리며 화를 분출하게 합니다. 그러면 스트레스가 해소되고 폭력성이 줄어드는 듯 보입니다. 하지만 종단 추적 조사를 통해, 장기적으로 이 방법이 폭력성을 강화한다는 것이 밝혀져서 이제는 사용하지 않습니다.

9/11 사건으로 대규모의 미국인들이 외상후 스트레스 증후군을 겪게 되었는데, 이 사람들을 대상으로 연구를 해보았더니, 당시에 많이 쓰던 치료법(당시의 경험을 더 생생하게 직면하게 함)이 사실 이 증후군을 강화시키고 있더라는 연구도 있습니다.

회사에 손해되는 개발자만 골라 뽑는 사람

앞에서도 들었지만 소프트웨어 개발 쪽도 그런 예가 꽤 있습니다.

저는 구인 컨설팅을 여러 회사를 대상으로 해왔습니다. 사람을 잘 뽑는 것은 여러 단계가 있는데, 일차적으로는 내가 원하는 사람을 뽑는 것이고, 다음에는 그걸 넘어서 우리에게 필요한 사람을 뽑는 것이죠. 여기에서는 내가 원하는 사람을 뽑는 수준에서만 말해보죠. 그 과정에서 데이터 분석을 해보는데 재미있는 패턴을 발견했습니다.

새직원을 데리고 있을 팀장이 서류전형이나 면접 당시 평가했던 것(여러가지 질문, 테스트 등)과 몇 년이 지난 후 이 직원에 대한 그 팀장의 평가(업무적 성과, 역량 등)를 서로 비교해서 통계분석을 해봅니다. 그러면 거의 90% 이상의 경우, 팀장이 스스로 중요하다고 생각하는 면접시 평가 요소(예컨대 특정 질문에 대한 답이라든가)가 사실은 몇 년 후 이 직원에 대한 팀장의 평가를 예측하지 못합니다. 하지만 팀장들은 굉장히 자신있어 하죠. "아, 이거 하나만 보면 난 알 수 있다니까요!" 심지어는 음의 방향을 가진 면접시 평가 요소도 드물지 않게 발견되었습니다. 즉, 면접시 특정 요소에서 뛰어나게 나온 사람일수록 몇 년 후 팀장의 평가에서는 반대로 안좋게 나오는 게 있다는 겁니다.

그렇다면 이 팀장은 자기가 나중에 불만족스러워할 직원만 골라 뽑고 있었던 게 됩니다. 대부분은 이 사실을 접하면 충격을 받게 되죠.

제럴드 와인버그는 소프트웨어 개발에서 기준선을 무작위 프로세스로 잡아야 한다고 말한 바가 있습니다. 채용 경우도 무작위, 즉 지원한 사람 중에서 눈감고 주사위 굴려서 뽑는 것이, 자신이 현재 뽑는 방식보다 나은 채용관들이 의외로 있습니다.

더닝-크루거 효과

심리학에서 더닝-크루거 효과라고 부르는 것이 있습니다. 간단하게 말하자면, 실력이 떨어지는 사람일수록 자기 평가가 부정확하게 높다는 겁니다. 말 되죠. 상황판단력과 사람의 실력 평가 등도 굉장히 중요한 전문성인데, 아무래도 실력이 떨어지면 이런 능력이 부족할 것이고, 이는 곧 자기 자신의 평가에 대한 부정확성으로 이어지겠죠.

근데 문제는 이 사람들이 경력이 늘어나면 자기 확신이 강해지는 경향이 있습니다. 실제 실력은 뛰어나지 않은 사람일수록 자기 실력이 뛰어나다고 믿으며, 또 강한 확신을 하고 있습니다. 설상가상인 것은, 우리가 통상 상대의 전문성을 판단할 때 그 사람의 확신 정도가 큰 영향을 미친다는 겁니다. 그래서 가짜 전문가들이 판을 칠 수 밖에 없는 것이죠.

역으로 말하자면 자기 확신이 강하고, 스스로의 평가가 높은 사람은 한 번 의심해 볼 필요가 있다는 겁니다. 안그러면 오히려 그 사람의 조언을 듣는 것이 안듣느니만 못한 수가 생깁니다.

그러면 어떻게?

정리하자면,
  1. 어느 것이 효과가 높냐 낮냐를 떠나 효과가 아예 없을 수도 있고, 심지어는 음의 효과를 가진 개입들이 존재한다. (그러므로 이것과 저것 중 어느 것이 낫냐는 물음은 함정이 있으며 기준선을 잘 잡아야 한다)
  2. 기준선을 무엇으로 잡느냐를 고민해 보라. 예컨대 가만 있는 것(발달 효과)이 효과가 있을 수 있고, 무작위 프로세스가 더 나을 수도 있다.
  3. 고로 각종 조언, 개입을 무조건 받아들이지 않고 주의 깊은 방법이 필요하다. 예컨대 앞에서 나온 애자일 방식처럼 좀 더 짧은 주기로 피드백을 받고 분석하고, 안좋은 신호가 나면 빨리 반응하면서(실수는 예방하는 것이 아니라 관리하는 것이다) 조정해 나가는 것과 기존 근거를 활용하는 근거 기반 실천(Evidence-based Practice) 등.

친구 사귀게 도와주는 전문가

마지막으로 인상적인 일화로 끝을 맺어 보겠습니다.

존 가트맨(John Gottman)이라는 부부 상담자가 있습니다. 부부 상담에 새로운 획을 그은 분으로 평가되고 있죠. 국내에도 "감정 코칭" 등으로 많이 알려져 있는데, 이 분은 사실 배경이 물리학과 통계학입니다. 이 분이 이 쪽 연구를 처음 하게 된 계기가 있습니다.

아이들이 친구를 어떻게 사귀는지가 궁금했다고 합니다. 그래서 처음 한 것이 이쪽 전문가를 만나서 인터뷰를 한 것입니다. 전문가는 이런 방법을 가르치고 있었습니다. "안녕? 내 이름은 데이비드야. 네 이름은 뭐니? 난 너의 친구가 되고 싶어." 가트맨이 전문가에게 물었습니다. 어떤 근거에서 이 방식을 가르치고 있습니까? 답은, 자신이 어렸을 때에 이 방법으로 친구를 많이 사귀었다는 것이었습니다.

가트맨은 그 이후 수 년에 걸쳐 놀이터나 학교 등에서 관찰조사를 하며 아이들이 어떻게 친구를 사귀는지 연구를 했습니다. 자신의 배경이 자연과학이었기 때문에 현상을 관찰하고 연구하는 것이 습관이 되었기 때문이었죠.

수년의 연구를 통해 그가 발견한 것은 놀라운 것이었습니다. "안녕? 내 이름은 데이비드야. 네 이름은 뭐니? 난 너의 친구가 되고 싶어."라고 하는 아이들이 가장 친구가 없었습니다. 애들은 일단 좀 놀고 친해지고 난 뒤에 이름을 알게 되는 것이 더 흔했습니다.

--김창준
by 애자일컨설팅 | 2014/09/29 12:30 | 트랙백 | 핑백(9) | 덧글(11)
트랙백 주소 : http://agile.egloos.com/tb/5822712
☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]
Linked at 애자일 이야기 : 왜 배워도 .. at 2014/11/06 17:13

... 사의 전문 지식 수준을 매우 중요하게 여깁니다. 어쩌면 거의 유일하게 생각하는 것일지도 모르겠는데요. 근데, 이것과 학생들의 성취도 간에 정말 높은 관련이 있을까요? 음의 생산성에서 언급했던 존 해티의 연구에 따르면 교사의 주제에 대한 지식 수준(teacher's subject matter knowledge)은 효과 크기가 0.09에 ... more

Linked at 애자일 이야기 : 왜 배워도 .. at 2014/11/10 13:55

... 일종이라고 합니다. 소위 말하는 소셜 네트워크가 좋다고 하는 것도 사회적 자본의 일종입니다. 이런 사회적 자본이 좋은 사람들은 통상 사회적 기술이 뛰어납니다. 반대로 음의 기술을 가진 사람도 존재합니다 -- 커뮤니케이션할수록 신뢰가 깨어진다든지. 벨 연구소의 수십년에 걸친 "뛰어난 연구자"의 특성에 대한 연구의 결론은 사회적 자본, 특 ... more

Linked at 애자일 이야기 : 누구에게 일.. at 2014/11/14 07:50

... 은 24% 가량 높아집니다. 또한 가격이 낮은 업체를 주로 선정하는 고객들은 실제 스킬이 떨어지는 업체를 고르는 경향이 강하다는 분석도 나왔습니다. 더닝-크루거 효과(음의 생산성 참고)에 따르면, 실력이 떨어지는 사람들일수록 자신의 실력에 대해 지나치게 낙관적인 평가를 하는데, 마찬가지로 실력이 떨어지는 회사가 프로젝트 추정도 지나치게 ... more

Linked at Social activitie.. at 2014/11/22 22:05

... ... more

Linked at 애자일 이야기 : 전문가 팀이.. at 2015/08/24 14:41

... p Effectiveness)에 따르면 이런 스타들이 한 명씩 팀에 추가될 때 팀의 추가적 성과 향상은 한계효용(점차 줄어듬)을 보이며 어느 수준을 지나면 음의 방향(음의 생산성 참고)으로 작용한다(즉 전체 팀의 성과를 깎아먹음)는 결과가 나왔습니다. 이 경향은 특히나 전문가들의 전문성이 서로 유사할 때 더 도드라지게 나왔습니다. 그런 ... more

Linked at 애자일 이야기 : 어라가 전문.. at 2015/09/09 13:50

... 있어야 합니다. 자신의 일에서 "어라" 경험이 얼마나 되는가 생각해보세요. 만약 어라가 없다면 내가 실력이 부족한 것은 아닐까 생각해 볼 필요가 있습니다(확증편향, 더닝-크루거 효과 등). 어라는 우리에게 학습할 기회를 줍니다. 아마도 진짜 전문가는 나날이 좀 더 자주 놀라면서, 좀 더 경이로운 삶을 살고 있지 않을까 싶습니다. --김창 ... more

Linked at 애자일 이야기 : 어떻게 공부.. at 2015/11/18 14:56

... 과 심리학에서 여러 반복된 연구를 통해 다양한 공부법을 평가했습니다. 위에 나열한 공부법들은 이 평가에서 가장 낮은 유용성을 보였습니다. 이 중에는 심지어 음의 효과(음의 생산성)를 내는 경우도 있었고요. 물론 반대로 높은 효과를 보이는 것들도 있습니다만 제가 위 목록에는 넣지 않았습니다. 반전을 드리고 싶어서요. ^^; 던로스키 등의 ... more

Linked at 애자일 이야기 : 퍼포먼스 공식 at 2016/11/02 10:58

... explicit) 지식이 우선 필요합니다. 그런데 아무 지식이 아니고 실제로 효과가 있는 타당한(valid) 지식이어야 합니다. 검증되지 않은 정보들이 너무 많습니다(음의 생산성에서는 예컨대 애를 학교에 안보내고 집에서 놀리는 것보다 못한 교육적 개입이 있다는 이야기를 합니다). 그리고 모든 지식은 암묵지라는 부분을 고려해야 합니다. ... more

Linked at 퍼포먼스 공식 — 애자일 이야.. at 2016/11/04 15:29

... explicit) 지식이 우선 필요합니다. 그런데 아무 지식이 아니고 실제로 효과가 있는 타당한(valid) 지식이어야 합니다. 검증되지 않은 정보들이 너무 많습니다(음의 생산성에서는 예컨대 애를 학교에 안보내고 집에서 놀리는 것보다 못한 교육적 개입이 있다는 이야기를 합니다). 그리고 모든 지식은 암묵지라는 부분을 고려해야 합니다. ... more

Commented by 박진용 at 2014/09/29 15:09
이 글을 보니 AC2 워크샵때 들었던 기억이 새록새록 나네요 :)
Ps. 존 가트맨의 소개에 "감성 코칭" 아니 아니라 "감정 코칭"을 의미하신게 아닌가요?
Commented by 애자일컨설팅 at 2014/09/29 16:49
안녕하세요. ^^ 감정 코칭 맞네요. 감사합니다. ^^
Commented by soap at 2014/10/03 14:42
오랫만에 좋은 글 봤습니다. 이틀 전인가 EBS에서 전교일등을 대상으로 한 메타인지가 학업성취에 어떤 영향을 미치는가에 대한 프로를 진지하게 봤었는데 상통하네요.
스트레칭에 대한 내용은 충격이네요. 그렇지만 스트레칭이 효과는 없을 수 있어도 설마 나쁘기야 하겠습니까?


Commented by 애자일컨설팅 at 2014/11/13 21:06
메타인지에 대해 말씀해주셔서 저도 찾아봤네요. 감사합니다.

스트레칭 내용은 연구 결과 그러합니다. 운동 직전에 하는 정적 스트레칭은 부정적 효과가 있습니다. 구글 스칼라 등에서 static stretching 같은 걸로 검색해 보시면 여러건 나옵니다. ^^
Commented at 2014/10/31 07:48
비공개 덧글입니다.
Commented by 애자일컨설팅 at 2014/11/13 21:05
네 감사합니다.
Commented by 여운호 at 2014/11/13 09:23
너무 좋은글을 잘 읽어서 감사하다는 말씀 드립니다!!
참 그전 글들도 주옥같은 글이였는데, 이건 더 대단한 글이네요.
팔로워가 되고 싶어요 ㅋ 페북 계정 좀 알려주세요 ㅎㅎ
Commented by 애자일컨설팅 at 2014/11/13 21:07
감사합니다. 페북계정은 cjunekim입니다.
Commented by shiroe at 2014/12/15 01:52
책을 다시 읽는 것이 실력향상에 도움이 왜 적지요?
한번보면 덜 이해가 되거나 기억이 다 나지않기때문에 여러번 봐야하지 않나요?
Commented by 애자일컨설팅 at 2014/12/29 14:58
답이 늦었네요. ^^;

맞습니다. 좀 더 부가 설명을 달아야 합니다. 책을 어떻게 다시 읽느냐도 관련이 있는데, 책을 다시 읽는 간격이 멀면 효과가 있습니다만 가까우면 효과가 떨어집니다. 그리고 책을 다시 읽을 시간에 다른 방식으로 공부하는 것이 더 효과적이라는 이야기이지, 책을 다시 읽는 것이 아예 도움이 안되는 건 아닙니다(본문에서는 "큰 도움이 되지 않지만"이라고 썼죠).

관련해서 http://www.sciencedirect.com/science/article/pii/S0361476X08000477 같은 논문들이 많이 있으니 참고하시고요. 다음번에 한번 효과적/비효과적 학습 방법에 대해 글을 쓰도록 하겠습니다.
Commented by Jyeong at 2016/02/13 14:40
좋은글 감사합니다. 저도 너무 감사드리구요 팔로워가 되고싶습니당!^^

:         :

:

비공개 덧글

< 이전페이지 다음페이지 >


Site Meter