AC2 과정에서 개인적 변화의 측정
제가 2009년부터 AC2 과정이라는 교육 과정을 해오고 있는데, 간혹 AC2 과정에 대한 효과 측정을 어떻게 하는가 물어보시는 분들이 계십니다. 또, 제 전문성의 개선이라는 면에서 제가 측정해 오고 있기도 한데 그걸 간략히 소개드려볼까 합니다.

크게 보면 두 가지 방식을 병용하고 있는데, 하나는 현재 AC2 과정이 진행되는 중에 사람들의 변화를 보는 것이고(단기), 다른 하나는 과정이 끝나고 몇 년이 지난 후의 변화를 보는 것(장기)입니다.

후자에 대해서는 교육 만족도의 함정이라는 글과 연결된 링크글에서 언급한 적이 있습니다. 간략히 말하면 대략 2-3년에 한 번 꼴로 과정 졸업생들의 행동 변화에 대한 조사를 합니다. 그래서 이 사람이 교육에서 배운 것을 실제로 행동으로 옮긴 적이 있는지, 그 결과는 어떠 했는지 등을 브링커호프(Brinkerhoff)의 석세스 케이스 메서드(Success Case Method)를 사용해 측정하고 있습니다. 참고로 2012년 조사에서는 졸업생 중 94%의 인원이 교육 종료후 교육에서 배운 내용을 실제 업무와 삶에서 적용한다는 분석이 나왔습니다.

다른 하나는 3개월 동안의 변화를 추적하는 것입니다. 한 번의 측정으로 끝나는 것이 아니고 3개월 중 총 5번에 걸쳐 측정을 하게 되어 좀 더 신뢰도와 유용성(특히 형성 평가의 면에서)이 있다고 말할 수 있습니다. 측정도구는 ORS(Outcome Rating Scale)이라는 도구를 씁니다.

ORS는 상담에서 쓰이는 측정도구인데(특히 공통 요인 학파에서), 상담을 통해 얼마나 효과가 있었는가를 측정하며, 그 신뢰도와 타당도가 여러 연구를 통해 확인된 좋은 도구입니다. 최근 근거 기반 실천이 상담에도 도입되고 있는데, 그 운동의 중심에 있는 것 중 하나가 ORS라고 말씀드릴 수 있습니다. 스캇 밀러(Scott Miller) 박사가 다른 이들과 함께 개발했고, 제가 한국어 번역작업을 진행 중입니다.

ORS는 상담/코칭이 시작되기 전에 개인적 웰빙, 가족과 가까운 사람과 관계, 하는 일과 직장/학교에서의 관계, 삶 전반 이렇게 네 가지 영역에 대해 각 점수를 측정해 합산합니다(각 10점, 총40점 만점). 쉽게 말해 점수가 높으면 요즘 잘 살고 있다고 느끼는 것이고, 낮으면 반대가 되는 것이죠. 물론, 어떤식으로 측정을 진행해야 하는지에 대해 명확하고 엄격한 프로토콜(예컨대 질문하는 방식)이 정해져 있어서 그걸 따라야 하고요.

ORS 연구에서는 25점을 커트라인으로 삼고 있습니다. 25점 이하는 상담이 필요하다고 보는 것이고요. 연구에 따르면 5점의 차이가 생기면 이것은 통계적으로 유의미한 변화가 생겼다고 봅니다.

최근 종료한 기수의 ORS 점수 그래프를 한 번 보시죠.



세로축은 ORS 점수, 가로축이 코칭 회기이고 약 3개월에 걸쳐 있었던 것입니다(개인에 따라 전체 횟수나 횟수간 날짜 간격 등은 약간씩 차이가 있음). 각 선 하나가 한 사람의 변화를 나타냅니다. 가로로 굵은 붉은색 선은 커트라인인 25점을 보여주는 겁니다.

각 측정은 코칭 시작하기 전이었으므로, 가로축에 1이라고 표시된 시작점은 3개월 코칭 시작하기 이전 상태로 보시면 되고요. 1회차 코칭이 시작하기 전 상태로 보면, 25점 커트라인 밑에 있는 분들이 꽤 되십니다. 아무래도 힘들고 괴로운 일들이 있으셔서 이 과정을 선택하신 거겠죠.

전체적으로 ORS 점수의 개선이 보이는데, 5회차 시작전을 보면(가로축에서 5) 한 분도 커트라인 밑에 있는 분이 없으십니다.

전체 인원에 대해 1회 때와 마지막 때의 ORS 점수 차이를 보면 평균 약 7점의 개선이 있었습니다. 통계적으로 유의미한 차이가 되는 것이고요(기존 베이스라인 연구에서는 6개월 동안 전혀 개입을 안했을 때 2.5점 정도 오름). 개인에 따라 정도 차이가 있긴 한데, 전반적으로 삶의 만족도에 개선이 있다고 말할 수 있겠습니다.

이런 측정을 통해 제가 어떻게 하고 있는지 확인하고 또 개개인들에게 더 많은 도움을 드릴 수 있는 것 같습니다.

다음주면 벌써 AC2 17기 시작이네요. 마침 한 자리가 비었네요. 관심있는 분들은 신청을 서둘러주세요. ^^ http://ac2.kr
by 애자일컨설팅 | 2014/09/15 10:23 | 트랙백 | 덧글(0)
아무리 노력해도 선천적 재능을 따라잡기 힘들다?
저는 계속 똑같은 컴퓨터를 디자인했고 다시 만들 때마다 필요한 부품의 수를 점점 줄여나가 보고자 했고, 그 결과 책에서는 알 수 없는 비법들을 알게 되었죠. --스티브 워즈니악 (애플 공동 창업자), 제주의 한 여고생에게 보낸 편지에서


저는 오래전부터 전문성 연구(expertise research)와 교육에 많은 관심을 갖고 연구, 컨설팅, 실험을 해오고 있습니다. 관련해서는 당신은 몇 년 차라는 글을 보시면 제가 어떤 이야기를 하는지 아실 수 있을 겁니다.

그런데, 지난 7월 중순 어느날 뉴스에 이 전문성 연구에 대한 기사들이 뜨더군요. 소위 1만 시간 법칙에 대해 세간에 널리 퍼진 믿음(여기에 대해 오해가 많은데 관련해서는 "1만 시간 법칙에 대한 오해"와 "달인이 되는 비결", "수십년 동안 전문가가 안되는 비결"을 참고)을 뒤흔드는 연구결과라며 아래와 같은 내용이 쏟아지기 시작했습니다. 

논문의 결론은 아무리 노력해도 선천적 재능을 따라잡기 힘들다는 것이다. ... 학술 분야에서 노력한 시간이 실력의 차이를 결정짓는 비율은 4%에 불과한 것으로 나타났다. 음악·스포츠·체스 등의 분야는 실력의 차이에서 차지하는 노력 시간의 비중이 20~25%였다. 어떤 분야든 선천적 재능이 없으면 아무리 노력해도 대가가 될 수 있는 확률은 그리 높지 않다는 결론이다. --중앙일보 2014년 7월 17일자

햄브릭 교수팀은 음악의 경우 실력 차이의 원인 가운데 노력이 차지하는 비중은 21%, 선천적 재능이 차지하는 비중은 79%이며 체스 등 게임에서는 각각 26%, 74%라고 설명했습니다. 또 스포츠는 노력이 18%, 선천적 재능이 82% 학술 분야는 노력이 4%, 선천적 재능이 96%라고 제시했습니다. --YTN 2014년 7월 27일 방송

박지성, 류현진의 실력 100% 중에 연습이 차지하는 비중은 18%뿐이고, 82%는 타고난 몸과 운동신경에서 왔다는 설명입니다. ... 도서관에서 밤잠 설치며 공부한들 성적에 미치는 영향은 4%뿐이고 나머지 96%는 타고난 머리에서 나온다는 것인데 머리 나쁘면 아무리 공부해도 소용없다는 뜻입니다. --SBS 뉴스 2014년 7월 20일


맥나마라(Macnamara et al.) 등의 연구를 말하는 것입니다. 사실 이런 여러 연구를 종합한 평균 수치로(즉, 참고한 연구에 따라 노력이 실력의 80%인 것이 있고 10%인 것이 섞여 있었다는 뜻) 자신의 개별적 상황에 적용하는 것은 위험성이 있긴 한데, 그 외에도 이번 일은 크게 보면 두 가지 수준에서의 문제가 있습니다. 첫번째는 우리나라 뉴스의 문제입니다. 두번째는 연구 자체의 문제입니다. 제가 이미 7월 17일에 온라인에 해당 뉴스와 연구에 대한 비판을 게재한 바 있습니다.

첫번째 문제부터 언급하죠. 예컨대 중앙일보 경우 이런 문제의 일부를 차후에 알게되어 기사를 약간 수정한 것으로 보입니다(그래도 여전히 문제있는 기사입니다만).

아래 두 개의 이미지를 비교해 보시죠. (전자는 7월 17일 올라온 이미지로 인터넷 검색을 통해 개인 블로그에서 찾았고, 후자는 23일 수정된 것으로 현재 중앙일보 기사에 걸려있는 것입니다)




관찰력이 좋은 분들은 대번에 두 개의 차이를 찾아내실 겁니다. 첫째는 이미지 제목입니다. "전체 성과에서 노력과 선천적 재능의 비중"이라는 제목이 "전체 성과에서 노력이 차지하는 비중"으로 바뀌었습니다. 두째는 이미지 좌측에 "선천적 재능"이라는 말에 "등"이라는 의존명사가 붙었습니다. 문제는 기사가 수정된 시점이 약 일주일 후인 7월 23일이라는 점이고 무엇을 수정했는지를 표시하고 있지 않는다는 점입니다. 한마디로 슬그머니 고친 셈입니다. 대다수의 대중은 7월 17일의 원 기사를 보았을 것이고 23일날 다시 보게되는 경우는 흔치 않을 것이며, 첫 인상으로 이미 머리 속에 각인되어 있을 것이기에 명시적으로 언급하지도 않는 기사 이미지의 작은 변화로 그것이 수정되지 않을 것입니다(이에 대한 연구가 많습니다 --- 잘못된 뉴스를 바로잡는 것은 매우 어렵다는 사회학/심리학 연구들).

참고로 원 논문에도 거의 비슷한 그래프가 있습니다만 이미지 캡션은 이렇습니다. "Percentage of variance in performance explained (light gray) and not explained (dark gray) by deliberate practice within each domain studied." 그걸 싹 빼버리고 이상하게 만들어 버린 거죠. 각 영역을 대표하는 아이콘 같은 거 집어넣고, 음영 넣고 정보 시각화 했다고 생각하는 건지 모르겠네요.

대략 감을 잡으셨겠는데 뉴스 차원에서의 대표적 문제는 아래와 같습니다. 한마디로 말하자면 논문을 오독하거나, 혹은 논문을 확인하지 않고 해외뉴스를 대충 번역한 문제입니다.


1. 노력을 제외한 나머지는 다 타고난 것? 예컨대 노력의 비중이 실력차이의 26% 수준이라고 하는 게임 부분에서, 실력차이의 26%를 제외한, 74%는 모두 재능(Talent)이 아니다. 나머지는 모른다. 운, 환경, 성격, 끈기, 기타 등등을 다 합한 것이다. (그리고 이 중에 우리가 컨트롤할 수 있는 건 얼마나 될까, 그것도 모른다)

2. 노력이라는 개념 전체를 연구한 것? 같은 게임 부분에서, 정확히 말하면 "개인이 연습 시간으로 생각하는 시간의 양"이 실력의 차이(개별 연구에서 다 달리 측정했던)에서 설명하는 부분이 26%라고 봐야 한다. 즉, 연습이라는 개념의 종합적 면을 본 것이 아니라 오로지 누적 시간(혹은 주당 시간)만 따진 것이다.

3. 그정도면 미미한 것? 예컨대 26%를 굉장히 작은 수치인 것처럼 소개한다. 분산의 26%를 설명한다면 상관성으로 치면 약 0.5인데, 심리학이나 사회학 연구에서 이 정도 수치는 높은 편에 속한다. 참고로 흡연과 폐암 발병의 상관성 경우 0.5도 안된다고 보고되는 경우가 많았다. 아벨슨의 연구에 따르면 한 야구선수의 실력(타율)이 결과(히트 대 노히트)의 차이를 설명하는 것은 1%가 되지 않는다. (아벨슨의 패러독스 Abelson's Paradox로 불림) 그러나 그런 작은 것들이 쌓여서 경기의 승패를 좌우한다.

4. 노력이 중요하지 않다? 저자 자신 노력이 중요하지 않다는 것을 말하려고 한 것이 아니라 에릭손이 주장하는 만큼 압도적인 부분을 차지하지 않는다는 것을 말하려는 것이다. 저자들의 원논문에서 인용하면 다음과 같다. "의도적 수련의 양은 통계적, 실용적 견지에서 의심할 바 없이 중요한 예측변수이지만 에릭손과 그의 동료들이 주장한 정도는 아니다"(We conclude that amount of deliberate practice -- although unquestionably important as a predictor of individual differences in performance from both a statistical and a practical perspective -- is not as important as Ericsson and his colleagues have argued.)


이 정도는 논문만 대충 읽어봐도, 혹은 통계에 대한 기본적 지식만 있어도 충분히 알 수 있는 내용인데 어처구니 없는 실수, 혹은 책임 방기(논문을 보거나 그럴 역량이 없으면 전문가에게 확인하기 등), 또는 전문성 결여라고 생각이 듭니다. 제 경험에 따르면, 우리나라 미디어에서 소개하는 해외 과학 뉴스의 절반 이상은 잘못 전달되는 부분이 있다고 보셔도 무방합니다.

이번에는 연구 자체 차원에서의 문제를 이야기해 보죠.


1. 얼마나 대표성이 있나?영역(domain)별로 묶어서 결과를 산출했는데, 참고한 연구들이 해당 영역을 대표할 수준이 되지 못한다. 예컨대, 해당 논문에서 Profession(전문직)의 의도적 수련 시간과 퍼포먼스에 대한 분석에는 연구가 4개 밖에 포함되지 않았고 직업도 축구 심판에 대한 연구 하나, 전투기 조종사(실제 의도적 수련시간 대신 비행시간을 사용)에 대한 연구 하나, 세일즈맨에 대한 연구 하나, 프로그래머에 대한 연구 하나만 포함된다. 또 게임 영역도 참고한 것은 8개 연구인데, 그 중 6개는 체스, 2개는 스크램블 게임이다.

2. 비슷한 것끼리 비교했나? 원저자의 연구에서 보면 연구간에 분산의 차이가 크고(이 부분은 메타분석의 기법을 사용해 보정하긴 함), 연구에서 측정 방법의 차이도 크다(이 부분이 심각한 문제). 즉, 연구마다 성과를 측정한 방법이나, 의도적 수련량을 측정한 방법이 매우 상이하다. 뿐만 아니라 연구 대상의 차이도 큰데, 예컨대 대상이 연습시간이 적은 초보자들로만 구성된 연구가 있고, 대부분 연습시간이 높은 전문가(엘리트)들로만 구성된 연구가 있으며, 다양한 연습시간의 초보자와 전문가가 함께 포함된 연구가 있다(에릭손이 의도적 수련이 퍼포먼스의 80%를 설명했다고 한 연구도 이 경우에 속함). 이렇게 연구 대상의 범위에 따라 의도적 훈련의 효과는 그 크기가 매우 달라질 수 있다. 그러나 이 연구에서는 이런 것들을 동등하게 고려했다.

3. 특정 소수의 연구들이 더 큰 영향을 끼치지 않았나? 참고 논문 중 한 연구논문에 개별 스터디가 복수개로 포함된 경우(예컨대 한가지 연구논문 쓰면서 피실험자를 나이별로 군을 나눠 측정해서 효과크기를 계산한 경우), 각각의 결과를 독립적으로 고려하고 가중치에 반영하지 않는다. 연구마다 측정 방법등이 다르다. 그걸 고려하지 않았다. 어떤 논문은 14건의 개별 효과크기가 포함되었다. 당연히 해당 연구에서 사용한 측정 방법과 연구 방법에 크게 휘둘릴 수 밖에 없다. 가령, 교육 분야를 보면, 총 효과크기는 51개인데, 그중 절반에 가까운 22개가 두 논문에서만 나왔다. 그 두가지도 심리학 수업을 들은 1학년 학생들, 그리고 경영경제학과 1학년 학생들에 대한 연구이다.

4. 의도적 수련의 정의가 무엇인가? 의도적 수련의 정의가 엄격하지 못했다. 논문에는 "의도적 수련으로 해석할 수 있는 것"을 기준삼아 연구를 선택했다고 하는데 그것이 모호하다. 실제로 선정된 개별 논문을 살펴보면 천지차이이다. 특히 연습의 질과 밀도라는 면에서. "전 주당 평균 15시간 공부해요"하는 아이의 말만 듣고 그 아이가 "저는 10시간요"하는 애보다 그 학기 시험 결과가 더 좋을 거라고 생각하는 사람은 드물 것이다. 참고로 에릭손의 책에서는 다음과 같이 "제대로 된" 의도적 수련의 요건을 정의한다. "a well-defined task with an appropriate difficulty level for the particular individual, informative feedback, and opportunities for repetition and correction of errors." 그리고 이렇게 되기 위해서는 특히 초기에 뛰어난 교사의 코칭이 중요함을 강조하고 있다. 그러나 맥나마라의 연구에서 인용된 연구 대부분은 이 요소가 없다.



위에 적은 것들 중, 개인들 입장에서는 특히 마지막 부분이 중요한데, 최근 여러 연구들에서 이 연습의 질 부분에 집중하고 있습니다. 에릭손 역시 이 부분을 더 연구하고 있고요.

예를 들어 최근 연구된 약 90만명에 대한 게임기록연구(Stafford&Dewar)에서 개인의 첫 5판의 점수 분산이 차후 5판(6번째부터 10번째)의 최고 점수를 약 36% 설명할 수 있었습니다. 즉 초기에 탐색을 잘 하면(그래서 점수가 오히려 들쭉날쭉한 것이) 수련이 더 많이 된다(고로 실력이 더 쌓인다)는 뜻입니다. 역시 같은 연구에서 연습시간을 분산시킨(한번에 몰아서 게임 안하고 띄엄띄엄 한 것) 플레이어가 더 높은 최고득점을 얻을 수 있었습니다. 이는 학습이론에서 널리 검증된 간격 두기 효과(spacing effect)입니다. 예전에 쓴 "당신이 제자리 걸음인 이유"도 비슷한 예이고요. 다시 말해, 같은 시간 수련해도 그 방법에 따라 결과에 차이가 크다는 것이지요.

얼마전 유재명님(이분도 같은 사안에 대해 글을 쓰셨네요 "머리 나쁘면 공부해도 소용이 없을까?")과 함께 진행한 일련의 "근거 기반 훈련" 공개 교육과 트리움에서 진행한 기업 대상 교육에서 이런 연구들을 정리해 발표한 바 있습니다. 미국에서는 주별로 이런 연구 결과를 교사와 부모, 학생을 위해 정리해 배포하고 있습니다. 예컨대 교육 심리학자들은 책 반복해 읽기나 밑줄 긋기, 요약하기 등을 그다지 권하지 않습니다. 좋은 수련법이 아니라는 것입니다. 같은 시간이면 다른 걸 하는 게 훨씬 효과가 높다는 얘기(사실 시간을 안늘리고 이런 것들만 적용해도 학습 효과가 훨씬 높아진다)입니다. 참고로 AC2 과정에서도 이런 근거 기반 학습을 중요하게 여기고 그에 기반해 과정이 설계되어 있으며, 그 기법들을 훈련하게 해드리고 있는데, 3개월 개인 코칭을 근 2백명에 가까운 분들 대상으로 진행하면서 놀란 것은 오래 해도 실력이 안느는 분들은 대부분 비효과적인(때로는 마이너스의) 학습 습관을 갖고 있더라는 점이었습니다. 결국 연습의 질이 양 이상으로 중요하다는 말이겠죠. 문두에 인용한 워즈니악의 말도 그런 맥락입니다. 워즈니악이 독서백편의자현하지 않고 저런 특수훈련(매우 효과적인 방법입니다)을 했다는 것이 시사하는 바가 있다고 봅니다.

그런데 이런 논의를 떠나서, 일반적으로 실력이 재능에 의해 정해진다, 타고난다고 믿을수록(고정 사고관) 손해를 본다는 연구가 많이 있습니다(관련해서는 "나는 왜 학습을 이야기하는가"를 참고하세요). 대신 실력은 내가 노력하기 나름이다라고 믿는(성장 사고관) 사람일수록 더 성장하게 됩니다. 문제는 앞서와 같은 뉴스를 보게 되면 고정 사고관 쪽으로 프라이밍(priming)되어서 노력을 덜 하게 될 수 있다는 것이죠. 참고로 이쪽의 전문가인 캐롤 드웩 교수는 성장 사고관 쪽으로 프라이밍할 경우(예컨대 선배로부터 "난 예전에 공부 못했는데 노력했더니 잘 되었다"는 이야기를 듣게 되면) 실제로 성적이 유의미하게 오르게 되더라는 연구 결과를 얻었습니다. 그래서 정말 재능이 얼마나 영향을 끼치는지는 몰라도 밑져야 본전이니 내 믿음은 어느 쪽을 향하는 것이 좋을까 자문해 볼 수 있을 것입니다.

게다가 앞에서도 잠깐 나왔지만 여러가지 변수 중에 우리가 통제할 수 있는 것은 무엇일까요? 타고난 재능은 (만약 고정되어 있다고 믿는다면) 우리가 바꿀 수 있는 변수가 아닙니다. 그러면 우리 개인이 할 수 있는 선택은 무엇일까요? 여러분은 자신을 어떤 사람으로 생각하며 살고 싶으십니까?

--김창준
by 애자일컨설팅 | 2014/08/31 14:22 | 트랙백 | 핑백(1) | 덧글(0)
신뢰를 깎는 공유인가 신뢰를 쌓는 공유인가
오랜만에 올리는 글이네요. ^^; 신뢰의 가치에 대해서 최근 경영학 등에서 많은 주목을 하고 있지요. 예를 들어 신뢰 자산이 높은 조직은 커뮤니케이션 효율이나 생산성이 높다는 등의 연구가 많이 있습니다.

그러면 관심이 가는 부분은 어떻게 신뢰를 쌓을 수 있냐는 부분이 되겠죠. 특히 애자일을 제대로 하려는 조직이라면 이미 이 부분에 많은 노력을 하고 있을 겁니다.

이렇게 신뢰를 쌓는 데에 널리 사용되는 한가지 방법은 투명성과 공유, 인터랙션입니다. 서로 자신이 한 작업물을 투명하게 공유하고 그에 대해 피드백을 주고 받으며 인터랙션을 하는 것이죠. 조직에서의 신뢰를 연구하는 사람들은 이런 것을 소통 신뢰(Communication Trust)라고 합니다(관련해서는 레이나Reina 박사 부부의 연구 참고). 상대가 자신이 가진 생각을 나에게 솔직히 말해줄 거라는 신뢰이죠.

그런데 정말 그렇게 공유하고 소통하면 신뢰가 쌓일까요? 다음을 한번 상상해보시죠.

두 명의 디자이너가 각자 공익단체를 위한 광고를 디자인합니다. 주어진 시간(30분) 동안 개별적 디자인이 끝나면 두 사람은 한 방에 모여서 서로 디자인 공유를 하고 피드백을 나눕니다(약 10분). 그러고 각자 돌아가서 다시 자신의 최종버전이 될 광고를 새로 만듭니다. 이 최종버전은 전문가 평가나 클릭률 등을 통해 실제 성과를 측정하게 됩니다.

첫 광고 디자인을 시작하기 전에 상호간의 신뢰 정도를 측정했습니다. 그리고 한 방에서 공유를 마치고 나서 다시 상호간 신뢰를 측정했습니다. 측정은 5개의 질문에 응답하는 것으로 대부분은 SVI(Subjective Value Inventory)의 관계 항목들을 사용했습니다. 문항은 다음과 같습니다.

  • 당신의 동료는 당신에게 전체적으로 어떤 인상을 줬습니까? (1 매우 부정적 4 부정적이지도 긍정적이지도 않음 7 매우 긍정적)
  • 이 인터랙션을 한 결과로 당신의 자신의 동료와의 관계에 대해 얼마나 만족하십니까? (1 전혀 아니다 4 대체로 그렇다 7 완벽히 그렇다)
  • 이 인터랙션에서 당신은 동료를 신뢰하게 되었습니까? (1 전혀 아니다 4 대체로 그렇다 7 완벽히 그렇다)
  • 이 인터랙션이 향후 이 동료와 함께할 인터랙션에 대해 토대를 마련해 주었습니까? (1 전혀 아니다 4 대체로 그렇다 7 완벽히 그렇다)
  • 자신과 상대가 공유되는 부분이 얼마나 많은지를 겹치는 두 개의 원으로 표현하는 문항 (완전히 분리된 원에서 거의 다 겹치는 원까지 7가지 중 하나 선택)
--출처는 Steven Dow 외의 논문, 번역은 김창준


각 문항에 7점씩 해서 최대 35점이 나올 수 있는 설문입니다. 쉽게 말해 그 사람이랑 같이 일하고 싶냐 이런 거죠. 여러분 생각은 어떠신가요? 신뢰감이 얼마나 높아졌을까요?

여기에 대해 제가 답을 드리기 전에 한 가지 조건을 더 고려해 보죠. 이번에는 디자이너들이 같은 시간 여러개(3개)의 디자인을 만들고 그 중 자신이 가장 잘했다고 생각하는 것을 골라서 공유하게 했습니다. 이 경우에도 공유 전과 후에 신뢰 측정을 했습니다. 이 경우에는 어땠을까요?

조금 충격적인 이야기를 해드리겠습니다. 두 경우 모두 공유 후에 신뢰감이 더 떨어졌습니다. 특히 첫 번째, 즉 디자인 하나만 작업하고 그걸 공유한 경우가 더 떨어졌습니다만, 두 조건 모두 신뢰감이 통계적으로 유의미하게 떨어졌습니다. 공유를 해서 신뢰가 더 떨어지는 상황이 벌어진 것이죠.

이 실험에서 세번째 조건을 알려드리겠습니다. 세번째 조건은 디자이너들이 각자 여러개의 디자인을 만들고 그걸 모두 공유한 경우였습니다. 이 때는 신뢰가 유의미하게 증가했습니다.

여기에서는 실험의 세가지 조건을 이렇게 이름 붙였습니다. "하나 공유"(share one), "최고 공유"(share best), "복수 공유"(share multiple). 이 세가지 조건에 따라 공유 전후에 신뢰가 어떻게 바뀌는지 요약한 그림을 보도록 하죠. 아래 그림에서 세로축은 공유 전후 신뢰의 변화 정도를 뜻합니다. 0점이면 변화가 없는 것이죠. 양수는 공유 후에 신뢰가 증가함을, 음수는 감소함을 의미합니다.


출처: 논문 저자의 CHI2011 슬라이드


자, 한 번 생각해 봅시다. 하나 공유나 최고 공유가 아마 우리가 흔히 하는 공유 방식일 겁니다. 그런데, 이 방식은 하고 나면 신뢰가 더 떨어집니다. 신뢰면에서 보면 안하느니만 못하다는 것이죠.

왜 이런 일이 생겼을까요? 하나 공유나 최고 공유의 경우 우리는 공유 자리에 기대감보다 불안감을 갖고 갈겁니다. 상대가 이걸 보고 흉을 보면 어쩌지? 그리고 그 때에 어떻게 방어적으로 대응해야 할지도 생각을 대략 해두겠죠. 또 상대의 시안을 보고 솔직한 의견을 주는 것도 꺼리게 될 겁니다. 내가 한 말 듣고 나를 싫어하면 어쩌지? 그러면서 듣는 사람도, "저 사람 솔직하지 않은 것 같아"라고 느끼겠죠. 또 만에 하나 상대가 뭔가 부정적으로 들릴만한 의견을 주면 그건 곧 나의 전문성에 대한 도전이 되는 겁니다. 나의 작품이 하나 밖에 없으니 "작업물 = 나"가 되는 것이죠. 나름 방어를 해낸다고 해도 자기효능감이 떨어지기 쉽습니다.

반대로 복수 공유는 그런 불안감이 상대적으로 덜합니다. 또 부정적 피드백을 수용하려는 마음도 더 많죠. 여러개를 준비했으니 그 중 하나 뭐라고 해도 나에 대한 공격은 아닌 겁니다. 또 여러개이니 상대적으로 이야기를 해주게 되니 말하는 사람도 편하고(이건 이 게 좋은데, 이건 이 게 안좋다는 식으로), 듣는 사람도 좋다는 이야기랑 안좋다는 이야기를 같이 들으니 마음이 좀 더 편합니다.

실제로 복수 공유의 경우, 말하는 시간 중 분당 약 12회 말을 주고 받는 반면, 하나 공유나 최선 공유는 약 9회 주고 받았습니다. 복수 공유의 경우 같은 시간 말을 해도 대화가 좀 더 상호적이었던 것이죠 -- 세 경우 모두 말하는 시간에서 유의미한 차이는 없었습니다. 대화에서 이렇게 턴을 주고 받는 상호성은 여러 연구에서 신뢰성의 간접 척도로 사용되곤 하는 것입니다. 또 흥미로운 부분은 복수 공유를 한 그룹이 자신의 디자인을 공유 후에 개선한 정도가 더 컸다는 점입니다(공유가 끝나고 최종버전을 디자인했음).

마지막으로 가장 놀라운 부분을 알려드리죠. 복수 공유를 통해 나온 디자인은 다른 두 가지 조건에 비해 전문가 평가나 노출당클릭률이 더 높았습니다. 다시 말하자면, 복수 공유는 (같은 시간을 투자했을 때) 신뢰도 높아지고 성과도 더 좋았다는 말입니다.

이렇게 복수개 아이디어를 프로토타이핑하고 공유했을 경우 팀의 결속이 강화되고 오너십을 느낀다는 연구는 이 외에도 있었습니다. 이 연구를 여러분의 상황에 대입해 보면 어떨까요? 현실은 실험보다 훨씬 더 복잡하겠지만 분명 여기에서 어떤 힌트를 얻으실 수 있지 않을까 싶습니다. 경영자나 관리자들은 그냥 공유만 하게 한다고 신뢰가 저절로 쌓이는 게 아니라는 것, 또 그렇다면 어떻게 공유하게 할 것인가 하는 부분을 고민해 볼 수 있겠죠.

여러분의 공유는 어떻습니까? 신뢰를 깎아먹는 공유를 하고 계신가요, 신뢰를 쌓아가는 공유를 하고 계신가요?

--김창준
by 애자일컨설팅 | 2014/08/18 00:43 | 트랙백 | 핑백(1) | 덧글(8)
< 이전페이지 다음페이지 >


Site Meter