AC2 과정에서 개인적 변화의 측정
제가 2009년부터 AC2 과정이라는 교육 과정을 해오고 있는데, 간혹 AC2 과정에 대한 효과 측정을 어떻게 하는가 물어보시는 분들이 계십니다. 또, 제 전문성의 개선이라는 면에서 제가 측정해 오고 있기도 한데 그걸 간략히 소개드려볼까 합니다.

크게 보면 두 가지 방식을 병용하고 있는데, 하나는 현재 AC2 과정이 진행되는 중에 사람들의 변화를 보는 것이고(단기), 다른 하나는 과정이 끝나고 몇 년이 지난 후의 변화를 보는 것(장기)입니다.

후자에 대해서는 교육 만족도의 함정이라는 글과 연결된 링크글에서 언급한 적이 있습니다. 간략히 말하면 대략 2-3년에 한 번 꼴로 과정 졸업생들의 행동 변화에 대한 조사를 합니다. 그래서 이 사람이 교육에서 배운 것을 실제로 행동으로 옮긴 적이 있는지, 그 결과는 어떠 했는지 등을 브링커호프(Brinkerhoff)의 석세스 케이스 메서드(Success Case Method)를 사용해 측정하고 있습니다. 참고로 2012년 조사에서는 졸업생 중 94%의 인원이 교육 종료후 교육에서 배운 내용을 실제 업무와 삶에서 적용한다는 분석이 나왔습니다.

다른 하나는 3개월 동안의 변화를 추적하는 것입니다. 한 번의 측정으로 끝나는 것이 아니고 3개월 중 총 5번에 걸쳐 측정을 하게 되어 좀 더 신뢰도와 유용성(특히 형성 평가의 면에서)이 있다고 말할 수 있습니다. 측정도구는 ORS(Outcome Rating Scale)이라는 도구를 씁니다.

ORS는 상담에서 쓰이는 측정도구인데(특히 공통 요인 학파에서), 상담을 통해 얼마나 효과가 있었는가를 측정하며, 그 신뢰도와 타당도가 여러 연구를 통해 확인된 좋은 도구입니다. 최근 근거 기반 실천이 상담에도 도입되고 있는데, 그 운동의 중심에 있는 것 중 하나가 ORS라고 말씀드릴 수 있습니다. 스캇 밀러(Scott Miller) 박사가 다른 이들과 함께 개발했고, 제가 한국어 번역작업을 진행 중입니다.

ORS는 상담/코칭이 시작되기 전에 개인적 웰빙, 가족과 가까운 사람과 관계, 하는 일과 직장/학교에서의 관계, 삶 전반 이렇게 네 가지 영역에 대해 각 점수를 측정해 합산합니다(각 10점, 총40점 만점). 쉽게 말해 점수가 높으면 요즘 잘 살고 있다고 느끼는 것이고, 낮으면 반대가 되는 것이죠. 물론, 어떤식으로 측정을 진행해야 하는지에 대해 명확하고 엄격한 프로토콜(예컨대 질문하는 방식)이 정해져 있어서 그걸 따라야 하고요.

ORS 연구에서는 25점을 커트라인으로 삼고 있습니다. 25점 이하는 상담이 필요하다고 보는 것이고요. 연구에 따르면 5점의 차이가 생기면 이것은 통계적으로 유의미한 변화가 생겼다고 봅니다.

최근 종료한 기수의 ORS 점수 그래프를 한 번 보시죠.



세로축은 ORS 점수, 가로축이 코칭 회기이고 약 3개월에 걸쳐 있었던 것입니다(개인에 따라 전체 횟수나 횟수간 날짜 간격 등은 약간씩 차이가 있음). 각 선 하나가 한 사람의 변화를 나타냅니다. 가로로 굵은 붉은색 선은 커트라인인 25점을 보여주는 겁니다.

각 측정은 코칭 시작하기 전이었으므로, 가로축에 1이라고 표시된 시작점은 3개월 코칭 시작하기 이전 상태로 보시면 되고요. 1회차 코칭이 시작하기 전 상태로 보면, 25점 커트라인 밑에 있는 분들이 꽤 되십니다. 아무래도 힘들고 괴로운 일들이 있으셔서 이 과정을 선택하신 거겠죠.

전체적으로 ORS 점수의 개선이 보이는데, 5회차 시작전을 보면(가로축에서 5) 한 분도 커트라인 밑에 있는 분이 없으십니다.

전체 인원에 대해 1회 때와 마지막 때의 ORS 점수 차이를 보면 평균 약 7점의 개선이 있었습니다. 통계적으로 유의미한 차이가 되는 것이고요(기존 베이스라인 연구에서는 6개월 동안 전혀 개입을 안했을 때 2.5점 정도 오름). 개인에 따라 정도 차이가 있긴 한데, 전반적으로 삶의 만족도에 개선이 있다고 말할 수 있겠습니다.

이런 측정을 통해 제가 어떻게 하고 있는지 확인하고 또 개개인들에게 더 많은 도움을 드릴 수 있는 것 같습니다.

다음주면 벌써 AC2 17기 시작이네요. 마침 한 자리가 비었네요. 관심있는 분들은 신청을 서둘러주세요. ^^ http://ac2.kr
by 애자일컨설팅 | 2014/09/15 10:23 | 트랙백 | 핑백(2) | 덧글(0)
트랙백 주소 : http://agile.egloos.com/tb/5820588
☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]
Linked at 애자일 이야기 : AC2 새로.. at 2016/08/16 17:36

... 로 이제 막 끝난 24기까지 약 8만여 시간에 가까운 코칭을 하면서 AC2는 계속 발전해 왔습니다. 단순히 새로운 방법을 시도해 왔다가 아닙니다. 실제 교육 효과도 검증된 측정도구를 사용해 1천 건에 가까운 횟수로 측정을 해왔고, 효과 크기(effect size)가 해가 갈수록 증가되는 양상을 보이고 있습니다(이에 반해 심리상담사의 경 ... more

Linked at 애자일 이야기 : AC2 내년.. at 2016/12/22 14:07

... 마무리가 되어가고 있습니다. 서울, 대전, 싱가폴, 캐나다, 뉴욕 등지에서 모인 8분들이 함께한 26기들은 어떤 변화를 했을까요? 위 그래프는 AC2 교육 참가 첫날의 ORS와 현재 시점의 ORS 점수를 그린 것입니다. 참고로 ORS 점수는 삶의 만족도를 측정하는 데에 쓰이는 검증된 도구입니다. 평균 10점이 넘는 상승을 보이고 있습니 ... more

:         :

:

비공개 덧글

< 이전페이지 다음페이지 >


Site Meter