제가 2009년부터 AC2 과정이라는 교육 과정을 해오고 있는데, 간혹 AC2 과정에 대한 효과 측정을 어떻게 하는가 물어보시는 분들이 계십니다. 또, 제 전문성의 개선이라는 면에서 제가 측정해 오고 있기도 한데 그걸 간략히 소개드려볼까 합니다.
크게 보면 두 가지 방식을 병용하고 있는데, 하나는 현재 AC2 과정이 진행되는 중에 사람들의 변화를 보는 것이고(단기), 다른 하나는 과정이 끝나고 몇 년이 지난 후의 변화를 보는 것(장기)입니다. 후자에 대해서는 교육 만족도의 함정이라는 글과 연결된 링크글에서 언급한 적이 있습니다. 간략히 말하면 대략 2-3년에 한 번 꼴로 과정 졸업생들의 행동 변화에 대한 조사를 합니다. 그래서 이 사람이 교육에서 배운 것을 실제로 행동으로 옮긴 적이 있는지, 그 결과는 어떠 했는지 등을 브링커호프(Brinkerhoff)의 석세스 케이스 메서드(Success Case Method)를 사용해 측정하고 있습니다. 참고로 2012년 조사에서는 졸업생 중 94%의 인원이 교육 종료후 교육에서 배운 내용을 실제 업무와 삶에서 적용한다는 분석이 나왔습니다. 다른 하나는 3개월 동안의 변화를 추적하는 것입니다. 한 번의 측정으로 끝나는 것이 아니고 3개월 중 총 5번에 걸쳐 측정을 하게 되어 좀 더 신뢰도와 유용성(특히 형성 평가의 면에서)이 있다고 말할 수 있습니다. 측정도구는 ORS(Outcome Rating Scale)이라는 도구를 씁니다. ORS는 상담에서 쓰이는 측정도구인데(특히 공통 요인 학파에서), 상담을 통해 얼마나 효과가 있었는가를 측정하며, 그 신뢰도와 타당도가 여러 연구를 통해 확인된 좋은 도구입니다. 최근 근거 기반 실천이 상담에도 도입되고 있는데, 그 운동의 중심에 있는 것 중 하나가 ORS라고 말씀드릴 수 있습니다. 스캇 밀러(Scott Miller) 박사가 다른 이들과 함께 개발했고, 제가 한국어 번역작업을 진행 중입니다. ORS는 상담/코칭이 시작되기 전에 개인적 웰빙, 가족과 가까운 사람과 관계, 하는 일과 직장/학교에서의 관계, 삶 전반 이렇게 네 가지 영역에 대해 각 점수를 측정해 합산합니다(각 10점, 총40점 만점). 쉽게 말해 점수가 높으면 요즘 잘 살고 있다고 느끼는 것이고, 낮으면 반대가 되는 것이죠. 물론, 어떤식으로 측정을 진행해야 하는지에 대해 명확하고 엄격한 프로토콜(예컨대 질문하는 방식)이 정해져 있어서 그걸 따라야 하고요. ORS 연구에서는 25점을 커트라인으로 삼고 있습니다. 25점 이하는 상담이 필요하다고 보는 것이고요. 연구에 따르면 5점의 차이가 생기면 이것은 통계적으로 유의미한 변화가 생겼다고 봅니다. 최근 종료한 기수의 ORS 점수 그래프를 한 번 보시죠. ![]() 세로축은 ORS 점수, 가로축이 코칭 회기이고 약 3개월에 걸쳐 있었던 것입니다(개인에 따라 전체 횟수나 횟수간 날짜 간격 등은 약간씩 차이가 있음). 각 선 하나가 한 사람의 변화를 나타냅니다. 가로로 굵은 붉은색 선은 커트라인인 25점을 보여주는 겁니다. 각 측정은 코칭 시작하기 전이었으므로, 가로축에 1이라고 표시된 시작점은 3개월 코칭 시작하기 이전 상태로 보시면 되고요. 1회차 코칭이 시작하기 전 상태로 보면, 25점 커트라인 밑에 있는 분들이 꽤 되십니다. 아무래도 힘들고 괴로운 일들이 있으셔서 이 과정을 선택하신 거겠죠. 전체적으로 ORS 점수의 개선이 보이는데, 5회차 시작전을 보면(가로축에서 5) 한 분도 커트라인 밑에 있는 분이 없으십니다. 전체 인원에 대해 1회 때와 마지막 때의 ORS 점수 차이를 보면 평균 약 7점의 개선이 있었습니다. 통계적으로 유의미한 차이가 되는 것이고요(기존 베이스라인 연구에서는 6개월 동안 전혀 개입을 안했을 때 2.5점 정도 오름). 개인에 따라 정도 차이가 있긴 한데, 전반적으로 삶의 만족도에 개선이 있다고 말할 수 있겠습니다. 이런 측정을 통해 제가 어떻게 하고 있는지 확인하고 또 개개인들에게 더 많은 도움을 드릴 수 있는 것 같습니다. 다음주면 벌써 AC2 17기 시작이네요. 마침 한 자리가 비었네요. 관심있는 분들은 신청을 서둘러주세요. ^^ http://ac2.kr
|
메모장
이글루 파인더
최근 등록된 덧글
새로운 논문 알려주셔..
by 애자일컨설팅 at 02/25 https://www.pnas.. by 그럴까 at 02/23 안녕하세요! by 허경영 at 02/19 잘 보고 갑니다... by 아시나요 at 02/19 당신이 소질 없는 분.. by 노력충 at 02/18 잘 알지도 못하면서 .. by 노력충 at 02/18 내가 글 잘 못쓰는건.. by 노력충 at 02/18 ㅇㅇ 노력이든 재능이.. by 노력충 at 02/18 멍청아 재능이냐 노.. by 노력충 at 02/18 What a really awe.. by 온라인카지노 at 02/16 최근 등록된 트랙백
당신이 제자리 걸음인..
by 無地note 당신이 제자리 걸음인.. by 無地note 무엇을 프로그래밍 할.. by 용기와 희망의 블로그 어떤 회사의 개발자 .. by 뒷담화 기록보관소 채용퀴즈 풀기 by 기록하기 다음 디브온 2013 코.. by 浩然之氣 3차 2그룹 SLiPP .. by Confluence: SLiP.. 어떤 회사의 채용 퀴즈 by The note of Lege.. 회사에서 일을 하는게.. by 알팅스님의 개발 스토리 이전블로그
2020년 05월
2020년 02월 2019년 09월 2018년 12월 2018년 04월 2018년 03월 2018년 02월 2017년 07월 2017년 05월 2017년 04월 2017년 03월 2016년 12월 2016년 11월 2016년 08월 2016년 07월 2015년 12월 2015년 11월 2015년 09월 2015년 08월 2015년 06월 2015년 05월 2015년 04월 2015년 03월 2015년 02월 2014년 12월 2014년 11월 2014년 09월 2014년 08월 2014년 03월 2014년 01월 2013년 12월 2013년 10월 2013년 08월 2013년 06월 2013년 05월 2013년 04월 2013년 02월 2012년 09월 2012년 08월 2012년 06월 2012년 05월 2012년 03월 2011년 12월 2011년 11월 2011년 10월 2011년 09월 2011년 04월 2011년 03월 2011년 02월 2011년 01월 2010년 12월 2010년 10월 2010년 09월 2010년 08월 2010년 07월 2010년 06월 2010년 05월 2010년 04월 2010년 03월 2010년 02월 2010년 01월 2009년 12월 2009년 11월 2009년 10월 2009년 09월 2009년 08월 2009년 07월 2009년 06월 2009년 05월 2009년 04월 2009년 03월 2009년 02월 2009년 01월 2008년 12월 2008년 11월 2008년 10월 2008년 09월 2008년 08월 2008년 07월 2008년 06월 2008년 05월 2008년 04월 2008년 03월 2008년 02월 2008년 01월 2007년 12월 2007년 11월 2007년 10월 2007년 09월 2007년 08월 2007년 07월 2007년 06월 2007년 05월 2007년 04월 2007년 03월 2007년 02월 2007년 01월 2006년 12월 2006년 11월 2006년 10월 2006년 09월 2006년 08월 2006년 07월 2006년 06월 2006년 05월 2006년 04월 2006년 03월 2006년 02월 라이프로그
|