커크패트릭(Kirkpatrick) 4단계와 필립스(Philips) 5단계

교육이 진행되기 전부터 교육이 완료된 이후에도 기업의 교육평가는 계속해서 진행됩니다.

HRD에서 대표적으로 사용되는 평가모델은 커크패트릭의 4단계 모형입니다. 이 커크패트릭의 4단계 평가모형에 ROI 한 단계를 추가한 것이 필립스의 5단계 평가모형입니다.(다만 실제 현장에서는 교육전 학습자 분석을 위한 사전평가도 진행되기 때문에, 위에 추가하였습니다.)

0. 사전평가

교육전 사전평가를 통해 학습자들의 요구사항을 확인합니다. 교육의 수준 설정을 위한 학습자의 교육준비 정도와 이해도도 확인해 볼 수도 있습니다. 사전평가 결과 학습자들의 관심이 낮은 상태라면, 학습자들이 교육에 흥미를 갖도록 신경써야합니다.

1. 반응도 평가

교육후 만족도 평가입니다. 인터뷰나 관찰을 통해서도 진행되지만 보통 설문지로 진행합니다.

교육을 마치고 5점 만점을 기준으로 교육프로그램과 시설, 강사등에 대해 평가가 진행됩니다.

만족도는 물론 중요합니다. 하지만 교육생들의 만족도가 4.9라고 해서 그 교육을 정말 좋은 교육으로 단정 짓기는 어렵습니다.

학교에서 아이들이 좋아하는 선생님이 좋은 교육을 했다고 볼 수 없는 것과 같은 이치입니다.

하지만 만족도 점수가 낮았다는 것은 학습의 효과가 좋지 않다는 것을 의미할 수 있습니다.

2. 성취도 평가

교육생이 교육내용을 잘 숙지하고 이해했는지, 학습목표의 달성여부를 평가합니다. 학교로 치면 중간고사나 기말고사와 같은 시험입니다.

보통 지식과 같은 인지적인 영역의 경우 지필검사나 사례연구를 통해 진행되며, 태도와 같은 정의적 영역은 지필검사와 사례연구는 물론 역할연기나 시뮬레이션, 상호평가 등을 통해서도 평가할 수 있습니다.

물론 성취도가 높은 점수라고 해서, 다음에 이어질 현업적용도도 높을 것이라고 단정할 수는 없습니다.

3. 적용도 평가

교육을 통해 배운 것들이 현업에서 얼마나 잘 적용되었는지 평가합니다. 간단히 말해, 습득한 내용의 업무 활용도라고 할 수 있습니다.

현업 적용도를 평가하는 것은 정말 어렵습니다. 교육상황이 아닌 업무현장에서 평가를 한다는 것은 더 많은 시간과 인력협조(교육생, 동료, 상사, 부하직원등)가 필요하기 때문입니다.

학습자가 배운 것을 현업에 적용하는데 있어 중요한 포인트는 직속상사의 지원입니다.

직속상사가 부하직원의 교육내용을 이해하고 관련 업무에 적용할 수 있도록 지원할 때 효과적인 전이가 이루어집니다.

4. 기여도 평가

현업에 대한 적용도까지 평가한 상태에서, 진행되었던 교육이 궁극적으로 기업과 조직에 어떤 공헌을 했는지를 평가합니다.

예를 들어, 생산성 향상, 품질향상, 사고예발, 팀웍증진 등 경영에 대한 기여정도를 확인하는 것 입니다.

이러한 기여수준을 ROI를 통해서 확인할 수 있습니다. 하지만 경영성과에 대한 기여도를 수량화하는 것은 정말 어렵고 변수 또한 많습니다.

이러한 이유로 인하여, 많은 선진기업들은 ROI를 사용하지 않고 3단계(현업적용도평가)의 결과를 갖고 경영기여도를 추정하는 방법을 사용합니다.

5. ROI

ROI는 필립스 5단계에서 마지막에 추가되어 있는 단계입니다. 

ROI는 'Return on Investment'의 약자로 '교육투자효율'을 의미합니다.

쉽게 설명하면 3억을 들여 진행한 교육을 통해 매출이 6억원 증진되었다면

ROI=6억/3억=2 가되는 셈입니다.(ROI가 '1'이라면 본전치기 했다고 이해하면 되겠네요.)

따라서 ROI를 '퍼센트','이익비용비율' 등으로 표현하기도 합니다.

하지만 위에서 말한 6억원의 매출 증진이 단순히 진행된 교육만의 효과라고 설명할 수 있을까요?

그리고 값으로 환산하기 어려운 교육의 효과들(예를 들어 동기부여, 긍정성향상, 비전수립...)까지 비용으로 산정하는 것이 가능할까요?

교육의 효과를 금액으로 산정하는 것은 어렵습니다.

예를들어 중학교 2학년 자녀를 매달 40만원의 학원비를 내며 1년동안 학원 보내느라 1년에 480만원을 썼을 때.

학원장이 학부모에게, 1년동안 480만원 이상의 가치가 있는 교육서비스를 진행했다고 논리적으로 설명할 수 있을까요?

(원장왈: 어머님, 교육은 바로 코 앞을 보시면 안되고 멀리 보고 투자한다고 생각하셔야 됩니다.....)

많은 기업들이 경영악화시 제일 먼저 축소시키는 부서가 HRD인 이유도 바로 여기에 있습니다.

학부모님이 학원에 대한 기대효과를 납득하기 쉽지 않듯이, 경영자의 입장에서는 HRD부서의 필요성 및 가치를 납득하기 어렵기 때문입니다.

그렇다면 다시 돌아가, ROI는 측정할 수 있을까요?

ROI의 정확한 측정은 사실상 어렵습니다. 하지만 시도가 불가능한 것은 아닙니다.

예를 들어 200개의 의류매장이 있으면, 랜덤으로 100개의 매장에는 교육을 실시하고 나머지 100개의 매장은 교육 진행 없이 기존대로 운영합니다.

그렇게 1년을 보낸 후 연말에 평균 매출액의 차이를 비교하는 것이지요.

이러한 방법으로 ROI를 측정하려는 시도들이 존재했었고, 이에 대한 결과를 담은 논문들도 해외에 있었습니다.

재미있는(?) 점은 ROI 사례를 다룬 대부분의 논문들에서 ROI가 1보다 낮거나, 심지어 마이너스인 경우도 있다는 사실입니다.

(ROI 수치만 놓고 보면 기업에서 교육을 진행하는 것은 손해인 것 입니다.)

ROI분석은 아래와 같은 단계에 걸쳐 진행됩니다.

5-1) 자료 수집 단계

- 비용, 시간, 산출물, 품질과 같은 경성자료(Hard Data) 뿐만 아니라, 작업습관이나 근무풍토, 태도 등과 같은 연성자료(Soft Data)들도 수집

- 시간과 비용의 제약조건을 고려하여 근무상황과 프로그램 특성에 적합한 자료수집방법을 선정

5-2) 프로그램 효과 분리 단계

- 프로그램의 결과로 확보된 성취에는 다양한 요인들의 효과가 혼동되어 있기 때문에 그 중에서 특별히 프로그램의 직접적인 영향만을 추출하는 일이 중요

5-3) 금전적 가치로의 전환 단계

- 4단계 평가에서 수집된 산출 자료들은 프로그램 비용과의 비교를 위해 금전적 가치로 전환

- 프로그램을 통해 수집된 개개 데이터에 타당한 금전적 가치를 부과하는 것으로 데이터의 유형이나 상황에 따라 결정

5-4) 프로그램비용산출단계

- 투자수익율을 산정하기 위해 프로그램과 관련된 모든 비용을 점검하고 계산

- 프로그램 설계/개발비, 학습자에게 제공된 자료비, 강사/퍼실리테이터 비용, 운영관련 시설비 숙식/출장비, 프로그램진행중 교육생의 봉급/수당, 교육관련 행정비 및 간접비 등

5-5) 투자회수율 계산

- 수익/비용 비율 : 프로그램 수익/프로그램 비용

- ROI(%) : (순수프로그램 수익/프로그램 비용) × 100

5-6) 추상적 가치 확인 단계

- 금전적 효과를 밝히기 어려운 추상적인 효과를 산출하기도 하는데, 투자수익율 계산은 경성자료와 연성자료 모두의 금전적 가치를 확인해 보려는 의도에 근거

- 업무만족도 증가, 조직기여도 증가, 팀웍향상, 고객서비스의 개선, 불평불만의 감소, 갈등사례감소 등

실제 현장의 HRD 평가에 있어 대부분 1단계(만족도)와 2단계(성취도) 정도의 평가가 진행됩니다.