如何評估遠距直播教學成效–運用ROI學習成效評估模型

因受新冠疫情影響,遠距直播課程已愈來愈普及,目前大部分的企業、培訓機構,甚至各級學校等,多已將遠距直播或視訊教學等納入其教學的一環,以避免學習者因面對面接觸而造成感染的風險。既然遠距直播教學已廣為大家所採用,很多企業主、訓練相關主管等,自然也會想了解遠距直播教學之學習成效,甚至其產生之投資報酬率(ROI)為何?以下即就此簡單介紹。

運用傳統的Kirkpatrick四階層評估模型,同樣可評量遠距直播課程舉辦後之學習成效。例如參加學員對遠距直播課程是否滿意(此即Level 1的學習成效)?是否因為參加遠距直播課程後,在知識、技能、態度上有改善(此即Level 2的學習成效)?若有改善,其運用在工作上的情形如何(此即Level 3的學習成效)?若能運用在工作上,組織是否因此有具體的成效(此即Level 4的學習成效)?

Kirkpatrick的四階層評估模型可幫助我們得到上述之答案。但問題是,組織產生的成效與遠距直播課程的投資相比是否划算?亦即,其投資報酬率(ROI)為何?此外,透過Kirkpatrick的四階層評估模型所蒐集到的改善資料,真能確定其是因為參加此遠距直播課程所產生,而非其他因素影響所致嗎?

運用Jack J. Philips的ROI模型,就可以針對上述問題找到答案!

Jack J. Philips的ROI模型如下圖所示:

ROI模型的資料蒐集與Kirkpatrick的四階層評估模型所蒐集之資料一樣,但在資料分析階段時,還需增加獨立專案成效的機制(在此為獨立出遠距直播課程之成效),亦即其會針對所蒐集到的Level 4成效資料,採取至少一種以上的獨立專案成效的方法,以排除與遠距直播課程無關的因素,並證明這些成效都是因為參加遠距直播課程而直接產生。

獨立專案成效的方式包括:控制組、趨勢線、預測模式、參加訓練者預估、參加訓練者之主管預估、資深主管預估、專家意見、排除其他影響因素,以及客戶的意見等。可以根據實際執行的可行性,評估採用的方式。原則上控制組、趨勢線及預測模式比較能蒐集到科學上的客觀證據,但執行難度較高。至於參加訓練者預估、參加訓練者之主管預估、資深主管預估、專家意見等方式,則較易執行,但容易受到預估者之主觀意見影響,為降低個人主觀意見,建議應蒐集較多人的意見。

蒐集到的Level 4資料,經過至少一種以上的獨立專案成效方法過濾掉非關專案的成效後,接下來就是將這些純粹由遠距直播課程產生的成效資料,轉換成實際的金錢價值,並再與辦理遠距直播課程的所有成本(包括各種直接、間接成本,甚至連受訓期間員工的薪資與其應有的生產效益等,都要納入),透過ROI公式,計算其投資報酬率。ROI模式之計算公式與一般財務上的計算公式一樣,都是將Level 4的金錢價值資料扣除遠距直播課程成本後,再除以遠距直播課程成本,並換算成百分比。此結果即是此遠距直播課程之ROI。

除了計算出來的ROI具體數字外,遠距直播課程所產生的無形效益,也應該都明列,才能正確呈現此遠距直播課程的學習成效。無形效益可能包括:工作滿意度的提升、增加對組織的承諾、改善團隊士氣、改善客戶服務、降低員工抱怨率、降低衝突等。

透過上述方法,即可有系統的計算出遠距直播教學之學習成效ROI,以及其所帶動的其他相關成效,此對於企業主或訓練相關主管欲了解遠距直播教學的成效,以及相關決策的訂定等,應可起一定的效用。

作者:黃進烽

現職
工研院產業學院專案總監
經濟部工業局iPAS計畫主持人
TTQS輔導顧問
經歷
•曾擔任英特內軟體公司學習長、人資顧問
•曾擔任資訊工業策進會數位教育研究所 主任
•曾擔任經濟部工業局「數位學習與典藏產業推動計畫」協同計畫主持人、分項計畫主持人
•曾擔任行政院人事行政總處「行政院跨領域科技管理人才培訓班計畫」計畫主持人
•曾擔任中華民國數位學習學會副秘書長

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。

回到頂端