因受新冠疫情影響，遠距直播課程已愈來愈普及，目前大部分的企業、培訓機構，甚至各級學校等，多已將遠距直播或視訊教學等納入其教學的一環，以避免學習者因面對面接觸而造成感染的風險。既然遠距直播教學已廣為大家所採用，很多企業主、訓練相關主管等，自然也會想了解遠距直播教學之學習成效，甚至其產生之投資報酬率(ROI)為何？以下即就此簡單介紹。
運用傳統的Kirkpatrick四階層評估模型，同樣可評量遠距直播課程舉辦後之學習成效。例如參加學員對遠距直播課程是否滿意(此即Level 1的學習成效)？是否因為參加遠距直播課程後，在知識、技能、態度上有改善(此即Level 2的學習成效)？若有改善，其運用在工作上的情形如何(此即Level 3的學習成效)？若能運用在工作上，組織是否因此有具體的成效(此即Level 4的學習成效)？
Kirkpatrick的四階層評估模型可幫助我們得到上述之答案。但問題是，組織產生的成效與遠距直播課程的投資相比是否划算？亦即，其投資報酬率(ROI)為何？此外，透過Kirkpatrick的四階層評估模型所蒐集到的改善資料，真能確定其是因為參加此遠距直播課程所產生，而非其他因素影響所致嗎？
運用Jack J. Philips的ROI模型，就可以針對上述問題找到答案！
Jack J. Philips的ROI模型如下圖所示：
ROI模型的資料蒐集與Kirkpatrick的四階層評估模型所蒐集之資料一樣，但在資料分析階段時，還需增加獨立專案成效的機制(在此為獨立出遠距直播課程之成效)，亦即其會針對所蒐集到的Level 4成效資料，採取至少一種以上的獨立專案成效的方法，以排除與遠距直播課程無關的因素，並證明這些成效都是因為參加遠距直播課程而直接產生。
獨立專案成效的方式包括：控制組、趨勢線、預測模式、參加訓練者預估、參加訓練者之主管預估、資深主管預估、專家意見、排除其他影響因素，以及客戶的意見等。可以根據實際執行的可行性，評估採用的方式。原則上控制組、趨勢線及預測模式比較能蒐集到科學上的客觀證據，但執行難度較高。至於參加訓練者預估、參加訓練者之主管預估、資深主管預估、專家意見等方式，則較易執行，但容易受到預估者之主觀意見影響，為降低個人主觀意見，建議應蒐集較多人的意見。
蒐集到的Level 4資料，經過至少一種以上的獨立專案成效方法過濾掉非關專案的成效後，接下來就是將這些純粹由遠距直播課程產生的成效資料，轉換成實際的金錢價值，並再與辦理遠距直播課程的所有成本(包括各種直接、間接成本，甚至連受訓期間員工的薪資與其應有的生產效益等，都要納入)，透過ROI公式，計算其投資報酬率。ROI模式之計算公式與一般財務上的計算公式一樣，都是將Level 4的金錢價值資料扣除遠距直播課程成本後，再除以遠距直播課程成本，並換算成百分比。此結果即是此遠距直播課程之ROI。
除了計算出來的ROI具體數字外，遠距直播課程所產生的無形效益，也應該都明列，才能正確呈現此遠距直播課程的學習成效。無形效益可能包括：工作滿意度的提升、增加對組織的承諾、改善團隊士氣、改善客戶服務、降低員工抱怨率、降低衝突等。
透過上述方法，即可有系統的計算出遠距直播教學之學習成效ROI，以及其所帶動的其他相關成效，此對於企業主或訓練相關主管欲了解遠距直播教學的成效，以及相關決策的訂定等，應可起一定的效用。
作者：黃進烽
現職
•工研院產業學院專案總監
•經濟部工業局iPAS計畫主持人
•TTQS輔導顧問
經歷
•曾擔任英特內軟體公司學習長、人資顧問
•曾擔任資訊工業策進會數位教育研究所 主任
•曾擔任經濟部工業局「數位學習與典藏產業推動計畫」協同計畫主持人、分項計畫主持人
•曾擔任行政院人事行政總處「行政院跨領域科技管理人才培訓班計畫」計畫主持人
•曾擔任中華民國數位學習學會副秘書長