如何評估訓練活動?

Credits Dirk Slater, Natasha Msonza, Tawanda Mugari, Erin Murrock 最近更新 2016-03

這裏的材料是取自 LevelUp 訓練員第一次網路會議記錄的綜合整理,該次會議由 LevelUp 與 fabRiders 主持。會議於 2016 年 2 月間舉行,透過了解訓練員採用的不同評估方法來衡量其帶領數位安全工作坊是否對學員的行為與安全習性帶來影響。

如何評估訓練活動?

訓練員請注意

本部份資料是參考FabRiders FabBlog而略加調整,該次網路會議記錄的聲音檔與投影片資源可在此取得here.

要評估什麼?

評估數位安全訓練是否真的有效果也是一大挑戰課題,它並不容易證明這些訓練當中介紹的方法和工具在之後真正有被實際採用。也很難證明訓練中介紹的工具和方法真的會被採用。

也很難知道,訓練與行為改變、安全度提高等之間是否有所關聯性。很可能,當個人或其網絡都因為某些行為或行動而面臨同等風險時,這也往往難以捉摸真正的安全狀況。僅依賴單一指單的量化資訊並無法適當協助我們了解完整數位安全情境中的訓練是否達成效果。

希望帶來的改變是什麼?

重要的是,數位安全訓練者必須能夠很清晰地說明該次活動想要達成的目標,包括是否:

  • 協助社區社群更為安全?
  • 讓個人理解某些科技或行為會讓他們自身以及其網絡更為脆弱?
  • 示範某些行為如何地增加風險與擴大其弱點?
  • 增促其使用工具的能力?(也包括其網絡使用此工具的能力嗎?)

了解這些對象對於當前政治、文化與其所運作的基本情境的知識與意識。了解他們的目標是什麼,是為了權利的抗爭?還是倡議法律與政策的改變?或是為了要終結暴力與衝突?

成功與變化的指標

綜合以上,重要關鍵是訓練者能協助參加者了解數位安全工具和方法與本身能力的交互情況,以帶來真正改變的影響。*

需要建立一套成功指標給數位安全訓練作參考:

  • 參加者更有信心能夠安全地使用科技嗎?
  • 這些人是否能夠成為安全提倡者,鼓勵影響與教育更多人?
  • 安全與能力之間是否有所連結以促進改變的發生?
  • 是否要讓他們能將我們也視為他們網絡或社群的一員?

實際案例

案例一: Digital Society Zimbabwe 

NatashaTawandaDigital Society of Zimbabwe (DSZ)的共同創辦人,他們二位都是在當地活躍的數位安全教育訓練員。DSZ 至力於支持辛巴威民眾能更具備數位軔性 - 他們的工作和訓練是針對人權捍衛者在當地每天面臨的特別威脅狀況而作設計。

Natasha 與 Tawanda 分享了他們採用的方法來測量其訓練課程的有效性,其為三種層級的評量:

第一層

這部份關注在訓練本身立即的成果,在訓練一開始結束後立即進行訓練評量來測驗知識程度的改變。

第二層

這裏則進一步深入,在訓練當中利用測驗練習來了解其需求評估和威脅模型。通常基於初期幾次測試的結果,將會決定接下來訓練內容的調配。

第三層

這一層則是了解學習的東西如何被應用,以及訓練成果上行為改變的程度。這類評量通常是在訓練結束了一段時間後才會進行(例如3個月以後),也可以作一次上門的拜訪。他們發現,最好這些訪問不要太過正式,讓受訪者更為自在坦率地展現其數位安全行為與習慣狀況。

Tawanda 和 Natasha 發現風險評估是一個可以更認識參加學員的有效方法,他們也利用這個評估結果來設計訓練內容。然後試著找出組織或學員當中的優秀人才,讓這些人來協助向同儕學員們強化與灌輸數位安全的日常實踐。

案例二: IREX

Erin 負責為 IREX的SAFE (Securing Access to Freedom of Expression) 計畫進行監督與評估(M&E),她與五個地區中心的同事一起合作,好更加了解受訓參加學員的學習狀況、行為與態度與對風險認知的變化,將其整合入其訓練方案的設計當中。

SAFE 計畫整合了給媒體工作者與人權捍衛者的安全訓練,其對象來自中美洲、東非、歐亞、中東、北非與南亞。他們更費力試圖能接觸到偏遠地區的工作者,讓這些人有機會透過訓練更了解安全保議議題。

SAFE 認為安全是一種由三項獨特組成所建構的概念: 社會心理學上的, 人身的數位的。訓練期間,他們會試圖執行幾道測驗來協助了解參加者對於「安全」的態度、意識和實踐的情況,然後再來評估其訓練如何進一步影響改變其行為。他們也會關注在訓練期間或是參加者離開之前,找出更安全的溝通方法來進行後續追踨。這在不易維持通訊的情況下,格外重要。

後續與課程改進

在訓練施行中,適當規畫來執行活動之後的追踪是一件重要且例行的工作。

維持一慣一致 – 訓練結束後,不管是二週, 二個月或是六個月,把它當作一個架構來比較訓練之前訓練中以及 事後不同階段的變化。為了促成此事,要確保知道未來如何能繼續和學員保持聯絡,尤其(當可行時)與他們建立人與人之間的聯絡方法。

最後,必須留意這部份的討論,是否也有失敗的指標給那些自認為其課程教材墈稱完美的訓練員。絕不要把自己的教材課程變成頑固的鐵板,訓練之前,記得總要先自問:

如何使訓練更為有效?如何成為更棒的訓練員? 要回答這些問題,就得更投入多與其它數位安全訓練員互動,了解他們對這些問題的想法和答案。

對此內容有意見?是否有更新之必要?

欲在本頁留下筆記評論,請利用右上角的 Hypothes.is 工具欄

有欲和其它訓練員分享的內容嗎?

請來信到levelup@riseup.netGPG 公鑰)或是了解本社群的參與貢獻指南。