社會投資報酬評估的一些提問 Some Questions for SROI

-

2022年7月30日中山大學舉辦了一場線上的社會影響力評估工作坊,這場次活動有非常多提問具有價值,因此,我將這些問題整理下來,或許可以對大家進行社會投資報酬評估有所助益。

1. 如果一個組織做的事情很多很廣,在決定分析範疇階段 ( Scope ) 該如何決定? 實務上是否應該一開始就把所有的服務或干預都全部納入?
A:首先,先將專案中明確的活動和服務列入,再逐步確定還有哪些活動也包含在你的專案內。另外,你可能也會遇到不同專案之間,可能有各種不同的活動交互影響,這時候你可以由真正有投入(input)分攤的地方去判斷,要不要納入範疇內。

2. 範疇定義中分析期間有什麼規定? 計畫或干預期間一定要頭尾都含在分析的時間範圍中嗎?
A:分析時間可能是一個多年期計畫中的一年,換言之,分析期間不一定會包含計畫的全部時間,可能是計畫的某個期間。當然,從第八原則優化回應 ( Be Responsive )的角度,鼓勵組織建立影響力帳戶( social value account )做為不同決策的參考來看,分析是長期而持續的過程,也就是組織決策調整的機會,你可以鼓勵組織建立長期的資料收集過程。

3. 納入利害關係人過程,如何看待其成果是否重大且關聯性高?實務上是如何決定是否納入?
A:成果的重大性是根據利害關係人的回饋,判斷成果是否有相關性(Relevance)和顯著性(Significance)。相關性主要來自定性的分析,你可以從以下幾個角度判斷:a)利害關係人反饋你的活動或服務所產生的成果,對他們來說很重要;b)同行或類似計畫已經確認具備價值;c)現有的社會規範或標準要求,例如SDGs的標準;d)此一成果若不列入,恐對組織造成財務上的衝擊。至於顯著性則是來自於定量的分析,你可以從成果的數量( scale )、程度( depth )、延續時間( duration )、相對重要性( relative importance )、系統性發生( counterfactual )、歸因因素( attribution )及移轉( displacement )來綜合判斷。
我們並非單純用數量比較做為決定重大性的依據,因為有時候我們會遇到影響很多人的小變化和影響少數人的大變化,或是計畫中涉及到國際共識中的減碳,即便改變很小,也會被列為具備重大性,因此,評估顯著性的目的是使我們的決策更透明,並藉以彰顯受影響者的經驗和價值觀。此外,重大性也會隨著時間而有所改變,通常會發生在滯後發生的成果陸續出現,或是資訊蒐集的越來越完整,也會改變整個成果的重大性。

4. 分析過程對於資料的要求與溝通需要投入許多時間,要如何與利害關係人告知與溝通這件事?是否因此會有利害關係人決定不參與?若專案對象為身心障礙者,讓他們填寫問卷是一件相對困難的事,有沒有其他方式適用於不便回答的填答者?
A:有可能,首先我們會先從質性分析進行調查,再進一步去進行成果的量化調查。的確,利害關係人參與受到時間和資源的限制,通常我們會考慮決策所需要的嚴謹度以及利害關係人的特性,來決定採用1對1訪談、焦點座談、電話訪問或問卷方式。利害關係人的參與將是資料收集中最消耗資源的部分,執行計畫的人員以及參與其中的利害關係人都需要金錢、人力和技術資源的支援,甚至於訪談有時候需要提供獎品或獎勵金,以增加利害關係人的參與意願。
某些群體可能無法回答下列問題,例如:
a)有某些心理健康問題、特殊教育需要或殘疾的人;
b)非常年幼的孩子(大多數孩子可以透過一些創造性的方法參與);
c)可能已經退出您的計畫並且不再聯繫的人;
d)遭受極度負面體驗的人(即不適合參與的創傷或悲傷);
e)因法律問題而無法聯繫的人。
在這些情況下,您可能需要判斷讓利害關係人參與時機的敏感性,辨識非直接涉及計畫,但卻可以代表該利害關係人群體的對象(觀察者),或是尋求無需口頭問答的資料蒐集方法,最後要對資料來源保持透明,並考慮風險和對成果的潛在影響。

5. 在協助客戶成果事件鏈分析,我們有發現如果不懂組織在做什麼,就很難從中細看其改變的過程,實務上會如何了解組織的運作?還是直接訪談改變?
A:的確。評估的目的在於協助組織,在目標、策略及營運的決策,以放大組織地社會影響力。因此,協助組織評估影響力,必先確認評估的目的為何? 並透過利害關係人觀察和參與討論,逐步了解組織的所提供的活動或服務,是如何對利害關係人造成改變。除了訪談利害關係人之外,也可以由有經驗的計畫或服務經理人,或是第三方研究告或文獻資料獲得可能成果。

6. 組織的活動和服務很複雜,如何有效調查產出?
A:產出是活動以數量的方式表示,因此,可以優先對利害關係人有具體參與的活動,來確定當下活動的產出,可能是參加的人數,或是參加之後的產出品。另外也可以透過組織有經驗的管理人員討論,來確定組織投入資源的活動及產出數量。

7. 如何定義好的成果事件鏈?
A:成果事件鏈主要是利害關係人所體驗到一連串具有因果關係的成果,這很明顯要建構出好的事件鏈,和利害關係人參與有不可分割的關係,也必須透過一連串的訪談,來了解利害關係人因為組織的活動,而體驗到態度 ( Attitude )、認知( Awareness )、能力 ( Capacity )、行為( Behavior )或狀況( Circumstance )的改變,通常一個改變會導致另外一個改變的產生,這樣具有因果關係的一系列改變,最終可以停止在明確的成果( Well-defined outcome),這都必須來自與利害關係人的開放式訪談。
我們會詢問經歷改變的利害關係人,他們的改變歷程,在一個改變後接下來會有甚麼改變( What happen next? ),直到他們會反饋到所謂的明確成果( Well-defined outcome)。這裡所謂明確的成果指的是人類特定的某個福祉( wellbeing ),例如增加自信心或是減少社會孤立感。這樣的成果具備有一定的持續性,通常是特定福祉感受性的改變,明確的成果是利害關係人特定的福祉,因此,也代表這個特定的福祉是這群利害關係人的心理需求( need ),這也代表組織可以透過明確的成果,來決策如何讓利害關係人獲得這個成果,或是決策優化所提供的服務。例如,你的組織提供一系列課程輔導參加者創業,這些參加者透過一連串課程,可能只有獲得創業的知識和技能( Capacity ),然而,參加者不會認為只有技能就夠了,他的也不只是真正開始創立自己的事業( Behavior ),更可能的明確成果( Well-defined outcome),可能適因為創業而獲得財務獨立 (Circumstance )。組織就應該要知道創業輔導,可能更要關注在順利創業,甚至於成功的創業,才能夠放大這個專案的社會影響力。

8. 如何決定成果,實務上發現成果會很多個,但礙於評估成本只能精選,或如何定義好的成果?如何決定是否納入?
A:請參考第4原則:將最重要的事納入 Only included WHAT is Material。確定成果的重大性,必須透過相關性和顯著性兩個原則來確定,重大性原則請參考第3題。

9. 利害關係人訪談就需決定成果期間( duration )了嗎? 因為在大多數問卷並沒有問這個問題?
A:利害關係人議和有兩個部分,第一個部分為質性調查( Qualitative ),這個階段用於了解利害關係人體驗到什麼改變。在了解利害關係人有那些改變後,再進行量化調查( Quantitative ),量測利害關係人改變的數量、程度、延續時間、相對重要性、無謂因子、歸因因素及移轉。除非在很特殊的狀態,例如利害關係人數量很少的狀態,才有機會同時進行質性及量化的調查。

10. 實務上會如何調查移轉因子( Displacement )?
A:實務上有兩個主要的移轉因子來源,其一為,您的活動是否替代了其他會導致同樣結果的活動?例如,當你培訓了10位輟學少年就業,可能就佔了其他原本可以就業少年的機會;其二是,你的活動是否只是轉移了產出,而不是創造了淨變化,例如,當你將髒亂的垃圾,移轉到隔壁街區,或是掃蕩犯罪,結果犯罪活動轉移到了鄰近地方。當這些轉移是你的組織或計畫可以控制,那最好可以將受到影響的對象列為利害關係人,這樣會有助於你理解影響力的創造,並且想辦法優化調整。請注意,這也是一個唯一可以不一定要列入的因子。

11. 衰退因子( Drop off )需調查活動結束參與一年後的人嗎?
A:是的。採用多年期計畫的前一年活動的參與者來做為基礎,是一個非常好的方法,只要你確認每年參加的利害關係人的特徵都一致即可。

12. 如何選擇財務代理變數?
A:選擇財務代理變數的方法,必須根據決策的信心水準。你可以參考原則3:衡量重要成果的價值 ( Value the things that matter )標準中的附錄C,提供了一系列不同估價方法的信心水準。

13. 敏感度分析如何決定要分析哪些項目?
A:敏感度分析的目的是測試哪一些變數,對您的影響力模型影響最大。一般推薦的方法是計算你需要更改每個估值多少,才能使社會投資報酬率成為1,換言之,每投入 1 元就得到 1 元的社會回報率。通過計算,可以顯示你的分析對估計變化的敏感性。一般我們會考慮列入:
a)無謂因子( deadweight )、歸因因子( attribution )及衰減因子 ( drop off )
b)財務代理變數( financial proxies )
c)成果數量( quantity of the outcome )
d)投入價值,特別是那些非財務投入 ( the value of inputs, where you have valued non-financial inputs )

14. 如果訪談結果讓受訪者無法接受(可能觀點不同),該如何處理?
A:我們要特別注意成果是利害關係人所感受到的反饋。因此,如果很大一部分的受訪者,無法接受你的訪談結果,可能代表你應該要了解為何利害關係人不認同,有可能他們真的體驗的不同的成果,這時候你就必須將利害關係人再分層( segmentation )。另外一個要注意的是,一些利害關係人可能不見得了解情況,他們可能因為短期的優先事項,限制了對長期結果的思維能力,或是有些人的意見,可能會被優先採用或放大,所以,別忘了有時候你必須參考第三方報告或是有經驗經理人的觀點,三種不同觀點去確認真正的原因。

15. SROI資助者會有希望SROI評估結果好看的誘因嗎? 評估者會有壓力嗎?該如何處理?
A:大部分的企業或組織都會希望自己的評估結果是正向。然而,他們可能誤解了評估的目標在於管理,如果企業或組織一昧地採用嚴謹度很低的資料收集方式,只為了讓評估的數值好看,那它們就失去了放大組織專案價值的機會。因此,評估者( practitioner )被要求遵照SVI的八大原則及標準,就是希望評估報告能夠在一定的保證之下,呈現出值得信賴的評估結果。

16. 要讓受訪者來評估他的自信心評估? 還是由估算SROI的人來評估呢?
A:我們採用指標 (indicators)來衡量成果的變化量,你可以採用單個或數個指標來決定利害關係人是否有獲得改變( scale )、改變的程度( depth )及成果持續時間( duration ),指標的選定可以採用主觀( subjective )指標或客觀( objective )指標來評估,但不管如何,利害關係人的回饋都是基本,不管你讓他自己填寫問卷評估自信心,或是透過估算者來觀察利害關係人的變化,都取決於您的決策信心水準。

17. 增加自信心的財務代理變數和坊間自信心工作坊有何關係? 是指參加一般工作坊要付的學費為財務指標嗎?
A:選用市場上已經有的服務或商品,來類比利害關係人所取得的成果,是屬於顯示性偏好( revealed preference )的財務估算方法。主要是類比獲得的自信心程度,就像參加了自信心工作坊一樣,而這個工作坊的學費,就等於是取得這個成果的價值。

18. 要完成一本SROI調查到報告,大約需要多久時間?
A:不一定。如果你已經擁有非常多的歷史資料,來預測型評估,可能時間很短;但如果,你是第一次進行計畫,然後,要評估這個計畫的社會影響力,那你可能除了要在執行過程中規劃蒐集資料外,也至少要完成整個計畫以後,才有機會開始進行分析。

19. 要估計非財務成果的價值,往往是透過問卷填寫,有一種是按市場價格去衡量,所謂的「市場價格」有沒有一定的標準,來增加說服力?
A:選用市場上已經有的服務或商品,來類比利害關係人所取得的成果,是顯示性偏好( revealed preference )的財務估算方法。為了避免選用多樣的市場服務或商品的價格,太過於紊亂而增加影響力決策風險,因此,SVI現在也鼓勵採用錨定法 ( anchoring method ),也就是說你可以針對同一群利害關係人,先評估他們的對於不同成果的相對重要性,然後,選擇其中一個成果,以市場替代法去評估這個成果的價值,再以相對重要性的比例,去推估不同成果的價值,以減少選用太多市場替代財務代理變數而產生誤差。

20. 若一間庇護工場僅有一位服務提供者,其所填答的內容會影響整個值的評估,是否有方式可以降低影響?
A:利害關係人只有一位時,他就會是唯一能夠回饋你改變體驗的對象,某種程度你必須相信他的回應。但,你也可以參考第三方報告或其他同業相關的成果,相互比對佐證。

21. 庇護工場主要目的為協助身心障礙者銜接到正常社會的工作,會將許多工作能力較好的員工轉至一般職場就業,因此必然會影響部分營利效果,但其有顯著的社會效益,建議我們如何去平衡呢?
A:這也是社會影響力評估存在的目的,我們就是要透過財務和社會面向的評估,協助組織做出決策。組織將會根據他們的組織目標和關注的重點,來決定應該採取什麼樣的策略或營運方式。所以,我們會鼓勵NGO或NPO組織,不只是訴求情感,而是將組織的決策如何影響利害關係人揭露,進一步可以讓捐款人或投資人,更清楚組織的決策邏輯。

22. 目前是否有朝統一標準的方向發展,例如,會計的IFRS或GAAP,可以讓SROI結果直接比較?
A:財務會計上的準則已經發展多年,而且工具、制度和法規也十分成熟,然而,社會價值帳戶的制度發展較晚,主要是減緩單純只透過會計帳戶評估所造成對環境、社會的忽略問題。個人認為,目前不同的影響力評估方式,確實越來越有一致的趨勢,可以看到聯合國發展組織( UNDP )所推動的永續影響力標準( SDG Impact Standards )就整合了不同的影響力標準,並且定義描述影響力的五個面向

23. 目前各國官方有否正式採納SROI為公司CSR衡量工具?
A:就我所知,目前看起來並沒有所謂官方採納為CSR的標準。但是,要注意的是聯合國發展組織的永續影響力標準,確實在促使將永續影響力整合進去企業組織和基金投資方的日常策略、管理、治理及揭露策略中,這也代表未來將影響力帳戶列入組織決策考慮,已是國際上的趨勢。

24. 各國風土民情以及人民主觀注重的事物不一,當一個機構的投入、產出、成果涉及超過一個國家的時候,計算上是否需要進行相對應的調整?若需要調整,如何調整?(比如說服務台灣海峽的環境,成果會影響到兩岸人民,但兩岸人民對於環保的主觀價值不一,該如何處理?)
A:如果你的利害關係人是不同區域的居民,而且體驗到不同的改變或認知,從利害關係人分層的角度來看,是可以將這些利害關係人區隔開,以確定你的服務或活動,可以創造更大的價值。

Some Questions of SROI on workshop

Share this article

Recent posts

Popular categories

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Recent comments