不誇大:歸因因子 Do Not Over-claim : Attribution

-

社會投資報酬率(SROI)評估中,八大原則之一的不誇大(do not over-claim)原則,在實際執行評估步驟當中,採用了四個影響力因子,分別為無謂因子(Deadweight)、歸因因子(Attribution)、移轉因子(Displacement)及衰減因子(Drop-off)等。用這四個帶有機率概念的因子,來確保專案的確造成改變。


本文所要介紹的是四大因子之一:歸因因子(Attribution)。一般我們將歸因因子定義為:成果來自於計畫活動之外其他因素的機率

因果關係(causality)是理解歸因的首要工作,換句話說,就是正向去確認因計畫/投資/服務中的活動所導致的結果/改變。我們也可以從相反(counterfactual)的角度去思考:如果從未有這項計畫/投資/服務,會發生什麼?
因此,歸因分析的思考角度是:計畫如何造成影響?

例如:我想在家肚子餓,想吃個晚餐,所以我從家中冰箱現有的材料,開始動手作出一道炒飯。我自己做飯(因果關係),如果沒有我做飯,炒飯就不會出現(反證)。我自己獨立完成,所以吃了炒飯飽足這個結果,可以完全歸因於我的行動。
現在,想像我其實不怎麼會做飯,我必須拜託家人的幫忙搭上下手,甚至於,家裡的材料不夠,還到隔壁去借了材料或廚具,最後也會完成炒飯,產生了飽足的成果。這個狀況,就可以將成果的某一部分歸因於自己,而另哪一部分歸因於我的家人或鄰居,想像一下,如果沒有家人或鄰居?你可能就沒有可能產生炒飯,這就是歸因的概念。

歸因分析的挑戰

但是,在實務上要確認歸因的發生,並沒有標準化的衡量方法。而且,社會影響力計畫通常很複雜,再加上社會環境中運作的各種外部因素,就導致歸因的因果關係不好確認
例如,有個就業培訓計畫的成果,顯示多了80%的參加者,因為培訓而找到工作,但同一個時期,當地開設了一家大型連鎖購物公司。嘗試要證明這個就業培訓計畫,所辨識出的成果(增加了80%的受訓者得到就業機會)真實的因果關係和反證就非常困難,甚至,在某些特定狀況,幾乎是不可能的明確判別。衡量歸因通常會使用對照組觀察,但在實務上使用這樣的對照不切實際、也不符合成本。

另外一個狀況,當計畫有多個資助者(包括影響力投資或是政府補助專案)時,雖然不同補助計畫有不同的目標和內容,但要將特定成果歸因於個別單位的特定投入(資金)是極複雜的。
實務上,可以根據投資比例按比例分配。例如,你的計畫總成果可能來自於某部會補助 50%,某機關補助40%,自籌款只有10%。這樣的分配比例,可以做為是歸因的簡化分析,雖然可能不足以完整呈現個別計畫的影響力,但仍可以透過辨識出不同歸因來源,有助於避免各單位過度渲染計畫的影響力。

鑑於歸因因子的諸多挑戰,另一個有用的方法是著眼於貢獻度(contribution)。把注意力放在貢獻度的好處有兩個:
其一,提供一種不同的思維去進行影響力量測。
其二、讓投資者可持續關注利害關係人的成果。
評估貢獻度是一種不同於歸因的思維,貢獻度分析並不是使用對照組實驗,而是以改變理論為基礎,並使用案例研究和個案調查 來確定是否發生了變化。貢獻度分析提供的思考角度為:該計畫是如何幫助產生可觀察的影響?

估算歸因因子

雖然估算歸因因子非常困難,但New Economics Foundation (NEF) 還是提供了一個具體的方法來推估歸因因子,也就是透過詢問利害關係人,他們實際體驗到的成果,讓他們實際去思考那些活動或計畫對他們有效果,以及誰對他們幫助最大。
這個方法可分解為四個步驟:

第 1 步:了解對他改變做出了貢獻:要了解成果的歸因因子可能是多少,嘗試與利害關係人訪談列出可能對成果有貢獻的單位或活動。
需要大量了解誰對更改做出了貢獻,以便您設計適當的調查問題。嘗試去熟悉該項領域的知識,例如,徵詢該領域的專家、尋找有關該主題的學術文章和研究。了解歸因的最佳方法是詢問相關利害關係人,這應包括來自其他組織的人以及資助者或補助單位。


第 2 步:收集數據:結合各階段定性或定量的利害關係人訪談或問卷,獲取必要的資訊。定性問題通常在不同階段的利害關係人參與過程,已經收集了定性數據,一般可以在調查中加入開放式問題,這可讓評估者了解如何為什麼會達到一定的歸因分配。定量問題,則可以透過讓利害關係人直接在某事表示程度的百分比或尺度量表,進一步轉換為比例。

第 3 步:估計歸因因子:一旦獲得結果數據,就可以開始估計歸因因子(記得,影響力因子都是以百分比的方式表現)。
如果在調查成果數據期間收集了有關歸因的數據,將可運用這些一手數據估算歸因比率,鑑於一手資來來自於利害關係人,對這些數據的分析將使歸因的估計基本上可靠。
如果進行的是預測型(forecast)SROI評估,在無法取得一手利害關係人訪談資料情況下,可以採取的方式則是利用一個歸因水平的評估表(見下表),但仍需要嘗試證明你的選擇是合理的。

選項內涵歸因因子
極高:該項成果完全是組織的計畫成果,沒有其他單位是貢獻於此成果。0%
相當高:該項成果有一小部分是由於其他人或組織貢獻25%
普通:該項成果有相當程度是由於其他人或組織貢獻50%
低:該項成果有一大部分是由於其他人或組織貢獻75%
極低:該項成果有完全是由於其他人或組織貢獻100%

第 4 步:持續對於成果歸因的追蹤:要注意不同利害關係人群體,對於不同成果,可能會有不同的歸因率,因此,不同的成果,具有不同的歸因比例。再者,歸因的程度會隨著時間的推移而改變比率,用於推估未來的成果,則歸因率可能會下降。最後,則是因為合作夥伴關係的價值通常是通過多方共同創造變革而產生的協同效應。

結論

社會影響計畫並不是存在於一個封閉可控的環境,而是在於復雜而充滿活力的社會中,因此,要精準地確認成果歸因於你的計畫,幾乎是不可能的。從利害關係人其所感受的成果調查上,去探尋不同組織或人員的貢獻度將是可行的方式,當然要記住社會影響力評估的一個重點:足以決策的精準,不要投入過多的精神於歸因之上,專注將心力放大或創造影響力才是正途。

Share this article

Recent posts

Popular categories

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Recent comments