[성과측정] 변화이론이 뭐에요? - 사회성과로 가는 지도
현안과이슈 / by NPO지원센터 / 2019.10.04

자원과 시간, 열정이 투입된 비영리활동이 정말 우리가 원하는 변화를 일으키고, 공익적 가치를 실현했을까? 사회성과 측정은 이 질문에 답하기 위한 방법 중 하나입니다. 성과측정은 생소하고 어렵게 느껴지지만 시작은 기본은 아주 단순합니다. 바로 측정할 수 있는 단위로 구체화하는 것입니다. 희망하는 가치가 현실화되는 과정을 구체화하고, 그 과정을 들여다보면서 기록하고, 어제와 오늘을 비교하는 것이 성과측정입니다. 어떻게 구체화해야할까요? <변화이론>은 원하는 가치와 현장의 활동 간의 관계를 논리적으로 구체화하는 방법입니다. 이번 포스팅은 <변화이론>에 대한 좀 더 종합적인 내용을 정리 소개합니다

*이 글은 <변화이론 센터(The Center for Theory of Change)>의 홈페이지에서 소개된 아스펜 연구소의 <변화이론>에 대한 설명을 일부 번역, 편집하였습니다. 각 항목에 해당하는 원문은 바로가기를 통해서 확인 가능합니다. 자료 인용 및 배포 시 원문의 출처를 반드시 밝혀주시기 바랍니다.


 

변화이론(Theory of Change)?

 

<변화이론>, ‘바라는 변화특정 환경적 맥락에서 ’, ‘어떻게일어날 것인지를 종합적으로 기술하고 시각화여 보여주는 기획 과정이면 변화도출 과정 설계입니다. <변화이론>에서 중점을 둬야할 부분은 프로그램또는 활동기대하는 목표또는 성취할 목표를 어떻게 이끌어 낼지 사이에 모호한 부분논리적으로’ ‘구체적으로채워가는 것입니다. 정리하면 <변화이론>1) ‘바라는 장기적 목표를 먼저 파악한 후, 2) 그 목표가 성취될 수 있는 조건을 역으로 파악하면서, 3) 목표 달성을 위해 파악한 각각의 조건들이 인과적으로 서로 또는 목표와 어떻게 연결되는지를 밝히는 과정입니다. , <변화이론>성과도출 논리틀입니다.

 

<변화이론>은 장기적 목표를 성취하는데 필요한 사전 조건으로서 파악된 중간성과(활동성과, Outcomes)를 이끌어낼 구체적 활동과 개입방법을 파악할 수 있는 기반을 제공합니다. 또한 활동장기적 목표달성 사이에 존재하는 치밀한 연결 고리를 충분히 이해할 수 있도록 합니다. 따라서 충실한 <변화이론>구체적이고 실현가능성 높은 계획은 물론, ‘생산적이고 교훈적인 평가와 구체적인 사회성과 측정을 가능하게 합니다.

 

원문 바로가기

 

 

변화이론이 주는 효용

 

<변화이론>은 설계 과정에서 목표는 물론 그 목표를 도달하는데 요구되는 조건을 구체화할 수 있기 때문에 목표를 명확하게 파악하고, 이해관계자는 물론 프로젝트 관련자의 원활한 소통을 가능하게 합니다. 이밖에도 <변화이론>은 사회변화를 이끌어 내는 과정에서 여러 가지로 긍정적인 작용을 합니다.

 

- 변화가 일어나는 과정을 명확하고 실험 가능하도록 하여 결과에 대한 신빙성 및 책임성을 향상

- 우리가 원하는 변화의 내용과 변화의 과정을 시각화 기능

- 구체화된 목표에서 도출된 측정가능한 지표 덕분에 평가를 위한 청사진 기능

- 참여적 설계라는 특징 덕분에 이해관계자 간 합의서의 역할

- 과정의 구체화를 통해 원활한 의사소통을 가능하게 하는 도구로서 기능

 

원문 바로가기

 
 

변화이론 단계별 작성 과정
 

1. 장기적 목표 파악하기

Identifying Long-term Goals


2.
역추적 논리 관계 도식화 및 중간성과* 연결 짓기

Backwards Mapping and Connecting Outcomes

*활동에 따른 성과, 장기적 목표를 위한 사전성과/조건, 장기적 목표에 도달하는데 달성할 필요가 있는 중간 성과


3.
성과도출 논리틀 완성짓기 (논리관계 확정하기) 
Completing the Outcomes Framework


4.
논리 관계 현실화를 위해 필요한 가정(필요조건, 논리적 가정) 파악하기

Identifying Assumptions


5.
각 단계별 지표 설정하기

Developing Indicators


6.
개입 활동 파악하기

Identifying Interventions 


원문 바로가기

 

 

시작 전 유의사항

- <변화이론>을 구상할 이해관계자가 누군지 파악한다.

- 이해관계자가 사회적 변화시도의 궁극적 목표를 주의깊게 생각해두기

- <변화이론>을 어떤 목적으로 사용할 지에 대한 의견 준비하기

(. 내부 의사결정용, 진행 중인 프로그램 점검용, 평가 목적, 기부자에 대한 보고, 이사회 보고용 등)

- 현재 가용 가능한 자원과 역량을 미리 염두에 두어둔다.

 

 

단계1. 장기적 목표 파악하기

Identifying long-term goals

 

<변화이론> 설계의 첫 번째 단계는 장기적 목표를 정하는 것입니다. 성취하고자 하는 장기적 목표가 무엇인지에 대해서 논의하고, 합의하여, 되도록 구체적으로 만듭니다.

 

장기적 목표수립에서 가장 중요한 것은 바람직하고, 명료한내용의 성과물(Outcome)로 설정하는 것입니다.

 

장기적 목표를 도출하는데 요구되는 사전 조건의 단순하게 도식화하는 것부터 시작합니다. 도식화 작업은 장기적 목표를 달성하는 데 필요한 하위 세부 목표를 시각화하고 우선순위를 정할 수 있도록 할 뿐 아니라 변화를 일으키고 싶은 내용이 무엇인지를 구체화할 수 있도록 해주며, 어떤 성과를 달성할 책임이 있는지를 기술할 수 있게 합니다.

 

 

(그림 출처: The Center for Theory of Change)

 

단계2. 역추적 논리 관계 도식화 및 중간성과* 연결 짓기

Backwards mapping and connecting outcomes

*활동에 따른 성과, 장기적 목표를 위한 사전성과/조건, 장기적 목표에 도달하는데 달성할 필요가 있는 중간성과

 

1단계는 ‘1차적 기대와 간단한 변화 논리틀을 배치한 것입니다. 2단계는 논리 도식화 과정을 조금 더 구체적이고, 세부적으로 자세하게 진행합니다.

 

2단계 작업은 1단계 작업의 결과물에서 시작하는데, 논리 방향이 원인을 향하도록 생각하면서 세부 논리 과정을 수립하는 역추적 논리 관계 도식화방식으로 진행합니다. 이 논리 구체화 과정은 우리가 세우려는 계획의 목적에 부합할 수 있는 적절한 이야기 구조의 형태가 될 때까지 진행합니다. 이 구체화 과정은 우리가 해결하고자 하는 문제의 근원적원인을 규명할 때까지 진행되는 경우도 있지만, 반드시 근원적원인까지 구체화해야하는 것은 아닙니다.

 

역추적 논리 관계 도식화를 통해 논리를 구체화하는 과정은 수많은 수정작업을 거칩니다. 논리적으로 달성해야하는 하위 세부 성과들을 더하거나, 옮기거나, 삭제하는 과정을 거치는데 이는 <변화이론>과 관련된 이해관계자 모두가 동의하는 논리적 이야기가 최종적으로 도출될 때까지 진행해야합니다.

 

이 과정에서의 논쟁을 통해서 이해관계자 모두가 기대사항(expectations), 논리적 가정(assumptions), 변화 과정의 특징(characteristics)에 대한 공통의 이해를 가질 수 있어, 향후 사업을 수행, 운영, 관리, 평가하는데 까지 도움을 줍니다.


 

(그림 출처: The Center for Theory of Change)

 

단계3. ‘성과도출 논리틀완성 짓기 (논리관계 확정하기)

Completing the Outcomes Framework

 

성과도출 논리틀(the Outcomes Framework)’을 완성하기 위해서는 논리 관계 도식에 나타난 중간성과들 간의 논리적 관계가 결과-사전조건의 성격을 보여주는 형태로 구체화되어야 합니다.

 

예를 들어, ‘장기적 목표가정폭력 생존 여성의 독립적 생계유지가 가능한 고용상태달성이고, 중간성과(Outcomes)(1) “가정폭력 생존 여성이 시장성 있는 기술을 습득한다(2) “가정폭력 생존 여성이 지식 습득이 가능한 문해율과 학업수준을 갖춘다”, (3) “가정폭력 생존 여성을 확보한다로 기술했다면, 중간성과 (1)을 달성하기 위해서는 중간성과 (2)의 달성이 사전 조건(preconditions)가 됩니다. 또한 중간성과 (2)는 중간성과 (3)을 달성해야 성과 달성을 위한 활동을 추진할 수 있기 때문에, 중간성과 (3)은 중간성과 (2)의 사전조건(preconditions) 역할을 합니다.

 

, <변화이론>을 구성하는 성과도출 논리틀은 가장 최조의 조건으로 거슬러 올라가는 과정에서 더욱 구체적이고 세부적으로 작성됩니다.

 

주의할 점은 첫째, 보통 논리관계는 화살표 또는 선의 연결로 표시되는데, 논리관계의 명확성을 위해서 관계가 대체될 수 있는 성격으로 연결되어서는 안 됩니다. 둘째, 도식화 결과물이 단순하게 보이더라도, 논리 관계가 당연한 것은 없습니다. 선을 연결할 때는 항상 왜 이렇게 연결되어야 하지?“, ”이 중간성과는 다른 중간성과에 전에 위치할 수 없나?“ 등의 의심을 계속해야합니다.

 


(그림 출처: The Center for Theory of Change)

 

단계4. 논리 관계 현실화를 위해 필요한 가정(필요조건, 논리적 가정) 파악하기

Identifying Assumptions

 

활동성과로 실현되는지 여부는 활동성과의 논리적 바탕이 되는 조건(, 논리적 가정)이 타당한 지에 달려 있습니다. ‘논리적 가정은 프로그램 대상자가 프로그램에 참가했을 때, 해당 프로그램이 제대로 기능할 것이라고 왜 믿을 수밖에 없는지를 명료하게 만드는 역할을 합니다. , ‘활동성과’, ‘성과세부 성과의 관계의 실현가능성을 보여줍니다.

 

예를 들어, ‘장기적 목표가정폭력 생존 여성의 독립적 생계유지가 가능한 고용상태을 달성학기 위해서는 아래의 논리적 가정이 현실적으로 갖춰져 있고, 그 내용이 장기적 목표를 뒷받침할 수 있어야 합니다.

 

가정 (1) 여성에게 비전통적 기술과 관련된 가능한 직무가 있다.

가정 (2) 전기, 배관, 목공, 건축 등과 같이 여성에게는 비전통적이던 직무가 해당 여성들에게 생계를 유지할 만큼의 소득을 제공할 가능성이 더 있으며, 노조설립과 직업 안정성을 제공할 가능성이 더 높다. 그리고 이러한 직무 중 일부는 여성에게도 수습에서 장인으로 발전할 수 있는 지위상승을 제공한다.

 

마찬가지로 장기적 목표의 사전 조건 역할을 하는 중간성과가정폭력 생존 여성은 관련기술을 습득한다가 달성되려면, 아래의 논리적 가정이 성립해야합니다.

 

가정 (1) 가정폭력을 겪은 여성이 단지 기술 지식 학습 이상을 필요로 하며, 이 여성들이 심리적으로 일할 준비가 될 필요가 있다.

 

논리적 가정논리적 타당성을 기술하는 작업은 <변화이론>설계 시에만 하는 1회성 작업이 아닙니다. <변화이론> 수립 이후 실제 활동을 수행하면서 활동성과의 실현가능성을 향상시키기 위해서 끊임없이 현실조건을 반영하여 수정/변경해야합니다.

 

 

단계5. 각 단계별 지표 설정하기

Developing Indicators

 

지표 설정변화 논리틀이 충분히 구체적으로 도출되었다는 전제에서 진행합니다. ‘지표 설정과정에서 중점적으로 다뤄야 할 것은 활동성과달성 노력의 수행과정과 효과성을 어떻게 측정할 것인가 입니다. , 지표와 관련된 정보를 수집해 가면서, “무엇이 진행되고 있는지”, “무엇이 진행되지 않고 있는지”, 그리고 왜 그런 것인지를 규명할 수 있어야 합니다.

 

지표는 네 가지 요소로 구성됩니다.

 

1) 집단(Population)

누가 바뀌는가? (e.g. 프로그램에 등록한 여성)

2) 목표치(Target)

어느 정도 성공할 것으로 기대하는가? (e.g. 등록 여성의 90%이상)

3) 기준치(Threshold)

어느 정도 수준이 충분한 달성인가?

(e.g. 최소 6개월 동안 시급 12달러의 직업)

4) 시간(Timeline)

언제까지 성과가 발생해야 하는가?

(e.g. 프로그램 수료 후 2달 이내)

 

 

주의사항

- ‘지표는 실제로 측정가능한 변수입니다. (e.g. 평균 시험 점수, 특정 기술에 대한 능숙도 등)

- ‘집단은 사업수행자가 측정할 대상군입니다. (e.g. 프로그램 대상자, 참가자 등)

- ‘기준치성과가 성공적으로 달성 되었다는 것을 보여주는 최소한의 정도입니다.

 

예를 들면,

 

성과1*

*장기적 목표

가정폭력 생존 여성의 독립적 생계유지가 가능한 고용상태

지표

고용률

집단

프로그램 수료자

기준치

최소 시급 12달러의 직업에 최소 6개월이상 직업을 유지한다.

 

 

 

단계6. ‘개입활동 (성과 도출을 위한 기획된 구체적 활동) 파악하기

Identifying interventions

 

개입(Intervention)’은 반드시 성과를 도출하기 위해서 수행해야할 구체적인 활동을 의미합니다.

 

성과로 이어지도록 하기 위해서 모든 논리 관계에 개입이 필요한 것은 아닙니다. 보통 두 가지 경우로 나타날 수 있습니다.

 

1) ‘실선 표시

사전 조건에 해당하는 항목이 충족되면 인위적인 개입활동이 없어도 항목 간에 논리관계가 형성되는 관계를 나타냅니다.

 

2) ‘점선 표시

- ‘성과개입을 통해서 충분한 수준에 도달하지 않을 경우 달성되지 않는 논리 관계를 나타낼 때

- 따라서 점선 표시성과달성을 위해서 추진해야할 활동의 구체적인 내용을 나타냅니다.

- ‘점선 표시끝에 해당하는 성과는 인과관계로 볼 때 종속 변수이다. 따라서 개입효과성을 평가하기 위해서 측정될 필요가 있습니다.

 

 

 

(그림 출처: The Center for Theory of Change)

 

 

 

 

지역공동체 변화를 위한 원탁 아스펜 연구소(The Aspen institute Roundtable on Community Change), 

1992년에 설립된 미국의 아스펜 연구소는 종합적 지역공동체 활동 분야에 종사하는 사람들을 위한 포럼의 역할을 하고 있습니다. 아스펜 연구소가 주최하는 원탁회의는 미국 전역의 재단 관계자, 프로그램 운영기관, 관련 기술 공급자, 평가자, 공공분야 행정기관이 모여 사례를 공유하고 토론하고, 이들이 종사하는 분야가 직면한 문제를 연구하는 자리입니다.

연구소 바로가기

<변화이론 센터(the Center for Theory of Change)> 바로가기









작성자 : NPO지원센터, 작성일 : 2019.10.04, 조회수 : 522

코멘트를 달아주세요!



 목록으로