★プロセス評価の解説

プロセス評価では、企画・運営の内容(質問構成、配布・回収方法、時期、人員、予算、協力体制等)が適切であったかどうかを評価すると書きましたが、その評価指標はどうなっているのでしょうか。

具体的には以下のようなものです。
・現状分析と課題が明確になっているか
・調査目的が明確になっているか
・調査対象集団の設定は適切か
・地域の資源(既存の報告書、資料等)は十分活用出来ているか
・正しい目標が設定されているか
・目標設定において見直し、保留、削除等話し合えたか
・適切な評価指標が設定できたか
・専門チームを設置し関連部署を含めた会議を有効に実施出来たか
・実施主体、連携先、関連する部署、等との役割分担は明確か
・責任者の権限が明確になっているか
・必要人員、機材、スタッフの確保は十分か
・委託先の有無 ある場合委託先選定の基準は作られているか
・委託先と内容の打ち合わせ項目が明確になっているか
・委託先との実施状況、報告等の義務を課しているか
・個人情報への配慮は実施したか
・個人情報の管理体制は設置したか
・不慮の事故(郵送、データ紛失、漏洩、業者選定ミス、・・)への対応策は

実際にはもっと出てきますが、以上のような項目が評価指標として上げられます。

これらは主観的データそのものです。このまま「出来た」「出来ていない」とチェックすると判定者により誤差が生じる可能性があります。特に第三者に評価してもらうことが出来ず主体者自身が自らを評価する場合いかに客観的に見ているかが問われます。

プロセス評価では、この主観的データにいかに信頼性を与えるかが大きな焦点となります。
「いかに客観的に見ているか」が重要な点ですので、単純に「出来た」「出来ていない」のチェック表を作ることは慎みます。
1つ1つの項目に対して「出来た」「出来ていない」の基準を作ることから始めます。基本となる考え方は、主観的データも事実をいくつも積み上げると客観性を帯びてくるということです。

例えば、「調査目的が明確になっているか」について考えると、
1.地域の問題、課題が明確化され、大・中・小目標がある。
2.その問題、課題は客観的データから導かれたものである。
3.問題点、課題について要因の絞り込みを行った。
4.要因の絞り込みはデータに基づくものであった。
5.絞り込みの手法は適切であった。(ルールに従った)。
6.関連部署を含めた参加者の参加率が8割以上を占める回数が7割以上。
7.議事録は毎回とっている。
8.「目的」「目標」「指標」がきちんと整理され関連付けられている。
9.一覧表として提示出来るものがある。

いくつも出てくると思いますが、最低でも5個以上は欲しいところです。
また、これらについて各々実際の証拠となる資料やデータ、報告書などが示されることが前提になっています。記憶より記録を重視しています。
これらの項目を例えば8割以上満たす場合「調査目的が明確になっていると評価する」と基準を作り上げます。基準は3〜5段階評価で行われるのが普通で、それぞれの段階に応じてチェック数を割り振ります。

いかがでしょうか。確かに以上の条件をクリアしていれば、誰も文句は言わないでしょう。また、判定者によるバラツキも最小に抑えられることも出来ます。

このように主観的データをいくつも積み上げて客観性を持たせることで評価することが可能となります。
ややもすれば、自分たちに都合の良いように判定出来る項目に対し事前に評価基準を設定していることは第三者にとって信頼感を与えますし、自分たちでも十分納得が出来、自信を持って結論を述べることが出来る事と思います。

ただし、注意点として、基準設定では、常識の範囲内で設定されたものでなければいけません。基準値は誰が見てもこれならと納得いく範囲で設定します。自分たちの都合で設定されたいわゆる非常識な設定をいくら積み上げても客観性は得られません。中にはいいものを積み上げているのに1つだけ自己よがりの(非常識の)基準があると、それだけで信頼性を失うことになるので基準の設定にはそれなりの厳格さが求められます。

これまで、最初から読んで頂いた方はおわかりと思いますが、各章の文章末尾にまとめとして、あげているのは、その章におけるこれらプロセス評価に関連した内容を多く含んでいますので、これらを参考にしてプロセス評価指標を作られるのも良いと思います

前へ     5ページ目/全6ページ   次へ    top