إن التقييم التجميعي لا يتعلق فقط بقياس الأثر. فمن الممكن أن يركز التقييم الذي يُجرى في نهاية أي برنامج على مجموعة واسعة من المصالح المختلفة مثل تحقيق فعالية التكلفة وإعداد مواد توعوية مناسبة ووضع استراتيجيات تنفيذ فعالة.
لكن الناس يريدون بشكل عام معرفة الفرق الذي أحدثه البرنامج، أي تأثيره على المؤسسة ومتلقي التوعية والجمهور المستهدف والمستفيد من البرنامج. بل وحتى تحليل التكاليف والمنافع يفترض وجود بعض الفهم للتأثير الذي أحدثه البرنامج ومقارنته بتكاليف البرنامج.
لكن قياس الأثر الذي يحدثه أي تدخل اجتماعي ليس بالمهمة السهلة لأن:
· الأهداف تتحرك.
· من الصعب تحديد المؤشرات.
· من الصعب التحكم في المدخلات والعمليات.
- من الممكن أن يواجه البرنامج بعض المعوقات.
وقد يكون من المفيد تشبيه هذا الأمر بإحدى الألعاب الموجودة في مدن الألعاب الترفيهية. ففي اختبار للقوة (وكوسيلة للحصول على أموال الزبائن التي يكسبونها بشق الأنفس أملاً في إبهار أصدقائهم)، غالباً ما يوجد في هذه المدن لعبة تسمى "دق الجرس واكسب". وتتكون اللعبة من هدف يراد إصابته ومطرقة وعمود طويل يوجد في أعلاه جرس يدق إذا ما كان أثر المطرقة على الهدف قوياً بما فيه الكفية.
وفي هذه العملية، هناك مجموعة من المؤشرات (عادةً ما تُستخدم في البداية عبارات تنتقص من قدر الشخص الذي يتناول المطرقة، ثم يتم تشجيع الشخص على المحاولة مرة أخرى لكي يصيب الجرس ويحصل على الجائزة)؛ وهناك هدف واضح؛ وهناك مدخلات بسيطة جداً (شخص ومطرقة)؛ ومجموعة من العمليات المحتملة (كيفية تحريك الشخص للمطرقة)؛ وأثر يمكن قياسه (على افتراض أن اللعبة بأكملها لم يحدث فيها تلاعب).
يا ليت أن العمليات الاجتماعية، التي تعد التوعية واحدة منها، كانت بهذه البساطة.
الهدف المتحرك
في المقام الأول، فإن المناقشات الدائرة حول أثر البرامج تظهر فيها بعض الافتراضات عن الهدف. إذ يُفترض أن الهدف هو هدف معلوم، وأن البرنامج موجه نحو هذا الهدف بعينه، وأن الهدف لا يتعرض لأي برامج أو عمليات تعلم أخرى بديلة.
لكن الناس في حراك وتغير دائمين نتيجة لمجموعة مختلفة من الأنشطة والفرص الاجتماعية. ومن المستبعد في برامج التوعية، مثل برامج توعية الناخبين والتربية المدنية، أن يكون هناك إلمام بكل ما يتعلق بالجمهور الذي أُعدت له هذه البرامج. ولأن تنفيذ البرامج يحتاج إلى متسع من الزمان والمكان، فمن المرجح ألا تتلقاها المجموعة المستهدفة فقط وإنما مجموعات أخرى أيضاً، كما أن المجموعة المستهدفة قد تتغير في الحجم أو النطاق كلما اتضحت الصورة أكثر خلال تنفيذ البرنامج.
وعلى الرغم من الصعوبات، فكلما زادت المعرفة بجمهور الناخبين المتلقي لبرامج التوعية، بما في ذلك وضع خط أساس للبرامج (انظر دراسات خط الأساس)، زاد احتمال تعرض متلقي التوعية لبرنامج واحد فقط أو احتمال أن يأخذ التقييم في الاعتبار جميع البرامج التي يتلقاها الجمهور المستهدف. وكلما كان التقييم متقبِلاً للتغيرات الحاصلة في جمهور الناخبين المستهدف، كان تقدير أثر البرنامج أكثر موثوقية.
مؤشرات الأثر
في مدينة الألعاب الترفيهية، يُعَد دق الجرس مؤشراً للنجاح وفي الوقت نفسه الهدف من العملية بأكملها. وهناك ارتباط وثيق بين أهداف البرنامج (التي يصفها البعض ببيانات النتائج) وبين مؤشرات البرنامج. فإذا كان يراد إجراء تقييم تجميعي للبرنامج، فإنه ينبغي وضع مجموعة من المؤشرات في نفس الوقت الذي تصاغ فيه الأهداف.
والأسئلة التي يطرحها المخططون هي:
· كيف نستطيع معرفة أن هدفنا قد تحقق؟
- كيف نستطيع قياس مدى تحقُق الهدف؟
قد تكون هناك مجموعة من المؤشرات لكل هدف، أو بدلاً من ذلك مؤشر مركزي واحد يؤكد صلاحية المجموعة الكاملة من الأهداف. ويبحث المخططون عن ذلك الحل السحري، لكنه مجرد درب من الخيال.
نسبة بطاقات الاقتراع التالفة والباطلة ونسبة إقبال الناخبين كمؤشرَين
يميل أخصائيو توعية الناخبين إلى اعتبار أن مؤشر بطاقات الاقتراع التالفة والباطلة هو ذلك الحل السحري. فإذا كان الهدف من برنامج توعية الناخبين هو ضمان تمكُّن الناخبين من التصويت، فإن من المنطقي أن يكون انخفاض النسبة المئوية لبطاقات الاقتراع التالفة والباطلة دليلاً على نجاح برنامج التوعية.
لكن النسبة المئوية لبطاقات الاقتراع التالفة والباطلة يمكن أن تتأثر بعوامل أخرى عديدة:
· قد يكون هناك تصميم جيد جداً لبطاقات الاقتراع.
· قد يُسمح للناخبين بالحصول على المساعدة في مكان التصويت.
· قد يكون تعريف بطاقة الاقتراع الصحيحة تعريفاً فضفاضاً للغاية وقد يكون المسؤولون عن فرز الأصوات أسخياء في تحديد الأصوات المقبولة.
- قد يؤدي حشو صناديق الاقتراع بالأصوات أو غير ذلك من أشكال الغش في الانتخابات إلى امتلاء الصناديق ببطاقات اقتراع جاهزة بدلاً من بطاقات الناخبين الذين لم يتلقوا برامج توعية أو إعداداً كافياً.
أو قد يكون أن أحد أهداف برنامج توعية الناخبين هو تحفيز الناس على التصويت. في هذه الحالة تعد نسبة الإقبال من المؤشرات الواضحة.
وكما هو الحال مع بطاقات الاقتراع التالفة، فمن الممكن أن يكون هناك العديد من التفسيرات البديلة:
· قد تكون الشمس مشرقة.
· ربما استطاع المتنافسون السياسيون توليد اهتمام كبير لدى الناس في القضايا أو النتائج.
· قد تكون للانتخابات أهمية اجتماعية كبيرة.
· قد تكون الحوافز المادية أو التهديدات بالانتقام من أسباب ارتفاع نسبة الإقبال.
- قد تكون إحصاءات نسب إقبال الناخبين تعرضت للتلاعب على يد مسؤولي الانتخابات.
لذلك يجب على المقيِّمين فحص المؤشرات بعناية للتأكد من أن دلالتها تقتصر على قياس أثر البرنامج. أو ربما يتوجب عليهم أن يبحثوا فيما إذا كانت هذه التفسيرات البديلة صحيحة أم لا، رغم ما يتطلبه ذلك من تكلفة ووقت، وأن يحاولوا عن طريق الاستبعاد إظهار أثر البرنامج نفسه.
كما أن المؤشرات التي تركز على العوامل الشخصية فقط لا تتوافق مع الأثر الكامل للبرنامج على المجتمع. فقياس أثر البرنامج على المجتمع الأكبر يتطلب وضع افتراضات عن السبب والنتيجة يصعب كثيراً وصفها ناهيك عن قياسها.
المدخلات والعمليات
إن وضع المؤشرات هو بلا شك مهمة صعبة. لكن الأمر الأكثر صعوبة هو التحكم في المدخلات والعمليات التي قد تؤدي إلى إحداث أثر، خاصة وأن بعضها ربما يكون غير مرئي أو غير مقصود. وقد تحدد الخطة مدخلات معينة وتصف طرقاً معينة لتنفيذ البرنامج (العملية)، إلا أن إنهائه بنجاح قد يتأتى نتيجة بعض المتغيرات التي لم يتم توقعها أو الإبلاغ عنها.
وقد يلاحظ هذه المتغيرات من البداية المقيِّمون الذين يشاركون في البرامج أو الذين يستخدمون أساليب تشجع ملاحظة المشاركين وجمع البيانات. وقد يلاحظ الباحث الحاذق أموراً غريبة لا يمكن تفسيرها إلا من خلال البحث عن العوامل غير المسجَلة، وقد يستطيع عندئذ تفسيرها.
ولكن كلما كبر حجم البرنامج ازدادت صعوبة متابعة المدخلات والعمليات، وكذلك، من خلال التقييم، عزو أثر البرنامج إلى واحدة منها أو الأخرى، أو عزو عدم وجود أثر إلى واحدة منها أو الأخرى، ما عدا في حالة الأمور الإجمالية أو الواضحة.
وهناك مجموعة معينة من الأحداث التدريبية قد تفيد كثيراً في إنتاج مدربين فعالين:
· قد يكون ذلك نتيجة لبرنامج التدريب الذي تم إعداده واستخدامه.
· قد يتوقف أيضاً على شخصية المدرب ومهاراته.
· قد يكون السبب أن جميع المشاركين كانوا في حد ذاتهم مدربين فعالين.
- ربما كان المشاركون تابعين لمنظمة قدمت لهم دعماً متواصلاً وأجْرَت تقييماً مستمراً لمدى تقدمهم.
المعوقات المحتملة
في لعبة "دق الجرس"، قد لا يدق الجرس ليس بسبب ضعف أثر المطرقة وإنما بسبب وضع صاحب اللعبة أداة خفية تمنع نجاح اللاعب.
وهناك العديد من الأسباب المحتملة لعجز البرنامج عن تحقيق أهدافه على الرغم من تنفيذ جميع مراحله "كما يقول الكتاب". ولا يتيسر دائماً فهم هذه الأسباب أو تحديدها بشكل كامل.
ولا يمكن إلقاء اللوم على برنامج توعية الناخبين إذا ما سُرقت الانتخابات. فقد يكون شعور المواطنين باللامبالاة، حتى بالرغم من تنفيذ برنامج موسع للتربية المدنية، ناتجاً عن نظام سياسي يعمل على عدم تمكين المواطنين وليس عن برنامج سيء الإعداد أو التنفيذ.
الخلاصة
إن تحديد أثر أي برنامج يتطلب الحصول على معلومات أساسية عن الجمهور المستهدف، ووضع مؤشرات مدروسة بعناية ومعلَنة بتواضع، ووجود القدرة على إبراز وتأمل الأسباب البديلة للنجاح أو عدم النجاح الظاهر للبرنامج، وكذلك اكتساب معرفة واسعة ليس فقط بالخطة وإنما أيضاً بعملية التنفيذ الفعلية.
ومن الصعب تحقيق كل هذه المتطلبات حتى في التدخلات البرنامجية الصغيرة والمحدودة. لذلك فإنه في البرامج الوطنية الكبيرة يصبح من الصعب جداً قياس الأثر بأي درجة من اليقين.
ولذلك يجب على المقيِّمين أن يفكروا في التقييم التجميعي بقدر من الحذر وأن يطوروا مجموعة من الوسائل لإيصال قيمة البرامج بدلاً من الإدلاء بتصريحات بليغة عما أحدثته من تغيير في العالم.
