حكم مقارن تكيفي

الحكم المقارن التكيفي هوتقنية مستعارة من الفيزياء النفسية، قادرة على توليد نتائج موثوقة للتقييم التعليمي -وبالتالي فهوبديل عن وضع العلامات في الامتحانات التقليدية. في هذا النهج، يُقدّم للحُكّام أزواجًا من عمل الطلاب ثم يُطلَب منهم اختيار أيّهما أفضل من الآخر. عن طريق خوارزمية تكرارية وقابلة للتكيف، يمكن بعد ذلك الحصول على توزيع متدرّج لعمل الطالب دون الرجوع إلى معايير.

مقدمة

بدأ وضع العلامات التقليدي للامتحانات في كامبريدج عام 1792 عندما كانت أعداد الطلاب الجامعيين في تزايد، إذ ازدادت أهمية إيجاد ترتيب مناسب للطلاب. لذا في عام 1792، قدم وليام فاريش، مُشرف الاختبارات الجديد، عملية وضع العلامات، وهي عملية يعطي فيها جميع فاحص درجة عددية لكل إجابةٍ من قبل جميع طالب، ويُوضع الطلاب في ترتيب نهائي بناءً على العلامة الإجمالية. لاحظ فرانسيس غالتون (1869) في نحوعام 1863، حتى مرتبة السينيور رانجلر أحرزت 7,634 من أصل 17,000 كحد أقصى، بينما أحرزت الرانجلر الثاني 4,123 (وأحرزت »الوودن سبوون« 237 فقط).

قبل عام 1792، اجتمع فريق من الفاحصين في كامبريدج في الساعة الخامسة مساءً في اليوم الأخير من الامتحان، وقاموا بمراجعة الأوراق الـ 19 التي وضعها جميع طالب –ونشروا ترتيبهم في منتصف الليل. حلّ وضع العلامات مشاكل الأعداد المتزايدة من الطلاب ومنع التحيز الشخصي غير العادل من قبل الفاحصين، وكان إدخاله خطوة نحواختبار موضوعي حديث، بالشكل الأنسب له. ولكن تكنولوجيا الاختبار التي تلت ذلك، بهجريزها بشكل كبير على الموثوقية وأتمتة العلامات، كانت شريكًا غير مريح لبعض مجالات التحصيل التعليمي: يحتاج تقييم الكتابة أوالتحدث وأنواع الأداء الأخرى إلى شيء أكثر نوعيةً وتحكيمًا.

تقنية الحكم المقارن التكيفي هي بديل عن وضع العلامات. وهي تعود إلى فكرة ما قبل عام 1792 حول فرز الأوراق وفقًا لجودتها، لكنها تحتفظ بضمان الموثوقية والإنصاف. وتعتبر الطريقة الأكثر موثوقية لتقييم الموضوعات أوالعروض الأكثر تعقيدًا. وهي أيضًا أبسط بكثير من وضع العلامات، وقد فضلها جميع الفاحصين الذين جربوها. تكمن الجاذبية الحقيقية للحكم المقارن التكيفي في كيفية إعادة استخدام الاحترافية في نشاط التقييم وإعادة دمج التقييم مع التفهم.

تاريخ

قانون ثورستون للحكم المقارن

«لا وجود للحكم المطلق» –ليمنغ (2004)

بدأ فهم الحكم المقارن مع لويس ليون ثورستون، رائدُ الفيزياء النفسية من جامعة شيكاغو. إذ اقترح عدة طرق لبناء مقاييس لقياس الإحساس وغيرها من الخصائص النفسية. كان أحدها قانون الحكم المقارن (ثورستون، 1927إيه، 1927بي)، الذي حدد طريقة رياضية لنمذجة فرصة حتى «يهزم» إنسان ما الشخص الآخر في مقارنة، مع إعطاء قيم لـ «جودة» جميع واحد منهما. هذا جميع ما مطلوب لبناء نظام قياس كامل.

يوضّح تباين في نموذجه (انظر مقارنة بّيروايز ونموذج بي تي إل) حتى الفرق بين قيم جودتهما يساوي لوغاريثم احتمالات تغلب الشخص A على الشخص B.

قبل توفر أجهزة الكمبيوتر الحديثة، كانت الرياضيات اللازمة لحساب «قيم» جودة جميع إنسان تعني أنه لا يمكن استعمال الطريقة إلا مع مجموعات صغيرة من الأشخاص، وكان تطبيقها محدودًا. بالنسبة إلى ثورستون، كانت العناصر المدروسة عمومًا تعبير عن أحاسيس، مثل الشدة أوالمواقف كخطورة الجرائم أوالآراء. واصل الباحثون الاجتماعيون استخدام هذه الطريقة، كما عمل الباحثون الترويجيون الذين قد تكون العناصر المدروسة لديهم تخطيطات مختلفة لغرف الفنادق أوأشكال مختلفة لمقترح بسكويت جديد.

في السبعينيات والثمانينيات من القرن العشرين، ظهر الحكم المقارن لأول مرة تقريبًا في التقييم التعليمي، كأساس نظري أوسلف لنظريات الصفات الكامنة أوعناصر الإجابة (أندريش، 1978). أصبحت هذه أصبحت الآن معاييرًا، خاصةً في الأنظمة البنكية والاختبارات التكيّفية.

إعادة إدخاله في التعليم

كانت أول ورقة منشورة تستخدم الحكم المقارن في التعليم هي لبوليت وموراي (1994)، وهي في الأساس ورقة بحثية تتعلق بطبيعة مقياس الكفاءة في اللغة الإنجليزية التي قُيّمت في جزء المحادثة لامتحان «سي بّي إي» في كامبريدج. كانت العناصر المدروسة هي المرشّحين للاختبار، ويمثّلهم مقتطفات مدتها دقيقتين من تسجيلات فيديولجلسات اختبارهم، وكان الحكام من طلاب الدراسات العليا المختصّين في فهم اللغويات دون تدريب مسبق على عملية التقييم. قارن الحكّام بين أزواج من مقاطع الصوت والصورة، إذ قاموا ببساطة بالإبلاغ عن رأيهم حول الطالب الأفضل، ثم قُوبلوا واقعيًا لتوضيح مسببات قراراتهم.

بعد ذلك، قدم بوليت الحكم المقارن إلى اللجان المانحة في المملكة المتحدة، بمثابة طريقة لمقارنة معايير المستوى «إيه» في لجان مختلفة. استبدل الحكم المقارن طريقتهم الحالية التي تتطلب الحكم المباشر للنص باستخدام معيار رسمي للجنة ما. خلال أول سنتين أوثلاث سنوات من هذا، نفذ بوليت جميع التحليلات لجميع اللجان، وذلك باستخدام برنامج كان قد كُتب لهذا الغرض. أصبح الحكم المقارن على الفور الكيفية التجريبية الوحيدة المستخدمة للتحقيق في مقارنة الامتحانات في المملكة المتحدة؛ التطبيقات لهذا الغرض من 1996 إلى 2006 موصوفة بالكامل في براملي (2007).

في عام 2004، قدم بوليت ورقة في مؤتمر الرابطة الدولية للتقييم التعليمي بعنوان «دعونا نتوقف عن وضع العلامات الاختبارية»، وآخر في نفس المؤتمر في عام 2009 بعنوان «إلغاء العلامات». كان الهدف من جميع ورقة هوإقناع مجتمع التقييم بوجود مزايا هامة لاستخدام الحكم المقارن بدلاً من وضع العلامات على بعض أنواع التقييم. في عام 2010، قدم ورقة في جمعية التقييم التعليمي في أوروبا بعنوان «كيفية تقييم الكتابة بطريقة موثوقة وسليمة»، والتي قدمت دليلاً على الموثوقية العالية للغاية المحققة باستخدام الحكم المقارن في تقييم مهارة تلاميذ المدارس الابتدائية في الكتابة باللغة الأم الإنجليزية.

الحكم المقارن التكيفي

يصبح الحكم المقارن كبديل لوضع العلامات قابلاً للتطبيق عندما يُنفّذ كنظام تقييم معتمِد على الويب. وفيه يُعاد تقدير «الدرجات» (معامل التغيير النموذجي لكل عنصر) بعد جميع «جولة» من التحكيم والتي، في المتوسط، يُقيّم جميع عنصر فيها مرة أخرى. في الجولة التالية، يُقارن جميع نص فقط بنموذج آخر مشابه بالدرجة الُمقدّرة، مما يزيد من كمية المعلومات الإحصائية الموجودة في جميع تقييم. نتيجة لذلك، تكون عملية التقدير أكثر كفاءة من الاقتران العشوائي أوأي نظام اقتران محدد مسبقًا، مثل تلك المستخدمة في تطبيقات الحكم المقارن الكلاسيكية (بوليت، 2012).

كما هوالحال مع الاختبار المعتمد على الكمبيوتر، فإن هذه القدرة على التكيف تزيد من فعالية عملية التقييم، مما يزيد التباعد بين الدرجات ويقلل من الأخطاء القياسية. الميزة الأكثر وضوحًا هي ما ينتج عنه من دقّة معززة بشكل كبير، مقارنة بالتقييم عبر وضع علامة، دون فقدان صحة المعلومات.

وبخصوص ما إذا كان الحكم المقارن التكيفي يزيد الموثوقية حقًا، فهوأمر غير مؤكد. (براملي، فيتيلو، 2016).

مراجع

^ Thurstone, L L (1927a). Psychophysical analysis. American Journal of Psychology, 38, 368-389. Chapter 2 in Thurstone, L.L. (1959). The measurement of values. University of Chicago Press, Chicago, Illinois.
^ Thurstone, L L (1927b). The method of paired comparisons for social values. Journal of Abnormal and Social Psychology, 21, 384-400. Chapterسبعة in Thurstone, L.L. (1959). The measurement of values. University of Chicago Press, Chicago, Illinois
^ Bramley, T (2007) Paired comparison methods. In Newton, P, Baird, J, Patrick, H, Goldstein, H, Timms, P and Wood, A (Eds). Techniques for monitoring the comparability of examination standards. London, QCA.
^ Pollitt, A (2012) The method of Adaptive Comparative Judgement. Assessment in Education: Principles, Policy & Practice. 19: 3, 1-20. DOI:10.1080/0969594X.2012.665354
^ Bramley, T and Vitello, S (2016) The effect of adaptivity on the reliability coefficient in adaptive comparative judgement. Assessment in Education: Principles, Policy & Practice. 26: 1, 43-58. DOI:10.1080/0969594X.2017.1418734