دو پرسش کلیدی
برای روایی بپرسید «شاخص انتخابشده نمایندهٔ مفهوم هدف هست؟» و برای پایایی بپرسید «اگر سنجش در شرایط مشابه تکرار شود، نتیجهها چقدر سازگارند؟». این دو معیار به دو جنبهٔ متفاوت کیفیت ابزار نگاه میکنند.
ممکن است هر بار نتیجهای مشابه بدهد، ولی چیز دیگری غیر از مفهوم موردنظر را اندازه بگیرد.
الگوی چهارمرحلهای بررسی
مفهوم یا ویژگی مورد سنجش را مشخص کنید.
ببینید ابزار واقعاً چه چیزی ثبت میکند.
سازگاری نتیجهها در تکرار را بررسی کنید.
روایی و پایایی را جدا و دلیلدار بنویسید.
نمونهٔ ساختاری پاسخ
وضعیت فرضی: ابزاری برای سنجش مفهوم الف ساخته شده، اما فقط ویژگی ب را ثبت میکند و در هر بار استفاده تقریباً همان نتیجه را میدهد.
پاسخ: ابزار پایایی مناسبی دارد چون نتیجههای تکراری سازگارند؛ اما روایی آن برای سنجش الف پایین است، زیرا شاخص ب نمایندهٔ کافیِ مفهوم الف نیست.
نشانههای روایی
- همخوانی سؤالها یا شاخصها با تعریف مفهوم؛
- پوشش جنبههای اصلی و حذف عوامل نامرتبط؛
- تناسب روش سنجش با هدف پژوهش؛
- وجود مبنای روشن برای تفسیر نتیجه.
نشانههای پایایی
- نتیجههای نزدیک در تکرارهای همشرایط؛
- روش اجرا و امتیازدهی یکسان؛
- کمبودن اثر نوسانهای تصادفی؛
- ثبات مناسب میان بخشها یا نوبتهای مشابه.
چهار حالت مفهومی
| وضعیت | برداشت |
|---|---|
| هدف را درست و باثبات میسنجد | روایی و پایایی مناسب |
| نتیجه باثبات اما شاخص نامرتبط | پایایی مناسب، روایی ضعیف |
| شاخص مرتبط اما نتیجه بسیار ناپایدار | روایی بالقوه، پایایی ضعیف |
| شاخص نامرتبط و نتیجه ناپایدار | هر دو ضعیف |
رابطه با دقت و صحت
دقت و صحت بیشتر دربارهٔ الگوی اندازهگیری و نزدیکی به مرجع بحث میکنند. روایی و پایایی کیفیت یک ابزار یا روش سنجش را نسبت به مفهوم هدف و ثبات نتیجه بررسی میکنند. این واژهها نزدیکاند اما در پاسخ، معیار هرکدام را صریح نگه دارید.
چگونه روایی را بهتر کنیم؟
تعریف مفهوم هدف را روشن کنید، شاخصهای نامرتبط را حذف و جنبههای اصلی را پوشش دهید. روش سنجش را با نوع مفهوم هماهنگ کنید. افزودن سؤالهای بیشتر فقط وقتی مفید است که بخشهای لازم مفهوم را بهتر نمایندگی کنند.
چگونه پایایی را بهتر کنیم؟
دستور اجرا، شرایط سنجش و معیار امتیازدهی را یکسان کنید، ابهام را کاهش دهید و از تکرار یا نمونهٔ کافی برای دیدن نوسان بهره ببرید. رفع بیثباتی نباید ابزار را از هدف اصلی دور کند.
پایایی بالا برای نتیجهٔ معتبر کافی نیست
اگر ابزار هر بار یک خطای ثابت یا یک مفهوم نامرتبط را اندازه بگیرد، نتیجهها سازگارند اما پاسخ پرسش اصلی را نمیدهند. پس در ارزیابی ابزار، ابتدا تناسب با هدف و سپس ثبات اجرا را جدا بررسی کنید.
خطاهای رایج
- تعریف هر دو مفهوم با واژهٔ «درستبودن»؛
- نتیجهگیری روایی فقط از تکرارپذیری؛
- نتیجهگیری پایایی فقط از مرتبطبودن سؤالها؛
- ارزیابی ابزار بدون مشخصکردن مفهوم هدف؛
- فرض اینکه سؤالهای بیشتر همیشه روایی را بالا میبرند؛
- نوشتن یک داوری مشترک بدون دلیل جدا.
تمرین «هدف، شاخص، تکرار»
برای هر ابزار سه ستون بسازید: مفهوم هدف، چیزی که واقعاً ثبت میشود و الگوی نتیجههای تکراری. دو ستون اول برای روایی و ستون سوم برای پایایی استفاده میشوند. سپس دو داوری مستقل بنویسید.
چکلیست پایان پاسخ
- آیا مفهوم هدف سنجش روشن است؟
- آیا شاخص واقعاً همان مفهوم را نمایندگی میکند؟
- آیا نتیجههای تکراری در شرایط مشابه بررسی شدهاند؟
- آیا روایی و پایایی را جدا داوری کردهام؟
- آیا برای بهبود هرکدام راهکار متناسب نوشتهام؟