هر ابزار را با دو پرسش بسنج: «چه چیزی را واقعاً میسنجد؟» و «اگر تکرار شود چقدر نتیجه ثابت میماند؟».
۱. ترازو
وضعیت: ترازو هر بار وزن را دقیقاً دو کیلوگرم بیشتر نشان میدهد. روایی و پایایی را بررسی کن.
پاسخ
اندازهگیریها ثابت و بنابراین پایایی ظاهری بالا دارند، اما به علت خطای ثابت، روایی اندازهگیری وزن پایین است.
۲. آزمون املا
وضعیت: برای سنجش درک مطلب، فقط املای واژهها آزموده شده است. مشکل اصلی چیست؟
پاسخ
روایی پایین است؛ ابزار مهارت املا را میسنجد و پوشش مناسبی برای سازهٔ درک مطلب ندارد.
۳. زمانسنج ناپایدار
وضعیت: زمانسنج برای یک بازهٔ ثابت هر بار عدد متفاوتی نشان میدهد. مشکل چیست؟
پاسخ
پایایی پایین است؛ اندازهگیری تکراری در شرایط یکسان ثبات ندارد.
۴. پرسشنامهٔ خواب
وضعیت: پرسشنامه فقط ساعت خواب را میپرسد اما نتیجه را «کیفیت کامل خواب» مینامد. ارزیابی کن.
پاسخ
روایی سازه محدود است؛ کیفیت خواب ابعاد دیگری مانند بیداری، پیوستگی و احساس استراحت دارد.
۵. دو تصحیحکننده
وضعیت: دو مصحح از یک معیار استفاده میکنند اما به پاسخهای یکسان نمرههای بسیار متفاوت میدهند.
پاسخ
پایایی بین مصححان پایین است؛ معیار باید روشنتر شود و نمونهٔ پاسخ برای همسانسازی تصحیح به کار رود.
۶. دماسنج
وضعیت: دماسنج با مقدار مرجع سازگار است و در تکرار عددهای نزدیک میدهد.
پاسخ
شواهد هم به روایی اندازهگیری و هم به پایایی آن کمک میکنند؛ سازگاری با مرجع و ثبات تکرار دو معیار جدا هستند.
۷. سؤال جهتدار
پرسش: «چقدر با روش عالی جدید موافقید؟» چه اثری بر روایی دارد؟
پاسخ
واژهٔ «عالی» پاسخ را جهت میدهد و روایی سنجش نگرش را کاهش میدهد؛ پرسش باید خنثی بازنویسی شود.
۸. بهبود ابزار
وضعیت: نمرهٔ یک آزمون کوتاه با تکرار بسیار تغییر میکند. دو راه بهبود پیشنهاد کن.
پاسخ
تعداد و پوشش سؤالها را متناسب افزایش بده و شرایط اجرا و تصحیح را استاندارد کن؛ سپس ثبات تکرار را دوباره بسنج.
چطور خودتصحیح کنی؟
برای هر پاسخ «تناسب با مفهوم»، «مقایسه با معیار» و «ثبات تکرار» را جدا بررسی کن؛ بالا بودن یکی دیگری را تضمین نمیکند.