جامعه و نمونه؛
قبل از تعمیم، ببین چه کسانی فرصت انتخاب داشته‌اند

پرسش پژوهش را در یک جمله بنویس

مشخص کن نتیجه قرار است دربارهٔ چه ویژگی و چه گروهی باشد. جامعهٔ آماری از همین دامنه ساخته می‌شود؛ مکان جمع‌آوری داده لزوماً با جامعهٔ هدف یکسان نیست.

واحد آماری را تعیین کن

ببین هر مشاهده به یک فرد، خانوار، مدرسه، کالا یا واحد دیگری مربوط است. تعداد پاسخ‌ها را با تعداد واحدهای مستقل اشتباه نگیر.

جامعه و نمونه را با «همه» و «بخش انتخاب‌شده» جدا کن

جامعه مجموعه‌ای است که پرسش دربارهٔ آن نتیجه می‌خواهد و نمونه زیرمجموعه‌ای است که داده از آن گردآوری می‌شود. نام هر دو را کامل و با قیدهای زمان و مکان بنویس.

چارچوب نمونه‌گیری را پیدا کن

فهرست، مکان یا کانالی را که افراد از طریق آن قابل انتخاب‌اند مشخص کن. اگر بخشی از جامعه در این چارچوب حضور ندارد، حتی انتخاب تصادفی از فهرست ناقص آن بخش را بازنمی‌گرداند.

روش انتخاب را از رفتار سناریو استخراج کن

ببین افراد چگونه وارد نمونه شده‌اند: انتخاب نظام‌مند، داوطلبانه، در دسترس یا بر پایهٔ سازوکار دیگری. نام روش را همراه با جملهٔ شاهد بنویس.

تصادفی بودن را با بی‌نظمی یکی ندان

انتخاب تصادفی به فرصت و سازوکار انتخاب مربوط است، نه به اینکه پژوهشگر بدون برنامه چند نفر را بردارد. مراحل روش را بررسی کن و گروه‌های بدون فرصت را مشخص ساز.

اندازه و نمایندگی را جدا بسنج

نمونهٔ بزرگ می‌تواند همچنان از چارچوب یا شیوهٔ انتخاب نامناسب اثر بگیرد. اندازه دربارهٔ یک جنبهٔ دقت اطلاعات می‌دهد و نمایندگی دربارهٔ پوشش جامعه؛ این دو را یکسان ندان.

عدم پاسخ را پس از انتخاب تحلیل کن

ممکن است افراد انتخاب شوند اما بخشی پاسخ ندهند. ببین آیا پاسخ‌دهندگان و پاسخ‌نداده‌ها از نظر مرتبط با پرسش تفاوت محتمل دارند و این وضعیت چه محدودیتی برای نتیجه می‌سازد.

سوگیری را با جهت اثر توضیح بده

فقط نام سوگیری را ننویس. مشخص کن کدام گروه بیش‌ازحد یا کمتر دیده شده و این عدم توازن ممکن است بر برآورد ویژگی مورد مطالعه چه اثری بگذارد.

حد تعمیم را متناسب با نمونه بنویس

نتیجه را تا جامعه‌ای گسترش بده که روش انتخاب و چارچوب واقعاً پوشش می‌دهد. دادهٔ یک گروه یا مکان را بدون دلیل به همهٔ افراد تعمیم نده.

یک اصلاح عملی پیشنهاد کن

اصلاح باید همان نقص را هدف بگیرد: گسترش چارچوب، تغییر روش انتخاب، پیگیری عدم پاسخ یا متوازن‌کردن گروه‌ها. برای تحلیل نتیجه از راهنمای داده آماری و برای طرح سناریو از روش تحقیق کمک بگیر.