نظرسنجي يك فعاليت علمي است كه داراي مراحل مختلفي است و اعتبار يك نظرسنجي منوط به اجراي درست همه اين مراحل است. بديهي است هركدام از اين مراحل به درستي انجام نشود روي كل فرآيند نظرسنجي تاثير گذاشته و اعتبار نتايج را با خدشه مواجه مي‌كند. يكي از مراحل حساس يك نظرسنجي تحليل آن و برداشتي است كه از داده‌هاي خام مي‌شود. به وفور اتفاق مي‌افتد كه از نتيجه يك نظرسنجي به دلايل مختلف برداشت‌هاي ناصحيح مي‌شود و اين برداشت ناصحيح نه‌تنها كمكي به جريان سياستگذاري در آن موضوع نمي‌كند بلكه ممكن است سياست‌گذار را به مسيري غلط سوق دهد. در تحليل نتايج نظرسنجي‌ها و همچنين مقايسه‌هاي احتمالي بين نتايج نظرسنجي‌هاي مختلف بايد ملاحظات زيادي مدنظر قرار گيرد كه از اين ميان در اين يادداشت به 5 مورد اشاره مي‌شود.
1- دقت در تحليل نتايج با توجه به نوع سوال
تجربه 19 ساله ايسپا در انجام نظرسنجي نشان مي‌دهد تغييري اندك در يك سوال يا گزينه‌هاي سوال ممكن است منجر به نتايج متفاوت شود؛ لذا همواره در تحليل نتايج يا مقايسه‌هاي احتمالي نتايج نظرسنجي‌ها، بايد شيوه طرح سوال را در نظر گرفت. در اين زمينه مثال‌هاي متعددي مي‌توان ذكر كرد. به عنوان مثال، ايسپا تاكنون 7 طرح نظرسنجي در خصوص شيوع ويروس كرونا انجام داده است كه در اين 7 طرح، سوالات مختلفي مورد بررسي قرار گرفته است. يكي از اين سوالات در خصوص ترس و نگراني از ابتلا به كروناست. نتايج ايسپا نشان مي‌دهد وقتي صحبت از نگراني يا ترس خود فرد از ابتلا به كرونا مطرح مي‌شود نگراني بسيار كمتر از زماني است كه صحبت از نگراني از ابتلاي خود يا يكي از اعضاي خانواده است. در نظرسنجي ايسپا و دفتر مطالعات اجتماعي شهرداري تهران در تاريخ 16 تا 19 فروردين، 51 درصد مردم تهران گفته‌اند به ميزان زياد از ابتلاي خود يا خانواده‌شان به كرونا نگرانند اما وقتي همين سوال يك هفته بعد در سطح ملي اين گونه مطرح مي‌شود كه «چقدر از ابتلاي خود به كرونا مي‌ترسيد؟» 36 درصد اظهار كرده‌اند به ميزان زيادي مي‌ترسند. مقايسه نتايج اين دو سوال كار درستي نيست چون حتي اگر تفاوت جامعه آماري در نظر گرفته نشود دست كم در دو مقوله تفاوت وجود دارد. اول اينكه در سوال اول در مورد خود و خانواده سوال شده اما در سوال دوم فقط در مورد خود فرد سوال شده است. بسياري افراد هستند كه نگراني در مورد ابتلاي خود ندارند اما از ابتلاي پدر يا مادرشان به كرونا نگرانند. تفاوت دوم ناشي از تفاوت كلمه ترس و نگراني است. ترس يك مرحله بعد از نگراني است و بار معنايي منفي‌تري دارد و ممكن است بسياري افراد از اينكه اظهار كنند از چيزي مي‌ترسند ابا داشته باشند اما همان فرد ممكن است در مورد آن مساله اظهار نگراني كند. يا در نظرسنجي هفته آخر فروردين پژوهشگاه فرهنگ، هنر و ارتباطات 61 درصد افراد ساكن در مراكز استان‌ها گفته‌اند از ابتلاي خود يا خانواده‌شان به كرونا نگراني زيادي دارند. اما اگر در نظرسنجي كه همزمان توسط ايسپا انجام شده فقط جامعه شهري را در نظر بگيريم (و روستاها را از تحليل كنار بگذاريم) 35.7 درصد گفته‌اند از ابتلا به كرونا مي‌ترسند. اين نتايج نشان مي‌دهد تا چه حد مطرح كردن سوالات به گونه متفاوت باعث نتايج متفاوت مي‌شود كه بايد در تحليل مد نظر قرار بگيرد. به عنوان يك مثال ديگر مي‌توان از انجام ملاحظات بهداشتي در ايام كرونا نام برد. در نظرسنجي‌اي كه 17 تا 20 فروردين توسط ايسپا و با مشاركت ستاد عمليات مبارزه با بيماري كرونا در كلانشهر تهران انجام شد چند گزينه براي پاسخگويان خوانده شد و از آنها خواسته شد بگويند كدام‌يك از اين موارد را در ايام نوروز رعايت كرده‌اند. يكي از اين گزينه‌ها، «شستن دست‌ها هر يك ساعت به مدت 20 ثانيه» بود. 68 درصد از پاسخگويان اين گزينه را انتخاب كرده بودند. در يك نظرسنجي ديگر كه يك هفته بعد در سطح ملي توسط ايسپا انجام شد چند گزينه براي پاسخگويان خوانده شد و از آنها خواسته شد بگويند «طي يك هفته گذشته كدام‌يك از اين موارد را معمولا انجام داده‌ايد؟» يكي از گزينه‌ها «شست‌وشوي مرتب دست‌ها يا ضد عفوني كردن آن» بود كه 93.2 درصد اين گزينه را انتخاب كردند. فارغ از تفاوت در جامعه آماري دو نظرسنجي (اولي در تهران و دومي در سطح كل كشور) بخشي از تفاوت ناشي از كلمات استفاده‌شده در گزينه‌هاي سوال بوده است. در اولي كه در تهران انجام شده قيد شستن در هر ساعت و به مدت 20 ثانيه باعث شده درصد كمتري از مردم بگويند اين كار را انجام مي‌دهند و نبايد از اين نتيجه اين گونه برداشت كرد كه «32 درصد مردم اعتقاد يا تجربه شستن دست به مدت 20 ثانيه را ندارند». برخي سوالات در نظرسنجي‌ها چندپاسخي هستند و پاسخگو مي‌تواند از بين گزينه‌هاي موجود چند گزينه را انتخاب كند. وقتي قرار باشد پاسخگو از بين چندين گزينه، 2 يا 3 گزينه انتخاب كند اينكه چه تعداد گزينه در سوال داشته باشيم بر درصد هركدام از گزينه‌ها تاثير دارد و در تحليل بايد به اين مساله توجه كرد. در نظرسنجي اخير ايسپا در سطح ملي در تاريخ 24 تا 27 فروردين در قالب يك سوال، 8 مكاني كه در ايام شيوع كرونا محدود يا تعطيل شده بود براي پاسخگويان خوانده شد و از پاسخگويان خواسته شد بگويند «اگر قرار باشد محدوديت‌ها از مراكز زير برداشته شود شما ترجيح مي‌دهيد كدام‌يك از موارد زودتر بازگشايي شود؟» در گزينه‌هاي سوال گزينه هيچكدام وجود نداشته و فرض سوال اين بوده «اگر قرار باشد محدوديت‌ها برداشته شود». پاسخگويان بايد از اين 8 مكان بين 1 تا 3 گزينه كه براي‌شان اولويت بيشتري داشته را انتخاب كنند. بديهي است اين سوال اولويت نسبي اين مكان‌ها را براي پاسخگويان با توجه به شرايط و امكانات‌شان نشان مي‌دهد. در مواجهه با اين سوال 27 درصد كل نمونه (33 درصد كساني كه حداقل يكي از 8 گزينه را انتخاب كرده‌اند) مكان‌هاي زيارتي را انتخاب كرده‌اند. اما بايد توجه داشت اين به معناي اين نيست كه اگر محدوديت‌ها از اين مكان‌ها برداشته شود 33 درصد مردم به آن مراجعه خواهند كرد. چراكه پاسخگو از بين 8 گزينه دست به انتخاب زده و گزينه هيچكدام هم پيش روي او نبوده است. يك هفته قبل از اين نظرسنجي از شهروندان تهراني پرسيده شده «در صورت رفع محدوديت‌هاي اعمال‌شده و بازگشايي مراكز ذيل با وجود تداوم شيوع كرونا به كدام‌يك از اين مراكز مراجعه مي‌كنيد؟» گزينه اماكن مذهبي و زيارتگاهي نيز يكي از گزينه‌ها بوده است. در اين سوال پاسخگويان محدوديتي براي انتخاب نداشتند و مي‌توانستند چندين گزينه انتخاب كنند. 5.5 درصد تهراني‌ها گزينه اماكن مذهبي و زيارتگاهي را انتخاب كرده‌اند. بديهي است بخشي از تفاوت ناشي از تفاوت تهران با ساير نقاط كشور است اما بخش مهمي از آن نيز به تفاوت صورت سوال برمي‌گردد.
يا در همان نظرسنجي ملي (24 تا 27 فروردين) وقتي گزينه اماكن زيارتگاهي توسط 27 درصد نمونه انتخاب شده بود گزينه «سينما، تئاتر و كنسرت» توسط 6 درصد نمونه انتخاب شده بود. در تحليل اين سوال نبايد اين‌گونه برداشت شود كه سينما، تئاتر و كنسرت براي مردم اهميتي ندارد بلكه تحليل بايد با لحاظ اين نكته انجام شود كه بخش مهمي از نمونه آماري (حدود 50 درصد) ساكنين روستاها و شهرهاي درجه 2 (شهرهاي غير از مركز استان) هستند كه دسترسي به سينما، تئاتر و كنسرت ندارند يا دسترسي اندكي دارند؛ لذا چون دسترسي ندارند بازگشايي اين اماكن براي‌شان اولويتي هم ندارد. ممكن است اين سوال مطرح شود كه چرا سوالات ثابتي در طول زمان مطرح نمي‌شود تا بتوان ارزيابي دقيقي از روند تحولات جامعه راجع به يك موضوع داشت. مسلما وضعيت ايده‌آل اين است كه يكسري سوالات ثابت در كنار برخي سوالات متفاوت مطرح شود كه روند تحولات بهتر رصد شود. امري كه معمولا در سنجش برخي شاخص‌هاي اجتماعي و سياسي و فرهنگي توسط ايسپا به ميزان زيادي رعايت مي‌شود. اما واقعيت اين است كه تعداد قابل توجهي از طرح‌هاي ايسپا، كارفرمايي هستند و هر كارفرما بنا به ملاحظاتي كه دارد ممكن است سوالات متفاوتي را طرح كند. عنصر زمان نيز ممكن است در تغيير نوع سوالات دخيل باشد. به عنوان مثال در همين نظرسنجي‌هاي مربوط به كرونا، زمان انجام نظرسنجي در طرح سوالات متفاوت بسيار تاثيرگذار است. چون شرايط مدام در حال تغيير است اقتضاي اين شرايط اين است كه سوالات نيز متناسب با شرايط تغيير كند.
2- شيوه نمونه‌گيري و روش گردآوري اطلاعات
نمونه‌گيري و شيوه گردآوري اطلاعات عنصر مهم ديگري است كه در تحليل نتايج نظرسنجي‌ها بايد مدنظر قرار گيرد. در چند سال اخير نظرسنجي‌هاي تحت وب در بين بسياري از مردم عادي و حتي اصحاب علوم اجتماعي رايج شده است؛ چيزي كه به ندرت توسط موسسات معتبر نظرسنجي انجام مي‌شود. چون هدف موسسات نظرسنجي برآورد از وضعيت جامعه است كه بديهي است نظرسنجي‌هاي اينترنتي چنين هدفي را برآورده نمي‌كنند. بسياري از افراد نظرسنجي‌هاي اينترنتي انجام مي‌دهند و بي‌محابا نتايج آن را به كل جامعه تعميم مي‌دهند در صورتي كه هر كسي كه با مقدمات علم آمار آشنايي داشته باشد مي‌داند نظرسنجي‌هاي اينترنتي حتي به استفاده‌كنندگان از اينترنت نيز قابل تعميم نيست چراكه شرط اصلي يك نمونه‌گيري تصادفي به گونه‌اي كه همه افراد جامعه آماري شانس برابر و غير صفر براي انتخاب شدن داشته باشند را دارا نيست. اساسا در اين‌گونه نظرسنجي‌ها پاسخگو انتخاب نمي‌شود بلكه انتخاب مي‌كند و همين اصل باعث تورش و در نتيجه غيرقابل تعميم بودن نتايج مي‌شود. اساس روش پيمايش علمي اين است كه محقق براساس معيارهاي علمي، نمونه‌هاي خود را انتخاب كند و نه اينكه اين فرآيند برعكس باشد. كساني كه تصميم مي‌گيرند به لينك مربوط به نظرسنجي‌هاي اينترنتي مراجعه و پرسشنامه را تكميل كنند احتمالا افرادي هستند كه نسبت به متوسط جامعه به آن موضوع علاقه‌مندتر يا حساس‌تر هستند و در آن زمينه كنجكاوترند. اگر به مشخصات زمينه‌اي پاسخگويان در نظرسنجي‌هاي اينترنتي دقت شود (در صورتي كه ارايه شود) معلوم مي‌شود كه تفاوت بسيار زيادي با مشخصات جامعه دارد. به عنوان مثال در حالي كه در نظرسنجي‌هاي علمي و همچنين نتايج سرشماري‌ها حدود 30 تا 40 درصد جامعه داراي تحصيلات دانشگاهي هستند در اكثر نظرسنجي‌هاي اينترنتي بيش از 70 يا 80 درصد نمونه تحصيلكردگان دانشگاهي هستند. سطح تفاوت نتايج نظرسنجي‌هاي اينترنتي با نظرسنجي‌هاي حضوري يا تلفني كه مبتني بر شيوه نمونه‌گيري تصادفي است گاهي به قدري است كه كاملا نتايج معكوس به دست مي‌دهد. به عنوان مثال در حالي كه در نظرسنجي‌هاي تلفني كه انتخاب نمونه به صورت تصادفي انجام مي‌شود 65 درصد مردم اخبار و اطلاعات مربوط به كرونا را از صداوسيما دنبال كرده‌اند نتايج نظرسنجي‌هاي اينترنتي نشان داده است 70 درصد مردم از طريق شبكه‌هاي اجتماعي اخبار و اطلاعات كرونا را دريافت كرده‌اند. بديهي است كسي كه از طريق تلگرام نظرسنجي را پاسخ مي‌دهد از همان طريق هم اخبار را دنبال مي‌كند.
غرض اينكه در هنگام تحليل نتايج يك نظرسنجي، شيوه نمونه‌گيري و روش گردآوري اطلاعات بايد مدنظر قرار گيرد و اطلاعات به دست آمده براساس يك روش كه يك قشر خاصي از مخاطبين را فيلتر مي‌كند را نبايد به اشتباه به كل جامعه تعميم داد و آن را مبناي سياستگذاري براي كل جامعه قرار داد. نظرسنجي اينترنتي شايد بتواند اهدافي مانند بررسي روابط بين متغيرها را برآورده كند اما نمي‌تواند در مورد وضعيت كل جامعه آمار ارايه كند. در خصوص نظرسنجي‌هاي تلفني نيز نتايج اعتبارسنجي‌هاي صورت‌گرفته نشان مي‌دهد در موضوعات غيرحساس تفاوت نظرسنجي‌هاي تلفني و حضوري بسيار اندك است ولي چنانچه موضوعات حساس از طريق تلفن پرسيده شود ممكن است بسته به نوع سوال و ميزان حساسيت آن محافظه‌كاري بين 1 تا 15 درصد وجود داشته باشد. بنابراين اولا بايد دقت كرد در نظرسنجي‌هاي تلفني سوالات حساس مطرح نكرد يا در صورتي كه بنا به اضطرار (مانند همين شرايط كرونايي كه امكان نظرسنجي حضوري وجود ندارد) سوال حساس مطرح مي‌شود در تفسير آن ميزان محافظه‌كاري نيز مد نظر قرار گيرد و تفسير نتايج با احتياط صورت پذيرد. هر چند در اين چند سال اخير ميزان محافظه‌كاري نزد مردم كاهش يافته ولي با اين حال هنوز وجود دارد.
3- جامعه آماري
بديهي است كه وقتي جامعه آماري متفاوت است بايد انتظار نتايج متفاوت هم داشت. به عنوان مثال خيلي از نظرسنجي‌ها در تهران انجام مي‌شود اما به گونه‌اي مورد تحليل قرار مي‌گيرد كه انگار كل مردم ايران چنين نظري دارند. بسياري از نتايج نظرسنجي‌ها در حالي ارايه مي‌شود كه به صورت دقيق جامعه آماري آن معلوم نيست يا همانطور كه پيش از اين گفته شد اطلاعات مربوط به نظرسنجي از كاربران تلگرام به كل جامعه ايران تعميم داده مي‌شود. تجربه 19ساله ايسپا در اجراي نظرسنجي‌هاي متعدد در سطح تهران و كشور نشان مي‌دهد در بسياري موضوعات نظرات ساكنين تهران متفاوت از مردم ساير استان‌هاست. پيش از اين بخشي از نتايج نظرسنجي‌هاي كرونا و اختلاف نظرسنجي‌هاي ملي با نظرسنجي‌هاي سطح تهران مانند ميزان نگراني و ترس از ابتلا به كرونا يا ميزان تمايل به بازگشايي اماكن مذهبي ذكر شد. يا كساني كه در مراكز استان‌ها زندگي مي‌كنند در برخي موضوعات تفاوت چشمگيري با افراد ساكن در روستاها يا شهرهاي كوچك دارند؛ لذا هنگام تحليل نتايج نظرسنجي‌ها بايد دقت كرد نتايج از چه جامعه‌اي به دست آمده و به جامعه‌اي خارج از آن تعميم داده نشود.
4- زمينه و زمانه انجام نظرسنجي
در هنگام تحليل نظرسنجي بايد به زمان انجام نظرسنجي و اتفاقاتي كه قبل و حين نظرسنجي در جامعه رخ داده است دقت كرد. تجربه نشان داده است بسياري از متغيرها در جامعه ايران وضعيت سينوسي دارند و اكثرا متاثر از شرايط روز جامعه هستند. در همين بحران كرونا، ميزان نگراني و ترس مردم بسيار متاثر از آمارهاي اعلامي يا اظهارنظرهاي مسوولان در مورد وضعيت كرونا در كشور است؛ لذا به نظر مي‌رسد نتايج يك نظرسنجي در مورد كرونا كه مثلا دو هفته پيش انجام شده است چندان با وضعيت فعلي منطبق نيست. اين مساله در بسياري از موضوعات از جمله سياست به ويژه رفتارهاي انتخاباتي نيز صادق است.
5- پرهيز از بي‌اهميت دانستن اعداد كوچك
در نتايج نظرسنجي‌ها همه اعداد مهم هستند و هميشه نبايد به اكثريت توجه كرد. برخي اعداد كوچك حرف‌هاي بزرگي براي گفتن دارند. به عنوان مثال وقتي گفته مي‌شود طبق نظرسنجي ايسپا در سطح كشور، 84 درصد خانوارها تنش‌هاي خانوادگي‌شان بر اثر قرنطينه ناشي از كرونا افزايش نيافته و مانند قبل است به معناي اين نيست كه همه‌چيز در نهاد خانواده سرجايش است. اكثر جامعه‌شناسان بر اين باورند نهاد خانواده كماكان مستحكم‌ترين نهاد در كشور ماست كه بر خلاف بسياري از نهادهاي ديگر كاركردهاي خود را به خوبي انجام مي‌دهد. وقتي در مستحكم‌ترين نهاد بر اثر كرونا 16 درصد خانوارها تحت‌تاثير قرار مي‌گيرند نبايد اين 16 درصد را به ديده بي‌تفاوتي بنگريم يا اين‌طور تفسير كنيم كه نتايج نظرسنجي‌ها نشان مي‌دهد وضعيت خانواده در كشور مطلوب است.
سرپرست مركز افكارسنجي دانشجويان ايران