با توجه به این امر معمولا دامنه ضریب قابلیت از صفر (عدم ارتباط) تا ۱+ (ارتباط کامل) است. ضریب قابلیت اعتماد نشانگر آن است که تا چه اندازه ابزار اندازه گیری ویژگی های با ثبات آزمودنی و یا ویژگی های متغیر و موقتی وی را می سنجد.
لازم به ذکر است که قابلیت اعتماد در یک آزمون میتواند از موقعیتی به موقعیت دیگر و از گروهی به گروه دیگر متفاوت باشد. برای محاسبه ضریب قابلیت اعتماد ابزار اندازه گیری شیوه های مختلفی به کار برده میشود. از آن جمله میتوان به الف) اجرای دوباره (روش بازآزمایی) ، ب) روش موازی (همتا) ، ج) روش تصنیف (دو نیمه کردن) ، د) روش کودر- ریچاردسون و سایر اشاره کرد.
الف) اجرای دوباره آزمون یا روش بازآزمایی
این روش عبارت است از ارائه یک آزمون بیش از یک بار در یک گروه آزمودنی تحت شرایط یکسان. برای محاسبه ضریب قابلیت اعتماد با این روش، ابتدا ابزار اندازه گیری بر روی یک گروه آزمودنی اجرا شده و سپس در فاصله زمانی کوتاهی دوباره در همان شرایط، آزمون بر روی همان گروه اجرا میشود. نمرات بدست آمده از دو آزمون مورد نظر قرار گرفته و ضریب همبستگی آنها محاسبه میشود. این ضریب نمایانگر قابلیت اعتماد (پایایی) ابزار است. روش بازآزمایی برای ارزیابی ثبات مولفه های یک ابزار اندازه گیری به کار میرود ولی با این اشکال نیز روبه رو است که نتایج حاصله از آزمون مجدد میتواند تحت تاثیر تمرین (تجربه) و حافظه آزمودنی قرار گرفته و بنابراین منجر به تغییر در قابلیت اعتماد ابزار اندازه گیری گردد.
ب) روش موازی یا استفاده از آزمون های همتا
یکی از روش های متداول ارزیابی قابلیت اعتماد در اندازه گیری های روانی- تربیتی استفاده از آزمون های همتا است که شباهت زیادی با یکدیگر دارند ولی کاملا یکسان نیستند.
ضریب قابلیت اعتماد بر اساس همبستگی نمرات دو آزمون همتا به دست میآید. خطاهای اندازه گیری و کمبود یا عدم وجود همسانی میان دو فرم همتای آزمون (تفاوت در سوالات یا محتوای آن ها) قابلیت اعتماد را کاهش میدهد.
ممکن است فرم های همتا به طور همزمان ارائه نگردد. در این صورت قابلیت اعتماد هم شامل ثبات و همسانی میشود. اگر فاصله اجرای فرم های همتا زیاد باشد و تغییراتی در ضریب قابلیت اعتماد مشاهده گردد، ممکن است که این تغییر مربوط به عوامل فردی (آزمودنی ها)، همتا نبودن آزمون ها و یا ترکیبی از هر دو باشد.
ج) روش تنصیف (دو نیمه کردن)
این روش برای تعیین هماهنگی درونی یک آزمون به کار میرود. برای محاسبه ضریب قابلیت اعتماد با این روش، سوال های (اقلام) یک آزمون را به دو نیمه تقسیم نموده و سپس نمره سوال های نیمه اول و نمره سوال های نیمه دوم را محاسبه میکنیم. پس از آن همبستگی بین نمرات این دو نیمه را بدست میآوریم. ضریب همبستگی به دست آمده برای ارزیابی قابلیت اعتماد کل آزمون مورد استفاده قرار میگیرد. برای محاسبه ضریب قابلیت اعتماد کل آزمون از فرمول -اسپیرمن- براون- برای این مورد استفاده میشود:
(۱+همبستگی بین دو نیمه) / ۲ * همبستگی بین دو نیمه = ضریب قابلیت اعتماد کل آزمون
برای مثال آزمونی با ۸۰ سوال به ۳۵ دانشجوی سال اول ارائه شده است. آزمون به دو نیمه (۴۰ سوال) تقسیم شده است. همبستگی میان نمرات دو تست r=0.7 میباشد. قابلیت اعتماد کل آزمون به قرار زیر است:
۲*۰٫۷ / (۱+۰٫۷) = ۰٫۸۲ = ضریب قابلیت اعتماد کل آزمون
د) روش کودر- ریچاردسون
کودر و ریچاردسون دو فرمول را برای محاسبه هماهنگی درونی آزمون ها ارائه نموده اند. فرمول اول برآوردی از میانگین ضرایب قابلیت اعتماد برای تمام طرق ممکن تنصیف (دو نیمه کردن) را به دست میدهد. این ضریب برابر است با:
که در آن :
n تعداد سوال ها - p نسبت پاسخ های صحیح - q نسبت پاسخ های غلط - واریانس نمرات کل
فرمول دوم: برای استفاده از فرمول دوم باید سطح دشواری سوال های آزمون یکسان باشد:
که در آن :
n تعداد سوال ها - واریانس نمره های کل - میانگین نمرات
برای محاسبه ضریب قابلیت اعتماد با این روش، نیازی به داشتن نسبت پاسخ های صحیح و غلط نیست، بلکه در دست داشتن واریانس نمره های کل و میانگین نمرات کفایت میکند.
برای مثال، آزمونی دارای ۴۰ سوال است. این آزمون به گروهی از دانش آموزان داده شده است. میانگین نمره های آزمون ۲۵ و واریانس کل ۲۶ محاسبه شده است. سطح دشواری سوال ها نیز یکسان است. ضریب قابلیت اعتماد این آزمون را محاسبه کنید:
ه) روش آلفای کرونباخ
یکی دیگر از روش های محاسبه قابلیت اعتماد استفاده از فرمول کرونباخ است. این روش برای محاسبه هماهنگی درونی ابزار اندازه گیری از جمله پرسشنامه ها یا آزمونهایی که خصیصه های مختلف را اندازه گیری می کند بکار می رود. در این گونه ابزارها، پاسخ هر سوال می تواند مقادیر عددی مختلف را اختیار کند.
برای محاسبه ضریب آلفای کرونباخ ابتدا باید واریانس نمره های هر زیر مجموعه سوال های پرسشنامه (یا زیر آزمون) و واریانس کل را محاسبه کرد. سپس با بهره گرفتن از فرمول زیر مقدار ضریب آلفا را محاسبه کرد.
که در آن:
تعداد زیر مجموعه سوال های پرسشنامه یا آزمون.
واریانس زیر آزمون ام.
واریانس کل آزمون.
برای مثال اگر پرسشنامه دارای سه زیر مجموعه سوال باشد، به طوری که واریانس هر زیر مجموعه به ترتیب ۶ ، ۴ و ۷ بوده و واریانس کل برابر با ۳۲ باشد، مقدار ضریب آلفای کرونباخ با بهره گرفتن از فرمول یاد شده به صورت زیر به دست میآید:
مقدار صفر این ضریب نشان دهنده عدم قابلیت اعتماد و ۱+ نشان دهنده قابلیت اعتماد کامل است.
روش تجزیه و تحلیل داده ها
در این پژوهش به کمک نرمافزارهای SPSS 22 و LISREL 8.80 داده ها مورد تجزیه و تحلیل قرار گرفتند. نتایج در دو بخش یافتههای توصیفی و یافته های استنباطی ارائه شده است. آزمون پایایی ابزار پژوهش با بهره گرفتن از ضریب آلفای کرونباخ ارزیابی شد و اعتبار پرسشنامه با بهره گرفتن از تحلیل عاملی تاییدی صورت گرفت و نتایج ارائه شده است. در بخش یافتههای توصیفی به توصیف متغیرهای جمعیتشناختی و اصلی پژوهش با بهره گرفتن از مقادیر فراوانی، درصد فراوانی، میانگین، انحرافاستاندارد و نمودارهای دایرهای و ستونی پرداخته شد. در بخش یافتههای استنباطی و آزمون سوالات پژوهش، از آزمون همبستگی اسپیرمن و تکنیک مدلیابی معادلات ساختاری (Structural Equation Modeling)استفاده شد. حداکثر سطح خطای آلفا جهت آزمون فرضیه ها ۰۵/. درنظر گرفته شد(۰۵/. ≥P).
ارزیابی اعتبار پرسشنامه
تحلیل عاملی تاییدی
تحلیل عاملی به منظور سنجش اعتماد یا پایایی و اعتبار یا روایی مقیاس های اندازه گیری مورد استفاده قرار می گیرد. در تحلیل عاملی تاییدی محقق مطالعه خود را بر مبنای ساختار عاملی از پیش تعیین شده دنبال می کند و درصدد است تا صحت و سقم ساختار عاملی مجموعه ای از متغیرهای مشاهده شده را مورد آزمون قرار دهد. این تکنیک به محقق اجازه می دهد تا به آزمون این فرضیه که بین متغیرهای آشکار و سازههای نهفته رابطه وجود دارد را مورد بررسی قرار دهد(کلانتری۱۹۰:۱۳۸۷).
تحلیل عاملی تاییدی در پی تعیین این مطلب است که آیا تعداد عامل ها و متغیرهای اندازه گیری شده مربوط به آن ها، آنچه را که از چارچوب نظری انتظار می رود، تایید می کنند، یعنی آیا مدل پیشنهادی با داده ها برازش دارد یا نه. متغیرهای اندازه گیری شده (که به عنوان متغیرهای نشانگر یا مشاهده شده نیز نامیده می شوند) بر اساس نظریه پیشین انتخاب میشوند و تحلیل عاملی تاییدی برای تعیین این که آیا متغیرها با عامل های مربوط همبستگی دارند یا نه، به کار می رود. این عاملها، سازههای مکنون (پنهان یا غیرقابل مشاهده) هستند که از طریق نشانگرها یا متغیرهای قابل مشاهده شناسایی می شوند(میزر، گامست و گارینو،۳۹:۱۳۹۱).
از تکنیک تحلیل عاملی تاییدی جهت بررسی اعتبار سازه مقیاسهای پرسشنامه استفاده شد. با بهره گرفتن از نرم افزار لیزرل به بررسی اعتبار هر کدام از سوالات با بهره گرفتن از بار عاملی و معنی داری بار عاملی پرداخته شد. بارهای عاملی بدست آمده برای هر کدام از سوالات مورد ارزیابی قرار گرفت و چنانچه بارهای عاملی هر سوال دارای مقادیر بیشتر از ۴/. بود و از نظر آماری معنی دار شده بود، آن سوال در مدل باقی ماند و سوالاتی که بار عاملی بدست آمده برای آنان معنی دار نبود، از سوالات حذف شدند و تحلیل نهایی بر اساس سوالاتی انجام شد که دارای بار عاملی بیشتر از ۴/. و معنی دار بوده اند.
اینکه بار عاملی باید چه مقدار باشد تا چشمگیر تلقی شود، تا حدودی اختیاری است. اصرار بر این که تمام بارها بزرگتر از ۸/. هستند کاملا غیر واقعی و گمراه کننده است؛ زیرا به عنوان مثال یک بار ۷/. بدین معناست که تقریبا ۵۰/. واریانس متغیر به وسیله آن عامل تبیین می شود. به طور کلی در نظر گرفتن ملاک [حداقل] ۳/. به عنوان بار چشمگیر، رهنمودی عاقلانه است(کلاین، ۲۳۲:۱۳۸۰). به جهت دقت بیشتر، مقدار بار عاملیحداقل ۴/. به عنوان مبنا مفروض شد. در ادامه مدل های اندازه گیری برای هر کدام از مقیاس ها (متغیرها) ارائه شد که در هر مدل بارهای عاملی هر سوال مشخص شده اند.
بررسی اعتبار متغیر مزایای توضیحی شناختی
شکل ۳-۲ مدل تحلیل عاملی تاییدی مقیاس مزایای توضیحی شناختی را در حالت بار عاملی (ضرایب استاندارد شده) نشان می دهد. با توجه به مقدار بارهای عاملی بدست آمده برای تمامی سوالات مقیاس مزایای توضیحی شناختیکه بیشتر از ۴۰/. است و در سطح معنی داری کمتر از ۰۱/. (۰۱/.>P) قرار دارند، نتیجه میگیریم که اعتبار سازه مقیاس مزایای توضیحی شناختیتایید می شود. شکل ۳-۳ مدل را در حالت مقدار t نشان می دهد.
شکل ۳-۲ مدل اندازه گیری متغیرمزایای توضیحی شناختی در حالت ضرایب استاندارد (بار عاملی)
شکل ۳-۳ مدل اندازه گیری متغیر مزایای توضیحی شناختی در حالت مقدار t (مقدار معنی داری)
جدول۳-۱ مقادیر بار عاملی و مقدار t سوالات متغیر مزایای توضیحی شناختی
شماره سوال | ضریب استاندارد (بار عاملی) | مقدار t |