بخشی از مجموعه مباحث دربارهٔ آمار
تحلیل رگرسیون
مدل‌ها
رگرسیون خطی رگرسیون ساده خطی ‏(en)‏ رگرسیون چندجمله‌ای ‏(en)‏ رگرسیون چندمتغیره
مدل خطی تعمیم‌یافته انتخاب گسسته ‏(en)‏ رگرسیون لجستیک لوجیت چندجمله‌ای ‏(en)‏ لوجیت آمیخته ‏(en)‏ مدل پروبیت ‏(en)‏ پروبیت چندجمله‌ای ‏(en)‏ لوجیت مرتب ‏(en)‏ پروبیت مرتب ‏(en)‏ رگرسیون پواسون
مدل چندسطحی ‏(en)‏ مدل اثرهای ثابت ‏(en)‏ مدل اثرهای تصادفی ‏(en)‏ مدل آمیخته ‏(en)‏
رگرسیون غیرخطی ‏(en)‏ رگرسیون غیرپارامتریک ‏(en)‏ رگرسیون نیمه‌پارامتریک ‏(en)‏ رگرسیون باثبات رگرسیون چندک ‏(en)‏ رگرسیون ایزوتونیک ‏(en)‏ رگرسیون مولفه اصلی ‏(en)‏ رگرسیون کمترین زاویه ‏(en)‏ رگرسیون موضعی ‏(en)‏ رگرسیون مقطع ‏(en)‏
مدل خطا در متغیرها ‏(en)‏
تخمین
کمترین مربعات کمترین مربعات خطی ‏(en)‏ کمترین مربعات غیرخطی ‏(en)‏
حداقل مربعات معمولی حداقل مربعات وزن‌دار ‏(en)‏ روش تعمیم‌یافته کمترین مربعات
رگرسیون پاره‌ای کمتری مربعات ‏(en)‏ مجموع کمترین مربعات ‏(en)‏ کمترین مربعات نامنفی ‏(en)‏ تنظیم تیخونوف ‏(en)‏ کمترین مربعات منظم ‏(en)‏
کمترین انحرافات مطلق ‏(en)‏ کمترین مربعات بازوزن‌داده مکرر ‏(en)‏ رگرسیون خطی بیزی ‏(en)‏ رگرسیون چندمتغیره خطی بیزی ‏(en)‏
پیش‌زمینه
اعتبارسنجی مدل رگرسیون ‏(en)‏ پاسخ میانگین و پیش‌بینی‌شده ‏(en)‏ خطاها و باقی‌مانده‌ها در آمار ‏(en)‏ نیکویی برازش باقی‌مانده استودنت‌شده ‏(en)‏ قضیه گوس-مارکف
درگاه آمار
ن ب و

مدل خطی عمومی یک مدل خطی آماری است. به شکل زیر می‌توان نوشت^[۱]

Y=XB+U,displaystyle mathbf Y =mathbf X mathbf B +mathbf U ,

که در آن Y یک ماتریس با ردیف‌های اندازه‌گیری‌های چند متغیره است، X یک ماتریس است که می‌تواند یک ماتریس طراحی باشد، B یک ماتریس شامل متغیرهایی است که معمولاً تخمین زده می‌شوند و U ماتریسی است که شامل خطاها و نویز است. خطاها معمولاً نسبت به اندازه‌گیری‌ها و طبق یک توزیع معمولی چندمتغیره ناهمبسته فرض می‌شوند. اگر که خطاها مطابق با یک توزیع معمولی چند متغیره نباشند، مدل خطی تعمیم‌یافته برای منطقی تر کردن فرض‌ها درمورد Y و U مورد استفاده قرار می‌گیرد.

مدل خطی عمومی تعدادی از مدل‌های آماری مختلف را با هم مرتبط می‌کند: آنالیز واریانس، آنالیز کوواریانس، آنالیز چندمتغیره واریانس، آنالیز چندمتغیره کوواریانس، رگرسیون خطی معمولی، آزمون تی استیودنت و آزمون اف. مدل خطی عمومی تعمیم یافته‌ای از چند مدل رگرسیون خطی در مورد بیش از یک متغیر وابسته است. اگر Y، B و U بردارهای ستون باشند، معادله ماتریس بالا بیانگر چند رگرسیون خطی خواهد بود.

آزمون‌های فرضی با مدل خطی عمومی را می‌توان به دو روش انجام داد: چندمتغیره یا به شکل آزمون‌های متعدد تک متغیره مستقل. در آزمون‌های چندمتغیره ستون‌های Y با هم مورد بررسی قرار می‌گیرند درحالیکه در آزمون‌های تک متغیره ستون‌های Y مستقلاً بررسی می‌شوند. به‌طور مثال به عنوان آزمون‌های تک متغیره با ماتریس طراحی یکسان.

رگرسیون چند خطی[ویرایش]

ساختار ریاضی مسئله[ویرایش]

رگرسیون چند خطی تعمیمی از رگرسیون خطی است با در نظر گرفتن بیش از یک متغیر مستقل و یک مورد خاص مدل‌های خطی عمومی تشکیل شده با محدود کردن تعداد متغیرهای وابسته به یک.^[۲] به عنوان مثال اگر فرض کنیم متغیر ما mdisplaystyle m بُعد دارد یعنی x→=[x1,x2,…,xm]displaystyle vec x=[x_1,x_2,dots ,x_m] مسئله رگرسیون به یک مسئله بهینه‌سازی برای پیدا کردن m+1displaystyle m+1 پارامتر تبدیل می‌شود. به این معنی که ما یک پارامتر چند متغیره به اسم β→=[β0,β1,⋯,βm]displaystyle vec beta =[beta _0,beta _1,cdots ,beta _m] داریم و سعی می‌کنیم که متغیر وابسته که همان ydisplaystyle y است را با ترکیبی خطی از x→displaystyle vec x بردارد ورودی، تخمین بزنیم یعنی y≈β0+∑i=1mβi×xidisplaystyle yapprox beta _0+sum _i=1^mbeta _itimes x_i. حال اگر یک بعد دیگر به متغیر x→displaystyle vec x اضافه کنیم و مقدارش را همیشه عدد ثابت 1displaystyle 1 در نظر بگیریم (x0=1displaystyle x_0=1) و x→displaystyle vec x را به صورتِ x→=[1,x1,x2,…,xm]displaystyle vec x=[1,x_1,x_2,dots ,x_m] تغییر دهیم، تخمینی که از ydisplaystyle y داریم در واقع ضرب نقطه ای بردار ورودی و بردار پارامترهای ماست یعنی y≈∑i=0mβi×xi=β→.x→displaystyle yapprox sum _i=0^mbeta _itimes x_i=vec beta ,,.,vec x. حال فرض کنیم که تعداد مثالهایی که قرار است برای تخمین پارامترها استفاده کنیم ndisplaystyle n است و این مثالها را به این شکل نمایش دهیم D=(x1→,y1),⋯(xn→,yn)displaystyle D=(vec x_1,y_1),cdots (vec x_n,y_n). پارامتر بهینه پارامتری است که یک تابع هزینه را به حداقل برساند و تخمینهایی ما را به متغیر وابسته بسیار نزدیک کند. تابع هزینه را با جمع مربع تفاضل تخمینها با متغیر وابسته تعریف می‌کنیم، به این شکل که L(D,β→)=∑i=1n(β→.xi→−yi)2displaystyle L(D,vec beta )=sum _i=1^n(vec beta ,.,vec x_i-y_i)^2، با این حساب پارامتر بهینه می‌شود:

β^→=argminβ→L(D,β→)=argminβ→∑i=1n(β→.xi→−yi)2displaystyle vec hat beta =argmin_vec beta L(D,vec beta )=argmin_vec beta sum _i=1^n(vec beta ,.,vec x_i-y_i)^2

تخمین پارامتر بهینه از روش کمترین مربعات[ویرایش]

در این روش برای بدست آوردن β^→displaystyle vec hat beta یا همان پارامتر بهینه، از تابع L(D,β→)displaystyle L(D,vec beta )نسبت به β→displaystyle vec beta گرادیان می‌گیریم و گرادیان را برابر صفر قرار می‌دهیم و پارامتر نمونه را بدست می‌آوریم.^[۳] از آنجا که تابع L(D,β→)displaystyle L(D,vec beta ) نسبت به β→displaystyle vec beta تابعی کاملاً محدب است، در نقطه مینیمم گرادیان ما صفر خواهد بود و این روش پارامتر بهینه را بدست می‌دهد.^[۴] برای تسهیل کار شکل تابع را با بکارگیری چند ماتریس ساده می‌کنیم. دو ماتریس برای این کار نیاز داردیم ماتریس Xdisplaystyle X و ماتریس Ydisplaystyle Y. ماتریس Xdisplaystyle X ماتریس ورودهای چندمتغیره ماست. هر سطر معادل یک نمونه از داده ماست، سطر idisplaystyle iام برابر است با idisplaystyle iامین نمونه ورودی ما یعنی بردار xi→displaystyle vec x_i، از اینرو Xdisplaystyle X یک ماتریس n×(m+1)displaystyle ntimes (m+1) خواهد بود. ماتریس Ydisplaystyle Y از طرف دیگر برابر است با مجموعه متغیرهای وابسته داده ما. سطر idisplaystyle iام این ماتریس برابر است با متغیر وابسته برای idisplaystyle iامین نمونه داده ما یا همان yidisplaystyle y_i. ماتریس Ydisplaystyle Y یک ماتریس n×1displaystyle ntimes 1 است. با کمک این دو ماتریس می‌توان تابع هزینه را به شکل ذیل تعریف کرد:

L(D,β→)=||Xβ→−Y||2=(Xβ→−Y)T(Xβ→−Y)=YTY−YTXβ→−β→TXTY+β→TXTXβ→Xvec beta -Y

حال گرادیان این تابع را نسبت به β→displaystyle vec beta پیدا می‌کنیم که می‌شود:

∂L(D,β→)∂β→=∂(YTY−YTXβ→−β→TXTY+β→TXTXβ→)∂β→=−2XTY+2XTXβ→displaystyle frac partial L(D,vec beta )partial vec beta =frac partial left(Y^TY-Y^TXvec beta -vec beta ^TX^TY+vec beta ^TX^TXvec beta right)partial vec beta =-2X^TY+2X^TXvec beta

با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید:

−2XTY+2XTXβ→=0⇒XTY=XTXβ→⇒β^→=(XTX)−1XTYdisplaystyle -2X^TY+2X^TXvec beta =0Rightarrow X^TY=X^TXvec beta Rightarrow vec hat beta =(X^TX)^-1X^TY

پس پارامتر بهینه ما برابر است با:

β^→=(XTX)−1XTYdisplaystyle bf vec hat beta =(X^TX)^-1X^TY

تخمین پارامتر بهینه از روش گرادیان کاهشی تصادفی (Stochastic Gradient Descent)[ویرایش]

روش پارامتر تخمین پارامتر بهینه از طریق کمترین مربعات ممکن است چند اشکال اساسی داشته باشد. یکی آنکه محاسبه(XTX)−1displaystyle (X^TX)^-1 ممکن است زمانبر باشد. بُعدِ ماتریس مربعی XTXdisplaystyle X^TX برابر است با (m+1)×(m+1)displaystyle (m+1)times (m+1) و اگر بعد mdisplaystyle m بالا باشد زمان محاسبه معکوس این ماتریس می‌تواند مسئله ساز شود. مضاف بر این، ماتریس ممکن است معکوس پذیر نباشد. از این رو روشهای کاراتر و سریعتری برای تخمین پارامتر بهینه مورد استفاده قرار می‌گیرد. یکی از این روشها روش گرادیان کاهشی تصادفی است. در این روش هر بار یک مثال را بصورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان تابع هزینه را حساب می‌کنیم و کمی در جهت خلاف گرادیان پارامتر را حرکت می‌دهیم تا به یک پارامتر جدید برسیم. گرادیان جهت موضعی بیشترین افزایش را در تابع به ما نشان می‌دهد، برای بیشترین کاهش موضعی در خلاف جهت گرادیان باید حرکت کرد. اینکار را آنقدر ادامه می‌دهیم که گرادیان به اندازه کافی به صفر نزدیک شود. بجای اینکه داده‌ها را بصورت تصادفی انتخاب کنیم می‌توانیم به ترتیب داده شماره 1displaystyle 1تا داده شماره ndisplaystyle n را انتخاب کنیم و بعد دوباره به داده اولی برگردیم و این کار را بصورت چندین انجام دهیم تا گرادیان تابع به اندازه کافی به صفر نزدیک شود. از لحاظ ریاضی این کار را می‌توان به شکل پایین انجام داد، پارامتر β→displaystyle vec beta را در ابتدا بصورت تصادفی مقدار دهی می‌کنیم و بعد برای داده idisplaystyle i ام و تمامی jdisplaystyle j‌ها، یعنی از j=1displaystyle j=1 تا j=m+1displaystyle j=m+1 تغییر پایین را اعمال می‌کنیم، دراینجا αdisplaystyle alpha همان مقداریست که در جهت گرادیان هربار حرکت می‌کنیم و (yi−xi→.β→)xi,j→displaystyle left(y_i-vec x_i.vec beta right)vec x_i,j مشتق جزئی داده idisplaystyle i ام در بُعد jdisplaystyle j ام است:

{Initializeβold→randomlyloop until convergence :fori=0ton:forj=0tom:βjnew→=βjold→+α(yi−βold→.xi→)xi,j→βold=βnewdisplaystyle begincasesmboxInitialize,,vec beta ^,old,,mboxrandomly\mboxloop until convergence :\,,mboxfor,,,,i=0,,,,mboxto,,,,n:\,,,,,,mboxfor,,,,j=0,,,,mboxto,,,,m:\,,,,,,,,,,,,vec beta _j^,new=vec beta _j^,old+alpha left(y_i-vec beta ^,old,.,vec x_iright)vec x_i,j\,,,,,,beta ^,old=beta ^,newendcases

تفسیر احتمالی از طریق درست نمایی بیشینه[ویرایش]

برای بدست آوردن پارامتر بهینه β^→displaystyle vec hat beta تابع هزینه یعنی L(D,β→)displaystyle L(D,vec beta ) را به حداقل می‌رسانیم. می‌توان به همین پارامتر بهینه از روش درست نمایی بیشینه هم رسید. فرض می‌کنیم که متغیر وابسته یعنی ydisplaystyle y یک متغیر تصادفی است که مقدارش از یک توزیع طبیعی (توزیع گاوسی) پیروی می‌کند. این توزیع احتمال، واریانس ثابتی به اسم σdisplaystyle sigma دارد ولی میانگین آن ترکیبی خطی از متغیرهای مستقل یعنی x→=[1,x1,x2,…,xm]displaystyle vec x=[1,x_1,x_2,dots ,x_m] است. به عبارت دیگر میانگین ما برابر است با β→.x→displaystyle vec beta ,.,vec x. با احتساب میانگین و واریانس توزیع متغیر وابسته ما می‌شود y∼N(β→.x→,σ)displaystyle ysim N(vec beta ,.,vec x,sigma ). حال اگر فرض کنیم داده‌های ما نسبت به هم مستقل هستند تابع درست نمایی برای تمام داده‌ها می‌شود:

H(D,β→)=∏i=1nPr(yi|xi→;β→,σ)=∏i=1n12πσexp(−(yi−β→.xi→)22σ2)displaystyle H(D,vec beta )=prod _i=1^nPr(y_i

حال باید به دنبال پارامتری باشیم که این تابع بزرگنمایی را بیشینه کند. از آنجا که تابع لگاریتم مطلقاً صعودیست، بجای بیشینه کردن این تابع لگاریتمش را هم می‌شود بیشنه کرد و پارامتر بهینه را از آن طریق پیدا کرد:

I(D,β→)=log⁡∏i=1nPr(yi|xi→;β→,σ)=log⁡∏i=1n12πσexp(−(yi−β→.xi→)22σ2)=nlog⁡12πσ−12σ2∑i=1n(yi−β→.xi→)2displaystyle I(D,vec beta )=log prod _i=1^nPr(y_i

پارامتر بهینه از این طریق برابر است با:

argmaxβ→I(D,β→)=argmaxβ→(nlog⁡12πσ−12σ2∑i=1n(yi−β→.xi→)2)=argminβ→∑i=1n(yi−β→.xi→)2=argminβ→L(D,β→)=β^→displaystyle argmax_vec beta I(D,vec beta )=argmax_vec beta left(nlog frac 1sqrt 2pi sigma -frac 12sigma ^2sum _i=1^nleft(y_i-vec beta ,.,vec x_iright)^2right)=argmin_vec beta sum _i=1^nleft(y_i-vec beta ,.,vec x_iright)^2=argmin_vec beta L(D,vec beta )=vec hat beta

همان‌طور که دیدم پارامتری که I(D,β→)displaystyle I(D,vec beta ) را بیشینه می‌کند همان پارامتری است که L(D,β→)displaystyle L(D,vec beta ) را به حداقل می‌رساند. این به معنی معادل بودن روش کمترین مربعات با روش درست نمایی بیشنه در رگرسیون خطی است.

تنظیم مدل (Regularization)[ویرایش]

پیچیدگی مدلهای پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر بیش‌برازش (Overfitting) برای مدل بیشتر است.^[۵] پدیده بیش‌برازش زمانی رخ می‌دهد که مدل بجای یادگیری الگوهای داده، داده را را حفظ می‌کند و در عمل یادگیری به خوبی انجام نمی‌شود. برای جلوگیری از بیش‌برازش در مدلهای خطی مانند رگرسیون خطی یا رگرسیون لجستیک جریمه‌ای به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. به این کار تنظیم مدل یا Regularization گفته می‌شود. دو راه متداول تنظیم مدلهای خطی روشهای L1displaystyle L_1 و L2displaystyle L_2 هستند.^[۶] در روش L1displaystyle L_1 ضریبی از نُرمِ L1displaystyle L_1به تابع هزینه اضافه می‌شود و در روش L2displaystyle L_2 ضریبی از نُرمِ L2displaystyle L_2 که همان نُرمِ اقلیدسی است به تابع هزینه اضافه می‌شود.

در تنظیم مدل به روش L1displaystyle L_1 تابع هزینه را به این شکل تغییر می‌دهیم:

Lr(D,β→)=L(D,β→)+λ||β→||1=∑i=1n(β→.xi→−yi)2+λ∑k=0m|βk|

این روش تنظیم مدل که به روش لاسو (Lasso) نیز شهرت دارد باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت (Sparse) شود.^[۷]

در تنظیم مدل به روش L2displaystyle L_2 تابع هزینه را به این شکل تغییر می‌دهیم:

Lr(D,β→)=L(D,β→)+λ||β→||22=∑i=1n(β→.xi→−yi)2+λ∑k=0mβk2displaystyle L_r(D,vec beta )=L(D,vec beta )+lambda

در روش تنظیم از طریق L2displaystyle L_2 سعی می‌شود طول اقلیدسی بردار β→displaystyle vec beta کوتاه نگه داشته شود. λdisplaystyle lambda در روش L1displaystyle L_1 و L2displaystyle L_2 یک عدد مثبت است که میزان تنظیم مدل را معین می‌کند. هرچقدر λdisplaystyle lambda کوچکتر باشد جریمه کمتری برا بزرگی نرم بردار پارامترها یعنی β→displaystyle vec beta پرداخت می‌کنیم. مقدار ایدئال λdisplaystyle lambda از طریق آزمایش بر روی داده اعتبار (Validation Data) پیدا می‌شود.

کاربردها[ویرایش]

یک کاربرد مدل خطی عمومی در تحلیل پویش‌های مغزی متعدد در آزمایش‌های علمی است که Y شامل اطلاعات رسیده از پوینده‌های مغز است، X شامل متغیرهای تجربی طراحی و اختلال‌ها است. به‌طور معمول به روش تک متغیره آزموده می‌گردد (معمولاً در این پیکربندی به یک تک متغیر جرم ارجاع داده می‌شود) و معمولاً به نقشه‌برداری متغیری آماری معروف است.^[۸]

جستارهای وابسته[ویرایش]

• رگرسیون خطی


• رگرسیون لجستیک


• رگرسیون پواسون

منابع[ویرایش]

• ترجمه از ویکی‌پدیا انگلیسی