Линеарна регресија

У статистици, линеарна регресија се односи на сваки приступ моделовања релација између једног или више респонса (зависних променљивих) означеног са Y, и једне или више независних променљивих означених са X, на начин да такав модел линеарно зависи од непознатих параметара процењених из података. Најчешће се линеарна регресија односи на модел у којем је условна средња вредност од Y, уз дату вредност X, афина функција од X. Случај са једном независном променљивом се назива једноставна линеарна регресија. Кад је обухваћено више од једне независне променљиве, процес се зове вишеструка линеарна регресија. Овај се термин разликује од мултиваријантне линеарне регресије, где се вишеструке корелисане зависне променљиве предвиђају, уместо једне скаларне променљиве.

Пример линеарне регресије с једном независном променљивом

Много ређе, линеарна регресија се може односити на модел у којем се медијан, или неки други квантил условне дистрибуције Y за дато X изражава као линеарна функција од X. Као и сви други облици регресионе анализе, линеарна регресија има фокус на дистрибуцији условне вероватноће од Y за дани X, а не на дистрибуцији условне вероватноће од Y и X, што је домен мултиваријантне анализе (енгл. multivariate analysis).

Линерана регресија је била први тип регресионе анализе која је детаљно проучавана и која се екстензивно користила у практичним применама. Разлог за ово је да се модели који линерано зависе од својих непознатих параметара лакше моделују него модели са нелинеарном зависношћу од параметара. Такође, статистичка својства резултирајућих естиматора се лакше одређују.

Линеарна регресија има много практичних примена. Већина апликација линеарне регресије спада у једну од следеће две широке категорије:

• Ако је циљ предвиђање или прогноза, линеарна регресија се може користити за подешавање предитивног модела према разматраном скупу података вредности Y и X. Након развоја оваквог модела, ако је дата вредност за X без припадајуће вредности Y, модел се може користити за предвиђање вредности Y.
• Ако је доступна варијабла Y и већи број варијабли X₁, ..., X_p које могу бити повезане са Y, може се користити линерана регресиону анализа за квантификовање јачине релације између Y и X_ј, за процену који је X_ј уопште везан за Y, те да би идентификовало који подскупови од X_ј садрже редундантне информације о Y, тако да кад је један од њих познат, остали више не дају корисне информације.

Линеарни регресиони модели се често подешавају уз помоћ методе најмањих квадрата, иако се могу користити и други начини, као што је минимизовање „недостатка подешења” (енгл. lack of fit) у неким другим нормама, или минимизовањем пенализиране верзије функције губитака најмањих квадрата, као код Тихонове регуларизације.

Насупрот томе, приступ методом најмањих квадрата се може искористити за подешавање нелинеарних модела. Према томе, појмови „најмањи квадрати” и „линеарни модел” јесу уско повезани, али нису синоними.

Увод

У линеарној регресији, за опажања (обележена црвено) се узима да су резултат рандомних девијација (обележених зелено) од темељног односа (означено плаво) између зависне променљиве (y) и независне променљиве (x).

Уз задати скуп података $\{y_{i},\,x_{i1},\ldots ,x_{ip}\}_{i=1}^{n}$ од n статистичких јединица, модел линеарне регресије претпоставља да се релација између зависне варијабле $y_{i}$ и п-вектора регресора $x_{i}$ може приближно узети као линеарна. „Приближно” се овде односи на „сметње” ε_и — непосматрану случајну варијаблу која додаје шум у линеарну релацију између зависне варијабле и регресора. Стога, модел има облик

$y_{i}=\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}=x'_{i}\beta +\varepsilon _{i},\qquad i=1,\ldots ,n,$

где је $x_{i}'\beta$ унутарњи продукат између вектора $x_{i}$ и $\beta$.

Често су ових n једначина сложене у векторски облик као

$Y=X\beta +\varepsilon ,\,$

где је

$\mathbf {y} ={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}},\quad$

$X={\begin{pmatrix}\mathbf {x} _{1}^{\mathsf {T}}\\\mathbf {x} _{2}^{\mathsf {T}}\\\vdots \\\mathbf {x} _{n}^{\mathsf {T}}\end{pmatrix}}={\begin{pmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&\cdots &x_{np}\end{pmatrix}},$

${\boldsymbol {\beta }}={\begin{pmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{pmatrix}},\quad {\boldsymbol {\varepsilon }}={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix}}.$

Неке напомене везане за терминологију:

• $\mathbf {y}$ је вектор измерених вредности $y_{i}\ (i=1,\ldots ,n)$; $y_{i}\,$ се назива регресанд, зависна варијабла, ендогена варијабла, варијабла одговора или мерена варијабла. Ова варијабла се понекад назива и предвиђеном варијаблом, али то не треба мешати са предвиђеним вредностима, које се означавају са ${\hat {y}}$. Одлука о томе која се варијабла у скупу података моделује као зависна варијабла, а која као независна може се темељити на претпоставци да је једна од варијабли последица или под утицајем друге варијабле. Алтернативно, може да постоји операциони разлог за моделовање једне променљиве као функције других, у ком случају нема потребе за претпостављањем узрочности.
• $X$ се може видети као матрица од редова-вектора $\mathbf {x} _{i}$ или n-димензионалних колонских-вектора $X_{j}$, који су познати као регресори, ексогене променљиве, променљиве објашњења, коваријати, инпутне променљиве, предикторске променљиве, или независне варијабле (ово не треба мешати са концептом независних рандомних променљивих). Матрица $X$ се понекад назива матрицом дизајна.
  • Обично се константа уврштава као један од регресора. Посебно, $\mathbf {x} _{i0}=1$ за $i=1,\ldots ,n$. Кореспондирајући елемент β се назива пресек. Многе процедуре статистичке инференције за линеарне моделе налажу постојање пресека, тако да се он обично укључује чак и ако теоретска разматрања сугеришу да његова вредност треба да буде једнака нули.
  • Понекад један од регресора може да буде нелинеарна функција другог регресора или податка, као што је то случају у полиномској регресији и сегментној регресији. Модел се сматра линеарним докле год је линеаран у погледу параметра вектора β.
  • Вредности x_ij могу да буду било измерене вредности случајних променљивих X_j или фиксне вредности изабране пре мерења зависних променљивих. Обе интерпретације могу да буду подесне у различитим случајевима, и генерално се користе исти поступци процене; међутим у тим ситуацијама се користе различити приступи асимптотској анализи.

Литература

• Цохен, Ј., Цохен П., Wест, С.Г., & Аикен, L.С. (2003). Апплиед мултипле регрессион/цоррелатион аналyсис фор тхе бехавиорал сциенцес. (2нд ед.) Хиллсдале, Њ: Лаwренце Ерлбаум Ассоциатес
• Цхарлес Дарwин. Тхе Вариатион оф Анималс анд Плантс ундер Доместицатион. (1868) (Цхаптер XIII десцрибес wхат wас кноwн абоут реверсион ин Галтон'с тиме. Дарwин усес тхе терм "реверсион".)
• Драпер, Н.Р.; Смитх, Х. (1998). Апплиед Регрессион Аналyсис (3рд изд.). Јохн Wилеy. ИСБН 978-0-471-17082-2. 
• Францис Галтон. "Регрессион Тоwардс Медиоцритy ин Хередитарy Статуре," Јоурнал оф тхе Антхропологицал Институте, 15:246-263 (1886). (Фацсимиле ат: [3])
• Роберт С. Пиндyцк анд Даниел L. Рубинфелд (1998, 4х ед.). Ецонометриц Моделс анд Ецономиц Форецастс, цх. 1 (Интро, инцл. аппендицес он Σ операторс & дериватион оф параметер ест.) & Аппендиx 4.3 (мулт. регрессион ин матриx форм).
• Педхазур, Елазар Ј (1982). „Мултипле регрессион ин бехавиорал ресеарцх: Еxпланатион анд предицтион” (2нд изд.). Неw Yорк: Холт, Ринехарт анд Wинстон. ИСБН 978-0-03-041760-3. 
• Матхиеу Роуауд, 2013: Пробабилитy, Статистицс анд Естиматион Цхаптер 2: Линеар Регрессион, Линеар Регрессион wитх Еррор Барс анд Нонлинеар Регрессион.
• Натионал Пхyсицал Лабораторy (1961). „Цхаптер 1: Линеар Еqуатионс анд Матрицес: Дирецт Метходс”. Модерн Цомпутинг Метходс. Нотес он Апплиед Сциенце. 16 (2нд изд.). Хер Мајестy'с Статионерy Оффице. 

Спољашње везе

• https://web.archive.org/web/20070420165256/http://homepage.mac.com/nshoffner/nsh/CalcBookAll/Chapter%201/1functions.html
• Инвестмент Волатилитy: А Цритиqуе оф Стандард Бета Естиматион анд а Симпле Wаy Форwард, C.ТофаллисДоwнлоадабле версион оф папер, субсеqуентлy публисхед ин тхе Еуропеан Јоурнал оф Оператионал Ресеарцх 2008.
• Сцале-адаптиве нонпараметриц регрессион (wитх Матлаб софтwаре).
• Ин Ситу Адаптиве Табулатион Архивирано на сајту Wayback Machine (2. мај 2009): Цомбининг манy линеар регрессионс то аппроxимате анy нонлинеар фунцтион.
• Еарлиест Кноwн усес оф соме оф тхе Wордс оф Матхематицс. Сее: [4] фор "еррор", [5] фор "Гаусс-Марков тхеорем", [6] фор "метход оф леаст сqуарес", анд [7] фор "регрессион".
• Перпендицулар Регрессион Оф а Лине ат МатхПагес
• Онлине регрессион бy еyе (симулатион).
• Левераге Еффецт Интерацтиве симулатион то схоw тхе еффецт оф оутлиерс он тхе регрессион ресултс
• Линеар регрессион ас ан оптимисатион проблем
• Висуал Статистицс wитх Мултимедиа
• Мултипле Регрессион бy Елмер Г. Wиенс. Онлине мултипле анд рестрицтед мултипле регрессион пацкаге.
• ЦАУСЕwеб.орг Манy ресоурцес фор теацхинг статистицс инцлудинг Линеар Регрессион.
• [8] "Махлер'с Гуиде то Регрессион"
• Линеар Регрессион - Нотес, ППТ, Видеос, Матхцад, Матлаб, Матхематица, Мапле ат Нумерицал Метходс фор СТЕМ ундерградуате
• Рестрицтед регрессион - Лецтуре ин тхе Департмент оф Статистицс, Университy оф Удине