Mazākie kvadrāti — definīcija, vēsture un pielietojumi statistikā

Vismazāko kvadrātu metode ir matemātikas procedūras nosaukums, lai no vairākām novērotajām vērtībām konstruētu funkciju. Pamatideja ir konstruēt funkciju tā, lai starpības summa starp novēroto vērtību un tās datu punktu būtu minimāla. Tā kā starpība var būt abos virzienos, starpības vērtība katrai vērtībai tiek kvadrēta.

Definīcija un vienkāršs piemērs

Vienkāršākajā gadījumā, ja dati sastāv no pāriem (x_i, y_i) un meklējam taisni y = a + b x, vismazāko kvadrātu pieeja izvēlas parametrus a un b tā, lai tiktu minimizēta kvadrātu summa S = Σ (y_i − (a + b x_i))^2. Šajā lineārajā gadījumā ir slēgta (analītiska) formula risinājumam: slīpuma b estimators ir proporcionāls kovariācijas un variances attiecībai, bet intercepta a vērtība tiek iegūta no datu vidējām vērtībām. Praktiski tas nozīmē, ka taisne tiek "piestumta" datiem, lai kopējā noviržu kvadrātu summa būtu pēc iespējas mazāka.

Īsa vēsture

Kārlis Frīdrihs Gauss teica, ka viņš šo metodi izstrādājis 1795. gadā. Viņš to izmantoja, lai atrastu pazudušo asteroīdu 1 Ceres, un publicēja 1807. gadā. Viņš izmantoja Pjēra Simona Laplasa idejas. Adriēns Marī Legendrs (Adrien-Marie Legendre) to pašu metodi izstrādāja neatkarīgi, 1805. gadā.

Historiski ir bijusi diskusija par prioritāti un par to, kā metode attīstījās — Gauss lietoja metodi astronomiskām prognozēm un statistikai, savukārt Legendre to ieteica arī kā praktisku rīku datu pielāgošanai. Vēlāk metode kļuva par centrālu instrumentu statistiskajā regresijā un datu modelēšanā.

Matemātiskā forma un īpašības

Vispārīgā lineārā gadījumā ar dizaina matricu X un novērojumu vektoru y parasti izmanto parasto vismazāko kvadrātu (OLS) risinājumu: β̂ = (X'X)^{-1} X'y, ja X'X ir invertējama. Šis estimators minimizē kvadrātu summu S(β) = (y − Xβ)'(y − Xβ).

Galvenās īpašības (pie pieņēmumiem) ietver:

• Nejaušību un nekrustotu novēršanos: ja kļūdas ir ar nulles vidējo un noteiktām īpašībām, OLS ir nepartisks (un, ja kļūdas ir normālas, arī minimāliski varbūtējo).
• Gauss–Markova teorema: pie lineāriem un eksogēniem regresoriem, homoskedastiskām kļūdām un neatkarības OLS estimators ir BLUE — labākais lineāri nepartiskais estimators (minimāla dispersija starp lineāriem nepartiskiem estimātoriem).
• Pie normālu kļūdu pieņēmuma: estimatori ir nosacīti normāli sadalīti, kas ļauj konstruēt ticamības intervālus, t-testus un F-testus.

Pielietojumi statistikā un citur

Metode ir plaši izmantota daudzos laukos:

• Regresijas analīze un prognozēšana (ekonometrika, biostatistika, sociālās zinātnes).
• Datu pielāgošana un funkcionālā regresija (zinātniskie eksperimenti, inženierija).
• Signalapstrāde un attēlu rekonstrukcija (filtrēšana, denoising).
• Ģeodēzija un astronomija (pozīciju noteikšana, orbītu aprēķini), kas bija arī viena no pirmajām metodei pielietojuma jomām.
• Mašīnmācīšanās — lineārā regresija ir pamats daudziem algoritmiem, tai skaitā regulārizētām versijām (ridge, LASSO).

Varianti un paplašinājumi

• Svertais vismazāko kvadrātu (WLS): tiek izmantots, ja novērojumiem ir dažāda izkliede (heteroskedastiskums). Formāli β̂ = (X' W X)^{-1} X' W y, kur W ir svars-diagonāla matrica.
• Generālās vismazāko kvadrātu (GLS): ja kļūdu kovariācijas matrica nav proporcionāla identitātei, GLS ņem vērā šo struktūru, lai iegūtu efektīvākus estimātorus.
• Nelineārā vismazāko kvadrātu: ja modelis nav lineārs parametrā, tiek izmantotas iteratīvas metodes (Gauss–Newton, Levenberg–Marquardt), lai minimizētu kvadrātu summu.
• Regulārizācija: ridge un LASSO pievieno sodu termiņu, lai mazinātu pārliekas pielāgošanās un multikolinearitātes problēmas.
• Robustās alternatīvas: ja dati satur ārkārtīgus vērtības (outliers), izmanto metodes kā minimizācija pēc absolūtām novirzēm (LAD), M-estimatorus vai citu robustu regresiju.

Datorizēšana un praktiskie aspekti

Skaitliski drošāka pieeja lineāro sistēmu risināšanai par tiešu inversiju ir izmantot QR-dekompozīciju vai singularitātes vērtību dekompozīciju (SVD). Tie samazina skaitliskos kļūdu efektus, īpaši, ja dizaina matrica ir slikti kondicionēta.

Analīzei un diagnostikai svarīgi soļi:

• Rezidu (noviržu) analīze: pārbaudīt atbilstību pieņēmumiem (linearitāte, homoskedastiskums, normalitāte, neatkarība).
• Ietekmes mērījumi: Cook's distance, leverage u.c., lai identificētu ietekmīgus novērojumus.
• Modeļa izvērtēšana: R^2, pielāgots R^2, AIC/BIC un krustvalidācija prognozes kvalitātes novērtēšanai.

Ierobežojumi

Vismazāko kvadrātu metode ir ļoti plaši noderīga, taču tai ir ierobežojumi:

• Spēcīga jutība pret ārkārtīgiem novērojumiem — kvadrēšana pastiprina ārēju kļūdu ietekmi.
• Ja dati vai modelis pārkāpj pieņēmumus (piem., heteroskedastiskums, autokorelācija, endogenitāte), klasiskie OLS rezultāti var būt neefektīvi vai nepareizi interpretējami.
• Multikolinearitāte (stipra korelācija starp izskaidrojošajiem mainīgajiem) var padarīt estimātus nestabilus.

Noslēgumā, vismazāko kvadrātu metode ir pamats daudzām statistikas un datu analīzes metodēm. Pareiza tās izmantošana prasa sapratni par pieņēmumiem, atbilstošu diagnostiku un, ja nepieciešams, metožu pielāgošanu (svars, robustums, regulārizācija). Izvēle starp tiešu analītisku risinājumu un numerisku īstenojumu (QR, SVD) parasti nosaka rezultāta uzticamību reālos datos.

Meklēt pēc burta