Regressionsanalyse

Regressionsanalysen sind statistische Analyseverfahren, die zum Ziel haben, Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen zu modellieren. Sie werden insbesondere verwendet, wenn Zusammenhänge quantitativ zu beschreiben oder Werte der abhängigen Variablen zu prognostizieren sind. Eine weitere Anwendung der Regression ist die Trennung von Signal (Funktion) und Rauschen (Fehler), sowie die Abschätzung des dabei gemachten Fehlers.

Geschichte

Francis Galton
Carl Friedrich Gauß, Porträt von Gottlieb Biermann (1887)

Die früheste Form der Regression war die Methode der kleinsten Quadrate (französisch: méthode des moindres carrés), 1805 von Legendre und 1809 von Gauß veröffentlicht. Beide verwendeten die Methode, um die Umlaufbahnen der Planeten um die Sonne anhand von astronomischen Beobachtungen zu bestimmen. Gauß veröffentlichte eine Weiterentwicklung der Theorie der kleinsten Quadrate im Jahr 1821, die eine Version des Satzes von Gauß-Markow enthielt.

Der Begriff Regression wurde im 19. Jahrhundert von Francis Galton geprägt. Er beschrieb damit ein biologisches Phänomen, bekannt als Regression zur Mitte, wonach Nachfahren großer Eltern dazu tendieren, nur durchschnittlich groß zu werden. Für Galton hatte Regression nur diese biologische Bedeutung. Seine Arbeit wurde jedoch später durch Udny Yule und Karl Pearson in einen allgemeineren statistischen Kontext gesetzt. In deren Arbeiten wurde davon ausgegangen, dass die gemeinsame Verteilung der unabhängigen und der abhängigen Variablen normalverteilt ist. Diese Annahme konnte von R. A. Fisher später abgeschwächt werden. Dieser arbeitete mit der Voraussetzung, dass die bedingte Verteilung der abhängigen Variable normalverteilt ist, die gemeinsame Verteilung jedoch nicht notwendigerweise. In dieser Hinsicht war Fishers Ansatz ähnlicher zu Gauß’ Formulierung von 1821.

Regressionsverfahren sind weiterhin ein aktives Forschungsgebiet. In den letzten Jahrzehnten wurden in verschiedensten Bereichen Schätzmethoden entwickelt, etwa zur robusten Regression, zur nicht-parametrischen Regression, im Bereich der Bayesschen Statistik, bei fehlenden Daten und bei fehlerbehafteten unabhängigen Variablen.

Anwendungen

Regressionsverfahren haben viele praktische Anwendungen. Die meisten Anwendungen fallen in eine der folgenden beiden Kategorien:

Mathematische Formulierung

Mathematisch kann die Beziehung zwischen den unabhängigen Variablen x und der abhängigen Variablen y dargestellt werden als

{\displaystyle \underbrace {y} _{\text{Zielgröße}}=\underbrace {f(x)} _{\text{durchschnittlicher Zusammenhang}}+\underbrace {e} _{\text{Störgröße}}\quad }, im eindimensionalen Fall und
y=f(x_{1},x_{2},\dotsc ,x_{n})+e\quad im n-dimensionalen Fall.

Hierbei bezeichnet f die gesuchte oder angenommene Funktion und e den stochastischen Fehler des Modells.

Schema einer Regressionsanalyse

Datenaufbereitung

Am Beginn jedes statistischen Verfahrens steht die Aufbereitung der Daten, insbesondere

Modellanpassung

Mittels mathematischer Verfahren wird nun eine Funktion f ermittelt, so dass die Residuen e minimal werden. Dabei kann die Form der Funktion bereits weitgehend durch das verwendete Verfahren festgelegt sein. Die Lineare Regression etwa betrachtet nur lineare Funktionen f, logistische Regression betrachtet nur logistische Funktionen. Was genau unter „minimal“ zu verstehen ist, hängt ebenfalls vom verwendeten Verfahren ab. Wird zum Beispiel die Methode der kleinsten Quadrate angewandt, dann wird die Summe der Quadrate der Abweichungen {\displaystyle \sum \nolimits _{i=1}^{n}{\hat {e_{i}}}^{2}} minimiert, es gibt jedoch auch sogenannte robuste Verfahren, die den Betrag der Abweichungen minimieren.

Modellvalidierung

Ein wichtiger Schritt der Regressionsanalyse ist die Modellvalidierung. Hierbei wird überprüft, ob das Modell eine gute Beschreibung des Zusammenhangs ist. Die Modellvalidierung umfasst die

Prognose

Das validierte Modell kann zur Prognose von Werten von y bei gegebenen Werten von x herangezogen werden. Häufig wird neben dem prognostizierten Wert von y auch ein Prognoseintervall angegeben, um so die Unsicherheit der Prognose abzuschätzen.

Bei Vorhersagen im Wertebereich der zur Modellanpassung verwendeten Daten spricht man von Interpolation. Vorhersagen außerhalb dieses Datenbereichs nennt man Extrapolation. Vor der Durchführung von Extrapolationen sollte man sich gründlich mit den dabei implizierten Annahmen auseinandersetzen.

Variablenauswahl und Modellvergleich

Ist das Ziel der Analyse die Ermittlung derjenigen unabhängigen Variablen, die besonders stark in Zusammenhang mit der abhängigen Variablen y stehen, werden häufig mehrere Modelle mit jeweils unterschiedlichen unabhängigen Variablen erstellt und diese Modelle verglichen. Um zwei Modelle miteinander zu vergleichen, werden in der Regel Kennzahlen wie das Bestimmtheitsmaß oder das Informationskriterium benutzt.

Es gibt automatisierte Verfahren wie die sogenannte schrittweise Regression, die sukzessive dasjenige Modell zu ermitteln versuchen, welches den gesuchten Zusammenhang am besten erklärt. Die Anwendung solcher Verfahren wird jedoch kontrovers diskutiert.

Des Weiteren gibt es in der Bayessche Statistik Verfahren, die aus mehreren Modellen ein neues Modell ableiten (durch sogenanntes averaging) und so versuchen, die aus der Modellwahl entstehende Unsicherheit zu verringern.

Einige Regressionsverfahren

Das folgende Beispiel wird zur Illustration der verschiedenen Verfahren benutzt. Analog zu Mincer (1974) wurden aus dem Current Population Survey 1985 zufällig 534 Beobachtungen gezogen mit folgenden Variablen:

Mincer untersuchte mit Hilfe der nach ihm benannten Mincer-Einkommensgleichung den Zusammenhang zwischen dem Logarithmus des Stundenlohns (abhängige Variable) und der Berufsausbildung und -erfahrung (unabhängige Variablen). In den folgenden Grafiken findet sich links eine räumliche Darstellung der Regressionsfläche und rechts ein Kontourplot. Positive Residuen sind rötlich, negative Residuen sind bläulich gezeichnet und je heller die Beobachtung desto kleiner ist der Absolutbetrag des Residuums.

Grundlegende Verfahren

Lineare Regression

Hauptartikel: Lineare Regression

Bei der linearen Regression wird das Modell so spezifiziert, dass die abhängige Variable y eine Linearkombination der Parameter (=Regressionskoeffizienten) \beta_i ist, aber nicht notwendigerweise der unabhängigen Variablen x. Zum Beispiel modelliert die einfache lineare Regression die Abhängigkeit mit einer unabhängigen Variable x:

{\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+e_{i}\quad i=1,...,p},.

Bei der multiplen linearen Regression werden mehrere unabhängige Variablen oder Funktionen der unabhängigen Variablen berücksichtigt. Wird zum Beispiel der Term x^{2} zur vorigen Regression hinzugefügt, so ergibt sich:

{\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+e_{i}\quad i=1,...,p}.

Obwohl der Ausdruck auf der rechten Seite quadratisch in der unabhängigen Variable x ist, ist der Ausdruck linear in den Parametern \beta _{0}, \beta _{1} und \beta _{2}. Damit ist dies auch eine lineare Regressionsgleichung.

Zur Bestimmung der Modellparameter \beta _{k} wird die Methode der kleinsten Quadrate verwendet.

Nichtparametrische Regression

Bei nichtparametrischen Regressionsverfahren wird die Form des funktionalen Zusammenhangs f nicht vorgegeben, sondern weitestgehend aus den Daten hergeleitet. Bei der Schätzung der unbekannten Regressionfunktion m an der Stelle (x_{1},\dotsc ,x_{p}) gehen die Daten nahe diesem Punkt mit größerem Gewicht ein als Datenpunkte, die weit entfernt von diesem liegen.

Zur Schätzung haben sich verschiedene Regressionsverfahren etabliert:

Nadaraya-Watson-Schätzer
Hierbei wird die Regressionsfunktion als gewichtete Summe der naheliegende Beobachtungswerte berechnet. Die Gewichte werden mittels Kerndichteschätzung bestimmt und dann eine
  • lokal konstante lineare Regression (Nadaraya-Watson-Schätzer),
  • lokal lineare Regression (lokal linearer Schätzer) oder
  • lokal polynomiale Regression (lokal polynomialer Schätzer)
durchgeführt.
Bei der Methode der multivariaten adaptiven Regressions-Splines (MARS) wird die abhängige Variable als Linearkombination von sogenannten Hockeystick-Funktionen (bzw. Produkten von Hockeystickfunktionen) dargestellt.

Semiparametrische Regression

Ein Nachteil der nichtparametrischen Regressionen ist, dass sie am Fluch der Dimensionalität leiden. D.h. je mehr erklärende Variablen es gibt, desto mehr Beobachtungen sind notwendig, um an einem beliebigen Punkt (x_{1},\dotsc ,x_{p}) die unbekannte Regressionfunktion m(x_{1},\dotsc ,x_{p}) zuverlässig zu schätzen. Daher wurde eine Reihe von semi-parametrischen Modellen etabliert, die die lineare Regression erweitern bzw. nutzen:

Hier wird die unbekannte Regressionsfunktion als Summe nichtparameterischer univariater Regressionen g_{j} der Variablen dargestellt:
m(x_{1},\dotsc ,x_{p})=b_{0}+b_{1}g_{1}(x_{1})+\dotsb +b_{p}g_{p}(x_{p})
Beim partiell linearen Modell geht ein Teil der Variablen linear ein, insbesondere binäre Variablen.

Hier wird die unbekannte Regressionsfunktion ebenfalls als Summe nichtparameterischer univariater Regressionen g_{j} von Indices dargestellt:

m(x_{1},\dotsc ,x_{p})=g_{1}\left(b_{0}^{{(1)}}+b_{1}^{{(1)}}x_{1}+\dotsb +b_{p}^{{(1)}}x_{p}\right)+\dotsb +g_{M}\left(b_{0}^{{(M)}}+b_{1}^{{(M)}}x_{1}+\dotsb +b_{p}^{{(M)}}x_{p}\right)
Im Fall M=1 spricht man vom Single-Index-Modell, für M>1 gibt es die Projection Pursuit Regression.

Robuste Regression

Regressionsverfahren, die auf der Methode der kleinsten Quadrate oder der Maximum-Likelihood-Methode beruhen, sind nicht robust gegenüber Ausreißern. Robuste Regressionsverfahren wurden entwickelt, um diese Schwäche der klassischen Methode zu umgehen. So können zum Beispiel alternativ M-Schätzer eingesetzt werden.

Generalisierte Verfahren

Generalisierte Lineare Modelle

Bei der klassischen linearen Regression wird vorausgesetzt, dass die Residuen e (engl. error) normalverteilt sind. Die Modellannahme wird bei den generalisierten Modellen abgeschwächt, wo die Residuen e eine Verteilung aus der Verteilungsklasse der exponentiellen Familie besitzen können. Dies wird möglich durch die Verwendung

Ein Spezialfall der generalisierten linearen Modelle ist die Logistische Regression. Wenn die abhängige Variable Y eine ordinale Variable ist, die nur zwei oder endlich viele Werte annehmen darf, verwendet man häufig die logistische Regression.

Binäre logistische Regression: {\displaystyle G(\mu )=\log \left({\frac {\mu }{1-\mu }}\right)=\beta _{0}+\beta _{1}x_{i1}+\ldots +\beta _{p}x_{ip}+e_{i}}

mit \mu =P(Y=1|X=x) (abhängig von Verteilungsklasse der Residuen). Eine Alternative wäre das Probitmodell.

Generalisierte semi-parametrische Modelle

Diese Idee ist auch für die semi-parametrischen Modelle übernommen worden:

G(\mu )=\beta _{0}+g_{1}(x_{1})+\dotsb +g_{p}(x_{p})
G(\mu )=\beta _{0}+\beta _{1}z_{1}+\dotsb +\beta _{p}z_{p}+g(x_{1},\dotsc ,x_{q})
G(\mu )=\beta _{0}+\beta _{1}z_{1}+\dotsb +\beta _{p}z_{p}+g_{1}(x_{1})+\dotsb +g_{q}(x_{q})

Spezielle Verfahren

Autoregressive Modelle

Wenn die Datenpunkte geordnet sind (z.B. wenn es sich bei den Daten um eine Zeitreihe handelt), dann ist es etwa im AR-Modell und im ARCH-Modell möglich, vorhergehende Daten als „unabhängige“ Variable zu verwenden.

Siehe auch

Trenner
Basierend auf einem Artikel in: Wikipedia.de
Seitenende
Seite zurück
©  biancahoegel.de
Datum der letzten Änderung:  Jena, den: 11.11. 2022