Maximum-Likelihood-Methode

Die Maximum-Likelihood-Methode, kurz ML-Methode, (von engl. maximale Wahrscheinlichkeit) bezeichnet in der Statistik ein parametrisches Schätzverfahren. Dabei wird – vereinfacht ausgedrückt – derjenige Parameter als Schätzung ausgewählt, gemäß dessen Verteilung die Realisierung der beobachteten Daten am plausibelsten erscheint.

Im Falle einer von einem Parameter $\vartheta$ abhängigen Wahrscheinlichkeitsfunktion

$\rho \colon \Omega \to [0;1],\quad x\mapsto \rho (x\mid \vartheta )$

wird zu einem beobachteten Ausgang also die folgende Likelihoodfunktion für verschiedene Parameter betrachtet:

$L\colon \Theta \to [0;1]\quad \vartheta \mapsto \rho (x\mid \vartheta )\,.$

Dabei bezeichnet $\Omega$ den Raum aller Ergebnisse und $\Theta$ den Raum aller möglichen Parameterwerte.

Für einen bestimmten Wert des Parameters $\vartheta$ entspricht die Likelihood-Funktion (Wahrscheinlichkeitsfunktion) der Wahrscheinlichkeit, das Ergebnis zu beobachten. Als Maximum-Likelihood-Schätzung wird entsprechend dasjenige $\vartheta$ bezeichnet, für das die Likelihood-Funktion maximal wird. Im Falle stetiger Verteilungen gilt eine analoge Definition, nur wird die Wahrscheinlichkeitsfunktion in dieser Situation durch die zugehörige Wahrscheinlichkeitsdichte ersetzt. Allgemein lassen sich Maximum-Likelihood-Methoden für beliebige statistische Modelle definieren, solange die entsprechende Verteilungsklasse eine dominierte Verteilungsklasse ist.

Motivation

Einfach gesprochen bedeutet die Maximum-Likelihood-Methode Folgendes: Wenn man statistische Untersuchungen durchführt, untersucht man in der Regel eine Stichprobe mit einer bestimmten Anzahl von Objekten einer Population. Da die Untersuchung der gesamten Population in den meisten Fällen hinsichtlich der Kosten und des Aufwandes unmöglich ist, sind die wichtigen Kennwerte der Population unbekannt. Solche Kennwerte sind z.B. der Erwartungswert oder die Standardabweichung. Da man diese Kennwerte jedoch zu den statistischen Rechnungen, die man durchführen möchte, benötigt, muss man die unbekannten Kennwerte der gesamten Population anhand der bekannten Stichprobe schätzen.

Die Maximum-Likelihood-Methode wird nun in Situationen benutzt, in denen die Elemente der Population als Realisierung eines Zufallsexperiments interpretiert werden können, das von einem unbekannten Parameter abhängt, bis auf diesen aber eindeutig bestimmt und bekannt ist. Entsprechend hängen die interessanten Kennwerte ausschließlich von diesem unbekannten Parameter ab, lassen sich also als Funktion von ihm darstellen. Als Maximum-Likelihood-Schätzer wird nun derjenige Parameter bezeichnet, der die Wahrscheinlichkeit, die Stichprobe zu erhalten, maximiert.

Die Maximum-Likelihood-Methode ist aufgrund ihrer Vorteile gegenüber anderen Schätzverfahren (beispielsweise Kleinste-Quadrate- und Momentenmethode) das wichtigste Prinzip zur Gewinnung von Schätzfunktionen für die Parameter einer Verteilung.

Eine heuristische Herleitung

Es wird nun folgendes Beispiel betrachtet: Es gibt eine Urne mit einer großen Anzahl von Kugeln, die entweder schwarz oder rot sind. Da die Untersuchung aller Kugeln praktisch unmöglich erscheint, wird eine Stichprobe von zehn Kugeln (etwa mit Zurücklegen) gezogen. In dieser Stichprobe seien nun eine rote und neun schwarze Kugeln. Ausgehend von dieser einen Stichprobe soll nun die wahre Wahrscheinlichkeit, eine rote Kugel in der Gesamtpopulation (Urne) zu ziehen, geschätzt werden.

Drei Likelihood-Funktionen für Parameter p einer Binomialverteilung für verschiedene Anzahlen k von roten Kugeln in einer Stichprobe von n=10 Kugeln

Die Maximum-Likelihood-Methode versucht diese Schätzung nun so zu erstellen, dass das Auftreten unserer Stichprobe damit am wahrscheinlichsten wird. Dazu könnte man „herumprobieren“, bei welchem Schätzer die Wahrscheinlichkeit für unser Stichprobenergebnis maximal wird.

„Probiert“ man beispielsweise 0,2 als Schätzer für die Wahrscheinlichkeit p einer roten Kugel, so kann man mit Hilfe der Binomialverteilung B(10; 0,2; 1) die Wahrscheinlichkeit des beobachteten Ergebnisses (genau eine rote Kugel) berechnen: das Ergebnis ist 0,2684.

„Probiert“ man es mit 0,1 als Schätzer für p, berechnet also B(10; 0,1; 1) für die Wahrscheinlichkeit, dass genau eine rote Kugel gezogen wird, ist das Ergebnis 0,3874.

Die Wahrscheinlichkeit, dass das beobachtete Ergebnis (genau eine rote Kugel) in der Stichprobe durch eine Populationswahrscheinlichkeit für rote Kugeln von p = 0,1 verursacht wurde, ist also größer als bei p = 0,2. Damit wäre nach der Maximum-Likelihood-Methode 0,1 ein besserer Schätzer für den Anteil p roter Kugeln in der Population. Es erweist sich, dass für p = 0,1 (siehe rote Linie für k = 1 in der Grafik) die Wahrscheinlichkeit des beobachteten Ergebnisses am größten ist. Deshalb ist 0,1 die Maximum-Likelihood-Schätzung von p. Man kann zeigen, dass sich allgemein bei k roten Kugeln in der Stichprobe k/10 als Maximum-Likelihood-Schätzung von p ergibt.

Definition

Bei der Maximum-Likelihood-Methode wird von einer Zufallsvariablen ausgegangen, deren Dichte- bzw. Wahrscheinlichkeitsfunktion von einem Parameter abhängt. Liegt eine einfache Zufallsstichprobe mit Realisierungen $x_1, \dotsc, x_n$ von n unabhängig und identisch verteilten Zufallsvariablen $X_1, \dotsc, X_n$ vor, so lässt sich die Dichtefunktion bzw. Wahrscheinlichkeitsfunktion wie folgt faktorisieren:

$f(x_{1},x_{2},...,x_{n};q)=\prod _{i=1}^{n}{f_{X}}_{i}(x_{i};q)$

Statt nun für einen festen Parameter die Dichte für beliebige Werte $x_{1},\ldots ,x_{n}$ auszuwerten, kann umgekehrt für beobachtete und somit feste Realisierungen $x_{1},\ldots ,x_{n}$ die Dichte als Funktion von betrachtet werden. Dies führt zur Likelihood-Funktion

$L(q)=\prod _{i=1}^{n}{f_{X}}_{i}(x_{i};q)$

Wird diese Funktion in Abhängigkeit von maximiert, so erhält man die Maximum-Likelihood-Schätzung für . Es wird also der Wert von gesucht, bei dem die Stichprobenwerte $x_{1},\ldots ,x_{n}$ die größte Dichte- bzw. Wahrscheinlichkeitsfunktion haben. Der Maximum-Likelihood-Schätzer ist in diesem Sinne der plausibelste Parameterwert für die Realisierungen $x_{1},\ldots ,x_{n}$ der Zufallsvariablen . Ist differenzierbar, so kann das Maximum bestimmt werden, indem man die erste Ableitung nach bildet und diese dann Null setzt. Da dieses bei Dichtefunktionen mit komplizierten Exponentenausdrücken sehr aufwändig werden kann, wird häufig die logarithmierte Likelihood-Funktion (kurz: Log-Likelihood-Funktion) verwendet, da sie auf Grund der Monotonie des Logarithmus ihr Maximum an derselben Stelle wie die nicht-logarithmierte Dichtefunktion besitzt, jedoch einfacher zu berechnen ist:

$\ell (q)=\ln \left(\prod _{i=1}^{n}{f_{X}}_{i}(x_{i};q)\right)=\sum _{i=1}^{n}\ln f_{X_{i}}(x_{i};q)$

Beispiele

Diskrete Verteilung, kontinuierlicher Parameterraum

Die Zahl der Anrufe bei zwei Telefonisten in einer Stunde in einem Call-Center kann mit einer Poisson-Verteilung

$X_{1}\sim Po(\lambda )\,$ und $X_{2}\sim Po(\lambda )\,$

modelliert werden. Beim ersten Telefonisten gehen drei und beim zweiten fünf Anrufe pro Stunde unabhängig voneinander ein. Die Likelihoodfunktion für den unbekannten Parameter $\lambda$ ergibt sich als

$L(\lambda )=P(\{X_{1}=3\}\cap \{X_{2}=5\})=P(X_{1}=3)P(X_{2}=5)$

Likelihoodfunktion im nebenstehenden Beispiel

Setzt man die Werte in die Wahrscheinlichkeitsfunktion

$P(X=x)={\frac {\lambda ^{x}}{x!}}\exp(-\lambda )$

ein, so folgt

$L(\lambda )={\frac {\lambda ^{3}}{3!}}\exp(-\lambda )\;{\frac {\lambda ^{5}}{5!}}\exp(-\lambda )={\frac {\lambda ^{8}}{3!5!}}\exp(-2\lambda )$

Die erste Ableitung der Likelihoodfunktion ergibt sich zu

${\frac {dL(\lambda )}{d\lambda }}={\frac {1}{3!5!}}\left(8\lambda ^{7}\exp(-2\lambda )-2\lambda ^{8}\exp(-2\lambda )\right)={\frac {2\lambda ^{7}\exp(-2\lambda )}{3!5!}}(4-\lambda )=0$

und die Nullstellen zu ${\hat {\lambda }}=0\,$ und ${\hat {\lambda }}=4$ . Nur für ${\hat {\lambda }}=4$ hat die Likelihoodfunktion ein Maximum und dies ist der Maximum-Likelihood-Schätzwert.

Im allgemeinen Fall, mit Telefonisten, die jeweils $x_{i}$ Anrufe pro Stunde erhalten, ergibt sich die Likelihoodfunktion als

$L(\lambda )={\frac {\lambda ^{(x_{1}+\cdots +x_{n})}}{x_{1}!\ldots x_{n}!}}\exp(-n\lambda )$

und die Log-Likelihoodfunktion als

$\log(L(\lambda ))=(x_{1}+\cdots +x_{n})\log(\lambda )-\log(x_{1}!\ldots x_{n}!)-n\lambda \,$ .

Die Ableitung nach $\lambda$ ergibt

${\frac {d\log(L(\lambda ))}{d\lambda }}={\frac {x_{1}+\cdots +x_{n}}{\lambda }}-n=0$

und nach Umformen ergibt sich die Maximum-Likelihood-Schätzung als

${\hat {\lambda }}={\frac {x_{1}+\cdots +x_{n}}{n}}={\bar {x}}$

und die zugehörige Schätzfunktion als

$\Lambda ={\frac {X_{1}+\cdots +X_{n}}{n}}={\bar {X}}$ .

Diskrete Verteilung, endlicher Parameterraum

Eine Urne enthält N=8 Kugeln, die entweder rot oder schwarz sind. Die genaue Anzahl $M\in \{0,1,\dotsc ,8\}$ der roten Kugeln ist nicht bekannt. Nacheinander werden n=4 Kugeln gezogen und jeweils wieder zurück in die Urne gelegt. Beobachtet werden $x_{1}=1$ (erste Kugel ist rot), $x_{2}=1$ (zweite Kugel ist rot), $x_{3}=0$ (dritte Kugel ist schwarz) und $x_{4}=1$ (vierte Kugel ist rot).

Gesucht ist nun die nach dem Maximum-Likelihood-Prinzip plausibelste Zusammensetzung der Kugeln in der Urne.

In jedem Zug ist die Wahrscheinlichkeit, eine rote Kugel zu ziehen, gleich ${\frac {M}{N}}$ . Wegen der Unabhängigkeit der Ziehungen ist die Wahrscheinlichkeit des beobachteten Ergebnisses und damit die zugehörige Likelihood-Funktion in Abhängigkeit vom unbekannten Parameter gegeben durch

$L(M)=\left({\frac {M}{N}}\right)^{3}\left(1-{\frac {M}{N}}\right)={\frac {1}{N^{4}}}M^{3}(N-M)={\frac {1}{8^{4}}}M^{3}(8-M)\,.$

Es ergeben sich folgende Funktionswerte:

	$0$
	0	0,002	0,012	0,033	0,063	0,092	0,105	0,084	0

Daraus ergibt sich dass die Likelihood-Funktion L(M) maximal ist für M=6 . Damit ist M=6 der plausibelste Parameterwert für die Realisierung drei roter Kugeln bei vier Ziehungen und somit der Schätzwert nach der Maximum-Likelihood-Methode.

Stetige Verteilung, kontinuierlicher Parameterraum

Zu der Normalverteilung ${\mathcal {N}}(\mu ,\sigma ^{2})$ mit der Wahrscheinlichkeitsdichte

$f\left(x\mid \mu ,\sigma ^{2}\right)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp {\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$

lautet die Likelihoodfunktion einer Stichprobe vom Umfang

$L(m,s)=f\left(x_{1},\ldots ,x_{n}\mid m,s^{2}\right)=\prod _{i=1}^{n}f\left(x_{i}\mid m,s^{2}\right)=\left({\frac {1}{2\pi s^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-m)^{2}}{2s^{2}}}\right)\,.$

Diese Familie von Verteilungen hat zwei Parameter: q=(m,s) .

Als Log-Likelihoodfunktion ergibt sich

$\ell (m,s)=\log L(m,s)=-{\frac {n}{2}}\cdot \log \left(2\pi s^{2}\right)-{\frac {\sum _{i=1}^{n}(x_{i}-m)^{2}}{2s^{2}}}\,.$

Die partiellen Ableitungen von $\ell$ nach und lauten

${\frac {\partial }{\partial m}}\ell (m,s)=0-{\frac {-2\sum _{i=1}^{n}(x_{i}-m)}{2s^{2}}}={\frac {\sum _{i=1}^{n}(x_{i}-m)}{s^{2}}}={\frac {\sum _{i=1}^{n}x_{i}-n\cdot m}{s^{2}}}$

und

${\frac {\partial }{\partial s}}\ell (m,s)=-{\frac {n}{s}}+{\frac {\sum _{i=1}^{n}(x_{i}-m)^{2}}{s^{3}}}\,.$

Setzt man beide Ausdrücke gleich null und löst das entstandene nichtlineare Gleichungssystem, so erhält man

$m={\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$

und

$s^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-m)^{2}\,.$

Tatsächlich hat die Funktion an dieser Stelle ihr Maximum.

Für den Erwartungswert von ergibt sich

$E\left[m\right]=\mu \,,$

das heißt, der Maximum-Likelihood-Schätzer für $\mu$ ist erwartungstreu.

Wie in dieser Rechnung gezeigt wird, gilt aber

$E\left[s^{2}\right]={\frac {n-1}{n}}\sigma ^{2}\,.$

Der Schätzer $s^{2}$ für $\sigma ^{2}$ ist also nicht erwartungstreu.

Historische Entwicklung

Die Maximum-Likelihood-Methode geht auf Ronald Aylmer Fisher zurück, der sie zunächst in relativer Unkenntnis von Vorarbeiten durch Gauß in Arbeiten von 1912, 1921 und schließlich 1922 unter dem später bekannten Namen entwickelte. Die Hauptergebnisse wurden auch bereits 1908 von F. Y. Edgeworth hergeleitet.

Maximum-Likelihood-Schätzung

Als Maximum-Likelihood-Schätzung bezeichnet man in der Statistik eine Parameterschätzung, die nach der Maximum-Likelihood-Methode berechnet wurde. In der englischen Fachliteratur ist die Abkürzung MLE (maximum likelihood estimate) dafür sehr verbreitet. Eine Schätzung, bei der Vorwissen in Form einer A-priori-Wahrscheinlichkeit einfließt, wird Maximum-A-Posteriori-Schätzung (MAP) genannt.

Eigenschaften von Maximum-Likelihood-Schätzern

Die besondere Qualität von Maximum-Likelihood-Schätzern äußert sich darin, dass sie in der Regel die effizienteste Methode zur Schätzung bestimmter Parameter darstellt.

Existenz

Unter bestimmten Regularitätsannahmen lässt sich beweisen, dass Maximum-Likelihood-Schätzer existieren, was aufgrund ihrer impliziten Definition als eindeutiger Maximalstelle einer nicht näher bestimmten Wahrscheinlichkeitsfunktion nicht offensichtlich ist. Die für diesen Beweis benötigten Voraussetzungen bestehen im Prinzip ausschließlich aus Annahmen zur Vertauschbarkeit von Integration und Differentiation, was in den meisten betrachteten Modellen erfüllt ist.

Asymptotische Eigenschaften

Wenn Maximum-Likelihood-Schätzer existieren, dann sind sie asymptotisch effizient, d.h., sie konvergieren in Verteilung gegen eine normalverteilte Zufallsvariable, deren Varianz das Inverse der Fisher-Information ist. Formal gesprochen sei ${\hat {\vartheta }}$ der Maximum-Likelihood-Schätzer für einen Parameter $\vartheta$ und $I_{1}(\vartheta )$ die Matrix der Fisher-Information von $f_{\vartheta }(x)$ . Dann gilt die folgende Konvergenzaussage

${\sqrt {n}}\left({\hat {\vartheta }}-\vartheta \right){\xrightarrow {d}}{\mathcal {N}}\left(0,I_{1}(\vartheta )^{-1}\right)$

Dieser Grenzwertsatz ist speziell deswegen von Bedeutung, weil als Konsequenz aus der Cramér-Rao-Ungleichung das Inverse der Fisher-Information die bestmögliche Varianz für die Schätzung eines unbekannten Parameters darstellt. In dieser Hinsicht ist die Maximum-Likelihood-Methode bezüglich asymptotischer Betrachtungen optimal.

Allgemeine Tests

Arbeitsweise der drei Tests im Rahmen der Maximum-Likelihood Methode.

Die Konvergenz der Maximum-Likelihood-Schätzfunktion ${\hat {\theta }}$ gegen eine Normalverteilung erlaubt die Ableitung allgemeiner Tests zur Prüfung von Modellen und Koeffizienten:

Likelihood-Quotienten-Test (engl. Likelihood-ratio),
Wald-Test und
Score- oder Langrange-Multiplier-Test.

Die Grafik rechts zeigt die Arbeitsweise der Tests auf: Der Likelihood-Quotienten-Test vergleicht die Werte der Likelihood-Funktionen miteinander, der Wald-Test prüft den Abstand zwischen dem geschätzten Parameter und dem vorgegebenen Parameter und der Score-Test, ob die Ableitung der Likelihood-Funktion Null ist.

Da diese Tests nur asymptotisch gültig sind, gibt es für „kleine“ Stichprobenumfänge oft Tests mit besseren Optimalitätseigenschaften.

Likelihood-Quotienten-Test

Im Likelihood-Quotienten-Test wird geprüft, ob sich zwei geschachtelte Modelle signifikant voneinander unterscheiden. Ist $\theta$ ein Parametervektor, sind $\Theta _{0}\subset \Theta _{1}$ zwei Parameterräume ( $\Theta _{0}$ reduziertes Modell, $\Theta _{1}$ volles Modell) sowie $L(\theta )$ die Likelihoodfunktion, dann gilt unter der Nullhypothese ( $H_{0}\colon \theta \in \Theta _{0}$ vs. $H_{1}\colon \theta \in \Theta _{1}$ )

$LR=-2\log \left({\frac {\max _{\Theta _{0}}L(\theta )}{\max _{\Theta _{1}}L(\theta )}}\right)\approx \chi _{\dim(\Theta _{1})-\dim(\Theta _{0})}^{2}$ .

Eine Ablehnung der Nullhypothese bedeutet, dass das „volle“ Modell eine signifikant bessere Erklärung liefert als das „reduzierte“ Modell.

Wald-Test

Während der Likelihood-Quotienten-Test Modelle vergleicht, zielt der Wald-Test auf einzelne Koeffizienten (univariat) oder Koeffizientengruppen (multivariat). Aus den asymptotischen Eigenschaften folgt $\lim _{n\rightarrow \infty }{\hat {\theta }}\rightarrow {\mathcal {N}}(\theta ,\sigma _{\hat {\theta }}^{2})$ , d.h. unter Gültigkeit der Nullhypothese ( $H_{0}\colon \theta =\theta _{0}$ vs. $H_{1}\colon \theta \neq \theta _{0}$ ) folgt

$T_{W}={\frac {{\hat {\theta }}-\theta _{0}}{\sigma _{\hat {\theta }}}}\approx {\mathcal {N}}(0,1)$ .

Akaike-Informationskriterium

Die Maximum-Likelihood Methode ist auch eng mit dem Akaike-Informationskriterium (AIC) verknüpft. Hirotsugu Akaike zeigte, dass das Maximum der Likelihoodfunktion ein verzerrter Schätzer für die Kullback-Leibler-Divergenz, die Entfernung zwischen dem wahren Modell und dem Maximum-Likelihood-Modell, ist. Je größer der Wert der Maximum-Likelihoodfunktion ist, desto näher liegt das ML-Modell am wahren Modell, d.h. gewählt wird das Modell, das den kleinsten AIC hat. Die asymptotische Verzerrung ist gerade die Zahl der zu schätzenden Parameter. Mit dem AIC kann man, im Gegensatz zum Likelihood-Quotienten-, Wald- und Score-Test, auch nicht-geschachtelte ML Modelle vergleichen.

Nachteil

Die wünschenswerten Eigenschaften des Maximum-Likelihood-Ansatzes beruhen auf der entscheidenden Annahme über den datenerzeugenden Prozess, das heißt auf der unterstellten Dichtefunktion der untersuchten Zufallsvariable. Der Nachteil von Maximum-Likelihood besteht darin, dass eine konkrete Annahme über die gesamte Verteilung der Zufallsvariable getroffen werden muss. Wenn diese jedoch verletzt ist, kann es sein, dass die Maximum-Likelihood-Schätzer inkonsistent sind. Nur in einigen Fällen ist es unerheblich, ob die Zufallsvariable tatsächlich der unterstellten Verteilung gehorcht, allerdings gilt dies nicht im Allgemeinen. Per Maximum-Likelihood gewonnene Schätzer, die konsistent sind, auch wenn die zu Grunde gelegte Verteilungsannahme verletzt wird, sind sogenannte Pseudo-Maximum-Likelihood-Schätzer. Diese Schätzer können Effizienzprobleme in kleinen Stichproben aufweisen.

Anwendungsbeispiel: Maximum-Likelihood in der molekularen Phylogenie

Das Maximum-Likelihood-Kriterium gilt als eine der Standardmethoden zur Berechnung von phylogenetischen Bäumen, um Verwandtschaftsbeziehungen zwischen Organismen – meist anhand von DNA- oder Proteinsequenzen – zu erforschen. Als explizite Methode ermöglicht Maximum-Likelihood die Anwendung verschiedener Evolutionsmodelle, die in Form von Substitutionsmatrizen in die Stammbaumberechnungen einfließen. Entweder werden empirische Modelle verwendet (Proteinsequenzen) oder die Wahrscheinlichkeiten für Punktmutationen zwischen den verschiedenen Nukleotiden werden anhand des Datensatzes geschätzt und hinsichtlich des Likelihood-Wertes ( $-\ln L$ ) optimiert (DNA-Sequenzen). Allgemein gilt ML als die zuverlässigste und am wenigsten Artefakt-anfällige Methode unter den phylogenetischen Baumkonstruktionsmethoden. Dies erfordert jedoch ein sorgfältiges Taxon-„Sampling“ und meist ein komplexes Evolutionsmodell.

Basierend auf einem Artikel in Wikipedia.de