Effizienz (Statistik)

Die Effizienz ist ein zentrales Gütekriterium in der mathematischen Statistik und liefert Möglichkeit, Punktschätzer miteinander zu Vergleichen. Die Effizienz wird in der Literatur nicht einheitlich verwendet, daher sollte immer die Definition des jeweiligen Autoren überprüft werden. Einige Unterscheidungen sind:

Effizienz und asymptotische Effizienz, also das Eintreten der Effizienz erst im Grenzwert.
Definitionen nur für erwartungstreue Schätzer oder auch für solche mit Verzerrung
Formulierung über die Cramér-Rao-Ungleichung, also nur in regulären statistischen Modellen. Dementsprechend wird dann von Cramér-Rao-Effizienz gesprochen.
"absolute" Effizienz gegen "relative" Effizienz. Dabei ist ein absolut effizienter Schätzer besser als alle weiteren Schätzer in einer definierten Klasse, ein relativ effizienter Schätzer nur besser als ein angegebener Konterpart.

Entsprechend finden sich auch Kombinationen der oben aufgeführten Möglichkeiten. Zentrales Vergleichskriterium ist im erwartungstreuen Fall die Varianz des Schätzers, im nicht erwartungstreuen Fall der mittlere quadratische Fehler oder allgemein Risikofunktionen, die aus vorgegebenen Verlustfunktionen gewonnen werden.

Die Effizienz zählt neben Konsistenz, Suffizienz und (asymptotischer) Erwartungstreue zu den vier gebräuchlichen Gütekriterien von Punktschätzern.

Idee

Die Effizienz bezieht sich auf die Varianz einer Schätzfunktion. Je kleiner die Varianz einer Schätzfunktion ist, desto näher wird ein Schätzwert (im Mittel), berechnet aus einer Stichprobe, an dem wahren Parameter liegen. Man unterscheidet zwischen relativer und absoluter Effizienz.

Hat man zwei erwartungstreue Schätzfunktionen für den gleichen unbekannten Parameter, dann heißt die Schätzfunktion mit der kleineren Varianz (relativ) effizient oder effizienter. Zur Lösung des Schätzproblems würde man den effizienteren Schätzer bevorzugen. Die Cramér-Rao-Ungleichung sagt aus, dass es für viele Schätzprobleme eine untere Grenze für die Varianz einer erwartungstreuen Schätzfunktion gibt. Hat man eine solche Schätzfunktion gefunden, dann gibt es keine andere erwartungstreue Schätzfunktion, die eine kleinere Varianz hat. Kann man also zeigen, dass für ein Schätzproblem eine Schätzfunktion die minimale Varianz hat, so heißt diese Schätzfunktion absolut effizient.

Beispiel

Für unabhängige Stichprobenvariablen $X_{i}$ mit $\operatorname {E} (X_{i})=\mu$ und $\operatorname {Var} (X_{i})=\sigma ^{2}$ sollen die beiden Schätzfunktionen

$T_{1}(X_{1},X_{2},X_{3})={\tfrac {1}{3}}(X_{1}+X_{2}+X_{3})$

und

$T_{2}(X_{1},X_{2},X_{3})={\tfrac {1}{3}}(X_{1}+2\cdot X_{3})$

für den unbekannten Parameter $\mu$ betrachtet werden.

Beide Schätzfunktionen sind erwartungstreu: $\operatorname {E} (T_{j}(X_{1},X_{2},X_{3}))=\mu$ . Für die Varianz ergibt sich jedoch

$\operatorname {Var} (T_{1}(X_{1},X_{2},X_{3}))=\operatorname {Var} ({\tfrac {1}{3}}(X_{1}+X_{2}+X_{3}))={\frac {1}{9}}\left(\operatorname {Var} (X_{1})+\operatorname {Var} (X_{2})+\operatorname {Var} (X_{3})\right)={\frac {1}{3}}\sigma ^{2}$

und

$\operatorname {Var} (T_{2}(X_{1},X_{2},X_{3}))=\operatorname {Var} ({\tfrac {1}{3}}(X_{1}+2\cdot X_{3}))={\frac {1}{9}}\left(\operatorname {Var} (X_{1})+4\cdot \operatorname {Var} (X_{3})\right)={\frac {5}{9}}\sigma ^{2}$ .

Damit gilt

$\operatorname {Var} (T_{1}(X_{1},X_{2},X_{3}))={\frac {1}{3}}\sigma ^{2}<{\frac {5}{9}}\sigma ^{2}=\operatorname {Var} (T_{2}(X_{1},X_{2},X_{3}))$ ,

das heißt $T_{1}$ ist effizienter als $T_{2}$ .

Mathematische Definition

Erwartungstreuer Fall

Formal sei T(X) ein erwartungstreuer Schätzer für den unbekannten Parameter $\vartheta$ in einer Familie von Wahrscheinlichkeitsdichten und $I(\vartheta )$ die zur Dichte $\prod _{i=1}^{n}f_{\vartheta }(x_{i})$ gehörige Fisher-Information. Dann ist die Effizienz von $T(X)\;$ wie folgt definiert:

$e(T(X))={\frac {1}{I(\vartheta )\mathrm {Var} _{\vartheta }(T(X))}}$ .

Wenn man zwei erwartungstreue Schätzer $T_{1}(X)$ und $T_{2}(X)$ miteinander vergleichen möchte, so heißt derjenige Schätzer effizienter, der den höheren Wert $e(T_{i}(X))$ und also die kleinere Varianz besitzt.

Eine Konsequenz aus der Cramér-Rao-Ungleichung ist, dass unter Regularitätsbedingungen $e(T(X))$ nach oben durch 1 beschränkt ist und daher solche Schätzer effizient (oder genauer Cramér-Rao-effizient) genannt werden, für die $e(T(X))=1$ und also $\mathrm {Var} _{\vartheta }(T(X))=I(\vartheta )^{-1}$ gilt. Dies ist unter den für die Cramér-Rao-Ungleichung notwendigen Bedingungen an das stochastische Modell die bestmögliche Varianz eines Schätzers.

Nichterwartungstreuer Fall

Falls der Schätzer nicht erwartungstreu ist, lässt sich seine Effizienz als

$e(T(X))={\frac {\left({\frac {\partial }{\partial \vartheta }}E_{\vartheta }[T(X)]\right)^{2}}{I(\vartheta )\mathrm {Var} _{\vartheta }(T(X))}}$

definieren. Offensichtlich ergibt sich die obige Definition als Spezialfall.

Asymptotische Effizienz

In der Regel reicht es aus, wenn Schätzer asymptotisch effizient sind, d.h. wenn sie in Verteilung gegen eine normalverteilte Zufallsvariable konvergieren, deren Varianz das Inverse der Fisher-Information ist. Formal soll also die Konvergenzaussage

${\sqrt {n}}(T(X)-\vartheta )\;{\overset {\mathcal {D}}{\longrightarrow }}\;{\mathcal {N}}(0,I_{1}(\vartheta )^{-1})$

bewiesen werden können, wobei $I_{1}(\vartheta )$ die Fisher-Information der Dichte $f_{\vartheta }(x)$ bezeichnet und $I(\vartheta )=n\cdot I_{1}(\vartheta )$ gilt. Für asymptotisch effiziente Schätzer gilt offensichtlich $\lim _{n\rightarrow \infty }e(T)=1.$

Typische Beispiele für asymptotisch effiziente Schätzer sind solche, die mit Hilfe der Maximum-Likelihood-Methode gewonnen werden.

Basierend auf einem Artikel in Wikipedia.de