Kovarianzmatrix

Eine um {\displaystyle (0;0)} zentrierte zweidimensionale Gauß-Verteilung, mit der Kovarianzmatrix {\displaystyle \mathbf {\Sigma } ={\begin{pmatrix}1&0{,}5\\0{,}5&1\end{pmatrix}}}

In der Stochastik ist die Kovarianzmatrix die Verallgemeinerung der Varianz einer eindimensionalen Zufallsvariable auf eine mehrdimensionale Zufallsvariable, d.h. auf einen Zufallsvektor. Die Elemente auf der Hauptdiagonalen der Kovarianzmatrix stellen die jeweiligen Varianzen dar, und alle übrigen Elemente Kovarianzen. Die Kovarianzmatrix wird auch Varianz-Kovarianzmatrix oder selten Streuungsmatrix bzw. Dispersionsmatrix (lateinisch dispersio „Zerstreuung“, von dispergere „verteilen, ausbreiten, zerstreuen“) genannt und ist eine positiv semidefinite Matrix. Sind alle Komponenten des Zufallsvektors {\mathbf  {X}} linear unabhängig, so ist die Kovarianzmatrix positiv definit.

Definition

Sei {\mathbf  {X}} ein Zufallsvektor

{\displaystyle \mathbf {X} ={\begin{pmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{pmatrix}}},

wobei {\displaystyle \operatorname {E} (X_{i})=\mu _{i}} den Erwartungswert von X_{i}, {\displaystyle \operatorname {Var} (X_{i})=\sigma _{i}^{2}} die Varianz von X_{i} und {\displaystyle \operatorname {Cov} (X_{i},X_{j})=\sigma _{ij}\;,i\neq j} die Kovarianz der reellen Zufallsvariablen X_{i} und X_{j} darstellt. Der Erwartungswertvektor von {\mathbf  {X}} ist dann gegeben durch (siehe Erwartungswert von Matrizen und Vektoren)

{\displaystyle \operatorname {E} (\mathbf {X} )=\operatorname {E} {\begin{pmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{pmatrix}}={\begin{pmatrix}\mu _{1}\\\mu _{2}\\\vdots \\\mu _{n}\end{pmatrix}}={\boldsymbol {\mu }}},

d.h. der Erwartungswert des Zufallsvektors ist der Vektor der Erwartungswerte. Eine Kovarianzmatrix für den Zufallsvektor {\mathbf  {X}} lässt sich wie folgt definieren:

{\displaystyle {\begin{aligned}\operatorname {Cov} (\mathbf {X} )&=\operatorname {E} \left((\mathbf {X} -{\boldsymbol {\mu }})(\mathbf {X} -{\boldsymbol {\mu }})^{\top }\right)\\\\&=\operatorname {E} {\begin{pmatrix}(X_{1}-\mu _{1})^{2}&(X_{1}-\mu _{1})(X_{2}-\mu _{2})&\cdots &(X_{1}-\mu _{1})(X_{n}-\mu _{n})\\\\(X_{2}-\mu _{2})(X_{1}-\mu _{1})&(X_{2}-\mu _{2})^{2}&\cdots &(X_{2}-\mu _{2})(X_{n}-\mu _{n})\\\\\vdots &\vdots &\ddots &\vdots \\\\(X_{n}-\mu _{n})(X_{1}-\mu _{1})&(X_{n}-\mu _{n})(X_{2}-\mu _{2})&\cdots &(X_{n}-\mu _{n})^{2}\end{pmatrix}}\\\\&={\begin{pmatrix}\operatorname {Var} (X_{1})&\operatorname {Cov} (X_{1},X_{2})&\cdots &\operatorname {Cov} (X_{1},X_{n})\\\\\operatorname {Cov} (X_{2},X_{1})&\operatorname {Var} (X_{2})&\cdots &\operatorname {Cov} (X_{2},X_{n})\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {Cov} (X_{n},X_{1})&\operatorname {Cov} (X_{n},X_{2})&\cdots &\operatorname {Var} (X_{n})\end{pmatrix}}\\\\&={\begin{pmatrix}\sigma _{1}^{2}&\sigma _{12}&\cdots &\sigma _{1n}\\\\\sigma _{21}&\sigma _{2}^{2}&\cdots &\sigma _{2n}\\\\\vdots &\vdots &\ddots &\vdots \\\\\sigma _{n1}&\sigma _{n2}&\cdots &\sigma _{n}^{2}\end{pmatrix}}\\\\&=\mathbf {\Sigma } \end{aligned}}}

Die Kovarianzmatrix wird mit {\displaystyle \operatorname {Cov} (\mathbf {X} )}, oder {\displaystyle \mathbf {\Sigma } _{X}} notiert und die Kovarianzmatrix der asymptotischen Verteilung einer Zufallsvariablen mit {\displaystyle {\boldsymbol {\operatorname {V} }}} oder {\displaystyle {\overline {\boldsymbol {\operatorname {V} }}}}. Die Kovarianzmatrix und der Erwartungswertvektor sind die wichtigsten Kenngrößen einer Wahrscheinlichkeitsverteilung. Sie werden bei einer Zufallsvariablen als Zusatzinformationen wie folgt angegeben: {\displaystyle X\;\sim \;({\boldsymbol {\mu }},\mathbf {\Sigma } )}. Die Kovarianzmatrix als Matrix aller paarweisen Kovarianzen der Elemente des Zufallsvektors enthält Informationen über seine Streuung und über Korrelationen zwischen seinen Komponenten. Wenn keine der Zufallsvariablen X_{1},\ldots ,X_{n} degeneriert ist (d.h. wenn keine von ihnen eine Varianz von Null aufweist) und kein exakter linearer Zusammenhang zwischen den X_{i} vorliegt, dann ist die Kovarianzmatrix positiv definit. Man spricht außerdem von einer skalaren Kovarianzmatrix, wenn alle Außerdiagonaleinträge der Matrix Null sind und die Diagonalelemente dieselbe positive Konstante darstellen.

Eigenschaften

Grundlegende Eigenschaften

Beziehung zum Erwartungswert des Zufallsvektors

Ist {\displaystyle {\boldsymbol {\mu }}=\operatorname {E} (X)} der Erwartungswertvektor, so lässt sich mit dem Verschiebungssatz von Steiner angewandt auf mehrdimensionale Zufallsvariablen zeigen, dass

{\displaystyle {\begin{aligned}\operatorname {Cov} (\mathbf {X} )&=\operatorname {E} {\bigl (}(\mathbf {X} -{\boldsymbol {\mu }})(\mathbf {X} -{\boldsymbol {\mu }})^{\top }{\bigr )}\\&=\operatorname {E} (\mathbf {X} \mathbf {X} ^{\top })-{\boldsymbol {\mu }}{\boldsymbol {\boldsymbol {\mu }}}^{\top }\end{aligned}}}.

Hierbei sind Erwartungswerte von Vektoren und Matrizen komponentenweise zu verstehen.

Ein Zufallsvektor, der einer gegebenen Kovarianzmatrix gehorchen und den Erwartungswert {\displaystyle {\boldsymbol {\mu }}} haben soll, kann wie folgt simuliert werden:
zunächst ist die Kovarianzmatrix zu zerlegen (z.B. mit der Cholesky-Zerlegung):

{\displaystyle \operatorname {Cov} (\mathbf {X} )=\mathbf {D} \mathbf {D} ^{\top }}.

Anschließend lässt sich der Zufallsvektor berechnen zu

{\displaystyle \mathbf {X} =\mathbf {D} \mathbf {\xi } +{\boldsymbol {\mu }}}

mit einem (anderen) Zufallsvektor {\displaystyle \mathbf {\xi } } mit voneinander unabhängigen standardnormalverteilten Komponenten.

Kovarianzmatrix zweier Vektoren

Die Kovarianzmatrix zweier Vektoren lautet

{\displaystyle \operatorname {Cov} (\mathbf {x} ,\mathbf {y} )=\operatorname {E} {\bigl (}(\mathbf {x} -{\boldsymbol {\mu }})(\mathbf {y} -{\boldsymbol {\nu }})^{\top }{\bigr )}}

mit dem Erwartungswert {\displaystyle {\boldsymbol {\mu }}} des Zufallsvektors \mathbf x und dem Erwartungswert {\displaystyle {\boldsymbol {\nu }}} des Zufallsvektors \mathbf y.

Kovarianzmatrix als Effizienzkriterium

Die Effizienz bzw. Präzision eines Punktschätzers lässt sich mittels der Varianz-Kovarianz-Matrix messen, da diese die Informationen über die Streuung des Zufallsvektors zwischen seinen Komponenten enthält. Im Allgemeinen gilt, dass sich die Effizienz eines Parameterschätzers anhand der „Größe“ seiner Varianz-Kovarianz-Matrix messen lässt. Es gilt je „kleiner“ die Varianz-Kovarianz-Matrix, desto größer die Effizienz des Schätzers. Seien {\displaystyle {\tilde {\boldsymbol {\theta }}}} und {\displaystyle {\hat {\boldsymbol {\theta }}}} zwei unverzerrte {\displaystyle (K\times 1)} Zufallsvektoren. Wenn {\displaystyle {\boldsymbol {\theta }}} ein {\displaystyle (K\times 1)} Zufallsvektor ist, dann ist {\displaystyle \operatorname {Cov} ({\hat {\boldsymbol {\theta }}})} eine {\displaystyle (K\times K)} positiv definite und symmetrische Matrix. Man kann sagen, dass {\displaystyle \operatorname {Cov} ({\hat {\boldsymbol {\theta }}})} „kleiner“ ist als {\displaystyle \operatorname {Cov} ({\tilde {\boldsymbol {\theta }}})} in Sinne der Loewner-Halbordnung, d.h., dass {\displaystyle \operatorname {Cov} ({\tilde {\boldsymbol {\theta }}})-\operatorname {Cov} ({\hat {\boldsymbol {\theta }}})} eine positiv semidefinite Matrix ist.

Stichproben-Kovarianzmatrix

Eine Schätzung der Korrelationsmatrix in der Grundgesamtheit {\displaystyle {\widehat {\mathbf {\Sigma } }}} erhält man, indem man die Varianzen und Kovarianzen in der Grundgesamtheit {\displaystyle \operatorname {Var} (X_{i})=\sigma _{i}^{2}} und {\displaystyle \operatorname {Cov} (X_{i},X_{j})=\sigma _{ij}\;,i\neq j} durch die empirischen Varianzen und empirischen Kovarianzen (ihre empirischen Gegenstücke) {\displaystyle {\hat {\sigma }}_{j}^{2}=s_{j}^{2}} und {\displaystyle {\hat {\sigma }}_{jk}=s_{jk}} ersetzt (sofern die x-Variablen Zufallsvariablen darstellen schätzen die die Parameter in der Grundgesamtheit). Diese sind gegeben durch

{\displaystyle {\hat {\sigma }}_{j}^{2}=s_{j}^{2}:={\frac {1}{n-1}}\sum \limits _{i=1}^{n}\left(x_{ij}-{\overline {x}}_{j}\right)^{2}\;} und {\displaystyle \;{\hat {\sigma }}_{jk}=s_{jk}:={\frac {1}{n-1}}\sum _{i=1}^{n}(x_{ij}-{\overline {x}}_{j})(x_{ik}-{\overline {x}}_{k})}.

Dies führt zur Stichproben-Kovarianzmatrix \mathbf{S}:

{\displaystyle {\begin{aligned}\mathbf {S} ={\widehat {\mathbf {\Sigma } }}={\widehat {\operatorname {Cov} (\mathbf {X} )}}&={\begin{pmatrix}s_{1}^{2}&s_{12}&\cdots &s_{1k}\\\\s_{21}&s_{2}^{2}&\cdots &s_{2k}\\\\\vdots &\vdots &\ddots &\vdots \\\\s_{k1}&s_{k2}&\cdots &s_{k}^{2}\end{pmatrix}}\end{aligned}}}.

Zum Beispiel sind {\displaystyle s_{2}^{2}} und s_{{12}} gegeben durch

{\displaystyle {\hat {\sigma }}_{2}^{2}=s_{2}^{2}:={\frac {1}{n-1}}\sum \limits _{i=1}^{n}\left(x_{i2}-{\overline {x}}_{2}\right)^{2}\;} und {\displaystyle \;{\hat {\sigma }}_{12}=s_{12}:={\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i1}-{\overline {x}}_{1})(x_{i2}-{\overline {x}}_{2})},

mit dem arithmetischen Mittel

{\displaystyle {\overline {x}}_{2}:={\frac {1}{n}}\sum _{i=1}^{n}{x_{i2}}}.

Spezielle Kovarianzmatrizen

Kovarianzmatrix des gewöhnlichen Kleinste-Quadrate-Schätzers

Für die Kovarianzmatrix des gewöhnlichen Kleinste-Quadrate-Schätzers

{\displaystyle \mathbf {b} =(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {Y} ;\ \operatorname {Cov} (\mathbf {Y} )=\sigma ^{2}\mathbf {I} }

ergibt sich nach den obigen Rechenregeln:

{\displaystyle \operatorname {Cov} (\mathbf {b} )=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\operatorname {Cov} (\mathbf {Y} )\ \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1}=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}=\Sigma _{\mathbf {b} }}.

Diese Kovarianzmatrix ist unbekannt, da die Varianz der Störgrößen \sigma ^{2} unbekannt ist. Einen Schätzer für die Kovarianzmatrix {\displaystyle {\hat {\Sigma }}_{\mathbf {b} }} erhält man, indem man die unbekannte Störgrößenvarianz \sigma ^{2} durch den erwartungstreuen Schätzer der Störgrößenvarianz {\hat  {\sigma }}^{2} ersetzt (siehe hierzu: Erwartungstreue Schätzung des unbekannten Varianzparameters).

Kovarianzmatrix bei scheinbar unverbundenen Regressionsgleichungen

Bei scheinbar unverbundenen Regressionsgleichungen (englisch: seemingly unrelated regression equations, kurz SURE) des Modells

{\displaystyle y_{it}={\boldsymbol {x}}_{it}^{\top }{\boldsymbol {\beta }}+{\boldsymbol {e}}_{it}},

wobei der Fehlerterm {\displaystyle {\boldsymbol {e}}_{it}} idiosynkratisch ist, ergibt sich die Kovarianzmatrix als

{\displaystyle {\begin{aligned}\operatorname {Cov} (\mathbf {e} )=\operatorname {E} (\mathbf {e} \mathbf {e} ^{\top })&={\begin{pmatrix}\operatorname {E} ({\boldsymbol {e}}_{1}{\boldsymbol {e}}_{1}^{\top })&\cdots &\operatorname {E} ({\boldsymbol {e}}_{1}{\boldsymbol {e}}_{N}^{\top })\\\\\vdots &\ddots &\vdots \\\\\operatorname {E} ({\boldsymbol {e}}_{N}{\boldsymbol {e}}_{1}^{\top })&\cdots &\operatorname {E} ({\boldsymbol {e}}_{N}{\boldsymbol {e}}_{N}^{\top })\end{pmatrix}}={\begin{pmatrix}\sigma _{11}\mathbf {I} _{T}&\cdots &\sigma _{1N}\mathbf {I} _{T}\\\\\vdots &\ddots &\vdots \\\\\sigma _{N1}\mathbf {I} _{T}&\cdots &\sigma _{NN}\mathbf {I} _{T}\end{pmatrix}}={\begin{pmatrix}\sigma _{11}&\cdots &\sigma _{1N}\\\\\vdots &\ddots &\vdots \\\\\sigma _{N1}&\cdots &\sigma _{NN}\end{pmatrix}}\otimes \mathbf {I} _{T}\\\\&=\mathbf {\Sigma } \otimes \mathbf {I} _{T}=\mathbf {\Phi } \end{aligned}}}

Siehe auch

Literatur

Trenner
Basierend auf einem Artikel in: externer Link Wikipedia.de
Seitenende
Seite zurück
©  biancahoegel.de
Datum der letzten Änderung: Jena, den: 08.05. 2021