A-priori-Verteilung

Die A-priori-Verteilung ist ein Begriff aus der bayesschen Statistik. Vorlage:Redundanztext

Definition

Folgende Situation ist gegeben: $\theta$ ist ein unbekannter Populationsparameter, der auf der Basis von Beobachtungen $x$ einer Zufallsgröße $X$ geschätzt werden soll.

Gegeben sei eine Verteilung für den Parameter $\theta$, die das Wissen über den Parameter $\theta$ vor der Beobachtung der Stichprobe beschreibt. Diese Verteilung wird A-priori-Verteilung genannt.

Weiterhin sei die bedingte Verteilung der Stichprobe unter der Bedingung $\theta =\theta _{0}$ gegeben, die auch als Likelihood-Funktion bekannt ist.

Aus der A-priori-Verteilung und der Likelihood-Funktion kann mit Hilfe des Satzes von Bayes die A-posteriori-Verteilung berechnet werden, welche grundlegend für die Berechnung von Punktschätzern (siehe Bayes-Schätzer) und Intervallschätzern in der bayesschen Statistik (siehe Glaubwürdigkeitsintervall) ist.

(Nicht-)informative A-priori-Verteilungen

Eine nichtinformative A-priori-Verteilung ist als eine A-priori-Verteilung definiert, die keinen Einfluss auf die A-posteriori-Verteilung hat. Dadurch erhält man eine A-posteriori-Verteilung, die identisch mit der Likelihood-Funktion ist. Maximum-a-posteriori-Schätzer und Konfidenzintervalle, die mit einer nichtinformativen A-priori-Verteilung gewonnen wurden, sind daher numerisch äquivalent zu Maximum Likelihood-Schätzern und frequentistischen Konfidenzintervallen.

Eine informative A-priori-Verteilung liegt in allen anderen Fällen vor.

Der Begriff der nichtinformativen A-priori -Verteilung sei an einem Beispiel erläutert: Die Zufallsgröße Y sei der mittlere Intelligenzquotient in der Stadt ZZZ. Aufgrund der Konstruktion des Intelligenzquotienten ist bekannt, dass Y normalverteilt ist mit Standardabweichung 15 und unbekanntem Parameter $\mu$. An einer Stichprobe von N Freiwilligen wird der Intelligenzquotient gemessen. In dieser Stichprobe wird ein arithmetisches Mittel von 105 beobachtet.

Eine nichtinformative A-priori-Verteilung ist in diesem Fall gegeben durch

$p(\theta )\propto c$,

wobei $c<\infty$ eine positive, reelle Zahl ist. Auf diese Weise erhält man als A-posteriori-Verteilung eine Normalverteilung mit Mittelwert 105 und Standardabweichung ${\frac {15}{\sqrt {N}}}$. Der Maximum a posteriori-Schätzer für den Mittelwert $\mu$ ist dann 105 (i.e.: das arithmetische Mittel der Stichprobe) und somit identisch zum Maximum-Likelihood-Schätzer.

Eigentliche vs. uneigentliche A-priori-Verteilungen

An obigem Beispiel kann ein Problem illustriert werden, dass häufig bei der Verwendung nichtinformativer A-priori-Verteilungen auftritt: $p(\theta )\propto c$ definiert eine sogenannte uneigentliche A-priori-Verteilung. Uneigentliche A-priori-Verteilungen sind dadurch gekennzeichnet, dass das Integral der A-priori-Verteilung größer als 1 ist. Daher sind uneigentliche A-priori-Verteilungen keine Wahrscheinlichkeitsverteilungen. In vielen Fällen kann jedoch gezeigt werden, dass die A-posteriori-Verteilung auch bei Verwendung einer uneigentlichen Verteilung definiert ist. Dies trifft zu, wenn

$\int p(\theta |y)\mathrm {d} \theta <\infty$

für alle $y$ gilt. Eine eigentliche A-priori-Verteilung Fehler beim Parsen (⧼mw_math_mathml⧽: Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle p(\theta ) } ist dadurch definiert, dass sie unabhängig von den Daten ist und dass ihr Integral den Wert 1 ergibt.

Konjugierte A-priori-Verteilungen

A-priori- und A-posteriori-Verteilung sind konjugiert für eine gegebene Likelihood-Funktion, wenn sie den gleichen Verteilungstyp besitzen.

Ein Beispiel hierfür ist das Binomial-Beta-Modell: $X$ sei eine binomialverteilte Zufallsgröße mit Erfolgswahrscheinlichkeit $p\in (0,1)$ als Parameter. In $N$ Einzelversuchen werden $k$ Erfolge beobachtet. Als A-priori-Verteilung für $p$ wird eine $\mathrm {B} (\alpha ,\beta )$-Verteilung auf $(0,1)$ verwendet. Unter diesen Voraussetzungen ist die A-posteriori-Verteilung eine $\mathrm {B} (\alpha +k,\beta +N-k)$-Verteilung.

Ein weiteres Beispiel ist das Update eines normalverteilten Priors mit einer gaußförmigen Likelihood-Funktion. Die A-posteriori-Verteilung ist dann ebenfalls eine Normalverteilung.

Literatur

• James O. Berger: Statistical decision theory and Bayesian analysis. Springer Series in Statistics, Springer-Verlag, New York Berlin Heidelberg 1985. ISBN 0-387-96098-8
• Andrew Gelman et al.: Bayesian Data Analysis. Chapman & Hall/CRC, Boca Raton London New York Washington D.C. 2013. ISBN 978-1439840955