Shannon-Info < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Aufgabe | Zeigen Sie, dass unter allen eindimensionalen Wahrscheinlichkeitsverteilungen mit vorgegebener Standardabweichung [mm] \sigma^2 =\integral_{-\infty}^{\infty}{x^2 p(x) dx} [/mm] die Normalverteilung [mm] p(x)=\bruch{1}{\wurzel(2\pi\sigma^2)} e^{-\bruch{x^2}{2\sigma^2}}
[/mm]
die Shannon-Information (-Entropie) maximiert. |
Hallo an alle!
Also ich glaube es macht wenig Sinn für alle eindimensionalen Verteilungen die Shannon-Information [mm] S=\summe_{i} p_{i} ln(\bruch{1}{p_{i}})=\integral_{-\infty}^{\infty}{p(x) ln(\bruch{1}{p(x)}) dx} [/mm] einzeln zu berechnen un dann zu vergleichen was am größten ist.
Aber andererseits weiß ich nicht wie man das anders zeigen könnte...
Kann mir jemand helfen?
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 10:17 So 08.06.2008 | | Autor: | Infinit |
Hallo jentowncity,
diese Aufgabe taucht auch in Shannons berühmtem Aufsatz von 1948 auf und erfordert einiges an Variationsrechnung zur Maximierung der Entropie.
Was haben wir?
Maximiert werden soll
$$ S(x) = - [mm] \int [/mm] p(x) [mm] \ln [/mm] p(x) [mm] \, [/mm] dx $$ unter den folgenden Nebenbedingungen
$$ [mm] \sigma^2 [/mm] = [mm] \int [/mm] p(x) [mm] x^2 \, [/mm] dx $$ und
$$ 1 = [mm] \int [/mm] p(x) [mm] \, [/mm] dx [mm] \, [/mm] . $$
Die Methode der Langrangschen Multiplikatoren führt dann auf den folgenden zu maximierenden Ausdruck
$$ S(x, [mm] \lambda, \mu) [/mm] = - [mm] \int [/mm] p(x) [mm] \ln [/mm] p(x) [mm] \, [/mm] dx + [mm] \lambda (\int x^2 [/mm] p(x) [mm] \, [/mm] dx - [mm] \sigma^2) [/mm] + [mm] \mu (\int [/mm] p(x) [mm] \, [/mm] dx - 1) $$
Danach die Extremwertberechnung durchführen und das liefert nach einigem Rechnen die Bedingung
$$ -1 - [mm] \ln [/mm] p(x) + [mm] \lambda x^2 [/mm] + [mm] \mu [/mm] = 0 $$ und das führt auf die Gaußverteilung.
Viele Grüße,
Infinit
|
|
|
| |
|
Alles klar, habs jetzt raus.
Danke für die Tips Infinit!
|
|
|
|
