Zufallsvariable (Entropie) < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 11:46 Do 05.01.2006 | | Autor: | sachmeth |
Sei X eine Zufallsvariable mit endlichem Wertebereich [mm] {x_{1}, . . . , x_{n}}, [/mm] n [mm] \in \IN [/mm] . Die Verteilung von X ist gegeben durch [mm] P^{X}({x_{i}}) [/mm] = [mm] p_{i} [/mm] für i [mm] \in [/mm] {1, . . . , n}. Zeigen Sie folgende Eigenschaften für die Entropie [mm] \mathcal{H}(X):
[/mm]
a) Sind [mm] q_{1}, [/mm] . . . , [mm] q_{n} \in [/mm] [0,1] mit [mm] \summe_{i=1}^{n} q_{i} [/mm] , so gilt [mm] \mathcal{H} \le [/mm] - [mm] \summe_{i=1}^{n} p_{i} [/mm] log [mm] q_{i}
[/mm]
Gleichheit gilt genau dann, wenn [mm] q_{i} [/mm] = [mm] p_{i} [/mm] für alle i [mm] \in [/mm] {1, . . . , n}.
b) Es gilt 0 [mm] \le \mathcal{H}(X) \le [/mm] log n.
c) [mm] \mathcal{H}(X) [/mm] = log n gilt genau dann wenn X laplaceverteilt ist; [mm] \mathcal{H}(X) [/mm] = 0 gilt genau dann, wenn ein i [mm] \in [/mm] {1, . . . , n} exisiert, so daß [mm] p_{i} [/mm] = 1.
d) Ist Y eine weitere Zufallsvariable mit endlichem Wertebereich [mm] {y_{1}, . . . , y_{m}}, [/mm] m [mm] \in \IN [/mm] , so gilt: [mm] \mathcal{H}(X, [/mm] Y ) := − [mm] \summe_{i=1}^{n} \summe_{j=1}^{m} P^{X,Y}({(x,y)}) [/mm] log [mm] P^{X,Y}({(x,y)}) \le \mathcal{H}(X) [/mm] + [mm] \mathcal{H}(Y) [/mm] , mit Gleichheit genau dann, wenn X und Y stochastisch unabhängig sind.
Ich bin hiermit restlos überfordert, deshalb wäre ich Euch wirklich dankbar wenn ihr mir helfen könntet!
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 22:20 Fr 06.01.2006 | | Autor: | felixf |
Erstmal ein paar Anmerkungen/Fragen:
> Sei X eine Zufallsvariable mit endlichem Wertebereich
> [mm]{x_{1}, . . . , x_{n}},[/mm] n [mm]\in \IN[/mm] . Die Verteilung von X
> ist gegeben durch [mm]P^{X}({x_{i}})[/mm] = [mm]p_{i}[/mm] für i [mm]\in[/mm] {1, . .
> . , n}. Zeigen Sie folgende Eigenschaften für die Entropie
> [mm]\mathcal{H}(X):[/mm]
Die Entropie [mm] $\mathcal{H}(X)$ [/mm] ist als [mm] $-\sum_{i=1}^n p_i \log p_i$ [/mm] definiert, oder?
> a) Sind [mm]q_{1},[/mm] . . . , [mm]q_{n} \in[/mm] [0,1] mit
> [mm]\summe_{i=1}^{n} q_{i}[/mm] , so gilt [mm]\mathcal{H} \le[/mm]
Also irgendetwas fehlt da, was [mm]\summe_{i=1}^{n} q_{i}[/mm] erfuellen soll!
Vielleicht hilft es, [mm] $\sum_{i=1}^n p_i \log q_i [/mm] = [mm] \log \left( \prod_{i=1}^n q_i^{p_i} \right)$ [/mm] zu schreiben und die Monotonie des Logarithmus zu benutzen. Ob es was bringt weiss ich nicht.
> [mm]-\summe_{i=1}^{n} p_{i}[/mm] log [mm]q_{i}[/mm]
> Gleichheit gilt genau dann, wenn [mm]q_{i}[/mm] = [mm]p_{i}[/mm] für alle i
> [mm]\in[/mm] {1, . . . , n}.
>
> b) Es gilt 0 [mm]\le \mathcal{H}(X) \le[/mm] log n.
Hier kannst du fuer die rechte Abschaetzung a) benutzen.
> c) [mm]\mathcal{H}(X)[/mm] = log n gilt genau dann wenn X
> laplaceverteilt ist; [mm]\mathcal{H}(X)[/mm] = 0 gilt genau dann,
> wenn ein i [mm]\in[/mm] {1, . . . , n} exisiert, so daß [mm]p_{i}[/mm] = 1.
Nun, die eine Richtung (wenn $X$ so aussieht, dann ist [mm] $\mathcal{H}(X) [/mm] = ...$) ist einfach.
LG Felix
|
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 14:43 Mo 09.01.2006 | | Autor: | Julius |
Hallo!
Aufgabenteil a) und b) werden ![[]](/images/popup.gif) hier bewiesen (Seite 186 in der skriptinternen Zählung), Aufgabenteil d) eine Seite weiter.
Liebe Grüße
Julius
|
|
|
|
