www.matheraum.de
Das Matheforum.
Das Matheforum des MatheRaum.

Für Schüler, Studenten, Lehrer, Mathematik-Interessierte.
Hallo Gast!einloggen | registrieren ]
Startseite · Forum · Wissen · Kurse · Mitglieder · Team · Impressum
Forenbaum
^ Forenbaum
Status Mathe
  Status Schulmathe
    Status Primarstufe
    Status Mathe Klassen 5-7
    Status Mathe Klassen 8-10
    Status Oberstufenmathe
    Status Mathe-Wettbewerbe
    Status Sonstiges
  Status Hochschulmathe
    Status Uni-Analysis
    Status Uni-Lin. Algebra
    Status Algebra+Zahlentheo.
    Status Diskrete Mathematik
    Status Fachdidaktik
    Status Finanz+Versicherung
    Status Logik+Mengenlehre
    Status Numerik
    Status Uni-Stochastik
    Status Topologie+Geometrie
    Status Uni-Sonstiges
  Status Mathe-Vorkurse
    Status Organisatorisches
    Status Schule
    Status Universität
  Status Mathe-Software
    Status Derive
    Status DynaGeo
    Status FunkyPlot
    Status GeoGebra
    Status LaTeX
    Status Maple
    Status MathCad
    Status Mathematica
    Status Matlab
    Status Maxima
    Status MuPad
    Status Taschenrechner

Gezeigt werden alle Foren bis zur Tiefe 2

Navigation
 Startseite...
 Neuerdings beta neu
 Forum...
 vorwissen...
 vorkurse...
 Werkzeuge...
 Nachhilfevermittlung beta...
 Online-Spiele beta
 Suchen
 Verein...
 Impressum
Das Projekt
Server und Internetanbindung werden durch Spenden finanziert.
Organisiert wird das Projekt von unserem Koordinatorenteam.
Hunderte Mitglieder helfen ehrenamtlich in unseren moderierten Foren.
Anbieter der Seite ist der gemeinnützige Verein "Vorhilfe.de e.V.".
Partnerseiten
Mathe-Seiten:Weitere Fächer:

Open Source FunktionenplotterFunkyPlot: Kostenloser und quelloffener Funktionenplotter für Linux und andere Betriebssysteme
StartseiteMatheForenUni-StochastikNormalverteilung: MLS-Schätzer
Foren für weitere Studienfächer findest Du auf www.vorhilfe.de z.B. Astronomie • Medizin • Elektrotechnik • Maschinenbau • Bauingenieurwesen • Jura • Psychologie • Geowissenschaften
Forum "Uni-Stochastik" - Normalverteilung: MLS-Schätzer
Normalverteilung: MLS-Schätzer < Stochastik < Hochschule < Mathe < Vorhilfe
Ansicht: [ geschachtelt ] | ^ Forum "Uni-Stochastik"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien

Normalverteilung: MLS-Schätzer: \sigma^2 bei bekanntem \mu
Status: (Frage) beantwortet Status 
Datum: 13:42 So 28.09.2014
Autor: GeMir

Aufgabe
Leiten Sie den MLS-Schätzer für [mm] $\sigma^2$ [/mm] im Modell [mm] $X_1, \ldots, X_n \overset{iid}{\sim} N(\mu, \sigma^2), [/mm] \ [mm] \mu$ [/mm] bekannt her.




Die Likelihood-Funktion ist gegeben durch (gemeinsame Dichte von n unabhängigen Zufallsvariablen): [mm] $L(\sigma^2 [/mm] | [mm] x_1, \ldots, x_n) [/mm] = [mm] \prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}}$ [/mm]
Die Log-Likelihood-Funktion ist dann gegeben durch:

[mm] $l(\sigma^2 [/mm] | [mm] x_1, \ldots, x_n) [/mm] = [mm] \sum_{i=1}^{n}{\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\bigg)}\\ [/mm]
= [mm] \sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) + \ln\bigg(e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\bigg)\Bigg)}\\ [/mm]
= [mm] \sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) - \frac{(x_i-\mu)^2}{2\sigma^2}\Bigg)}\\ [/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) [/mm] - [mm] \sum_{i=1}^{n}{\frac{(x_i-\mu)^2}{2\sigma^2}}\\ [/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) [/mm] - [mm] \frac{1}{2\sigma^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}\\ [/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) [/mm] - [mm] \frac{1}{2\sigma^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}$ [/mm]

Notwendige Bedingung: [mm] $\frac{\partial l}{\partial\sigma} [/mm] = 0$

[mm] $\frac{\partial l}{\partial\sigma} [/mm] = [mm] -\frac{n}{\sigma} [/mm] + [mm] \frac{1}{2\sigma^3}\cdot(n\bar{x} [/mm] - [mm] 2\mu n\bar{x} [/mm] + [mm] n\mu^2)$ [/mm]

Also:

[mm] $-\frac{n}{\sigma} [/mm] + [mm] \frac{1}{2\sigma^3}\cdot(n\bar{x} [/mm] - [mm] 2\mu n\bar{x} [/mm] + [mm] n\mu^2) [/mm] = [mm] 0\\ [/mm]
[mm] -\frac{2n\sigma^2}{2\sigma^3} [/mm] + [mm] \frac{1}{2\sigma^3}\cdot(n\bar{x} [/mm] - [mm] 2\mu n\bar{x} [/mm] + [mm] n\mu^2) [/mm] = [mm] 0\\ [/mm]
[mm] \frac{-2n\sigma^2 + (n\bar{x} - 2\mu n\bar{x} + n\mu^2)}{2\sigma^3} [/mm] = 0$

Unter der (sinnvollen) Annahme, dass [mm] $\sigma [/mm] > 0$ ist:

[mm] $-2n\sigma^2 [/mm] + [mm] (n\bar{x} [/mm] - [mm] 2\mu n\bar{x} [/mm] + [mm] n\mu^2) [/mm] = [mm] 0\\ [/mm]
[mm] -2n\sigma^2 [/mm] = [mm] -(n\bar{x} [/mm] - [mm] 2\mu n\bar{x} [/mm] + [mm] n\mu^2)\\ [/mm]
[mm] \sigma^2 [/mm] = [mm] \frac{n\bar{x} - 2\mu n\bar{x} + n\mu^2}{2n}\\ [/mm]
[mm] \sigma^2 [/mm] = [mm] \frac{\bar{x}}{2} [/mm] - [mm] \mu\bar{x} [/mm] + [mm] \frac{\mu^2}{2}\\ [/mm]
[mm] \sigma^2 [/mm] = [mm] \frac{1}{2}(\bar{x} [/mm] - [mm] 2\mu\bar{x} [/mm] + [mm] \mu^2)$ [/mm]
Aber irgendwie habe ich eher [mm] $S^2 [/mm] = [mm] \frac{1}{n}\sum_{i=1}^{n}{(x_i - \mu)^2}$ [/mm] erwartet...

        
Bezug
Normalverteilung: MLS-Schätzer: Antwort
Status: (Antwort) fertig Status 
Datum: 16:37 So 28.09.2014
Autor: steppenhahn

Hallo GeMir,

> Leiten Sie den MLS-Schätzer für [mm]\sigma^2[/mm] im Modell [mm]X_1, \ldots, X_n \overset{iid}{\sim} N(\mu, \sigma^2), \ \mu[/mm]
> bekannt her.


Ich nehme an, dass MLS für MaximumLikelihoodSchätzer steht ( und nicht für Minimum Least Square ), sonst hätte deine Rechnung ja nicht so viel mit der Aufgabenstellung zu tun.


> Die Likelihood-Funktion ist gegeben durch (gemeinsame
> Dichte von n unabhängigen Zufallsvariablen): [mm]L(\sigma^2 | x_1, \ldots, x_n) = \prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}}[/mm]
>  
> Die Log-Likelihood-Funktion ist dann gegeben durch:
>
> [mm]$l(\sigma^2[/mm] | [mm]x_1, \ldots, x_n)[/mm] =
> [mm]\sum_{i=1}^{n}{\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\bigg)}\\[/mm]
>  =
> [mm]\sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) + \ln\bigg(e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\bigg)\Bigg)}\\[/mm]
>  
> =
> [mm]\sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) - \frac{(x_i-\mu)^2}{2\sigma^2}\Bigg)}\\[/mm]
>  
> = [mm]n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg)[/mm] -
> [mm]\sum_{i=1}^{n}{\frac{(x_i-\mu)^2}{2\sigma^2}}\\[/mm]
>  = [mm]n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg)[/mm] -
> [mm]\frac{1}{2\sigma^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}\\[/mm]
>  = [mm]n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg)[/mm] -
> [mm]\frac{1}{2\sigma^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}$[/mm]


OK.


> Notwendige Bedingung: [mm]\frac{\partial l}{\partial\sigma} = 0[/mm]
>
> [mm]\frac{\partial l}{\partial\sigma} = -\frac{n}{\sigma} + \frac{1}{2\sigma^3}\cdot(n\bar{x} - 2\mu n\bar{x} + n\mu^2)[/mm]    (**)


Streng genommen solltest du hier nach [mm] $\sigma^2$ [/mm] ableiten. Aber wegen der Kettenregel wird bei deiner Rechnung trotzdem der richtige Schätzer für [mm] $\sigma^2$ [/mm] herauskommen.


> Also:
>  
> [mm]$-\frac{n}{\sigma}[/mm] + [mm]\frac{1}{2\sigma^3}\cdot(n\bar{x}[/mm] -
> [mm]2\mu n\bar{x}[/mm] + [mm]n\mu^2)[/mm]


Es muss statt [mm] $\frac{1}{2\sigma^3}$ [/mm] lauten: [mm] $\frac{1}{\sigma^3}$. [/mm]
Dieser Fehler zieht sich durch deine Rechnung.

Außerdem sollte da anstatt [mm] $n\bar{x}$ [/mm] stehen: $n [mm] \bar{x^2}$. [/mm] Es wird doch über [mm] $X_i^2$ [/mm] summiert!

> = [mm]0\\[/mm]
>  [mm]-\frac{2n\sigma^2}{2\sigma^3}[/mm] +
> [mm]\frac{1}{2\sigma^3}\cdot(n\bar{x}[/mm] - [mm]2\mu n\bar{x}[/mm] + [mm]n\mu^2)[/mm]
> = [mm]0\\ [/mm]
>  [mm]\frac{-2n\sigma^2 + (n\bar{x} - 2\mu n\bar{x} + n\mu^2)}{2\sigma^3}[/mm]
> = 0$
>  
> Unter der (sinnvollen) Annahme, dass [mm]\sigma > 0[/mm] ist:
>  
> [mm]$-2n\sigma^2[/mm] + [mm](n\bar{x}[/mm] - [mm]2\mu n\bar{x}[/mm] + [mm]n\mu^2)[/mm] = [mm]0\\ [/mm]
>  [mm]-2n\sigma^2[/mm] = [mm]-(n\bar{x}[/mm] - [mm]2\mu n\bar{x}[/mm] + [mm]n\mu^2)\\ [/mm]
>  [mm]\sigma^2[/mm] = [mm]\frac{n\bar{x} - 2\mu n\bar{x} + n\mu^2}{2n}\\ [/mm]
>  
> [mm]\sigma^2[/mm] = [mm]\frac{\bar{x}}{2}[/mm] - [mm]\mu\bar{x}[/mm] +
> [mm]\frac{\mu^2}{2}\\[/mm]
>  [mm]\sigma^2[/mm] = [mm]\frac{1}{2}(\bar{x}[/mm] - [mm]2\mu\bar{x}[/mm] + [mm]\mu^2)$[/mm]


Das 1/2 verschwindet wegen dem Fehler oben, außerdem musst du das mit dem [mm] $\bar{x^2}$ [/mm] korrigieren.
Wenn du das beides tust, erhältst du:

[mm] $\sigma^2 [/mm] = [mm] \overline{X_n^2} [/mm] - 2 [mm] \overline{X_n} \mu [/mm] + [mm] \mu^2$. [/mm]

Das kannst du in deinen gewünschten Schätzer

[mm] $\sigma^2 [/mm] = [mm] \frac{1}{n}\sum_{i=1}^{n}(X_i [/mm] - [mm] \mu)^2$ [/mm]   (*)

umformen (überzeuge dich davon, indem du (*) ausmultiplizierst).

---

Du solltest dir allerdings bewusst sein, dass deine Rechnung unnötig kompliziert ist. Wieso zum Beispiel rechnest du die Summe am Anfang ( siehe (**) ) überhaupt aus, wenn sie doch gar kein [mm] $\sigma$ [/mm] enthält?

Deine Likelihood-Funktion abgeleitet und nullgesetzt lautet doch einfach:

$0 = [mm] -\frac{n}{\sigma} [/mm] + [mm] \frac{1}{\sigma^3}\sum_{i=1}^{n}(X_i [/mm] - [mm] \mu)^2$. [/mm]

Lässt man nun die Summe einfach stehen und stellt nach [mm] $\sigma^2$ [/mm] um, erhält man doch sofort:

[mm] $\gdw \frac{n}{\sigma^2} [/mm] = [mm] \frac{1}{\sigma^3}\sum_{i=1}^{n}(X_i [/mm] - [mm] \mu)^2$ [/mm]

[mm] $\gdw \sigma^2 [/mm] = [mm] \frac{1}{n}\sum_{i=1}^{n}(X_i [/mm] - [mm] \mu)^2$. [/mm]


Viele Grüße,
Stefan

Bezug
                
Bezug
Normalverteilung: MLS-Schätzer: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 18:25 So 28.09.2014
Autor: GeMir

Da habe ich eindeutig zu schnell die Kettenregel angewandt, danke für die gefundenen Fehler!

Jetzt komme ich auch zu [mm] \sigma^2 [/mm] = [mm] S^2 [/mm] und es bleibt zu zeigen, dass sich an der Stelle ein globales Maximum befindet.

Meine zweite Ableitung lautet [mm] \frac{n}{\sigma^2}-\frac{3nS^2}{\sigma^4} [/mm] und sie muss ja immer kleiner Null sein, ich komme aber darauf, dass sie genau dann kleiner Null ist, wenn [mm] \sigma^2 [/mm] < [mm] 3S^2 [/mm] ist...

Bezug
                        
Bezug
Normalverteilung: MLS-Schätzer: Antwort
Status: (Antwort) fertig Status 
Datum: 18:49 So 28.09.2014
Autor: steppenhahn

Hallo GeMir,

> Da habe ich eindeutig zu schnell die Kettenregel angewandt,
> danke für die gefundenen Fehler!
>  
> Jetzt komme ich auch zu [mm]\sigma^2[/mm] = [mm]S^2[/mm] und es bleibt zu
> zeigen, dass sich an der Stelle ein globales Maximum
> befindet.
>
> Meine zweite Ableitung lautet
> [mm]\frac{n}{\sigma^2}-\frac{3nS^2}{\sigma^4}[/mm]

OK.

> und sie muss ja
> immer kleiner Null sein, ich komme aber darauf, dass sie
> genau dann kleiner Null ist, wenn [mm]\sigma^2[/mm] < [mm]3S^2[/mm] ist...

Darauf komme ich nicht.
Du musst ja für [mm] $\sigma^2$ [/mm] dann [mm] $S^2$ [/mm] einsetzen!

Deine zweite Ableitung der Likelihood $L$ lautet

[mm] $L''(\sigma) [/mm] = [mm] \frac{n}{\sigma^2}-\frac{3nS^2}{\sigma^4}$. [/mm]

Du hast schon herausgefunden, dass [mm] $L'(\sigma) [/mm] = 0 [mm] \gdw \sigma^2 [/mm] = [mm] S^2$. [/mm]
Und es ist

[mm] $L''(S^2) [/mm] = [mm] \frac{n}{S^2} [/mm] - [mm] \frac{3n S^2}{S^4} [/mm] = [mm] \frac{-2n}{S^2} [/mm] < 0$,

d.h. ein Maximum!

Viele Grüße,
Stefan

Bezug
                                
Bezug
Normalverteilung: MLS-Schätzer: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 19:02 So 28.09.2014
Autor: GeMir

Danke sehr für eine super-schnelle Antwort, aber somit kriege ich ja nur ein lokales Maximum, kein globales.

Bezug
                                        
Bezug
Normalverteilung: MLS-Schätzer: Antwort
Status: (Antwort) fertig Status 
Datum: 19:20 So 28.09.2014
Autor: steppenhahn

Hallo GeMir,

> Danke sehr für eine super-schnelle Antwort, aber somit
> kriege ich ja nur ein lokales Maximum, kein globales.

Überzeuge dich davon, dass $L$ eine differenzierbare Funktion in [mm] $\sigma$ [/mm] ist (du kannst annehmen, dass die [mm] $X_i$ [/mm] Konstanten sind - für jede Realisierung sind das ja feste Zahlen).

Du hast nachgewiesen, dass die einzige mögliche Extremstelle [mm] $\sigma^2 [/mm] = [mm] S^2$ [/mm] sein kann, mit dem notwendigen Kriterium [mm] $L'(\sigma) [/mm] = 0$.

Du hast nachgewiesen, dass es sich dabei um ein lokales Maximum handelt.
Das bedeutet, in einer kleinen Umgebung besitzt $L$ kleinere Funktionswerte als an der Stelle [mm] $\sigma [/mm] = S$.
Angenommen, es gäbe eine Stelle, wo die Funktion $L$ nochmal größer wird als dieses lokale Maximum, dann würde folgen, dass zwischen dem lokalen Maximum und dieser Stelle ein lokales Minimum liegen muss. Das aber gibt es nicht, weil du ja oben nur eine einzige mögliche Extremstelle gefunden hast.


Viele Grüße,
Stefan

Bezug
                                                
Bezug
Normalverteilung: MLS-Schätzer: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 19:37 So 28.09.2014
Autor: GeMir

Das verstehe ich ja schon, aber irgendwie hätte ich gern etwas "bombensicheres" wie Monotonieuntersuchung (+/- Vorzeichenwechsel) oder Krümmung, die für alle [mm] \sigma-Werte [/mm] negativ wäre (Rechtskrümmung)...

Habe gerade die Grenzwerte [mm] \sigma \rightarrow [/mm] 0 und [mm] \sigma \rightarrow \infty [/mm] angeschaut, beide sind Null, aber trotzdem fühl ich mich mit l''< 0 [mm] \forall \sigma [/mm] zum Beispiel viel sicherer... Komischerweise klappt genau das nicht.

Bezug
                                                        
Bezug
Normalverteilung: MLS-Schätzer: Antwort
Status: (Antwort) fertig Status 
Datum: 19:51 So 28.09.2014
Autor: steppenhahn

Hallo GeMir,

> Das verstehe ich ja schon, aber irgendwie hätte ich gern
> etwas "bombensicheres" wie Monotonieuntersuchung (+/-
> Vorzeichenwechsel) oder Krümmung, die für alle
> [mm]\sigma-Werte[/mm] negativ wäre (Rechtskrümmung)...

Das sind zwar die bombensicheren Methode, aber die sind eben nur für sehr wenige Beispiele erfüllt. D.h. die bringen dir im Allgemeinen nichts, weil sie nicht anwendbar sind.

Die Methode, die ich dir gezeigt habe, ist auch bombensicher (im mathematischen Sinne).
Nochmal explizit aufgeschrieben:

Sei $f: D [mm] \subset \IR \to \IR$ [/mm] eine differenzierbare Funktion (und $D$ ein Intervall) mit nur einer Stelle [mm] $x_0 \in [/mm] D$ mit [mm] $f'(x_0) [/mm] = 0$. Es gelte [mm] $f''(x_0) [/mm] < 0$. Dann ist [mm] $x_0$ [/mm] bereits ein globales Maximum.

Beweis:

Angenommen, es gäbe eine Stelle $y [mm] \in [/mm] D$ mit $f(y) > [mm] f(x_0)$. [/mm] Da [mm] $x_0$ [/mm] ein striktes lokales Maximum ist (notwendige Bedingung laut Voraussetzung erfüllt), gibt es in einer Umgebung von [mm] $x_0$ [/mm] Werte $y'$ mit $f(y') < [mm] f(x_0)$. [/mm]
Nach dem Zwischenwertsatz für stetige Funktionen gibt es somit eine Zwischenstelle [mm] $\xi \in [/mm] D$ mit [mm] $f(\xi) [/mm] = [mm] f(x_0)$ [/mm] (es gibt eine weitere Stelle, wo die Funktion genau den gleichen Wert wie beim lokalen Maximum annimmt).
Mit dem []Satz von Rolle folgt, dass im Bereich [mm] $(\xi,x_0)$ [/mm] eine weitere Stelle [mm] $\theta$ [/mm] liegen muss mit [mm] $f'(\theta) [/mm] = 0$. Das ist ein Widerspruch zur Voraussetzung.


> Habe gerade die Grenzwerte [mm]\sigma \rightarrow[/mm] 0 und [mm]\sigma \rightarrow \infty[/mm]
> angeschaut, beide sind Null,

Das ist nett, bringt aber für einen Beweis nicht viel. Viel wichtiger ist die Voraussetzung, dass es keine weiteren Extremstellenkandidaten ( d.h. Werte mit $f' = 0$ ) gibt.

> aber trotzdem fühl ich mich
> mit l''< 0 [mm]\forall \sigma[/mm] zum Beispiel viel sicherer...
> Komischerweise klappt genau das nicht.  

Wie gesagt, das kannst du auch nicht erwarten.

Viele Grüße,
Stefan

Bezug
Ansicht: [ geschachtelt ] | ^ Forum "Uni-Stochastik"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien


^ Seitenanfang ^
www.matheforum.net
[ Startseite | Forum | Wissen | Kurse | Mitglieder | Team | Impressum ]