Maximum Likelihood < math. Statistik < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 19:39 So 05.01.2014 | | Autor: | Marcel08 |
| Aufgabe | Für eine Regression auf eine Konstante [mm] y_{i}=\beta+u_{i}, i=1,\ldots,n [/mm] wird angenommen, dass die Störterme [mm] u_{i} [/mm] unabhängig [mm] N(0,(\alpha{z_{i}})^{2}) [/mm] verteilt sind. Die Varianz der Störterme hängt dabei von einer Variablen [mm] z_{i} [/mm] ab (sog. Heteroskedastizität).
a) Welche Aussage enthält das Likelihood-Prinzip allgemein?
b) Stellen Sie die Loglikelihood-Funktion für die Gesamtstichprobe auf.
c) Maximieren Sie die Loglikelihood-Funktion und geben Sie die ML-Schätzfunktionen für [mm] \hat\beta [/mm] und [mm] \hat\alpha [/mm] in geschlossener Form an.
d) Bringen Sie die Schätzfunktion für [mm] \hat\beta [/mm] in die Form [mm] \hat\beta=\summe_{i=1}^{n}y_{i}w_{i} [/mm] und interpretieren Sie die Gewichte [mm] w_{i}.
[/mm]
e) Welche Schätzfunktion [mm] \hat\beta [/mm] ergibt sich, wenn die Störtermvarianzen konstant sind (z.B. für [mm] z_{1}=\ldots=z_{n}=\overline{z})? [/mm] Wie erzielt der Schätzer [mm] \hat\beta [/mm] seine größere Effizienz bei nicht konstanten Störtermvarianzen?
f) Zeigen Sie allgemein, dass der Erwartungswert des Gradienten der Loglikelihood-Funktion immer gleich Null ist, d.h. weisen Sie [mm] E\vektor{\bruch{\partial{ln{L(\theta)}}}{\partial{\theta}}}=0 [/mm] nach. |
Hallo zusammen!
Zunächst würde ich bezüglich dieser Aufgabe den Aufgabenteil b) besprechen wollen. Leider bin ich mir nicht sicher, was genau ich nun tun soll. In meinen Unterlagen finde ich im Kapitel "Maximum Likelihood" unter der Überschrift "Lineares Regressionsmodell" die folgende Loglikelihood-Funktion
[mm] L(\beta,\sigma^{2})=-\bruch{n}{2}{ln(2\pi)}-n{ln(\sigma)}-\bruch{1}{2}\sigma^{-2}\summe_{i=1}^{n}u_{i}^{2}.
[/mm]
Allerdings bin ich mir nicht sicher, ob das der richtige Ansatz ist. In jedem Fall könnte man nun die Gleichung aus der Aufgabenstellung durch [mm] u_{i} [/mm] substituieren. Darüber hinaus könnte ich ebenfalls die endogene bzw. heterosekdastische Varianz der Störterme durch [mm] \sigma [/mm] ersetzen. Ich erhalte dann
[mm] L(\beta,(\alpha{z_{i}})^{2})=-\bruch{n}{2}{ln(2\pi)}-n{ln(\alpha{z_{i}})}-\bruch{1}{2}(\alpha{z_{i}})^{-2}\summe_{i=1}^{n}(y_{i}-\beta)^{2}.
[/mm]
Wenn ich nun die partiellen Ableitungen nach [mm] \alpha [/mm] und [mm] \beta [/mm] bilde, erhalte ich für [mm] \alpha [/mm] und [mm] \beta [/mm] die folgenden ML-Schätzer
[mm] \hat\alpha=\bruch{1}{|z_{i}|}\wurzel{\summe_{i=1}^{n}(y_{i}-\beta)^{2}} [/mm] und
[mm] \hat\beta=y.
[/mm]
Ist das so in Ordnung oder Blödsinn? Vielen Dank im Voraus! Marcel
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 21:03 So 05.01.2014 | | Autor: | luis52 |
> Ich erhalte dann
>
> [mm]L(\beta,(\alpha{z_{i}})^{2})=-\bruch{n}{2}{ln(2\pi)}-n{ln(\alpha{z_{i}})}-\bruch{1}{2}(\alpha{z_{i}})^{-2}\summe_{i=1}^{n}(y_{i}-\beta)^{2}.[/mm]
>
>
Moin, hier ist der Wurm drin, [mm] $z_i$ [/mm] darfst du nicht vor die Summe ziehen.
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 21:43 So 05.01.2014 | | Autor: | Marcel08 |
Hallo!
> > Ich erhalte dann
> >
> >
> [mm]L(\beta,(\alpha{z_{i}})^{2})=-\bruch{n}{2}{ln(2\pi)}-n{ln(\alpha{z_{i}})}-\bruch{1}{2}(\alpha{z_{i}})^{-2}\summe_{i=1}^{n}(y_{i}-\beta)^{2}.[/mm]
> >
> >
>
> Moin, hier ist der Wurm drin, [mm]z_i[/mm] darfst du nicht vor die
> Summe ziehen.
Mh, okay. Dann versuche ich es wie folgt erneut:
[mm] L(\beta,(\alpha{z_{i}})^{2})=-\bruch{n}{2}{ln(2\pi)}-n{ln(\alpha{z_{i}})}-\bruch{1}{2\alpha^{2}}\summe_{i=1}^{n}\bruch{(y_{i}-\beta)^{2}}{z_{i}^{2}}
[/mm]
Man erhält dann
[mm] \hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{(y_{i}-\beta)^{2}}{z_{i}^{2}}}
[/mm]
[mm] \hat\beta=y.
[/mm]
Können wir uns darauf einigen? Vielen Dank und viele Grüße, Marcel
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 21:54 So 05.01.2014 | | Autor: | luis52 |
>
> Können wir uns darauf einigen?
Nein koennen wir nicht. Du musst bzgl. [mm] $\alpha$ [/mm] und [mm] $\beta$ [/mm] maximieren. Dann kann [mm] $\hat\alpha$ [/mm] nicht von [mm] $\beta$ [/mm] abhaengen.
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 23:30 So 05.01.2014 | | Autor: | Marcel08 |
Also ich habe es nochmal durchgerechnet und hatte offenbar auch [mm] \hat\beta [/mm] falsch berechnet. Ich erhalte nochmal zusammengefasst die folgenden ML-Schätzer
[mm] \hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{(y_{i}-\beta)^{2}}{z_{i}^{2}}}=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{u_{i}^{2}}{z_{i}^{2}}} [/mm] und [mm] \hat\beta=\bruch{\summe_{i=1}^{n}\bruch{y_{i}}{z_{i}^{2}}}{\summe_{i=1}^{n}\bruch{1}{z_{i}^{2}}}.
[/mm]
Das müsste soweit stimmen.
> > Können wir uns darauf einigen?
>
> Nein koennen wir nicht. Du musst bzgl. [mm]\alpha[/mm] und [mm]\beta[/mm]
> maximieren. Dann kann [mm]\hat\alpha[/mm] nicht von [mm]\beta[/mm]
> abhaengen.
Wie kann ich das Problem der Abhängigkeit [mm] \hat\alpha(\beta) [/mm] beseitigen? Gibt es hier einen "Trick" oder eine wichtige Beziehung, die ich übersehen habe?
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 09:09 Mo 06.01.2014 | | Autor: | luis52 |
> Gibt es hier einen "Trick"
> oder eine wichtige Beziehung, die ich übersehen habe?
Ja,
$ [mm] \hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{(y_{i}-\red{\hat\beta})^{2}}{z_{i}^{2}}}$.
[/mm]
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 12:39 Mo 06.01.2014 | | Autor: | Marcel08 |
> > Gibt es hier einen "Trick"
> > oder eine wichtige Beziehung, die ich übersehen habe?
>
> Ja,
Mh, okay. Ist denn [mm] \hat\beta [/mm] richtig berechnet? Und weißt [mm] \hat\beta [/mm] auch eine Abhängigkeit von [mm] \alpha [/mm] auf? Wenn dem nicht so ist, so könnte man [mm] \hat\beta [/mm] an der von dir markierten Stelle einsetzen und das LGS wäre gelöst.
[mm] \hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{\vektor{y_{i}-\bruch{\summe_{i=1}^{n}\bruch{y_{i}}{z_{i}^{2}}}{\summe_{i=1}^{n}\bruch{1}{z_{i}^{2}}}}^{2}}{z_{i}^{2}}}
[/mm]
Aber irgendwie schaut das nicht schön aus.
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 13:03 Mo 06.01.2014 | | Autor: | luis52 |
>
> Mh, okay. Ist denn [mm]\hat\beta[/mm] richtig berechnet?
Ja.
> Und weißt [mm]\hat\beta[/mm] auch eine Abhängigkeit von [mm]\alpha[/mm] auf?
Nein.
> Wenn dem nicht so ist, so könnte man [mm]\hat\beta[/mm] an der von dir
> markierten Stelle einsetzen und das LGS wäre gelöst.
Es ist kein LGS, aber egal.
>
> [mm]\hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{\vektor{y_{i}-\bruch{\summe_{i=1}^{n}\bruch{y_{i}}{z_{i}^{2}}}{\summe_{i=1}^{n}\bruch{1}{z_{i}^{2}}}}^{2}}{z_{i}^{2}}}[/mm]
>
>
> Aber irgendwie schaut das nicht schön aus.
Tja, das kann man sich manchmal nicht aussuchen. Ab wann ist denn eine Loesung "schoen"?
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 13:12 Mo 06.01.2014 | | Autor: | Marcel08 |
>
> >
> > Mh, okay. Ist denn [mm]\hat\beta[/mm] richtig berechnet?
>
> Ja.
>
> > Und weißt [mm]\hat\beta[/mm] auch eine Abhängigkeit von [mm]\alpha[/mm]
> auf?
>
>
> Nein.
>
> > Wenn dem nicht so ist, so könnte man [mm]\hat\beta[/mm] an der von
> dir
> > markierten Stelle einsetzen und das LGS wäre gelöst.
>
> Es ist kein LGS, aber egal.
>
> >
> >
> [mm]\hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{\vektor{y_{i}-\bruch{\summe_{i=1}^{n}\bruch{y_{i}}{z_{i}^{2}}}{\summe_{i=1}^{n}\bruch{1}{z_{i}^{2}}}}^{2}}{z_{i}^{2}}}[/mm]
> >
> >
> > Aber irgendwie schaut das nicht schön aus.
>
> Tja, das kann man sich manchmal nicht aussuchen. Ab wann
> ist denn eine Loesung "schoen"?
In jedem Fall vielen Dank für deine ausdauernde Hilfe.
|
|
|
| |
|
Hallo zusammen!
zu d)
Wir hatten
[mm] \hat\beta=\bruch{\summe_{i=1}^{n}\bruch{y_{i}}{z_{i}^{2}}}{\summe_{i=1}^{n}\bruch{1}{z_{i}^{2}}}
[/mm]
Nun soll dieser Ausdruck in den Ausdruck
[mm] \hat\beta=\summe_{i=1}^{n}y_{i}w_{i}
[/mm]
umgeformt werden. Welche Beziehung besteht zwischen diesem Ausdruck und den sogenannten "Gewichten" [mm] w_{i}? [/mm] Welche sinnvolle Umformung kann ich in der Schätzfunktion [mm] \hat\beta [/mm] dann noch tätigen?
zu e)
Nun, wenn die Störtermvarianzen konstant sind, kann ich sie jeweils vor die Summe ziehen, sodass sie sich herauskürzen. Es ergibt sich dann
[mm] \hat\beta=\overline{y}=\mu [/mm]
und
[mm] \hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}(y_{i}-\overline{y})^{2}}=\sigma
[/mm]
Es bleibt jedoch die Frage, wie der Schätzer [mm] \hat\beta [/mm] seine größere Effizienz bei nicht konstanten Störtermvarianzen erzielt. Ich bin mir nicht sicher, ob ich mit meiner Vermutung richtig liege, aber hat diese Frage etwas mit der sogenannten "asymptotischen Effizienz"des ML-Schätzers zu tun?
Über hilfreiche Antworten würde ich mich freuen, auch wenn ich an dieser Stelle selber nicht viel zu den Lösungen beitragen kann. Aufgabenteil f) ist zumindest klar.
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 19:20 Mi 08.01.2014 | | Autor: | matux |
$MATUXTEXT(ueberfaellige_frage)
|
|
|
|
