Methode der kleinsten Quadrate < math. Statistik < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 16:18 Di 30.09.2014 | | Autor: | Crashday |
Hallo Leute,
ich habe eine Frage zu dieser Methode. Wie das Prinzip genau funktioniert ist mir geläufig. Nur leider versteh ich nicht so wirklich den Unterschied zwischen Linearer Regression und Nichtlinearer Regression. Ich hab immer gedacht, lineare Regressionen sind eben Funktionen, die man aus 2 Parametern aufstellen kann und daraus ergibt sich eben eine Gerade.
Bei nichtlinearen Regressionen hab ich gedacht, dass man dadurch eine Parabel, kubische Funktion, Logarithmenfunktion etc. aufstellen kann.
Nur irgendwie hab ich jetzt bei einigen Seiten gesehen, dass die nichtlinearen Regressionen ebenfalls unter lineare Regressionen gefasst werden, was mich etwas verwirrt. Ebenfalls hab ich bei dem Wikipedia-Artikel gesehen, dass die Polynome n-ten Grades ebenfalls hier jetzt unter Lineare Modellfunktionen gefasst werden.
Es wäre super, wenn mir jemand erklären könnte, was der Unterschied zwischen den beiden Sachen ist - Danke :)
Crashday
|
|
| |
|
> Hallo Leute,
>
> ich habe eine Frage zu dieser Methode. Wie das Prinzip
> genau funktioniert ist mir geläufig. Nur leider versteh
> ich nicht so wirklich den Unterschied zwischen Linearer
> Regression und Nichtlinearer Regression. Ich hab immer
> gedacht, lineare Regressionen sind eben Funktionen, die man
> aus 2 Parametern aufstellen kann und daraus ergibt sich
> eben eine Gerade.
> Bei nichtlinearen Regressionen hab ich gedacht, dass man
> dadurch eine Parabel, kubische Funktion,
> Logarithmenfunktion etc. aufstellen kann.
> Nur irgendwie hab ich jetzt bei einigen Seiten gesehen,
> dass die nichtlinearen Regressionen ebenfalls unter lineare
> Regressionen gefasst werden, was mich etwas verwirrt.
> Ebenfalls hab ich bei dem Wikipedia-Artikel gesehen, dass
> die Polynome n-ten Grades ebenfalls hier jetzt unter
> Lineare Modellfunktionen gefasst werden.
> Es wäre super, wenn mir jemand erklären könnte, was der
> Unterschied zwischen den beiden Sachen ist - Danke :)
>
> Crashday
Hallo Crashday
Ich befürchte, dass da zuallererst auf begrifflicher Ebene ein
paar Präzisierungen notwendig wären. In der Überschrift
nennst du die "Methode der kleinsten Quadrate", und dann
nennst du lineare Regression und nichtlineare Regression.
Besonders deine Sprechweise "lineare Regressionen sind
Funktionen, die man aus 2 Parametern aufstellen kann und
daraus ergibt sich eben eine Gerade" ist ziemlich daneben.
Erstens: Regression (ob linear oder nichtlinear) ist weder
eine Funktion noch irgendeine Kurve, sondern eine Methode.
Anstatt von Regression würde man besser und präziser von
"Regressionsanalyse" sprechen.
Zweitens: eine Funktion mit 2 Parametern muss keineswegs
eine lineare Funktion (mit einer Geraden als Graph) sein.
Eine der bekanntesten Methoden der Kurvenanpassung
(curve fitting) durch Regressionsanalyse ist die auf C.F. Gauß
zurückgehende "Methode der kleinsten Quadrate" (was man
auch besser und treffender ausdrücken würde durch
"Methode der kleinsten Summe der Fehlerquadrate"), nach
welcher man eine lineare Funktion bestimmen kann, die
nach einem bestimmten Kriterium "am besten" zu einer
Menge von Punkten passt, welche zunächst mal nur so
ungefähr auf einer Geraden liegen.
Für den Fall, wo man als Anpassungsfunktion nicht eine
lineare, sondern z.B. etwa eine Potenzfunktion oder eine
logarithmische Funktion sucht, kann man nun die Methode
der kleinsten Quadrate auf zwei unterschiedliche Arten auf
die neue Situation anpassen:
1.) Man bildet die x-y-Ebene durch eine geeignete geometrische
Transformation so ab, dass die gewünschte Kurvenart auf
Geraden abgebildet wird. Dann macht man in der trans-
formierten Ebene die übliche lineare Regression mit der
Gauß-Methode und erhält so eine gewisse Gerade. Zum
Schluss wird diese Gerade zurücktransformiert, und man
hat eine Anpassungskurve für das ursprüngliche Problem.
2.) Man beschreibt die Kurvenschar, in welcher die Modell-
funktion liegen soll, durch geeignete Parameter. Dies dürfen
durchaus auch mehr als nur 2 Parameter sein.
Dann betrachtet man die Summe der Quadrate der Abweichungen
an den Stellen, die sich ergeben, wenn man entweder die
Werte aus den gegebenen Daten oder aber die Werte nach
Modell einsetzt. Die entstehende Quadratsumme Q ist dann
eine Funktion, die immer noch die Parameter des Modells
enthält. Man hat dann also z.B. eine Funktion der Form Q(a,b,c).
Dann bestimmt man mit den Mitteln der Differentialrechnung
jene Werte für die Parameter a,b,c , für welche Q(a,b,c)
minimal wird. In vielen typischen Fällen sind diese Werte
auch eindeutig bestimmt, und damit kommt man zu einer
Anpassungsfunktion der Form $\ y\ =\ [mm] f(a_0,b_0,c_0,x)$
[/mm]
Im Allgemeinen unterscheiden sich die nach den verschiedenen
Methoden bestimmten Anpassungsfunktionen deutlich
voneinander. Um zu entscheiden, welche Methode sich in
einem konkreten Fall besser eignet, sind statistische
Überlegungen erforderlich.
Ich hoffe, damit etwas Licht ins Thema gebracht zu haben.
LG , Al-Chwarizmi
|
|
|
| |
|
Okay vielen Dank, das hat mir einiges geholfen, hoffe ich mal. Habe ich das jetzt so richtig verstanden:
Es gibt einmal die Regressionsanalyse, die eben die Beziehung zwischen einer oder mehrerer Variablen modelliert. Davon gibt es z. B. die lineare Regression, nicht lineare Regression etc. . Und z. B. bei der lineare Regression heißt es eben, dass man die Parameter mit Hilfe der Methode der kleinsten Quadrate bestimmt.
Es ist mir aber trotzdem noch immer nicht so geläufig, was es mit dem Wort ,,linear" und ,,nichtlinear" auf sich hat.
Bei mir ist eine lineare Regression, wenn man so ein Fall hat:
y = ax + b;
Bei einer nichtlineare Regression kann z. B. auch sowas vorkommen:
y = [mm] ax^2+bx+c [/mm] , eine Exponentialfunktion, Logarithmenfunktion usw.
Was hat das dann auch genau aber bei der Methode der kleinsten Quadrate zutun, da ja ebenfalls unterschieden wird zwischen der linearen Modellerweiterung und nichtlinearen Modellerweiterung? In der linearen Modellerweiterung wird eine polynomiale Ausgleichskurve gebildet, was hat dass dann aber mit linearer Modellerweiterung zutun? Die beiden Begriffe ,,linear" und ,,nichtlinear" verwirren mich irgendwie total, da ich nicht genau verstehe, in welchem Kontext die Begriffe in den Themen Regressionsanalyse und Methode der kleinsten Quadrate jetzt genau stehen...
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 21:20 Do 02.10.2014 | | Autor: | matux |
$MATUXTEXT(ueberfaellige_frage)
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 11:44 Fr 03.10.2014 | | Autor: | Crashday |
Hallo,
ich habe nochmals mich mit der linearen und nichtlinearen Modellfunktion beschäft. Ich habe jetzt einen Unterschied gefunden, nur ich bin gerade nicht sicher, ob das genau der Unterschied zwischen den beiden ist.
Bei der linearen Modellfunktionen haben wir immer Polynome, egal welches Grades, ob 1., 2. Grades usw. also f(x,a) = [mm] a_{1}x_{1} [/mm] + [mm] a_{2}x_{2} [/mm] + ... + [mm] a_{n}x_{n} [/mm] und wenn wir die jetzt nach den unbekannten Koeffizienten ableiten, also nach a, dann fallen dort überall die unbekannten Koeffizienten weg, dass dann nur noch steht [mm] f'(x,a)=x_{1}+x_{2}+...x_{n}. [/mm] Somit haben wir ja theoretisch eine Linearkombination von linearen Funktionen. Es ist ja so, wenn da z. B. f(x) = 5x steht, dass am Ende auch nur noch die Konstanten stehen.
Und bei der nichtlinearen Modellfunktion haben wir denn Fall, dass die unbekannten Koeffizienten nicht verschwinden z. B. f(x,a) = [mm] a_{1}*exp(a_{2}x). [/mm] Wenn man das ableitet, dann hängen die unbekannten Koeffizienten weiterhin von den Parameterwerten ab.
Ich hoffe, dass ist so der grobe Unterschied zwischen linearer Modellfunktion und nichtlinearer Modellfunktionen. Wäre super, wenn mir das jemand bestätigen könnte, ob ich es so grob richtig verstanden habe.
Crashday
|
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 03:47 So 05.10.2014 | | Autor: | DieAcht |
Hallo Crashday,
> Ich hoffe, dass ist so der grobe Unterschied zwischen
> linearer Modellfunktion und nichtlinearer Modellfunktionen.
> Wäre super, wenn mir das jemand bestätigen könnte, ob
> ich es so grob richtig verstanden habe.
Ja, du hast es grob verstanden. Man darf nur nicht vergessen,
dass man bei Modellfunktion zunächst eine analytische Lösung
sucht. Falls die Modellfunktion linear ist, dann ist es kein
Problem, allerdings ändert sich das bei nichtlinearen Modell-
funktionen. Diese kann man zwar mit ein paar Tricks, wie zum
Beispiel einer Substitution, "linearisieren", allerdings ist
das eher selten der Fall und man muss sich mit einer approxi-
mierten Lösung (durch iterative Methoden) zufrieden geben.
Gruß
DieAcht
|
|
|
|
