Eine Abbildung B:En×En→E,(v,w)↦B(v,w) heisst Bilinearform (BLF) auf En, falls die Linearität in beiden Argumenten erfüllt ist: ∀u,v,w∈En,∀λ∈E:
B(u+v,w)=B(u,w)+B(v,w),B(λu,v)=λB(u,v)
B(u,v+w)=B(u,v)+B(u,w),B(u,λv)=λB(u,v).
Definition
Sei B eine BLF, die auf R abbildet. B heisst symmetrisch, falls B(v,w)=B(w,v) und alternierend, falls B(v,w)=−B(w,v), für ∀v,w∈En.
Definition
Eine Abbildung B:En×En→E,(v,w)↦B(v,w) heisst sesquilinear auf En, falls die Linearität im zweiten Argument erfüllt ist und im ersten Argument semilinear ist: ∀u,v,w∈En,∀λ∈E:
B(u+v,w)=B(u,w)+B(v,w),B(λu,v)=λB(u,v)
B(u,v+w)=B(u,v)+B(u,w),B(u,λv)=λB(u,v).
Definition
Eine Sesquilinearform B, die auf C abbildet, heisst hermitesch, falls B(v,w)=B(w,v).
Definition
Eine Sesquilinearform B heisst positiv definit, wenn
B(v,v)>0fu¨r jedes v∈En mit v=0.
Bemerkung
Eine symmetrische, positiv definite BLF heisst euklidisches Skalarprodukt.
Definition
Ein Skalarprodukt ist eine Abbildung ⟨⋅,⋅⟩:En×En→E,(v,w)↦⟨v,w⟩=∑k=1nvkwk so dass: ∀u,v,w∈En,∀λ∈E:
⟨v+λw,u⟩=⟨v,u⟩+λ⟨w,u⟩ (Bilinearität bzw. Sesquilinearität)
⟨v,w⟩=⟨w,v⟩ (Symmetrie bzw. hermitesch)
⟨v,v⟩≥0 (positiv semidefinit)
⟨v,v⟩≥0 und ⟨v,v⟩=0⇔v=0 (positiv definit)
Definition
Die Länge oder euklidische Norm eines Vektors x∈En ist die nichtnegative reelle Zahl ∥x∥ definiert durch
∥x∥:=⟨x,x⟩=xHx=k=1∑n∣xk∣2.
Bemerkung
Seien x,y∈Rn und α∈[0,π] der Winkel zwischen x und y, dann gilt:
⟨x,y⟩=∥x∥∥y∥cos(α).
Definition
Sei B={bi}i∈I eine Basis von V, ⟨⋅,⋅⟩ Skalarprodukt auf V.
B heisst orthogonal⇔⟨bk,bl⟩=0,∀k=l
In Worten: Basisvektoren "stehen ⊥ aufeinander".
B heisst orthonormal (ONB) ⇔⟨bk,bl⟩=δkl={1,k=l0,k=l
In Worten: Basisvektoren "stehen ⊥ aufeinander" und haben Länge 1.
Bemerkung
Sei V ein Vektorraum mit Skalarprodukt ⟨⋅,⋅⟩, B={bi}i∈I Basis von V. Per Definition von Basis kann man jedes v∈V schreiben als v=∑i∈Iαibi. Falls B eine ONB ist, so ist αi=⟨bi,v⟩,∀i∈I, ⇒ Koordinaten von v bezüglich B sind ⟨bi,v⟩.
Das äussere Produkt und die orthogonale Projektion
Bemerkung
innere Produkt: ∀x,y∈En:⟨x,y⟩=xHy∈E
äussere Produkt: ∀x∈Em,∀y∈En:xyH∈Em×n
Satz
Die orthogonale ProjektionPYx von x∈En auf die durch y und Ursprung induzierte Gerade ist:
PYx:=∥y∥21yyHx=uuHx mit u:=∥y∥y
y-Richtung: PYx=αy,α∈E (PYx ist ein Punkt auf y).
x-Richtung: (x−PYx)⊥y.
BemerkungProjektionsmatrix
PYx:=∥y∥21yyHx=uuHx mit u:=∥y∥y
PYH=PY (symmetrisch/hermitesch)
PY2=PY (idempotent; dies ist eine alternative Definition von einer Projektion)
Gram-Schmidt Verfahren
Satz
Zu jedem Vektorraum endlicher oder zumindest abzählbarer Dimension existiert eine ONB. (d.h. ist konstruierbar mit Gram-Schmidt)
AlgorithmusGram-Schmidt Verfahren
Sei V ein euklidischer/unitärer Vektorraum mit dim(V)=n<∞
Gegeben:W=span{v1,...,vm}⊂V,{vi}i=1m Basis von W ist linear unabhängig
Gesucht 1:w1,...,wm so dass W=span{w1,...,wm} und {wi}i=1m ONB von W ist orthonormal
Gesucht 2:w1,...,wm,wm+1,...,wn so dass V=span{w1,...,wn} und {wi}i=1n ONB von V ist orthonormal.
Gegeben: Vektorraum P2 über R mit Skalarprodukt ⟨p,q⟩P=−1∫1p(t)q(t)dt und Monombasis B={1,t,t2}. Hier: V=W=P2
Gesucht: Eine ONB die bezüglich ⟨⋅,⋅⟩P orthogonal ist ⇒ wir müssen 1,t,t2 bezüglich ⟨⋅,⋅⟩P orthonormieren.
w3′=t2−⟨t2,21⟩21−⟨t2,23t⟩23t=t2−21∫−1121⋅t2dt−23t∫−1123t⋅t2dt=t2−21[321t3]−11−23t[2341t4]−11=t2−31−0=t2−31w3=∥w3′∥Pw3′=845(t2−31)weil∥w3′∥P=∫−11(t2−31)2dt=[5t5−92t3+9t]−11=458W(3)={21,23t,845(t2−31)} ist ONB fu¨r P2.
QR-Zerlegung
Bemerkung
Sei A∈Em×n. Angenommen rang(A)=n≤m (voller Rang). Dann existiert eine orthogonale/unitäre Matrix Q=(Q1∣Q2) mit Q∈Em×m,Q1∈Em×n,Q2∈Em×(m−n) und es existiert eine rechte Dreiecksmatrix R1∈En×n und mit 0∈E(m−n)×n, so dass
A=Q⋅(R10)=:QR
Bemerkung
Da R=(R10), ist A=QR=Q1R1.
BemerkungZusammenhang QR-Zerlegung und kleinste Quadrate
Für das Residuum r gilt r=y−i=1∑n⟨qi,y⟩qi, wobei {qi}i=1n die Spalten von Q1 bezeichnet.
Bemerkung
Falls das betrachtete Skalarprodukt das Standard-Skalarprodukt ist, gilt:
Die 2-Norm-Konditionszahl (kurz: Kondition) einer Matrix A∈En×n ist gegeben durch
κ2=min{∣ω∣}max{∣ω∣},
wobei ω der Eigenwert von A ist (gilt für symmetrische/hermitesche reguläre A).
Insbesondere ist die Konditionszahl immer grösser oder gleich 1.
Bemerkung
Wir möchten immer eine möglichst kleine Kondition haben, da dann die Implementierung numerisch am stabilsten ist, d.h. grosse Kondition ist schlecht und unerwünscht.
Bemerkung
Die QR-Zerlegung ist für m≥n und Rang(A)=n eindeutig, wenn man die Vorzeichen der Diagonalelemente von der Dreiecksmatrix vorgibt.
BemerkungNormalengleichung vs. QR-Zerlegung
Normalengleichung
Pro:
"schön" um von Hand zu rechnen
AHA ist hermitesch positiv definit ⇒ kann für Cholesky-Zerlegung ausgenutzt werden
Con:
Wenn A schlecht konditioniert ist, ist AHA quadratisch schlecht konditioniert. ⇒ Cholesky liefert unbrauchbare Resultate (Rundungsfehler massiv verstärkt, Implementierung instabil)
QR-Zerlegung
Pro:
kann numerisch stabil implementiert werden (Verfahren hängt weniger von der Kondition ab)