Upload
eligio-corsi
View
243
Download
1
Embed Size (px)
Citation preview
Metodi iterativi
G. Puppo
Metodi iterativi
• Problema del fill-in
• Metodo di Jacobi
• Metodo di Gauss Seidel
• Studio della convergenza
Problema del Fill-in
Se calcoliamo la fattorizzazione LU di una matrice A sparsa cioè con un numero elevato di elementi nulli, otteniamo che i fattori L ed U sono molto più “pieni”
EsempioConsideriamo per esempio la matrice:
>> a=[4 -1 0 0 1; -1 4 -1 0 0; 0 -1 4 -1 0; 0 0 -1 4 -1; 1 0 0 -1 4]a = 4 -1 0 0 1 -1 4 -1 0 0 0 -1 4 -1 0 0 0 -1 4 -1 1 0 0 -1 4
Questa matrice è tridiagonale, con solo 2 elementi diversi da 0 fuori della struttura tridiagonale
Calcolando la fattorizzazione LU otteniamo
>> [l,u]=lu(a)l = 1.0000 0 0 0 0 -0.2500 1.0000 0 0 0 0 -0.2667 1.0000 0 0 0 0 -0.2679 1.0000 0 0.2500 0.0667 0.0179 -0.2632 1.0000u = 4.0000 -1.0000 0 0 1.0000 0 3.7500 -1.0000 0 0.2500 0 0 3.7333 -1.0000 0.0667 0 0 0 3.7321 -0.9821 0 0 0 0 3.4737
Continuo lo studio del fill-in
• Function SPDIAGS
• Function FULL
• Function SPY
Per approfondire lo studio del fill in, devo creare matrici sparse più grandi e analizzarne la struttura. Servono dei nuovi comandi
Function SPDIAGS
Il comando A=spdiags(B,d,m,n) crea una matrice A m per n,con diagonali uguali alle colonne di B, disposte nella posizioneindicate dal vettore d:
Esempio:
>> n=10;>> e=ones(n,1);>> b=[e, -e, 6*e, -e, 2*e];>> d=[-n/2 -1 0 1 n/2];>> a=spdiags(b,d,n,n);
Crea una matrice 10X10, con 5 diagonali non nulle
b = (1,1) 6 (2,1) -1 (6,1) 1 (1,2) -1 (2,2) 6 (3,2) -1 (7,2) 1 ………….
Function FULL
La matrice creata da SPDIAGS è memorizzata considerandosolo gli elementi diversi da zero, in modo da conservarne la struttura sparsa. Per avere la matrice completa, devo espanderla con FULL.
>> n=10;>> e=ones(n,1);>> b=[e, -e, 6*e, -e, 2*e];>> d=[-n/2 -1 0 1 n/2];>> a=spdiags(b,d,n,n);>> full(a)ans = 6 -1 0 0 0 2 0 0 0 0 -1 6 -1 0 0 0 2 0 0 0 0 -1 6 -1 0 0 0 2 0 0 0 0 -1 6 -1 0 0 0 2 0 0 0 0 -1 6 -1 0 0 0 2 1 0 0 0 -1 6 -1 0 0 0 0 1 0 0 0 -1 6 -1 0 0 0 0 1 0 0 0 -1 6 -1 0 0 0 0 1 0 0 0 -1 6 -1 0 0 0 0 1 0 0 0 -1 6
Function SPY
La function spy(a) permette di visualizzare la sparsità di una matrice.Il comando SPY(A) genera un grafico, nel quale sono evidenziati con un punto solo gli elementi di A che sono diversi da zero.
Esempio.Studiamo la sparsità della fattorizzazione LU della matrice A.Per far questo, applichiamo SPY sia ad A che alla fattorizzazione LU, per N=10 e per N=100. Per visualizzare sia L che U nella figura che segue, la function SPY è stata applicata alla matrice L+U.
Risultati ottenuti con il programma fill_in.m
Listato dello script fill_in.m
% Questo programma studia il fill-in della fattorizzazione LU% di una matrice sparsa Ak=0;for n=[10, 100] e=ones(n,1); b=[e, -e, 6*e, -e, 2*e]; d=[-n/2 -1 0 1 n/2]; a=spdiags(b,d,n,n); full(a); k=k+1; subplot(2,2,k) spy(a) title('Matrice A') k=k+1; [l,u]=lu(a); subplot(2,2,k) spy(l+u) title('Fattorizzazione LU')end
CommentiI risultati precedenti dimostrano che la fattorizzazione LU di una matrice sparsa genera un gran numero di elementi diversi da zero.Il numero degli elementi diversi da zero inoltre cresce velocemente all’aumentare delle dimensioni della matrice.
Quindi, se risolvo un sistema lineare sparso usando la fattorizzazione LU devo:- calcolare un elevato numero di elementi;- memorizzare tutti gli elementi calcolati.Per questo tipo di sistemi, è conveniente usare i metodi iterativi
Metodi iterativi
Per applicare un metodo iterativo ad una matrice sparsa, devo evitare di memorizzare tutta la matrice, altrimenti perdo tutti i possibili vantaggi del metodo iterativo.
Infatti, se ho abbastanza memoria per memorizzare A, ho anche abbastanza memoria per memorizzare la fattorizzazione LU.
Inoltre, ogni iterazione richiede il prodotto A*x, e diventa quindi molto costosa se non sfrutto la sparsità di A.
Per applicare un metodo iterativo, quindi, devo sfruttare la struttura del sistema lineare che devo risolvere. In particolare, devo usare matrici sparse.
Tuttavia, iniziamo per ora ad applicare i metodi di Jacobi e di Gauss Seidel usando la formula generale..Le functions che otterremo ora non sfrutteranno la struttura di A e quindi non saranno efficienti, ma ci daranno informazioni sulla velocità di convergenza.
Metodo di JacobiScriviamo una function che applichi il metodo di Jacobi ad un generico sistema A*x=b. La function richiesta deve:
• dare in output il vettore soluzione e il numero delle iterazioni che sono state eseguite;
• avere in input la matrice A ed il termine noto B;• contenere un opportuno test di arresto.
Listato per il metodo di Jacobi (function jacobi.m)
function [xnew,nit]=jacobi(a,b)% JACOBI(A,B) calcola la soluzione XNEW ottenuta con il metodo di% Jacobi e il numero NIT di iterazioni necessarie% per il sistema lineare A*XNEW=B% Sintassi: [XNEW,NIT]=JACOBI(A,B)% Attenzione: Applicazione naive del metodo di Jacobi, che non % sfrutta la sparsita' di A.[n,m]=size(a);if m ~= n display('A non e'' quadrata') returnendm=length(b);if m ~= n display('B non e'' compatibile') returnend
continua...
% Come vettore iniziale usa b:x=b’;kmax=n^2;for k=1:kmax for i=1:n sum=b(i); for j=1:n if j~=i sum=sum-a(i,j)*x(j); end end xnew(i)=sum/a(i,i); end
Calcolo della nuova stima:
continua...
La formula iterativa per il metodo di Jacobi è
% Test di arresto: res = norm(a*xnew' -b); diff = norm(x-xnew); if res <= eps*norm(b) | diff<=eps*norm(x) nit=k; return else x=xnew; endendnit=kmax;
Test di arresto:
Risolvo, usando il metodo di Jacobi, il sistema lineare A*X=B, dove A è la stessa matrice N X N costruita dalla function SPARSA(N) e B è il vettore ONES(N,1):
function a=sparsa(n)% Genera la matrice sparsa n*n a diagonale dominante% usata come esempio in questo capitoloe=ones(n,1);% per avere una matrice a diagonale dominante, diag>=5diag=6;b=[e, -e, diag*e, -e, 2*e];d=[-n/2, -1, 0, 1, n/2]; a=spdiags(b,d,n,n);
Per applicare il metodo di Jacobi, devo dare i seguenti comandi:
>> n=10;>> a=sparsa(n);>> afull=full(a);>> b=ones(n,1);>> [x,nit]=jacobi(afull,b);
Ottengo:
>> xx = Columns 1 through 8 0.1197 0.1393 0.1440 0.1503 0.1692 0.2106 0.2140 0.2126 Columns 9 through 10 0.2059 0.1728>> nitnit = 54
Considero N=10
Esercizio
Modificare la function per il metodo di Jacobi, facendo in modo che la function immagazzini in un vettore res(k) la norma del residuo all’iterazione k: res(k)= norm(b - A*xk), e aggiungere questo vettore alle variabili in output.
Fare un grafico del residuo in funzione di k, per il metodo di Jacobi applicato al sistema Ax=b, dove A è la matrice costruita dalla function tridiag(n), per N=10, N=20, N=40, e b è il vettore b = 1.
Metodo di Gauss Seidel
Scriviamo una function che applichi il metodo di Gauss Seidel ad un generico sistema A*x=b. La function richiesta deve:
• dare in output il vettore soluzione e il numero delle iterazioni che sono state eseguite;
• avere in input la matrice A ed il termine noto B;• contenere un opportuno test di arresto.
Listato per il metodo di Gauss Seidel (function gs.m)
function [x,nit]=gs(a,b)% GS(A,B) calcola la soluzione XNEW ottenuta con il metodo di% Gauss Seidel e il numero NIT di iterazioni necessarie% per il sistema lineare A*XNEW=B% Sintassi: [XNEW,NIT]=GS(A,B)% Attenzione: Applicazione naive del metodo di Gauss Seidel, che non % sfrutta la sparsita' di A.[n,m]=size(a);if m ~= n display('A non e'' quadrata') returnendm=length(b);if m ~= n display('B non e'' compatibile') returnend
Calcolo della nuova stima:
% Come vettore iniziale usa b:x=b';kmax=n^2;for k=1:kmax xold=x; %immagazzina il vecchio vettore X for i=1:n sum=b(i); for j=1:n if j~=i sum=sum-a(i,j)*x(j); end end x(i)=sum/a(i,i); %Riscrive su X end
Test di arresto:
% Test di arresto: res = norm(a*x' -b); diff = norm(x-xold); if res <= eps*norm(b) | diff<=eps*norm(x) nit=k; return endendnit=kmax;
Per applicare il metodo di Gauss-Seidel, devo dare i seguenti comandi:
>> n=10;>> a=sparsa(n);>> afull=full(a);>> b=ones(n,1);>> [x,nit]=gs(afull,b);
Ottengo:
>> xx = Columns 1 through 8 0.1197 0.1393 0.1440 0.1503 0.1692 0.2106 0.2140 0.2126 Columns 9 through 10 0.2059 0.1728>> nitnit = 30
Ottengo circa lo stesso vettore soluzione, X, ma il numero di iterazioni è molto più basso (circa la metà). Si può dimostrare infatti che per matrici a diagonale dominante:
Commenti
• convergono sia il metodo di Jacobi che il metodo di Gauss Seidel.
• Il metodo di Gauss Seidel richiede circa la metà delle iterazioni effettuate dal metodo di Jacobi.
Esercizio
Ripetere l’esercizio precedente, costruendo questa volta un grafico per il residuo ottenuto con il metodo di Gauss Seidel, in funzione di k.Confrontare i risultati del metodo di Gauss Seidel con quelli ottenuti con il metodo di Jacobi
Metodo efficiente di JacobiTutti i programmi scritti finora non utilizzano le funzionalità vettoriali di Matlab. E’ possibile ottenere una versione molto più efficiente. Per ottenere qualcosa di meglio, devo cercare di evitare di scrivere i conti per componenti.
L’algoritmo del metodo di Jacobi in forma vettoriale è:D*x n+1 = -(A-D)*x n + b Quindi devo estrarre la diagonale D di A e risolvere il sistema:x n+1 = -D\ ((A-D) * x n + b)
Notare che in questo modo A può essere una matrice memorizzata in forma sparsa
function [xnew,nit]=jacobi(a,b)% X=JACOBI(A,B): Calcola la soluzione X del sistema% A*X=B, usando il metodo iterativo di Jacobi% [X,NIT]=JACOBI(A,B) Calcola la soluzione X del sistema% A*X=B e il numero NIT di iterazioni eseguite
% Estrae la diagonale principale di Add=diag(a,0);% Costruisce la matrice diagonale come matrice sparsan = length(a);dd = spdiags(dd,0,n,n);% Usa B come stima iniziale X0xold = b;% Stima un tetto al numero massimo di iterazioninmax=length(dd)^2;
Nuova versione della function per il metodo di Jacobi:
La diagonale dd deve essere scritta come matrice diagonale per poter essere sommata ad A
for n = 1:nmax xnew = dd\( (dd-a)*xold +b); % Test di arresto res = norm(a*xnew -b); diff = norm(xnew-xold); if res <= eps*norm(b) | diff<=eps*norm(xold) nit=n; return else xold = xnew; endendnit=nmax;
…continua...
N.B. questa function può essere usata assegnando in input sia una matrice A scritta in forma sparsa, che una matrice A piena: la velocità di esecuzione cambia drasticamente
Questi sono i tempi di esecuzione ottenuti con matrici piene…
0 100 200 300 400 500 600 700 800 9000
100
200
300
400
500
600METODO DI JACOBI-MATRICE IN FORMA PIENA
dimensione matrice
tem
po d
i ese
cuzi
one
…e questi sono i tempi di esecuzione ottenuti con le stesse matrici in forma sparsa
0 100 200 300 400 500 600 700 800 9000
1
2
3
4
5
6
7
8
9
10METODO DI JACOBI-MATRICE IN FORMA SPARSA
dimensione matrice
tem
po d
i ese
cuzi
one
Se vi sembra che i due grafici siano simili, confrontate le scale verticali
Convergenza dei metodi iterativi
Sappiamo che un metodo iterativo converge se e solo se il raggiospettrale della matrice di iterazione è minore di 1.Quindi un metodo per stabilire la convergenza di un metodo iterativo è il seguente:
• Calcolo la matrice di iterazione.• Calcolo gli autovalori della matrice di
iterazione.• Prendo l’autovalore di modulo massimo e ne
studio il modulo
Autovalori di una matrice
Per calcolare gli autovalori di una matrice, Matlab dispone della function EIG:
crea un vettore x che contiene una stima degli autovalori di a.
>>x=eig(a)
>> [x,d]=eig(a)
Crea una matrice X che contiene gli autovettori di A e una matrice D diagonale che contiene gli autovalori
Esempio:
>> a=[1 2 3; 4 5 6; 7 8 9];>> x=eig(a)x = 16.1168 -1.1168 -0.0000
Verifico che gli autovalori trovati sono una stima degli autovaloriesatti, calcolando il determinante di A - l*eye(3):
>> for i=1:3res(i)=det(a-x(i)*eye(3));end>> resres = 1.0e-011 * 0.1848 0.0002 -0.0018
Convergenza del metodo di Jacobi
La matrice di iterazione per il metodo di Jacobi èB = D-1*(A-D),dove D contiene gli elementi sulla diagonale di A
Costruisco un programma che calcoli il raggio spettrale dellamatrice di iterazione B per il metodo di Jacobi.
Function RHO=CONV_JAC(A)
function rho=conv_jac(a)% Calcola il raggio spettrale RHO per la matrice di iterazione% del metodo di Jacobi applicato alla matrice A% Sintassi RHO=CONV_JAC(A)[n,m]=size(a);if m ~= n display('A non e'' quadrata') returnendfor i=1:n d(i,i)=a(i,i);endb=d\(a-d);x=eig(b);rho=max( abs(x));
Convergenza del metodo di Gauss-Seidel
La matrice di iterazione per il metodo di Gauss-Seidel èB = E-1*(A-E),dove E è formata dagli elementi della parte triangolare inferiore di A
Costruisco un programma che calcoli il raggio spettrale dellamatrice di iterazione B per il metodo di Gauss-Seidel.
Function CONV_GS(A)
function rho=conv_gs(a)% Calcola il raggio spettrale RHO per la matrice di iterazione% del metodo di Jacobi applicato alla matrice A% Sintassi RHO=CONV_JAC(A)[n,m]=size(a);if m ~= n display('A non e'' quadrata') returnendfor i=1:n for j=1:i d(i,j)=a(i,j); endendb=d\(a-d);x=eig(b);rho=max( abs(x));
Esercizio
Scrivere una function che calcoli una matrice 5 per 5 con tutti gli elementi ai,j = -1, tranne che sulla diagonale principale, dove ai,j = 4 + δ.Studiare l’andamento del raggio spettrale della matrice di iterazione del metodo di Jacobi per valori piccoli di δ, per esempio δ compreso fra 0 e 0.1.Per quali valori di δ il metodo di Jacobi converge più velocemente?