Upload
shootgun01
View
238
Download
0
Embed Size (px)
Citation preview
8/14/2019 Introduction to Multigrid Methods
1/134
1 I n t r o d u c t i o n
R e a d e r s h i p
T h e p u r p o s e o f t h e s e n o t e s i s t o p r e s e n t , a t g r a d u a t e l e v e l , a n i n t r o d u c t i o n t o t h e a p p l i c a t i o n
o f m u l t i g r i d m e t h o d s t o e l l i p t i c a n d h y p e r b o l i c p a r t i a l d i e r e n t i a l e q u a t i o n s f o r e n g i n e e r s ,
p h y s i c i s t s a n d a p p l i e d m a t h e m a t i c i a n s . T h e r e a d e r i s a s s u m e d t o b e f a m i l i a r w i t h t h e b a s i c s
o f t h e a n a l y s i s o f p a r t i a l d i e r e n t i a l e q u a t i o n s a n d o f n u m e r i c a l m a t h e m a t i c s , b u t t h e u s e
o f m o r e a d v a n c e d m a t h e m a t i c a l t o o l s , s u c h a s f u n c t i o n a l a n a l y s i s , i s a v o i d e d . T h e c o u r s e
i s i n t e n d e d t o b e a c c e s s i b l e t o a w i d e a u d i e n c e o f u s e r s o f c o m p u t a t i o n a l m e t h o d s . W e d o
n o t , t h e r e f o r e , d e l v e d e e p l y i n t o t h e m a t h e m a t i c a l f o u n d a t i o n s . T h i s i s d o n e i n t h e e x c e l l e n t
m o n o g r a p h b y H a c k b u s c h 5 7 , w h i c h t r e a t s m a n y a s p e c t s o f m u l t i g r i d , a n d a l s o c o n t a i n s
m a n y p r a c t i c a l d e t a i l s . T h e b o o k 1 4 1 i s m o r e a c c e s s i b l e t o n o n - m a t h e m a t i c i a n s , a n d p a y s
m o r e a t t e n t i o n t o a p p l i c a t i o n s , e s p e c i a l l y i n c o m p u t a t i o n a l u i d d y n a m i c s .
O t h e r i n t r o d u c t o r y m a t e r i a l c a n b e f o u n d i n t h e a r t i c l e B r a n d t 2 0 , t h e r s t t h r e e c h a p -
t e r s o f 8 5 a n d t h e s h o r t e l e m e n t a r y i n t r o d u c t i o n 2 7 . T h e n o t e s a r e b a s e d o n p a r t s o f 1 4 1 ,
w h e r e f u r t h e r d e t a i l s m a y b e f o u n d , a n d o t h e r s u b j e c t s a r e d i s c u s s e d , n o t a b l y a p p l i c a t i o n s i n
c o m p u t a t i o n a l u i d d y n a m i c s .
S i g n i c a n c e o f m u l t i g r i d m e t h o d s f o r s c i e n t i c c o m p u t a t i o n
N e e d l e s s t o s a y , e l l i p t i c a n d h y p e r b o l i c p a r t i a l d i e r e n t i a l e q u a t i o n s a r e , b y a n d l a r g e , a t t h e
h e a r t o f m o s t m a t h e m a t i c a l m o d e l s u s e d i n e n g i n e e r i n g a n d p h y s i c s , g i v i n g r i s e t o e x t e n s i v e
c o m p u t a t i o n s . O f t e n t h e p r o b l e m s t h a t o n e w o u l d l i k e t o s o l v e e x c e e d t h e c a p a c i t y o f e v e n
t h e m o s t p o w e r f u l c o m p u t e r s , o r t h e t i m e r e q u i r e d i s t o o g r e a t t o a l l o w i n c l u s i o n o f a d v a n c e d
m a t h e m a t i c a l m o d e l s i n t h e d e s i g n p r o c e s s o f t e c h n i c a l a p p a r a t u s , f r o m m i c r o c h i p s t o a i r c r a f t ,
m a k i n g d e s i g n o p t i m i z a t i o n m o r e d i c u l t . M u l t i g r i d m e t h o d s a r e a p r i m e s o u r c e o f i m p o r -
t a n t a d v a n c e s i n a l g o r i t h m i c e c i e n c y , n d i n g a r a p i d l y i n c r e a s i n g n u m b e r o f u s e r s . U n l i k e
o t h e r k n o w n m e t h o d s , m u l t i g r i d o e r s t h e p o s s i b i l i t y o f s o l v i n g p r o b l e m s w i t h N u n k n o w n s
w i t h O N w o r k a n d s t o r a g e , n o t j u s t f o r s p e c i a l c a s e s , b u t f o r l a r g e c l a s s e s o f p r o b l e m s .
H i s t o r i c a l d e v e l o p m e n t o f m u l t i g r i d m e t h o d s
T a b l e 1 . 0 . 1 , b a s e d o n t h e m u l t i g r i d b i b l i o g r a p h y i n 8 5 , i l l u s t r a t e s t h e r a p i d g r o w t h o f t h e
m u l t i g r i d l i t e r a t u r e , a g r o w t h w h i c h h a s c o n t i n u e d u n a b a t e d s i n c e 1 9 8 5 .
A s s h o w n b y T a b l e 1 . 0 . 1 , m u l t i g r i d m e t h o d s h a v e b e e n d e v e l o p e d o n l y r e c e n t l y . I n w h a t
p r o b a b l y w a s t h e r s t ` t r u e ' m u l t i g r i d p u b l i c a t i o n , F e d o r e n k o 4 3 f o r m u l a t e d a m u l t i g r i d a l -
g o r i t h m f o r t h e s t a n d a r d v e - p o i n t n i t e d i e r e n c e d i s c r e t i z a t i o n o f t h e P o i s s o n e q u a t i o n o n
a s q u a r e , p r o v i n g t h a t t h e w o r k r e q u i r e d t o r e a c h a g i v e n p r e c i s o n i s O N . T h i s w o r k w a s
g e n e r a l i z e d t o t h e c e n t r a l d i e r e n c e d i s c r e t i z a t i o n o f t h e g e n e r a l l i n e a r e l l i p t i c p a r t i a l d i e r -
e n t i a l e q u a t i o n 3 . 2 . 1 i n = 0 ; 1 0 ; 1 w i t h v a r i a b l e s m o o t h c o e c i e n t s b y B a c h v a l o v 8 .
1
8/14/2019 Introduction to Multigrid Methods
2/134
T h e t h e o r e t i c a l w o r k e s t i m a t e s w e r e p e s s i m i s t i c , a n d t h e m e t h o d w a s n o t p u t i n t o p r a c t i c e a t
t h e t i m e . T h e r s t p r a c t i c a l r e s u l t s w e r e r e p o r t e d i n a p i o n e e r i n g p a p e r b y B r a n d t 1 9 , w h o
p u b l i s h e d a n o t h e r p a p e r i n 1 9 7 7 2 0 , c l e a r l y o u t l i n i n g t h e m a i n p r i n c i p l e s a n d t h e p r a c t i c a l
u t i l i t y o f m u l t i g r i d m e t h o d s , w h i c h d r e w w i d e a t t e n t i o n a n d m a r k e d t h e b e g i n n i n g o f r a p i d
d e v e l o p m e n t . T h e m u l t i g r i d m e t h o d w a s d i s c o v e r e d i n d e p e n d e n t l y b y H a c k b u s c h 5 0 , w h o
l a i d r m m a t h e m a t i c a l f o u n d a t i o n s a n d p r o v i d e d r e l i a b l e m e t h o d s 5 2 , 5 3 , 5 4 . A r e -
p o r t b y F r e d e r i c k s o n 4 7 d e s c r i b i n g a n e c i e n t m u l t i g r i d a l g o r i t h m f o r t h e P o i s s o n e q u a t i o n
l e d t h e p r e s e n t a u t h o r t o t h e d e v e l o p m e n t o f a s i m i l a r m e t h o d f o r t h e v o r t i c i t y - s t r e a m f u n c -
t i o n f o r m u l a t i o n o f t h e N a v i e r - S t o k e s e q u a t i o n s , r e s u l t i n g i n a n e c i e n t m e t h o d 1 3 5 , 1 4 3 .
A t r s t t h e r e w a s m u c h d e b a t e a n d s c e p t i c i s m a b o u t t h e t r u e m e r i t s o f m u l t i g r i d m e t h o d s .
O n l y a f t e r s u c i e n t i n i t i a t i o n s a t i s f a c t o r y r e s u l t s c o u l d b e o b t a i n e d . T h i s l e d a n u m b e r o f
r e s e a r c h e r s t o t h e d e v e l o p m e n t o f s t r o n g e r a n d m o r e t r a n s p a r e n t c o n v e r g e n c e p r o o f s 4 , 9 3 ,
9 4 , 5 1 , 5 4 , 1 3 6 , 1 3 7 s e e 5 7 f o r a s u r v e y o f t h e o r e t i c a l d e v e l o p m e n t s . A l t h o u g h r a t e
o f c o n v e r g e n c e p r o o f s o f m u l t i g r i d m e t h o d s a r e c o m p l i c a t e d , t h e i r s t r u c t u r e h a s n o w b e c o m e
m o r e o r l e s s s t a n d a r t i z e d a n d t r a s p a r e n r . O t h e r o u t h o r s h a v e t r i e d t o s p e a d c o n d e n c e i n
m u l t i g r i d m e t h o d s b y p r o v i d i n g e c i e n t a n d r e l i a b l e c o m p u t e r p r o g r a m s , a s m u c h a s p o s s i -
b l e o f ` b l a c k - b o x ' t y p e , f o r u n i n i t i a t e d u s e r s . A s u r v e y w i l l b e g i v e n l a t e r . T h e ` m u l t i g r i d
g u i d e ' o f B r a n d t 1 6 , 2 3 w a s p r o v i d e d t o g i v e g u i d e l i n e s f o r r e s e a r c h e r s w r i t i n g t h e i r o w n
m u l t i g r i d p r o g r a m s .
Y e a r 6 4 6 6 7 1 7 2 7 3 7 5 7 6 7 7 7 8 7 9 8 0 8 1 8 2 8 3 8 4 8 5
N u m b e r 1 1 1 1 1 1 3 1 1 1 0 2 2 3 1 7 0 7 8 9 6 9 4 1 4 9
T a b l e 1 . 0 . 1 : Y e a r s n u m b e r o f m u l t i g r i d p u b l i c a t i o n s
S c o p e o f t h e s e n o t e s
T h e f o l l o w i n g t o p i c s w i l l n o t b e t r e a t e d h e r e : p a r a b o l i c e q u a t i o n s , e i g e n v a l u e p r o b l e m s a n d
i n t e g r a l e q u a t i o n s . F o r a n i n t r o d u c t i o n t o t h e a p p l i c a t i o n o f m u l t i g r i d m e t h o d s t o t h e s e
s u b j e c t s , s e e 5 6 , 5 7 a n d 1 8 . T h e r e i s r e l a t i v e l y l i t t l e m a t e r i a l i n t h e s e a r e a s , a l t h o u g h
m u l t i g r i d c a n b e a p p l i e d p r o t a b l y . F o r i m p o r t a n t r e c e n t a d v a n c e s i n t h e e l d o f i n t e g r a l
e q u a t i o n s , s e e 2 5 a n d 1 3 0 . A r e c e n t p u b l i c a t i o n o n p a r a b o l i c m u l t i g r i d i s 9 1 . F i n i t e
e l e m e n t m e t h o d s w i l l n o t b e d i s c u s s e d , b u t n i t e v o l u m e a n d n i t e d i e r e n c e d i s c r e t i z a t i o n
w i l l b e t a k e n a s t h e p o i n t o f d e p a r t u r e . A l t h o u g h m o s t t h e o r e t i c a l w o r k h a s b e e n d o n e i n a
v a r i a t i o n a l f r a m e w o r k , m o s t a p p l i c a t i o n s u s e n i t e v o l u m e s o r n i t e d i e r e n c e s . T h e p r i n c i -
p l e s a r e t h e s a m e , h o w e v e r , a n d t h e r e a d e r s h o u l d h a v e n o d i c u l t y i n a p p l y i n g t h e p r i n c i p l e s
o u t l i n e d i n t h i s b o o k i n a n i t e e l e m e n t c o n t e x t .
2
8/14/2019 Introduction to Multigrid Methods
3/134
M u l t i g r i d p r i n c i p l e s a r e m u c h m o r e w i d e l y a p p l i c a b l e t h a n j u s t t o t h e n u m e r i c a l s o l u t i o n
o f d i e r e n t i a l a n d i n t e g r a l e q u a t i o n s . A p p l i c a t i o n s i n s u c h d i v e r s e a r e a s a s c o n t r o l t h e o r y ,
o p t i m i z a t i o n , p a t t e r n r e c o g n i t i o n , c o m p u t a t i o n a l t o m o g r a p h y a n d p a r t i c l e p h y s i c s a r e b e g i n -
n i n g t o a p p e a r . F o r a s u r v e y o f t h e w i d e r a n g i n g a p p l i c a b i l i t y o f m u l t i g r i d p r i n c i p l e s , s e e 1 7 ,
1 8 .
N o t a t i o n
T h e n o t a t i o n i s e x p l a i n e d a s i t o c c u r s . L a t i n l e t t e r l i k e u d e n o t e u n k n o w n f u n c t i o n s . T h e
b o l d v e r s i o n u d e n o t e s a g r i d f u n c t i o n , w i t h v a l u e u
j
i n g r i d p o i n t x
j
, i n t e n d e d a s t h e d i s c r e t e
a p p r o x i m a t i o n o f u x
j
2 T h e b a s i c p r i n c i p l e o f m u l t i g r i d m e t h o d s f o r p a r t i a l d i e r -
e n t i a l e q u a t i o n s
2 . 1 I n t r o d u c t i o n
I n t h i s c h a p t e r , t h e b a s i c p r i n c i p l e o f m u l t i g r i d f o r p a r t i a l d i e r e n t i a l e q u a t i o n s w i l l b e e x -
p l a i n e d b y s t u d y i n g a o n e - d i m e n s i o n a l m o d e l p r o b l e m . O f c o u r s e , o n e - d i m e n s i o n a l p r o b l e m s
d o n o t r e q u i r e a p p l i c a t i o n o f m u l t i g r i d m e t h o d s , s i n c e f o r t h e a l g e b r a i c s y s t e m s t h a t r e s u l t
f r o m d i s c r e t i z a t i o n d i r e c t s o l u t i o n i s e c i e n t , b u t i n o n e d i m e n s i o n m u l t i g r i d m e t h o d s c a n b e
a n a l y s e d b y e l e m e n t a r y m e t h o d s , a n d t h e i r e s s e n t i a l p r i n c i p l e i s e a s i l y d e m o n s t r a t e d .
I n t r o d u c t i o n s t o t h e b a s i c p r i n c i p l e s o f m u l t i g r i d m e t h o d s a r e g i v e n b y 2 0 , 2 7 , 2 8 a n d
1 4 1 . M o r e a d v a n c e d e x p o s i t i o n s a r e g i v e n b y 1 1 2 , 1 6 a n d 5 7 , C h a p t e r 2 .
2 . 2 T h e b a s i c p r i n c i p l e
O n e - d i m e n s i o n a l m o d e l p r o b l e m
T h e f o l l o w i n g m o d e l p r o b l e m w i l l b e c o n s i d e r e d
d
2
u = d x
2
= f x i n = 0 ; 1 ; u 0 = d u 1 = d x = 0 2 2 1
A c o m p u t a t i o n a l g r i d i s d e n e d b y
G = f x 2 I R : x = x
j
= j h ; j = 1 ; 2 ; : : : ; 2 n ; h = 1 = 2 n g 2 2 2
T h e p o i n t s f x
j
g a r e c a l l e d t h e v e r t i c e s o f t h e g r i d .
E q u a t i o n 2 . 2 . 1 i s d i s c r e t i z e d w i t h n i t e d i e r e n c e s a s
h
2
2 u
1
u
2
= f
1
3
8/14/2019 Introduction to Multigrid Methods
4/134
h
2
u
j 1
+ 2 u
j
u
j + 1
= f
j
; j = 2 ; 3 ; : : : ; 2 n 1 2 . 2 . 3
h
2
u
2 n 1
+ u
2 n
=
1
2
f
2 n
w h e r e f
j
= f x
j
a n d u
j
i s i n t e n d e d t o a p p r o x i m a t e u x
j
. T h e s o l u t i o n o f E q u a t i o n 2 . 2 . 1
i s d e n o t e d b y u , t h e s o l u t i o n o f E q u a t i o n 2 . 2 . 3 b y u a n d t h e v a l u e o f u i n x
j
b y u
j
u
j
a p p r o x i m a t e s t h e s o l u t i o n i n t h e v e r t e x x
j
; t h u s E q u a t i o n 2 . 2 . 3 i s c a l l e d a v e r t e x - c e n t e r e d
d i s c r e t i z a t i o n . T h e n u m b e r o f m e s h e s i n G i s e v e n , t o f a c i l i t a t e a p p l i c a t i o n o f a t w o - g r i d
m e t h o d . T h e s y s t e m 2 . 2 . 3 i s d e n o t e d b y
A u = f 2 2 4
G a u s s - S e i d e l i t e r a t i o n
I n m u l t i d i m e n s i o n a l a p p l i c a t i o n s o f n i t e d i e r e n c e m e t h o d s , t h e m a t r i x A i s l a r g e a n d s p a r s e ,
a n d t h e n o n - z e r o p a t t e r n h a s a r e g u l a r s t r u c t u r e . T h e s e c i r c u m s t a n c e s f a v o u r t h e u s e o f
i t e r a t i v e m e t h o d s f o r s o l v i n g 2 . 2 . 4 . W e w i l l p r e s e n t o n e s u c h m e t h o d . I n d i c a t i n g t h e m t h
i t e r a n d b y a s u p e r s c r i p t m , t h e G a u s s - S e i d e l i t e r a t i o n m e t h o d f o r s o l v i n g 2 . 2 . 3 i s d e n e d
b y , a s s u m i n g a n i n i t i a l g u e s s u
0
i s g i v e n ,
2 u
m
1
= u
m 1
2
+ h
2
f
1
u
m
j 1
+ 2 u
m
j
= u
m 1
j + 1
+ h
2
f
j
; j = 2 ; 3 ; : : : ; 2 n 1 2 . 2 . 5
u
m
2 n 1
+ u
m
2 n
=
1
2
h
2
f
2 n
F o u r i e r a n a l y s i s o f c o n v e r g e n c e
F o r e a s e o f a n a l y s i s , w e r e p l a c e t h e b o u n d a r y c o n d i t i o n s b y p e r i o d i c b o u n d a r y c o n d i t i o n s :
u 1 = u 0 2 2 6
T h e n t h e e r r o r e
m
= u
m
u
1
i s p e r i o d i c a n d s a t i s e s
e
m
j 1
+ 2 e
m
j
= e
m 1
j + 1
; e
m
j
= e
m
j + 2 n
2 2 7
A s w i l l b e d i s c u s s e d i n m o r e d e t a i l l a t e r , s u c h a p e r i o d i c g r i d f u n c t i o n c a n b e r e p r e s e n t e d b y
t h e f o l l o w i n g F o u r i e r s e r i e s :
e
m
j
=
n
X
= n + 1
c
m
e x p i j
;
= n 2 2 8
B e c a u s e o f t h e o r t h o g o n a l i t y o f f e
i j
g , i t s u e s t o s u b s t i t u t e e
m 1
j
= c
m 1
e
i j
i n 2 . 2 . 7 .
T h i s g i v e s e
m
j
= c
m
e
i j
w i t h
c
m
= g
c
m 1
; g
= e
i
= 2 e
i
2 2 9
4
8/14/2019 Introduction to Multigrid Methods
5/134
T h e f u n c t i o n g
i s c a l l e d t h e a m p l i c a t i o n f a c t o r . I t m e a s u r e s t h e g r o w t h o r d e c a y o f a
F o u r i e r m o d e o f t h e e r r o r d u r i n g a n i t e r a t i o n . W e n d
g
= 5 4 c o s
1 = 2
2 2 1 0
A t r s t i t s e e m s t h a t G a u s s - S e i d e l d o e s n o t c o n v e r g e , b e c a u s e
m a x f g
:
= = n ; = n + 1 ; n + 2 ; : : : ; n g = g 0 = 1 2 2 1 1
H o w e v e r , w i t h p e r i o d i c b o u n d a r y c o n d i t i o n s t h e s o l u t i o n o f 2 . 2 . 1 i s d e t e r m i n e d u p t o a
c o n s t a n t o n l y , s o t h a t t h e r e i s n o n e e d t o r e q u i r e t h a t t h e F o u r i e r m o d e = 0 d e c a y s d u r i n g
i t e r a t i o n . E q u a t i o n 2 . 2 . 1 1 , t h e r e f o r e , i s n o t a c o r r e c t m e a s u r e o f c o n v e r g e n c e , b u t t h e
f o l l o w i n g q u a n t i t y i s :
m a x f g
:
= = n ; = n + 1 ; n + 2 ; : : : ; n ; 6= 0 g = g
1
= f 1 2
2
1
+ O
4
1
g
1 = 2
= 1 4
2
h
2
+ O h
4
2 . 2 . 1 2
I t f o l l o w s t h a t t h e r a t e o f c o n v e r g e n c e d e t e r i o r a t e s a s h # 0 . A p a r t f r o m s p e c i a l c a s e s ,
i n t h e c o n t e x t o f e l l i p t i c e q u a t i o n s t h i s i s f o u n d t o b e t r u e o f a l l s o c a l l e d b a s i c i t e r a t i v e
m e t h o d s m o r e o n t h e s e l a t e r ; w e l l k n o w n e x a m p l e s a r e t h e J a c o b i , G a u s s - S e i d e l a n d s u c c e s s i v e
o v e r - r e l a x a t i o n m e t h o d s b y w h i c h a g r i d f u n c t i o n v a l u e i s u p d a t e d u s i n g o n l y n e i g h b o u r i n g
v e r t i c e s . T h i s d e t e r i o r a t i o n o f r a t e o f c o n v e r g e n c e i s f o u n d t o o c c u r a l s o w i t h o t h e r k i n d s o f
b o u n d a r y c o n d i t i o n s . T h e p u r p o s e o f m u l t i g r i d i s t o a v o i d t h i s d e t e r i o r a t i o n , a n d t o a c h i e v e
a r a t e o f c o n v e r g e n c e w h i c h i s i n d e p e n d e n t o f h
T h e e s s e n t i a l m u l t i g r i d p r i n c i p l e
T h e r a t e o f c o n v e r g e n c e o f b a s i c i t e r a t i v e m e t h o d s c a n b e i m p r o v e d w i t h m u l t i g r i d m e t h o d s .
T h e b a s i c o b s e r v a t i o n i s t h a t 2 . 2 . 1 0 s h o w s t h a t g
d e c r e a s e s a s i n c r e a s e s . T h i s
m e a n s t h a t , a l t h o u g h l o n g w a v e l l e n g t h F o u r i e r m o d e s c l o s e t o 1 d e c a y s l o w l y g
=
1 O h
2
, s h o r t w a v e l e n g t h F o u r i e r m o d e s a r e r e d u c e d r a p i d l y . T h e e s s e n t i a l m u l t i g r i d
p r i n c i p l e i s t o a p p r o x i m a t e t h e s m o o t h l o n g w a v e l e n g t h p a r t o f t h e e r r o r o n c o a r s e r g r i d s .
T h e n o n - s m o o t h o r r o u g h p a r t i s r e d u c e d w i t h a s m a l l n u m b e r i n d e p e n d e n t o f h o f i t e r a t i o n s
w i t h a b a s i c i t e r a t i v e m e t h o d o n t h e n e g r i d .
F o u r i e r s m o o t h i n g a n a l y s i s
I n o r d e r t o b e a b l e t o v e r i f y w h e t h e r a b a s i c i t e r a t i v e m e t h o d g i v e s a g o o d r e d u c t i o n o f t h e
r o u g h p a r t o f t h e e r r o r , t h e c o n c e p t o f r o u g h n e s s h a s t o b e d e n e d p r e c i s e l y .
D e n i t i o n 2 . 2 . 1 T h e s e t o f r o u g h w a v e n u m b e r s
r
i s d e n e d b y
r
= f
= = n ; c n ; = n + 1 ; n + 2 ; : : : ; n g 2 2 1 3
5
8/14/2019 Introduction to Multigrid Methods
6/134
w h e r e 0 c 1 i s x e d c o n s t a n t i n d e p e n d e n t o f n
T h e p e r f o r m a n c e o f a s m o o t h i n g m e t h o d i s m e a s u r e d b y i t s s m o o t h i n g f a c t o r , d e n e d a s
f o l l o w s .
D e n i t i o n 2 . 2 . 2 T h e s m o o t h i n g f a c t o r i s d e n e d b y
= m a x f g
:
2
r
g 2 2 1 4
W h e n f o r a b a s i c i t e r a t i v e m e t h o d 1 i s b o u n d e d a w a y f r o m 1 u n i f o r m l y i n h , w e s a y t h a t
t h e m e t h o d i s a s m o o t h e r . N o t e t h a t d e p e n d s o n t h e i t e r a t i v e m e t h o d a n d o n t h e p r o b l e m .
F o r G a u s s - S e i d e l a n d t h e p r e s e n t m o d e l p r o b l e m i s e a s i l y d e t e r m i n e d . E q u a t i o n 2 . 2 . 1 0
s h o w s t h a t g d e c r e a s e s m o n o t o n i c a l l y , s o t h a t
= 5 4 c o s c
1 = 2
2 2 1 5
H e n c e , f o r t h e p r e s e n t p r o b l e m G a u s s - S e i d e l i s a s m o o t h e r .
I t i s c o n v e n i e n t t o s t a n d a r d i z e t h e c h o i c e o f c . O n l y t h e F o u r i e r m o d e s t h a t c a n n o t b e
r e p r e s e n t e d o n t h e c o a r s e g r i d n e e d t o b e r e d u c e d b y t h e b a s i c i t e r a t i v e m e t h o d ; t h u s i t i s
n a t u r a l t o l e t t h e s e m o d e s c o n s t i t u t e
r
. W e c h o o s e t h e c o a r s e g r i d b y d o u b l i n g t h e m e s h - s i z e
o f G . T h e F o u r i e r m o d e s o n t h i s g r i d h a v e w a v e n u m b e r s
g i v e n b y 2 . 2 . 8 w i t h n r e p l a c e d
b y n = 2 a s s u m i n g f o r s i m p l i c i t y n t o b e e v e n . T h e r e m a i n i n g w a v e n u m b e r s a r e d e n e d t o
b e n o n - s m o o t h , a n d a r e g i v e n b y 2 . 2 . 1 3 w i t h
c = 1 = 2 2 2 1 6
E q u a t i o n 2 . 2 . 1 5 t h e n g i v e s t h e f o l l o w i n g s m o o t h i n g f a c t o r f o r G a u s s - S e i d e l
= 5
1 = 2
2 2 1 7
T h i s t y p e o f F o u r i e r s m o o t h i n g a n a l y s i s w a s o r i g i n a l l y i n t r o d u c e d b y B r a n d t 2 0 . I t i s a
u s e f u l a n d s i m p l e t o o l . W h e n t h e b o u n d a r y c o n d i t i o n s a r e n o t p e r i o d i c , i t s p r e d i c t i o n s a r e
f o u n d t o r e m a i n q u a l i t a t i v e l y c o r r e c t , e x c e p t i n t h e c a s e o f s i n g u l a r p e r t u r b a t i o n p r o b l e m s ,
t o b e d i s c u s s e d l a t e r .
W i t h s m o o t h l y v a r y i n g c o e c i e n t s , e x p e r i e n c e s h o w s t h a t a s m o o t h e r w h i c h p e r f o r m s w e l l
i n t h e ` f r o z e n c o e c i e n t ' c a s e , w i l l a l s o p e r f o r m w e l l f o r v a r i a b l e c o e c i e n t s . B y t h e ` f r o z e n
c o e c i e n t ' c a s e w e m e a n a s e t o f c o n s t a n t c o e c i e n t c a s e s , w i t h c o e c i e n t v a l u e s e q u a l t o t h e
v a l u e s o f t h e v a r i a b l e c o e c i e n t s u n d e r c o n s i d e r a t i o n i n a s u c i e n t l y l a r g e s a m p l e o f p o i n t s
i n t h e d o m a i n .
6
8/14/2019 Introduction to Multigrid Methods
7/134
E x e r c i s e 2 . 2 . 1 D e t e r m i n e t h e s m o o t h i n g f a c t o r o f t h e d a m p e d J a c o b i m e t h o d d e n e d l a t e r
t o p r o b l e m 2 . 2 . 5 w i t h b o u n d a r y c o n d i t i o n s 2 . 2 . 6 . N o t e t h a t w i t h d a m p i n g p a r a m e t e r ! = 1
t h i s i s n o t a s m o o t h e r .
E x e r c i s e 2 . 2 . 2 D e t e r m i n e t h e s m o o t h i n g f a c t o r o f t h e J a c o b i m e t h o d a p p l i e d t o p r o b l e m
2 . 2 . 5 w i t h D i r i c h l e t b o u n d a r y c o n d i t i o n s u 0 = u 1 = 0 , b y u s i n g t h e F o u r i e r s i n e s e r i e s .
N o t e t h a t t h e s m o o t h i n g f a c t o r i s t h e s a m e a s o b t a i n e d w i t h t h e e x p o n e n t i a l F o u r i e r s e r i e s .
E x e r c i s e 2 . 2 . 3 D e t e r m i n e t h e s m o o t h i n g f a c t o r o f t h e G a u s s - S e i d e l m e t h o d f o r c e n t r a l
d i s c r e t i z a t i o n o f t h e c o n v e c t i o n - d i u s i o n e q u a t i o n c d u = d x " d
2
u = d x
2
= f . S h o w t h a t f o r
c h = " 1 a n d c 1 w e h a v e n o s m o o t h e r .
2 . 3 T h e t w o - g r i d a l g o r i t h m
C o a r s e g r i d a p p r o x i m a t i o n
A c o a r s e g r i d
G i s d e n e d b y d o u b l i n g t h e m e s h - s i z e o f G :
G = f x 2 I R : x = x
j
= j
h ; j = 1 ; 2 ; : : : ; n ;
h = 1 = n g 2 3 1
T h e v e r t i c e s o f
G a l s o b e l o n g t o G ; t h u s t h i s i s c a l l e d v e r t e x - c e n t e r e d c o a r s e n i n g . T h e o r i g i n a l
g r i d G i s c a l l e d t h e n e g r i d . L e t
U : G ! I R ;
U :
G ! I R 2 3 2
b e t h e s e t s o f n e a n d c o a r s e g r i d f u n c t i o n s , r e s p e c t i v e l y . A p r o l o n g a t i o n o p e r a t o r P :
U ! U
i s d e n e d b y l i n e a r i n t e r p o l a t i o n :
P u
2 j
= u
j
; P u
2 j + 1
=
1
2
u
j
+ u
j + 1
2 3 3
O v e r b a r s i n d i c a t e c o a r s e g r i d q u a n t i t i e s . A r e s t r i c t i o n o p e r a t o r R : U !
U i s d e n e d b y t h e
f o l l o w i n g w e i g h t e d a v e r a g e
R u
j
=
1
4
u
2 j 1
+
1
2
u
2 j
+
1
4
u
2 j + 1
2 3 4
w h e r e u
j
i s d e n e d t o b e z e r o o u t s i d e G . N o t e t h a t t h e m a t r i c e s P a n d R a r e r e l a t e d b y
R =
1
2
P
T
, b u t t h i s p r o p e r t y i s n o t e s s e n t i a l .
T h e n e g r i d e q u a t i o n 2 . 2 . 4 m u s t b e a p p r o x i m a t e d b y a c o a r s e g r i d e q u a t i o n
A
u =
f
7
8/14/2019 Introduction to Multigrid Methods
8/134
L i k e t h e n i t e g r i d m a t r i x A , t h e c o a r s e g r i d m a t r i x
A m a y b e o b t a i n e d b y d i s c r e t i z i n g
E q u a t i o n 2 . 2 . 1 . T h i s i s c a l l e d d i s c r e t i z a t i o n c o a r s e g r i d a p p r o x i m a t i o n . A n a l t e r n a t i v e i s
t h e f o l l o w i n g . T h e n e g r i d p r o b l e m 2 . 2 . 4 i s e q u i v a l e n t t o
A u ; v = f ; v ; u 2 U ; 8 v 2 U 2 3 5
w i t h ; t h e s t a n d a r d i n n e r p r o d u c t o n U . W e w a n t t o n d a n a p p r o x i m a t e d s o l u t i o n P
u
w i t h
u 2
U . T h i s e n t a i l s r e s t r i c t i o n o f t h e t e s t f u n c t i o n s v t o a s u b s p a c e w i t h t h e s a m e
d i m e n s i o n a s
U , t h a t i s , t e s t f u n c t i o n s o f t h e t y p e
~
P
v w i t h
v 2
U , a n d
~
P a p r o l o n g a t i o n
o p e r a t o r t h a t m a y b e d i e r e n t f r o m P :
A P
u ;
P
v = f ;
P
v ;
u 2
U ; 8
v 2
U 2 3 6
o r
P
A P
u ;
v =
~
P
f ;
v ;
u 2
U ; 8
v 2
U 2 3 7
w h e r e n o w o f c o u r s e ; i s o v e r
U , a n d s u p e r s c r i p t
d e n o t e s t h e a d j o i n t o r t r a n s p o s e i n
t h i s c a s e . E q u a t i o n 2 . 3 . 7 i s e q u i v a l e n t t o
A
u =
f 2 3 8
w i t h
A = R A P 2 3 9
a n d f = R f ; w e h a v e r e p l a c e d
P
b y R . T h i s c h o i c e o f
A i s c a l l e d G a l e r k i n c o a r s e g r i d
a p p r o x i m a t i o n
W i t h A ; P a n d R g i v e n b y 2 . 2 . 3 , 2 . 3 . 3 a n d 2 . 3 . 4 , E q u a t i o n 2 . 3 . 9 r e s u l t s i n t h e f o l l o w i n g
A
A u
1
=
h
2
2 u
1
u
2
A u
j
=
h
2
u
j 1
+ 2 u
j
u
j + 1
; j = 2 ; 3 ; : : : ; n 1 2 . 3 . 1 0
A u
n
= u
2
u
n 1
+ u
n
w h i c h i s t h e c o a r s e g r i d e q u i v a l e n t o f t h e l e f t - h a n d s i d e o f 2 . 2 . 3 . H e n c e , i n t h e p r e s e n t
c a s e t h e r e i s n o d i e r e n c e b e t w e e n G a l e r k i n a n d d i s c r e t i z a t i o n c o a r s e g r i d a p p r o x i m a t i o n .
T h e d e r i v a t i o n o f 2 . 3 . 1 0 i s d i s c u s s e d i n E x e r c i s e 2 . 3 . 1 . T h e f o r m u l a 2 . 3 . 9 h a s t h e o r e t i c a l
a d v a n t a g e s , a s w e s h a l l s e e .
C o a r s e g r i d c o r r e c t i o n
L e t
^
u b e a n a p p r o x i m a t i o n t o t h e s o l u t i o n o f 2 . 2 . 4 . T h e e r r o r e
^
u u i s t o b e a p p r o x i m a t e d
o n t h e c o a r s e g r i d . W e h a v e
A e = r A
^
u f 2 3 1 1
8
8/14/2019 Introduction to Multigrid Methods
9/134
T h e c o a r s e g r i d a p p r o x i m a t i o n
u o f e s a t i s e s
A
u = R r 2 3 1 2
I n a t w o - g r i d m e t h o d i t i s a s s u m e d t h a t 2 . 3 . 1 2 i s s o l v e d e x a c t l y . t h e c o a r s e g r i d c o r r e c t i o n
t o b e a d d e d t o
^
u i s P
u :
^
u : =
^
u + P
u 2 3 1 3
L i n e a r t w o - g r i d a l g o r i t h m
T h e t w o - g r i d a l g o r i t h m f o r l i n e a r p r o b l e m s c o n s i s t s o f s m o o t h i n g o n t h e n e g r i d , a p p r o x i m a -
t i o n o f t h e r e q u i r e d c o r r e c t i o n o n t h e c o a r s e g r i d , p r o l o n g a t i o n o f t h e c o a r s e g r i d c o r r e c t i o n
t o t h e n e g r i d , a n d a g a i n s m o o t h i n g o n t h e n e g r i d . T h e p r e c i s e d e n i t i o n o f t h e t w o - g r i d
a l g o r i t h m i s
c o m m e n t T w o - g r i d a l g o r i t h m ;
I n i t i a l i z e u
0
;
f o r i : = 1 s t e p 1 u n t i l n t g d o
u
1 = 3
: = S u
0
; A ; f ;
1
;
r : = f A u
1 = 3
;
u : =
A
1
R r ;
u
2 = 3
: = u
1 = 3
+ P
u ;
u
1
: = S u
2 = 3
; A ; f ;
2
;
u
0
: = u
1
;
o d
2 3 1 4
T h e n u m b e r o f t w o - g r i d i t e r a t i o n s c a r r i e d o u t i s n t g : S u
0
; A ; f ;
1
s t a n d s f o r
1
s m o o t h i n g
i t e r a t i o n s , f o r e x a m p l e w i t h t h e G a u s s - S e i d e l m e t h o d d i s c u s s e d e a r l i e r , a p p l i e d t o A u = f ,
s t a r t i n g w i t h u
0
. T h e r s t a p p l i c a t i o n o f S i s c a l l e d p r e - s m o o t h i n g , t h e s e c o n d p o s t - s m o o t h i n g
E x e r c i s e 2 . 3 . 1 D e r i v e 2 . 3 . 1 0 H i n t . I t i s e a s y t o w r i t e d o w n R A u
i
i n t h e i n t e r i o r a n d a t
t h e b o u n d a r i e s . N e x t , o n e r e p l a c e s u
i
b y P u
i
2 . 4 T w o - g r i d a n a l y s i s
T h e p u r p o s e o f t w o - g r i d a n a l y s i s a s o f m u l t i g r i d a n a l y s i s i s t o s h o w t h a t t h e r a t e o f c o n v e r -
g e n c e i s i n d e p e n d e n t o f t h e m e s h - s i z e h . W e w i l l a n a l y s e a l g o r i t h m 2 . 3 . 1 4 f o r t h e s p e c i a l
c a s e
1
= 0 n o - p r e s m o o t h i n g .
C o a r s e g r i d c o r r e c t i o n
F r o m 2 . 3 . 1 4 i t f o l l o w s t h a t a f t e r c o a r s e g r i d c o r r e c t i o n t h e e r r o r e
2 = 3
u
2 = 3
u s a t i s e s
e
2 = 3
= e
1 = 3
+ P
u
1 = 3
= E e
1 = 3
2 4 1
9
8/14/2019 Introduction to Multigrid Methods
10/134
w i t h t h e i t e r a t i o n m a t r i x o r e r r o r a m p l i c a t i o n m a t r i x E d e n e d b y
E I P
A
1
R A 2 4 2
W e w i l l e x p r e s s e
2 = 3
e x p l i c i t l y i n t e r m s o f e
1 = 3
. T h i s i s p o s s i b l e o n l y i n t h e p r e s e n t s i m p l e
o n e - d i m e n s i o n a l c a s e , w h i c h i s o u r m a i n m o t i v a t i o n f o r s t u d y i n g t h i s c a s e . L e t
e
1 = 3
= d + P
e ; w i t h e
j
e
1 = 3
2 j
2 4 3
T h e n i t f o l l o w s t h a t
e
2 = 3
= E e
1 = 3
= E d 2 4 4
W e n d f r o m 2 . 4 . 3 t h a t
d
2 j
= 0 ; d
2 j + 1
=
1
2
e
1 = 3
j
+ e
1 = 3
2 j + 1
1
2
e
1 = 3
2 j + 2
2 4 5
F u r t h e r m o r e , f r o m 2 . 4 . 5 i t f o l l o w s t h a t
R A d = 0 2 4 6
s o t h a t
e
2 = 3
= d 2 4 7
S m o o t h i n g
N e x t , w e c o n s i d e r t h e e e c t o f p o s t - s m o o t h i n g b y o n e G a u s s - S e i d e l i t e r a t i o n . F r o m 2 . 2 . 5 i t
f o l l o w s t h a t t h e e r r o r a f t e r p o s t - s m o o t h i n g e
1
= u
1
u i s r e l a t e d t o e
2 = 3
b y
2 e
1
1
= e
2 = 3
2
e
1
j 1
+ 2 e
1
j
= e
2 = 3
j + 1
; j = 2 ; 3 ; : : : ; 2 n 1 2 . 4 . 8
e
1
2 n 1
+ e
1
2 n
= 0
U s i n g 2 . 4 . 5 2 . 4 . 7 t h i s c a n b e r e w r i t t e n a s
e
1
1
= 0
e
1
2 j
=
1
2
d
2 j + 1
+
1
4
e
1
2 j 2
; e
1
2 j + 1
=
1
2
e
1
2 j
; j = 1 ; 2 ; : : : ; n 1 2 . 4 . 9
e
1
2 n
= e
1
2 n 1
B y i n d u c t i o n i t i s e a s y t o s e e t h a t
e
1
2 j
2
3
k d k
1
; k d k
1
= m a x f d
j
: j = 1 ; 2 ; : : : ; 2 n g 2 4 1 0
1 0
8/14/2019 Introduction to Multigrid Methods
11/134
S i n c e d = e
2 = 3
, w e s e e t h a t G a u s s - S e i d e l r e d u c e s t h e m a x i m u m n o r m o f t h e e r r o r b y a f a c t o r
2 3 o r l e s s .
R a t e o f c o n v e r g e n c e
S i n c e e
1 = 3
0
= 0 b e c a u s e o f t h e b o u n d a r y c o n d i t i o n s , i t f o l l o w s f r o m 2 . 4 . 5 t h a t
d
1
1
2
A e
0
1
2 4 1 1
s i n c e e
1 = 3
= e
0
n o p r e - s m o o t h i n g .
F r o m 2 . 4 . 9 i t f o l l o w s t h a t
A e
1
2 j
=
3
4
d
2 j + 1
1
1 6
d
2 j 1
1
6 4
d
2 j 3
A e
1
2 j 1
=
1
2
e
1
2 j
2 4 1 2
H e n c e , u s i n g 2 . 4 . 1 0 ,
A e
1
2 j
5
6
k d k
1
; A
1
e
2 j 1
1
3
k d k
1
2 4 1 3
S u b s t i t u t i o n o f 2 . 4 . 1 1 g i v e s
k r
1
k
1
5
1 2
k r
0
k
1
2 4 1 4
w h e r e r A e i s t h e r e s i d u a l . T h i s s h o w s t h a t t h e m a x i m u m n o r m i s r e d u c e d b y a f a c t o r o f
5 1 2 o r b e t t e r , i n d e p e n d e n t o f t h e m e s h - s i z e
T h i s t y p e o f a n a l y s i s i s r e s t r i c t e d t o t h e p a r t i c u l a r c a s e a t h a n d . M o r e g e n e r a l c a s e s w i l l b e
t r e a t e d l a t e r b y F o u r i e r - a n a l y s i s . T h e r e a d r a w b a c k i s o f c o u r s e t h e a s s u m p t i o n o f p e r i o d i c
b o u n d a r y c o n d i t i o n s . T h e g e n e r a l p r o o f s o f r a t e o f c o n v e r g e n c e r e f e r r e d t o i n t h e i n t r o d u c t i o n
d o n o t g i v e s h a r p e s t i m a t e s . T h e r e f o r e t h e s h a r p e r e s t i m a t e s o b t a i n a b l e b y F o u r i e r a n a l y s i s
a r e m o r e u s e f u l f o r d e b u g g i n g c o d e s . O n t h e s h a r p n e s s o f r a t e o f c o n v e r g e n c e p r e d i c t i o n s
b a s e d o n F o u r i e r a n a l y s i s , s e e 2 4 .
A g a i n : t h e e s s e n t i a l p r i n c i p l e
H o w i s t h e e s s e n t i a l p r i n c i p l e o f m u l t i g r i d , d i s c u s s e d i n S e c t i o n 2 . 2 , r e c o g n i z e d i n t h e f o r e g o i n g
a n a l y s i s ? E q u a t i o n s 2 . 4 . 6 a n d 2 . 4 . 7 s h o w t h a t
R A e
2 = 3
= 0 2 4 1 5
A p p l i c a t i o n o f R m e a n s t a k i n g a l o c a l a v e r a g e w i t h p o s i t i v e w e i g h t s ; t h u s 2 . 4 . 1 5 i m p l i e s
t h a t A e
2 = 3
h a s m a n y s i g n c h a n g e s , a n d i s t h e r e f o r e r o u g h . S i n c e A e
2 = 3
= A u
2 = 2
f i s
t h e r e s i d u a l , w e s e e t h a t a f t e r c o a r s e g r i d c o r r e c t i o n t h e r e s i d u a l i s r o u g h . T h e s m o o t h e r
i s e c i e n t i n r e d u c i n g t h i s n o n - s m o o t h r e s i d u a l f u r t h e r , w h i c h e x p l a i n s t h e h - i n d e p e n d e n t
1 1
8/14/2019 Introduction to Multigrid Methods
12/134
r e d u c t i o n s h o w n i n 2 . 4 . 1 4 .
E x e r c i s e 2 . 4 . 1 I n t h e d e n i t i o n o f G 2 . 2 . 2 a n d
G 2 . 3 . 1 w e h a v e n o t i n c l u d e d t h e p o i n t
x = 0 , w h e r e a D i r i c h l e t c o n d i t i o n h o l d s . I f N e u m a n n c o n d i t i o n i s g i v e n a t x = 0 , t h e p o i n t
x = 0 m u s t b e i n c l u d e d i n G a n d
G . I f o n e w a n t s t o w r i t e a g e n e r a l m u l t i g r i d p r o g r a m f o r
b o t h c a s e s , x = 0 h a s t o b e i n c l u d e d . R e p e a t t h e f o r e g o i n g a n a l y s i s o f t h e t w o - g r i d a l g o r i t h m
w i t h x = 0 i n c l u d e d i n G a n d
G . N o t e t h a t i n c l u d i n g x = 0 m a k e s A n o n - s y m m e t r i c . T h i s
d i c u l t y d o e s n o t o c c u r w i t h c e l l - c e n t e r e d d i s c r e t i z a t i o n , t o b e d i s c u s s e d i n t h e n e x t c h a p t e r .
3 B a s i c I t e r a t i v e M e t h o d s
3 . 1 I n t r o d u c t i o n
S m o o t h i n g m e t h o d s i n m u l t i g r i d a l g o r i t h m s a r e u s u a l l y t a k e n f r o m t h e c l a s s o f b a s i c i t e r a t i v e
m e t h o d s , t o b e d e n e d b e l o w . T h i s c h a p t e r p r e s e n t s a n i n t r o d u c t i o n t o t h e s e m e t h o d s . A
m o r e d e t a i l e d a c c o u n t m a y b e f o u n d i n 1 4 1 .
B a s i c i t e r a t i v e m e t h o d s
S u p p o s e t h a t d i s c r e t i z a t i o n o f t h e p a r t i a l d i e r e n t i a l e q u a t i o n t o b e s o l v e d l e a d s t o t h e f o l -
l o w i n g l i n e a r a l g e b r a i c s y s t e m
A y = b 3 1 1
L e t t h e m a t r i x A b e s p l i t a s
A = M N 3 1 2
w i t h M n o n - s i n g u l a r . T h e n t h e f o l l o w i n g i t e r a t i o n m e t h o d f o r t h e s o l u t i o n o f 3 . 1 . 1 i s c a l l e d
a b a s i c i t e r a t i v e m e t h o d :
M y
m + 1
= N y
m
+ b 3 1 3
o r
y
m + 1
= S y
m
+ T b 3 1 4
w i t h
S = M
1
N ; T = M
1
3 1 5
s o t h a t w e h a v e
y
m + 1
= S y
m
+ M
1
b ; S = M
1
N ; N = M A 3 1 6
T h e m a t r i x S i s c a l l e d t h e i t e r a t i o n m a t r i x o f i t e r a t i o n m e t h o d 3 . 1 . 6 .
B a s i c i t e r a t i v e m e t h o d m a y b e d a m p e d , b y m o d i f y i n g 3 . 1 . 6 a s f o l l o w s
y
= S y
m
+ M
1
b
y
m + 1
= ! y
+ 1 ! y
m
3 1 7
1 2
8/14/2019 Introduction to Multigrid Methods
13/134
B y e l i m i n a t i o n o f y
o n e o b t a i n s
y
m + 1
= S
8
y
m
+ ! M
1
b 3 1 8
w i t h
S
= ! S + 1 ! I 3 1 9
T h e e i g e n v a l u e s o f t h e u n d a m p e d i t e r a t i o n m a t r i x S a n d t h e d a m p e d i t e r a t i o n m a t r i x S
a r e
r e l a t e d b y
S
= ! S + 1 ! 3 1 1 0
A l t h o u g h t h e p o s s i b i l i t y t h a t a d i v e r g e n t m e t h o d 3 . 1 . 6 o r 3 . 1 . 8 i s a g o o d s m o o t h e r a c o n -
c e p t t o b e e x p l a i n e d l a t e r c a n n o t b e e x c l u d e d , t h e m o s t l i k e l y c a n d i d a t e s f o r g o o d s m o o t h i n g
m e t h o d s a r e t o b e f o u n d a m o n g c o n v e r g e n t m e t h o d s . I n t h e n e x t s e c t i o n , t h e r e f o r e , s o m e
r e s u l t s o n c o n v e r g e n c e o f b a s i c i t e r a t i v e m e t h o d s a r e p r e s e n t e d . F o r m o r e b a c k g r o u n d , s e e
1 2 9 a n d 1 5 1 .
E x e r c i s e 3 . 1 . 1 S h o w t h a t 3 . 1 . 8 c o r r e s p o n d s t o t h e s p l i t t i n g
M
= M = ! ; N
= A M
3 1 1 1
3 . 2 C o n v e r g e n c e o f b a s i c i t e r a t i v e m e t h o d s
C o n v e r g e n c e
I n t h e c o n v e r g e n c e t h e o r y f o r 3 . 1 . 3 t h e f o l l o w i n g c o n c e p t s p l a y a n i m p o r t a n t r o l e . W e h a v e
M y = N y + b , s o t h a t t h e e r r o r e
m
= y
m
y s a t i s e s
e
m + 1
= S e
m
3 2 1
A s s h o w n i n m a n y t e x t b o o k s , w e h a v e
T h e o r e m 3 . 2 . 2 C o n v e r g e n c e o f 3 . 1 . 3 i s e q u i v a l e n t t o
S 1 3 2 2
w i t h S t h e s p e c t r a l r a d i u s o f S
R e g u l a r s p l i t t i n g s a n d M - a n d K - m a t r i c e s
D e n i t i o n 3 . 2 . 2 T h e s p l i t t i n g 3 . 1 . 2 i s c a l l e d r e g u l a r i f M
1
0 a n d N 0 e l e m e n t w i s e .
T h e s p l i t t i n g i s c o n v e r g e n t w h e n 3 . 1 . 3 c o n v e r g e s .
D e n i t i o n 3 . 2 . 3 1 2 9 , D e n i t i o n 3 . 3 . T h e m a t r i x A i s c a l l e d a n M - m a t r i x i f a
i j
0 f o r
1 3
8/14/2019 Introduction to Multigrid Methods
14/134
a l l i ; j w i t h i 6= j , A i s n o n - s i n g u l a r a n d A
1
0 e l e m e n t w i s e .
T h e o r e m 3 . 2 . 3 A r e g u l a r s p l i t t i n g o f a m M - m a t r i x i s c o n v e r g e n t .
P r o o f . S e e 1 2 9 T h e o r e m 3 . 1 3 . 2
U n f o r t u n a t e l y , a r e g u l a r s p l i t t i n g o f a n M - m a t r i x d o e s n o t n e c e s s a r y g i v e a s m o o t h i n g m e t h o d .
A c o u n t e r e x a m p l e i s t h e J a c o b i m e t h o d t o b e d i s c u s s e d s h o r t l y a p p l i e d t o L a p l a c e ' s e q u a -
t i o n s e e l a t e r . I n p r a c t i c e , h o w e v e r , i t i s e a s y t o n d g o o d s m o o t h i n g m e t h o d s i f A i s a n
M - m a t r i x . A s d i s c u s s e d i n 1 4 5 , a c o n v e r g e n t i t e r a t i v e m e t h o d c a n a l w a y s b e t u r n e d i n t o a
s m o o t h i n g m e t h o d b y i n t r o d u c t i o n o f d a m p i n g . W e w i l l n d l a t e r t h a t o f t e n t h e e c a c y o f
s m o o t h i n g m e t h o d s t o b e e n h a n c e d s i g n i c a n t l y b y d a m p i n g . D a m p e d v e r s i o n o f t h e m e t h o d s
t o b e d i s c u s s e d a r e o b t a i n e d e a s i l y , u s i n g e q u a t i o n s 3 . 1 . 8 , 3 . 1 . 9 a n d 3 . 1 . 1 0 .
H e n c e , i t i s w o r t h w h i l e t o t r y t o d i s c r e t i z e i n s u c h w a y t h a t t h e r e s u l t i n g m a t r i x A i s
a n M - m a t r i x . I n o r d e r t o m a k e i t e a s y t o s e e i f a d i s c r e t i z a t i o n m a t r i x i s a n M - m a t r i x w e
p r e s e n t t h e f o l l o w i n g t h e o r e m .
D e n i t i o n 3 . 2 . 4 A m a t r i x A i s c a l l e d i r r e d u c i b l e i f f r o m 3 . 1 . 1 o n e c a n n o t e x t r a c t a s u b -
s y s t e m t h a t c a n b e s o l v e d i n d e p e n d e n t l y .
D e n i t i o n 3 . 2 . 5 A m a t r i x A i s c a l l e d a K - m a t r i x i f
a
i i
0 ; 8 i ; 3 . 2 . 3
a
i j
0 ; 8 i ; j w i t h i 6= j 3 . 2 . 4
a n d
X
j
a
i j
0 ; 8 i ; 3 2 5
w i t h s t r i c t i n e q u a l i t y f o r a t l e a s t o n e i
T h e o r e m 3 . 2 . 4 A n i r r e d u c i b l e K - m a t r i x i s a n M - m a t r i x .
P r o o f . S e e 1 4 1 . 2
N o t e t h a t i n s p e c t i o n o f t h e K - m a t r i x p r o p e r t y i s e a s y .
T h e f o l l o w i n g t h e o r e m i s h e l p f u l i n t h e c o n s t r u c t i o n o f r e g u l a r s p l i t t i n g s .
T h e o r e m 3 . 2 . 5 L e t A b e a n M - m a t r i x . I f M i s o b t a i n e d b y r e p l a c i n g c e r t a i n e l e m e n t s a
i j
w i t h i 6= j b y v a l u e s b
i j
s a t i s f y i n g a
i j
b
i j
0 , t h e n A = M N i s a r e g u l a r s p l i t t i n g .
1 4
8/14/2019 Introduction to Multigrid Methods
15/134
P r o o f . T h i s t h e o r e m i s a n e a s y g e n e r a l i z a t i o n o f T h e o r e m 3 . 1 4 i n 1 2 9 s u g g e s t e d b y T h e o r e m
2 . 2 i n 8 7 . 2
T h e b a s i c i t e r a t i v e m e t h o d s t o b e c o n s i d e r e d a l l r e s u l t i n r e g u l a r s p l i t t i n g s , a n d l e a d t o
n u m e r i c a l l y s t a b l e a l g o r i t h m s , i f A i s a n M - m a t r i x . T h i s i s o n e r e a s o n w h y i t i s a d v i s a b l e
t o d i s c r e t i z e t h e p a r t i a l d i e r e n t i a l e q u a t i o n t o b e s o l v e d i n s u c h a w a y t h a t t h e r e s u l t i n g
m a t r i x i s a n M - m a t r i x . T h i s m a y r e q u i r e u p w i n d d i e r e n c i n g f o r r s t d e r i v a t i v e s . A n o t h e r
r e a s o n i s t h e e x c l u s i o n o f n u m e r i c a l w i g g l e s i n t h e c o m p u t e d s o l u t i o n , b e c a u s e a m o n o t o n i c i t y
p r i n c i p l e i s a s s o c i a t e d w i t h t h e M - m a t r i x p r o p e r t y .
3 . 3 E x a m p l e s o f b a s i c i t e r a t i v e m e t h o d s : J a c o b i a n d G a u s s - S e i d e l
W e p r e s e n t a n u m b e r o f m o s t l y c o m m o n b a s i c i t e r a t i v e m e t h o d s b y d e n i n g t h e c o r r e s p o n d -
i n g s p l i t t i n g s 3 . 1 . 2 . W e a s s u m e t h a t A a r i s e s f r o m a d i s c r e t i z a t i o n o n a t w o - d i m e n s i o n a l
s t r u c t u r e d g r i d .
P o i n t J a c o b i . M = d i a g A
B l o c k J a c o b i . M i s o b t a i n e d f r o m A b y r e p l a c i n g a
i j
f o r a l l i ; j w i t h j 6= i ; i 1 b y z e r o .
W i t h t h e f o r w a r d o r d e r i n g o f t h e g r i d p o i n t s o f F i g u r e 3 . 3 . 1 t h i s g i v e s h o r i z o n t a l l i n e J a c o b i ;
w i t h t h e f o r w a r d v e r t i c a l l i n e o r d e r i n g o f F i g u r e 3 . 3 . 2 o n e o b t a i n s v e r t i c a l l i n e J a c o b i . O n e
h o r i z o n t a l l i n e J a c o b i i t e r a t i o n f o l l o w e d b y o n e v e r t i c a l l i n e J a c o b i i t e r a t i n g i v e s a l t e r n a t i n g
J a c o b i .
1 6 1 7 1 8 1 9 2 0 5 4 3 2 1 1 8 9 1 9 1 0 2 0
1 1 1 2 1 3 1 4 1 5 1 0 9 8 7 6 6 1 6 7 1 7 8
6 7 8 9 1 0 1 5 1 4 1 3 1 2 1 1 1 3 4 1 4 5 1 5
1 2 3 4 5 2 0 1 9 1 8 1 7 1 6 1 1 1 2 1 2 3
F o r w a r d B a c k w a r d W h i t e - b l a c k
1 0 1 4 1 7 1 9 2 0 1 6 1 9 1 7 2 0 1 8 1 7 1 3 9 5 1
6 9 1 3 1 6 1 8 1 1 1 4 1 2 1 5 1 3 1 9 1 5 1 1 7 3
3 5 8 1 2 1 5 6 9 7 1 0 8 1 8 1 4 1 0 6 2
1 2 4 7 1 1 1 4 2 5 3 2 0 1 6 1 2 8 4
D i a g o n a l H o r i z o n t a l f o r w a r d V e r t i c a l b a c k w a r d
w h i t e - b l a c k w h i t e - b l a c k
F i g u r e 3 . 3 . 1 : G r i d p o i n t o r d e r i n g s f o r p o i n t G a u s s - S e i d e l .
P o i n t G a u s s - S e i d e l . M i s o b t a i n e d f r o m A r e p l a c i n g a
i j
f o r a l l i ; j w i t h j i b y z e r o .
1 5
8/14/2019 Introduction to Multigrid Methods
16/134
4 8 1 2 1 6 2 0 1 6 1 7 1 8 1 9 2 0 4 1 6 8 2 0 1 2
3 7 1 1 1 5 1 9 6 7 8 9 1 0 3 1 5 7 1 9 1 1
2 6 1 0 1 4 1 8 1 1 1 2 1 3 1 4 1 5 2 1 4 6 1 8 1 0
1 5 9 1 3 1 7 1 2 3 4 5 1 1 3 5 1 7 9
F o r w a r d H o r i z o n t a l V e r t i c a l
v e r t i c a l l i n e z e b r a z e b r a
F i g u r e 3 . 3 . 2 : G r i d p o i n t o r d e r i n g s f o r b l o c k G a u s s - S e i d e l .
B l o c k G a u s s - S e i d e l . M i s o b t a i n e d f r o m A b y r e p l a c i n g a
i j
f o r a l l i ; j w i t h j i + 1 b y
z e r o .
F r o m T h e o r e m 4 . 2 . 8 i t i s i m m e d i a t e l y c l e a r t h a t , i f A i s a n M - m a t r i x , t h e n t h e J a c o b i a n d
G a u s s - s e i d e l m e t h o d s c o r r e s p o n d t o r e g u l a r s p l i t t i g s .
G a u s - S e i d e l v a r i a n t s
I t t u r n s o u t t h a t t h e e c i e n c y o f G a u s s - S e i d e l m e t h o d s d e p e n d s s t r o n g l y o n t h e o r d e r i n g o f
e q u a t i o n s a n d u n k n o w n s i n m a n y a p p l i c a t i o n s . A l s o , t h e p o s s i b i l i t i e s o f v e c t o r i z e d a n d p a r -
a l l e l c o m p u t i n g d e p e n d s t r o n g l y o n t h i s o r d e r i n g . W e n o w , t h e r e f o r e , d i s c u s s s o m e p o s s i b l e
o r d e r i n g s . T h e e q u a t i o n s a n d u n k n o w n s a r e a s s o c i a t e d i n a n a t u r a l w a y w i t h p o i n t s i n a
c o m p u t a t i o n a l g r i d . I t s u c e s , t h e r e f o r e , t o d i s c u s s o r d e r i n g s o f c o m p u t a t i o n a l g r i d p o i n t s .
W e r e s t r i c t o u r s e l v e s t o a t w o - d i m e n s i o n a l g r i d G , w h i c h i s e n o u g h t o i l l u s t r a t e t h e b a s i c
i d e a s . G i s d e n e d b y
G = f i ; j : i = 1 ; 2 ; : : : ; I ; j = 1 ; 2 ; : : : ; J g 3 3 1
T h e p o i n t s o f G r e p r e s e n t e i t h e r v e r t i c e s o r c e l l c e n t r e s , d e p e n d i n g o n t h e d i s c r e t i z a t i o n
m e t h o d .
F o r w a r d o r l e x i c o g r a p h i c o r d e r i n g
T h e g r i d p o i n t s a r e n u m b e r e d a s f o l l o w s
k = i + j 1 I 3 3 2
B a c k w a r d o r d e r i n g
T h i s o r d e r i n g c o r r e s p o n d s t o t h e e n u m e r a t i o n
k = I J + 1 i j 1 I 3 3 3
1 6
8/14/2019 Introduction to Multigrid Methods
17/134
W h i t e - b l a c k o r d e r i n g
T h i s o r d e r i n g c o r r e s p o n d s t o a c h e s s b o a r d c o l o u r i n g o f G , n u m b e r i n g r s t t h e b l a c k p o i n t s
a n d t h e n t h e w h i t e p o i n t s , o r v i c e v e r s a ; c f . F i g u r e 3 . 3 . 1 .
D i a g o n a l o r d e r i n g
T h e p o i n t s a r e n u m b e r e d p e r d i a g o n a l , s t a r t i n g i n a c o r n e r ; s e e F i g u r e 3 . 3 . 1 . D i f e r e n t v a r i a n t s
a r e o b t a i n e d b y s t a r t i n g i n d i e r e n t c o r n e r s . I f t h e m a t r i x A c o r r e s p o n d s t o a d i s c r e t e o p e r -
a t o r w i t h a s t e n c i l a s i n F i g u r e 3 . 3 . 3 b , t h e n p o i n t G a u s s - S e i d e l w i t h t h e d i a g o n a l o r d e r i n g
o f F i g u r e 3 . 3 . 1 i s m a t h e m a t i c a l l y e q u i v a l e n t t o f o r w a r d G a u s s - S e i d e l .
2 c m
(a
F i g u r e 3 . 3 . 3 : D i s c r e t i z a t i o n s t e n c i l s .
P o i n t G a u s s - S e i d e l - J a c o b i
W e p r o p o s e t h i s v a r i a n t i n o r d e r t o f a c i l i t a t e v e c t o r i z e d a n d p a r a l l e l c o m p u t i n g ; m o r e o n t h i s
s h o r t l y . M i s o b t a i n e d f r o m A b y r e p l a c i n g a
i j
b y z e r o e x c e p t a
i i
a n d a
i i 1
. W e c a l l t h i s
p o i n t G a u s s - S e i d e l - J a c o b i b e c a u s e t h i s i s a c o m p r o m i s e b e t w e e n t h e p o i n t G a u s s - S e i d e l a n d
J a c o b i m e t h o d s d i s c u s s e d a b o v e . F o u r d i e r e n t m e t h o d s a r e o b t a i n e d w i t h t h e f o l l o w i n g f o u r
o r d e r i n g s : t h e f o r w a r d a n d b a c k w a r d o r d e r i n g s o f F i g u r e 3 . 3 . 1 , t h e f o r w a r d v e r t i c a l l i n e o r -
d e r i n g o f F i g u r e 3 . 3 . 2 , a n d t h i s l a s t o r d e r i n g r e v e r s e d . A p p l y i n g t h e s e m e t h o d s i n s u c c e s s i o n
r e s u l t s i n f o u r - d i r e c t i o n p o i n t G a u s s - S e i d e l - J a c o b i
W h i t e - b l a c k l i n e G a u s s - S e i d e l
T h i s c a n b e s e e n a s a m i x t u r e o f l e x i c o g r a p h i c a n d w h i t e - b l a c k o r d e r i n g . T h e c o n c e p t i s b e s t
i l l u s t r a t e d w i t h a f e w e x a m p l e s . W i t h h o r i z o n t a l f o r w a r d w h i t e - b l a c k G a u s s - S e i d e l t h e g r i d
p o i n t s a r e v i s i t e d h o r i z o n t a l l i n e b y h o r i z o n t a l l i n e i n o r d e r o f i n c r e a s i n g j f o r w a r d , w h i l e
p e r l i n e t h e g r i d p o i n t s a r e n u m b e r e d i n w h i t e - b l a c k o r d e r , c f . F i g u r e 3 . 3 . 1 . T h e l i n e s c a n a l s o
b e t a k e n i n o r d e r o f d e c r e a s i n g j , r e s u l t i n g i n h o r i z o n t a l b a c k w a r d w h i t e - b l a c k G a u s - S e i d e l
D o i n g o n e a f t e r t h e o t h e r g i v e s h o r i z o n t a l s y m m e t r i c w h i t e - b a c k G a u s s - S e i d e l . D o i n g o n e
a f t e r t h e o t h e r g i v e s h o r i z o n t a l s y m m e t r i c w h i t e - b l a c k G a u s s - S e i d e l . T h e l i n e s c a n a l s o b e
1 7
8/14/2019 Introduction to Multigrid Methods
18/134
t a k e n v e r t i c a l l y ; F i g u r e 3 . 3 . 1 i l l u s t r a t e s v e r t i c a l b a c k w a r d w h i t e - b l a c k G a u s s - S e i d e l . C o m b i n -
i n g h o r i z o n t a l a n d v e r t i c a l s y m m e t r i c w h t e - b l a c k G a u s s - S e i d e l g i v e s a l t e r n a t i n g w h i t e - b l a c k
G a u s s - S e i d e l . W h i t e - b l a c k l i n e G a u s s - S e i d e l o r d e r i n g h a s b e e n p r o p o s e d i n 1 2 8 .
O r d e r i n g s f o r b l o c k G a u s s - S e i d e l
W i t h b l o c k G a u s s - S e i d e l , t h e u n k n o w n s c o r r e s p o n d i n g t o l i n e s i n t h e g r i d a r e u p d a t e d s i m u l -
t a n e o u s l y . F o r w a r d a n d b a c k w a r d h o r i z o n t a l l i n e G a u s s - S e i d e l c o r r e s p o n d t o t h e f o r w a r d a n d
b a c k w a r d o r d e r i n g , r e s p e c t i v e l y , i n F i g u r e 3 . 3 . 1 . F i g u r e 3 . 3 . 2 g i v e s s o m e m o r e o r d e r i n g s f o r
b l o c k G a u s s - S e i d e l .
S y m m e t r i c h o r i z o n t a l l i n e G a u s s - S e i d e l i s f o r w a r d h o r i z o n t a l l i n e G a u s s - S e i d e l f o l l o w e d
b y b a c k w a r d h o r i z o n t a l l i n e G a u s s - S e i d e l , o r v i c e v e r s a . A l t e r n a t i n g z e b r a G a u s s - S e i d e l i s
h o r i z o n t a l z e b r a f o l l o w e d b y v e r t i c a l z e b r a G a u s s - S e i d e l , o r v i c e v e r s a . O t h e r c o m b i n a t i o n s
c o m e t o m i n d e a s i l y .
V e c t o r i z e d a n d p a r a l l e l c o m p u t i n g
T h e b a s i c i t e r a t i v e m e t h o d s d i s c u s s e d a b o v e d i e r i n t h e i r s u i t a b i l i t y f o r c o m p u t i n g w i t h
v e c t o r o r p a r a l l e l m a c h i n e s . S i n c e t h e u p d a t e d q u a n t i t i e s a r e m u t u a l l y i n d e p e n d e n t , J a c o b i
p a r a l l i z e s a n d v e c t o r i z e s c o m p l e t e l y , w i t h v e c t o r l e n g t h I J . I f t h e s t r u c t u r e o f t h e s t e n c i l
A i s a s i n F i g u r e 3 . 3 . 3 c , t h e n w i t h z e b r a G a u s s - S e i d e l t h e u p d a t e d b l o c k s a r e m u t u a l l y
i n d e p e n d e n t , a n d c a n b e h a n d l e d s i m u l t a n e o u s l y o n a v e c t o r o r a p a r a l l e l m a c h i n e . T h e
s a m e i s t r u e f o r p o i n t G a u s s - S e i d e l i f o n e c h o o s e s a s u i t a b l e f o u r - c o l o u r o r d e r i n g s c h e m e .
T h e v e c t o r l e n g t h f o r h o r i z o n t a l o r v e r t i c a l z e b r a G a u s s - S e i d e l i s J o r I , r e s p e c t i v e l y . T h e
w h i t e a n d b l a c k g r o u p s i n w h i t e - b l a c k G a u s s - S e i d e l a r e m u t u a l l y i n d e p e n d e n t i f t h e s t r u c t u r e
o f A i s g i v e n b y F i g u r e 3 . 3 . 4 . T h e v e c t o r l e n g t h i s I J = 2 . W i t h d i a g o n a l G a u s s - S e i d e l ,
t h e p o i n t s i n s i d e a d i a g o n a l a r e m u t u a l l y i n d e p e n d e n t i f t h e s t r u c t u r e o f A i s g i v e n b y
F i g u r e 3 . 3 . 3 b , i f t h e d i a g o n a l s a r e c h o s e n a s i n F i g u r e 3 . 3 . 1 . T h e s a m e i s t r u e w h e n A
h a s t h e s t r u c t u r e g i v e n i n F i g u r e 3 . 3 . 3 a , i f t h e d i a g o n a l s a r e r o t a t e d b y 9 0
0
. T h e a v e r a g e
v e c t o r l e n g t h i s r o u g h l y I = 2 o r J = 2 , d e p e n d i n g o n t h e l e n g t h o f l a r g e s t t h e d i a g o n a l i n t h e
g r i d . W i t h G a u s s - S e i d e l - J a c o b i l i n e s i n t h e g r i d c a n b e h a n d l e d i n p a r a l l e l ; f o r e x a m p l e , w i t h
t h e f o r w a r d o r d e r i n g o f F i g u r e 3 . 3 . 1 t h e p o i n t s o n v e r t i c a l l i n e s G a u s s - S e i d e l p o i n t s o f t h e
s a m e c o l o u r c a n b e u p d a t e d s i m u l t a n e o u s l y , r e s u l t i n g i n a v e c t o r l e n g t h o f I = 2 o r J = 2 , a s t h e
c a s e m a y b e .
E x e r c i s e 3 . 3 . 1 L e t A = L + D + U , w i t h l
i j
= 0 f o r j i ; D = d i a g A , a n d u
i j
= 0 f o r
j i . S h o w t h a t t h e i t e r a t i o n m a t r i x o f s y m m e t r i c p o i n t G a u s s - S e i d e l i s g i v e n b y
S = U + D
1
L L + D
1
U 3 3 4
E x e r c i s e 3 . 3 . 2 P r o v e T h e o r e m 3 . 3 . 1 .
1 8
8/14/2019 Introduction to Multigrid Methods
19/134
F i g u r e 3 . 3 . 4 : F i v e - p o i n t s t e n c i l .
3 . 4 E x a m p l e s o f b a s i c i t e r a t i v e m e t h o d s : i n c o m p l e t e p o i n t L U f a c t o r i z a -
t i o n
C o m p l e t e L U f a c t o r i z a t i o n
W h e n s o l v i n g A y = b d i r e c t l y , a f a c t o r i z a t i o n A = L U i s c o n s t r u c t e d , w i t h L a n d U a l o w e r
a n d a n u p p e r t r i a n g u l a r m a t r i x . T h i s w e c a l l c o m p l e t e f a c t o r i z a t i o n . W h e n A r e p r e s e n t s a
d i s c r e t e o p e r a t o r w i t h s t e n c i l s t r u c t u r e , f o r e x a m p l e , a s i n F i g u r e 3 . 3 . 3 , t h e n L a n d U t u r n
o u t t o b e m u c h l e s s s p a r s e t h a n A , w h i c h r e n d e r s t h i s m e t h o d i n e c i e n t f o r t h e c l a s s o f
p r o b l e m s u n d e r c o n s i d e r a t i o n .
I n c o m p l e t e p o i n t f a c t o r i z a t i o n
W i t h i n c o m p l e t e f a c t o r i z a t i o n o r i n c o m p l e t e L U f a c t o r i z a t i o n I L U o n e g e n e r a t e s a s p l i t t i n g
A = M N w i t h M h a v i n g s p a r s e a n d e a s y t o c o m p u t e l o w e r a n d u p p e r t r i a n g u l a r f a c t o r s
L a n d U :
M = L U 3 4 1
I f A i s s y m m e t r i c o n e c h o o s e s a s y m m e t r i c f a c t o r i z a t i o n :
M = L L
T
3 4 2
A n a l t e r n a t i v e f a c t o r i z a t i o n o f M i s
M = L D
1
U 3 4 3
W i t h i n c o m p l e t e p o i n t f a c t o r i z a t i o n , D i s c h o s e n t o b e a d i a g o n a l m a t r i x , a n d d i a g L =
d i a g U = D , s o t h a t 3 . 4 . 3 a n d 3 . 4 . 1 a r e e q u i v a l e n t . L ; D a n d U a r e d e t e r m i n e d a s
f o l l o w s . A g r a p h G o f t h e i n c o m p l e t e d e c o m p o s i t i o n i s d e n e d , c o n s i s t i n g o f t w o - t u p l e s i ; j
f o r w h i c h t h e e l e m e n t s l
i j
; d
i i
a n d u
i j
a e a l l o w e d t o b e n o n - z e r o . T h e n L ; D a n d U a r e d e n e d
b y
L D
1
U
k l
= a
k l
; 8 k ; l 2 G 3 4 4
W e w i l l d i s c u s s a f e w v a r i a n t s o f I L U f a c t o r i z a t i o n . T h e s e r e s u l t i n a s p l i t t i n g A = M N
w i t h M = L D
1
U M o d i e d i n c o m p l e t e p o i n t f a c t o r i z a t i o n i s o b t a i n e d i f D i s d e n e d b y
1 9
8/14/2019 Introduction to Multigrid Methods
20/134
3 . 4 . 4 i s c h a n g e d t o D +
~
D , w i t h 2 I R a p a r a m e t e r , a n d
~
D a d i a g o n a l m a t r i x d e n e d
b y
~
d
k k
=
P
l 6= k
n
k l
. F r o m n o w o n t h e m o d i e d v e r s i o n w i l l b e d i s c u s s e d , s i n c e t h e u n m o d i e d
v e r s i o n f o l l o w s a s a s p e c i a l c a s e . T h i s o r s i m i l a r m o d i c a t i o n s h a v e b e e n i n v e s t i g a t e d i n t h e
c o n t e x t o f m u l t i g r i d m e t h o d s i n 6 5 , 9 7 , 8 3 , 8 2 a n d 1 4 5 , 1 4 7 . A s r v e y i s g i v e n i n 1 4 2 .
W e w i l l d i s c u s s a f e w v a r i a n t s o f m o d i e d I L U f a c t o r i z a t i o n .
F i v e - p o i n t I L U
L e t t h e g r i d b e g i v e n b y 3 . 3 . 1 , l e t t h e g r i d p o i n t s b e o r d e r e d a c c o r d i n g t o 3 . 3 . 2 , a n d l e t
t h e s t r u c t u r e o f t h e s t e n c i l b e g i v e n b y F i g u r e 3 . 3 . 3 . T h e n t h e g r a p h o f A i s
G = f k ; k I ; k ; k 1 ; k ; k ; k ; k + 1 ; k ; k + I g 3 4 5
F o r b r e v i t y t h e f o l l o w i n g n o t a t i o n i s i n t r o d u c e d
a
k
= a
k k I
; c
k
= a
k k 1
; d
k
= a
k k
; q
k
= a
k k + 1
; g
k
= a
k k + I
3 4 6
L e t t h e g r a p h o f t h e i n c o m p l e t e f a c t o r i z a t i o n b e g i v e n b y 3 . 4 . 5 , a n d l e t t h e n o n - z e r o e l e m e n t s
o f L ; D a n d U b e c a l l e d
k
;
k
;
k
;
k
a n d
k
; t h e l o c a t i o n s o f t h e s e e l e m e n t s a r e i d e n t i c a l
t o t h o s e o f a
k
; : : : ; g
k
, r e s p e c t i v e l y . B e c a u s e t h e g r a p h c o n t a i n s v e e l e m e n t s , t h e r e s u l t i n g
m e t h o d i s c a l l e d v e - p o i n t I L U . L e t ; : : : ; b e t h e I J I J m a t r i c e s w i t h e l e m e n t s
k
; : : : ;
k
,
r e s p e c t i v e l y , a n d s i m i l a r l y f o r a ; : : : ; g . T h e n o n e c a n w r i t e
L D
1
U = + + + + +
1
+
1
+
1
+
1
3 4 7
F r o m 3 . 4 . 4 i t f o l l o w s
= a ; = c ; = q ; = g 3 4 8
a n d , i n t r o d u c i n g m o d i c a t i o n a s d e s c r i b e d a b o v e ,
+ a
1
g + c
1
g = d +
~
d 3 4 9
T h e r e s t m a t r i x N i s g i v e n b y
N = a
1
q + c
1
g +
~
d 3 4 1 0
T h e o n l y n o n - z e r o e n t r i e s o f N a r e
n
k k I + 1
= a
k
1
k I
q
k I
; n
k k + I 1
= c
k
1
k 1
g
k 1
n
k k
= n
k k I + 1
+ n
k k + I 1
3 4 1 1
H e r e a n d i n t h e f o l l o w i n g e l e m e n t s i n w h i c h i n d i c e s o u t s i d e t h e r a n g e 1 ; I J o c c u r a r e t o b e
r e p l a c e d b y z e r o . F r o m 3 . 4 . 9 t h e f o l l o w i n g r e c u r s i o n i s o b t a i n e d :
k
= d
k
a
k
1
k I
g
k I
c
k
1
k 1
q
k 1
+ n
k k
3 4 1 2
2 0
8/14/2019 Introduction to Multigrid Methods
21/134
T h i s f a c t o r i z a t i o n h a s b e e n s t u d i e d i n 4 1 .
F r o m 3 . 4 . 1 2 i t f o l l o w s t h a t c a n o v e r w r i t e d , s o t h a t t h e o n l y a d d i t i o n a l s t o r a g e r e q u i r e d
i s f o r N . W h e n r e q u i r e d , t h e r e s i d u a l b A y
m + 1
c a n b e c o m p u t e d a s f o l l o w s w i t h o u t u s i n g
A :
b A y
m + 1
= N y
m + 1
y 3 4 1 3
w h i c h f o l l o w s e a s i l y f r o m 3 . 1 . 3 . S i n c e N i s u s u a l l y m o r e s p a r s e t h a n A , 3 . 4 . 1 3 i s a c h e a p
w a y t o c o m p u t e t h e r e s i d u a l . F o r a l l m e t h o d s o f t y p e 3 . 1 . 3 o n e n e e d s t o s t o r e o n l y M a n d
N , a n d A c a n b e o v e r w r i t t e n .
S e v e n - p o i n t I L U
T h e t e r m i n o l o g y s e v e n - p o i n t I L U i n d i c a t e s t h a t t h e g r a p h o f t h e i n c o m p l e t e f a c t o r i z a t i o n h a s
s e v e n e l e m e n t s . T h e g r a p h G i s c h o s e n a s f o l l o w s :
G = f k ; k I ; k ; k I 1 ; k ; k 1 ; k ; k g 3 4 1 4
F o r t h e c o m p u t a t i o n o f L ; D a n d U s e e 1 4 1 . L ; D a n d U c a n o v e r w r i t e A . T h e o n l y
a d d i t i o n a l s t o r a g e r e q u i r e d i s f o r N . O r , i f o n e p r e f e r s , e l e m e n t s o f N c a n b e c o m p u t e d w h e n
n e e d e d .
N i n e - p o i n t I L U
T h e p r i n c i p l e s a r e t h e s a m e a s f o r v e - a n d s e v e n - p o i n t I L U . N o w t h e g r a p h G h a s n i n e
e l e m e n t s , c h o s e n a s f o l l o w s
G = G
1
f k ; k I 1 g 3 4 1 5
w i t h G
1
g i v e n b y 3 . 4 . 1 4 .
F o r t h e c o m p u t a t i o n o f L ; D a n d U s e e 1 4 1 .
A l t e r n a t i n g I L U
A l t e r n a t i n g I L U c o n s i s t s o f o n e I L U i t e r a t i o n o f t h e t y p e j u s t d i s c u s s e d o r s i m i l a r , f o l l o w e d
b y a s e c o n d I L U i t e r a t i o n b a s e d o n a d i e r e n t o r d e r i n g o f t h e g r i d p o i n t s . A s a n e x a m p l e , l e t
t h e g r i d b e d e n e d b y 3 . 3 . 1 , a n d l e t t h e g r i d p o i n t s b e n u m b e r e d a c c o r d i n g t o
k = I J + 1 j i 1 J 3 4 1 6
T h i s o r d e r i n g i s i l l u s t r a t e d i n F i g u r e 3 . 4 . 1 , a n d w i l l b e c a l l e d h e r e t h e s e c o n d b a c k w a r d o r -
d e r i n g , t o d i s t i n g u i s h i t f r o m t h e b a c k w a r d o r d e r i n g d e n e d b y 3 . 3 . 3 . T h e o r d e r i n g 3 . 4 . 1 6
w i l l t u r n o u t t o b e p r e f e r a b l e i n a p p l i c a t i o n s t o b e d i s c u s s e d l a t e r . T h e c o m p u t a t i o n o f t h e
c o r r e s p o n d i n g i n c o m p l e t e f a c t o r i z a t i o n f a c t o r s
L ;
D a n d
U i s d i s c u s s e d i n 1 4 1 . I f a l t e r n a t i n g
I L U i s u s e d , L ; D a n d U a r e a l r e a d y s t o r e d i n t h e p l a c e o f A , s o t h a t a d d i t i o n a l s t o r a g e i s
r e q u i r e d f o r
L ;
D a n d
U
N c a n b e s t o r e d , o r i s e a s i l y c o m p u t e d , a s o n e p r e f e r s .
2 1
8/14/2019 Introduction to Multigrid Methods
22/134
1 7 1 3 9 5 1
1 8 1 4 1 0 6 2
1 9 1 5 1 1 7 3
2 0 1 6 1 2 8 4
F i g u r e 3 . 4 . 1 : I l l u s t r a t i o n o f s e c o n d b a c k w a r d o r d e r i n g .
G e n e r a l I L U
O t h e r I L U v a r i a n t a r e o b t a i n e d f o r o t h e r c h o i c e s o f G . S e e 8 8 f o r s o m e p o s s i b i l i t i e s . I n
g e n e r a l i t i s a d v i s a b l e t o c h o o s e G e q u a l t o o r s l i g h t l y l a r g e r t h a n t h e g r a p h o f A I f G i s
s m a l l e r t h a t t h e g r a p h o f A t h e n n o t h i n g c h a n g e s i n t h e a l g o r i t h m s j u s t p r e s e n t e d , e x c e p t
t h a t t h e e l e m e n t s o f A o u t s i d e G a r e s u b t r a c t e d f r o m N
T h e f o l l o w i n g a l g o r i t h m c o m p u t e s a n I L U f a c t o r i z a t i o n f o r g e n e r a l G b y i n c o m p l e t e G a u s s
e l i m i n a t i o n . A i s a n n n m a t r i x . W e c h o o s e d i a g L = d i a g U
A l g o r i t h m 1 . I n c o m p l e t e G a u s s e l i m i n a t i o n
A
0
: = A
f o r r : = 1 s t e p 1 u n t i l n d o
b e g i n a
r
r r
: = s q r t a
r 1
r r
f o r j r r ; j 2 G d o a
r
r j
: = a
r 1
r j
= a
r
r r
f o r i r i ; r 2 G d o a
r
i r
: = a
r 1
i r
= a
r
r r
f o r i ; j 2 G i r j r i ; r 2 G r ; j 2 G d o
a
r
i j
: = a
r 1
i j
a
r
i r
a
r
r j
o d o d o d
e n d o f a l g o r i t h m 1 .
A
n
c o n t a i n s L a n d U . I n 5 7 o n e n d s a n a l g o r i t h m f o r t h e L D
1
U v e r s i o n o f I L U , f o r
a r b i t r a r y G . S e e 1 4 3 a n d 1 3 8 f o r a p p l i c a t i o n s o f I L U w i t h a f a i r l y c o m p l i c a t e d G N a v i e r -
S t o k e s e q u a t i o n s i n t h e v o r t i c i t y - s t r e a m f u n c t i o n f o r m u l a t i o n .
F i n a l r e m a r k s
E x i s t e n c e o f I L U f a c t o r i z a t i o n s a n d n u m e r i c a l s t a b i l i t y o f t h e a s s o c i a t e d a l g o r i t h m s h a s b e e n
p r o v e d i n 8 7 i f A i s a n M - m a t r i x ; i t i s a l s o s h o w n t h a t t h e a s s o c i a t e d s p l i t t i n g i s r e g u l a r , s o
t h a t I L U c o n v e r g e s a c c o r d i n g t o T h e o r e m 4 . 2 . 3 . F o r i n f o r m a t i o n o n e c i e n t i m p l e m e n t a t i o n s
o f I L U o n v e c t o r a n d p a r a l l e l c o m p u t e r s , s e e 6 9 , 6 8 , 1 1 6 , 1 1 7 , 1 1 8 , 1 1 9 , 1 0 3 a n d 1 4 .
2 2
8/14/2019 Introduction to Multigrid Methods
23/134
E x e r c i s e 4 . 4 . 1 D e r i v e a l g o r i t h m s t o c o m p u t e s y m m e t r i c I L U f a c t o r i z a t i o n s A = L D
1
L
T
N a n d A = L L
T
N f o r A s y m m e t r i c . S e e 8 7 .
E x e r c i s e 4 . 4 . 2 L e t A = L + D + U , w i t h D = d i a g A ; l
i j
= 0 ; j i a n d u
i j
= 0 ; j i
S h o w t h a t 3 . 4 . 3 r e s u l t s i n s y m m e t r i c p o i n t G a u s s - S e i d e l c f . E x e r c i s e 3 . 3 . 1 . T h i s s h o w s
t h a t s y m m e t r i c p o i n t G a u s s - S e i d e l i s a s p e c i a l i n s t a n c e o f i n c o m p l e t e p o i n t f a c t o r i z a t i o n .
3 . 5 E x a m p l e s o f b a s i c i t e r a t i v e m e t h o d s : i n c o m p l e t e b l o c k L U f a c t o r i z a -
t i o n
C o m p l e t e l i n e L U f a c t o r i z a t i o n
T h e b a s i c i d e a o f i n c o m p l e t e b l o c k L U - f a c t o r i z a t i o n I B L U a l s o c a l l e d i n c o m p l e t e l i n e L U -
f a c t o r i z a t i o n I L L U i n t h e l i t e r a t u r e i s p r e s e n t e d b y m e a n s o f t h e f o l l o w i n g e x a m p l e . L e t
t h e s t e n c i l o f t h e d i e r e n c e e q u a t i o n s t o b e s o l v e d b e g i v e n b y F i g u r e 3 . 3 . 3 c . T h e g r i d p o i n t
o r d e r i n g i s g i v e n b y 3 . 3 . 2 . T h e n t h e m a t r i x A o f t h e s y s t e m t o b e s o l v e d i s a s f o l l o w s :
A =
0
B
B
B
B
B
B
B
@
B
1
U
1
L
2
B
2
U
2
U
J 1
L
J
B
J
1
C
C
C
C
C
C
C
A
3 5 1
w i t h L
j
; B
j
a n d U
j
I I t r i d i a g o n a l m a t r i c e s .
F i r s t , w e s h o w t h a t t h e r e i s a m a t r i x D s u c h t h a t
A = L + D D
1
D + U 3 5 2
w h e r e
L =
0
B
B
B
B
B
@
0
L
2
L
J
0
1
C
C
C
C
C
A
; U =
0
B
B
B
B
B
@
0 U
1
0
U
J 1
0
1
C
C
C
C
C
A
D =
0
B
B
B
B
@
D
1
D
2
D
J
1
C
C
C
C
A
3 . 5 . 3
2 3
8/14/2019 Introduction to Multigrid Methods
24/134
W e c a l l 3 . 5 . 2 a l i n e L U f a c t o r i z a t i o n o f A , b e c a u s e t h e b l o c k s i n L ; D a n d U c o r r e s p o n d t o
i n o u r c a s e h o r i z o n t a l l i n e s i n t h e c o m p u t a t i o n a l g r i d . F r o m 3 . 5 . 2 i t f o l l o w s t h a t
A = L + D + U + L D
1
U 3 5 4
O n e n d s t h a t L D
1
U i s t h e f o l l o w i n g b l o c k - d i a g o n a l m a t r i x
L D
1
U =
0
B
B
B
B
@
0
L
2
D
1
1
U
1
L
J
D
1
J 1
U
J 1
1
C
C
C
C
A
3 5 5
F r o m 3 . 5 . 4 a n d 3 . 5 . 5 t h e f o l l o w i n g r e c u r s i o n t o c o m p u t e D i s o b t a i n e d
D
1
= B
1
; D
j
= B
j
L
j
D
1
j 1
U
j
; j = 2 ; 3 ; : : : ; J 3 5 6
P r o v i d e d D
1
j
e x i s t s , t h i s s h o w s t h a t o n e c a n n d D s u c h t h a t 3 . 5 . 2 h o l d s .
N i n e - p o i n t I B L U
T h e m a t r i c e s D
j
a r e f u l l ; t h e r e f o r e i n c o m p l e t e v a r i a n t s o f 3 . 5 . 2 h a v e b e e n p r o p o s e d . A n
i n c o m p l e t e v a r i a n t i s o b t a i n e d b y r e p l a c i n g L
j
D
1
j 1
U
j
i n 3 . 5 . 6 b y i t s t r i d i a g o n a l p a r t i . e .
r e p l a c i n g a l l e l e m e n t s w i t h i n d i c e s i ; m w i t h m 6= i ; i 1 b y z e r o :
~
D
1
= B
1
;
~
D
j
= B
j
t r i d i a g L
j
~
D
1
j 1
U
j
3 5 7
T h e I B L U f a c t o r i z a t i o n o f A i s d e n e d a s
A = L +
~
D
~
D
1
~
D + U N 3 5 8
T h e r e a r e t h r e e n o n - z e r o e l e m e n t s p e r r o w i n L ;
~
D a n d U ; t h u s w e c a l l t h i s n i n e - p o i n t I B L U
F o r a n a l g o r i t h m t o c o m p u t e
~
D a n d
~
D
1
s e e 1 4 1 .
T h e I B L U i t e r a t i v e m e t h o d
W i t h I B L U , t h e b a s i c i t e r a t i v e m e t h o d 3 . 1 . 3 b e c o m e s
r = b A y
m
3 5 9
L +
~
D
~
D
1
~
D + U y
m + 1
= r 3 5 1 0
y
m + 1
: = y
m + 1
+ y
m
3 5 1 1
E q u a t i o n 3 . 5 . 1 0 i s s o l v e d a s f o l l o w s
S o l v e L +
~
D y
m + 1
= r 3 5 1 2
2 4
8/14/2019 Introduction to Multigrid Methods
25/134
r : =
~
D y
m + 1
3 5 1 3
S o l v e
~
D + L y
n + 1
= r 3 5 1 4
W i t h t h e b l o c k p a r t i o n i n g u s e d b e f o r e , a n d w i t h y
j
a n d r
j
d e n o t i n g I - d i m e n s i o n a l v e c t o r s
c o r r e s p o n d i n g t o b l o c k j , E q u a t i o n 3 . 5 . 1 2 i s s o l v e d a s f o l l o w s :
~
D
1
y
n + 1
1
= r
1
;
~
D
j
y
n + 1
j
= r
j
L
j 1
y
n
j 1
; j = 2 ; 3 ; : : : ; J 3 5 1 5
E q u a t i o n 3 . 5 . 1 4 i s s o l v e d i n a s i m i l a r f a s h i o n .
O t h e r I B L U v a r i a n t s
O t h e r I B L U v a r i a n t s a r e o b t a i n e d b y t a k i n g o t h e r g r a p h s f o r L ;
~
D a n d U . W h e n A c o r r e -
s p o n d s t o t h e v e - p o i n t s t e n c i l o f F i g u r e 3 . 3 . 3 , L a n d U a r e d i a g o n a l m a t r i c e s , r e s u l t i n g i n t h e
v e - p o i n t I B L U v a r i a n t s . W h e n A c o r r e s p o n d s t o t h e s e v e n - p o i n t s t e n c i l s o f F i g u r e 3 . 3 . 3 a ,
b , L a n d U a r e b i d i a g o n a l , r e s u l t i n g i n s e v e n - p o i n t I B L U . T h e r e a r e a l s o o t h e r p o s s i b i l i t i e s
t o a p p r o x i m a t e L
j
~
D
1
j 1
U
j
b y a s p a r s e m a t r i x . S e e 6 , 3 3 , 7 , 9 9 , 1 0 7 f o r o t h e r v e r s i o n s
o f I B L U ; t h e r s t t h r e e p u b l i c a t i o n s a l s o g i v e e x i s t e n c e p r o o f s f o r
~
D
j
i f A i s a n M - m a t r i x ; t h i s
c o n d i t i o n i s s l i g h t l y w e a k e n e d i n 9 9 . V e c t o r i z a t i o n a n d p a r a l l e l i z a t i o n a s p e c t s a r e d i s c u s e d
i n 7 .
E x e r c i s e 3 . 5 . 1 D e r i v e a n a l g o r i t h m t o c o m p u t e a s y m m e t r i c I B L U f a c t o r i z a t i o n A =
L +
~
D
~
D
1
~
D + L
T
N f o r A s y m m e t r i c . S e e 3 3 .
3 . 6 S o m e m e t h o d s f o r n o n - M - m a t r i c e s
W h e n n o n - s e l f - a d j o i n t p a r t i a l d i e r e n t i a l e q u a t i o n s a r e d i s c r e t i z e d i t m y h a p p e n t h a t t h e
r e s u l t i n g m a t r i x A i s n o t a n M - m a t r i x . T h i s d e p e n d s o n t h e t y p e o f d i s c r e t i z a t i o n a n d
t h e v a l u e s o f t h e c o e c i e n t s . E x a m p l e s o f o t h e r a p p l i c a t i o n s l e a d i n g t o n o n - M - m a t r i x d i s -
c r e t i z a t i o n s a r e t h e b i h a r m o n i c e q u a t i o n a n d t h e S t o k e s a n d N a v i e r - S t o k e s e q u a t i o n s o f u i d
d y n a m i c s .
D e f e c t c o r r e c t i o n
D e f e c t c o r r e c t i o n c a n b e u s e d w h e n o n e h a s a s e c o n d - o r d e r a c c u r a t e d i s c r e t i z a t i o n w i t h a
m a t r i x A t h a t i s n o t a n M - m a t r i x , a n d a r s t - o r d e r d i s c r e t i z a t i o n w i t h a m a t r i x B w h i c h i s
a n M - m a t r i x , f o r e x a m p l e b e c a u s e B i s o b t a i n e d w i t h u p w i n d d i s c r e t i z a t i o n , o r b e c a u s e B
c o n t a i n s a r t i c i a l v i s c o s i t y . T h e n o n e c a n o b t a i n s e c o n d - o r d e r r e s u l t s a s f o l l o w s .
A l g o r i t h m 1 . D e f e c t c o r r e c t i o n
2 5
8/14/2019 Introduction to Multigrid Methods
26/134
b e g i n S o l v e B y = b
f o r i : = 1 s t e p 1 u n t i l n d o
B y = b A
y + B
y
y : = y
o d
e n d o f a l g o r i t h m 1 .
I t s u c e s i n p r a c t i c e t o t a k e n = 1 o r 2 . F o r s i m p l e p r o b l e m s i t c a n b e s h o w n t h a t f o r n = 1
a l r e a d y y h a s s e c o n d - o r d e r a c c u r a c y . B i s a n M - m a t r i x ; t h u s t h e m e t h o d s d i s c u s s e d b e f o r e
c a n b e u s e d t o s o l v e f o r y
D i s t r i b u t i v e i t e r a t i o n
I n s t e a d o f s o l v i n g A y = b o n e m a y a l s o s o l v e
A B
y = b ; y = B
y 3 6 1
T h i s m a y b e c a l l e d p o s t - c o n d i t i o n i n g , i n a n a l o g y w i t h p r e c o n d i t i o n i n g , w h e r e o n e s o l v e s
B A y = B b B i s c h o s e n s u c h t h a t A B i s a n M - m a t r i x o r a s m a l l p e r t u r b a t i o n o f a n
M - m a t r i x , s u c h t h a t t h e s p l i t t i n g
A B = M N 3 6 2
l e a d s t o a c o n v e r g e n t i t e r a t i o n m e t h o d . F r o m 3 . 6 . 2 f o l l o w s t h e f o l l o w i n g s p l i t t i n g f o r t h e
o r i g i n a l m a t r i x A
A = M B
1
N B
1
3 6 3
T h i s l e a d s t o t h e f o l l o w i n g i t e r a t i o n m e t h o d
M B
1
y
m + 1
= N B
1
y
m
+ b 3 6 4
o r
y
m 1
= y
m
+ B M
1
b A y
m
3 6 5
T h e i t e r a t i o n m e t h o d i s b a s e d o n 3 . 6 . 3 r a t h e r t h a t o n 3 . 6 . 2 , b e c a u s e i f M i s m o d i e d s o
t h a t 3 . 6 . 2 d o e s n o t h o l d , t h e n , o b v i o u s l y , 3 . 6 . 5 s t i l l c o n v e r g e s t o t h e r i g h t s o l u t i o n , i f i t
c o n v e r g e s . S u c h m o d i c a t i o n s o f M o c c u r i n a p p l i c a t i o n s o f p o s t - c o n d i t i o n e d i t e r a t i o n t o t h e
S t o k e s a n d N a v i e r - S t o k e s e q u a t i o n s .
I t e r a t i o n m e t h o d 3 . 6 . 4 i s c a l l e d d i s t r i b u t i v e i t e r a t i o n , b e c a u s e t h e c o r r e c t i o n M
1
b
A y
m
i s d i s t r i b u t e d o v e r t h e e l e m e n t s o f y b y t h e m a t r i x B . A g e n e r a l t r e a t m e n t o f t h i s
a p p r o a c h i s g i v e n i n 1 4 4 , 1 4 6 , 1 4 8 , 1 5 0 , 1 4 9 , w h e r e i t i s s h o w n t h a t a n u m b e r o f w e l l
k n o w n i t e r a t i v e m e t h o d s f o r t h e S t o k e s a n d N a v i e r - S t o k e s e q u a t i o n s c a n b e i n t e r p r e t e d a s
d i s t r i b u t i v e i t e r a t i o n m e t h o d s .
2 6
8/14/2019 Introduction to Multigrid Methods
27/134
T a k i n g B = A
T
a n d c h o o s i n g 3 . 6 . 2 t o b e t h e G a u s s - S e i d e l o r J a c o b i s p l i t t i n g r e s u l t s i n
t h e K a c z m a r z 7 8 o r C i m m i n o 3 2 m e t h o d s , r e s p e c t i v e l y . T h e s e m e t h o d s c o n v e r g e f o r e v e r y
r e g u l a r A , b e c a u s e G a u s s - S e i d e l a n d J a c o b i c o n v e r g e f o r s y m m e t r i c p o s i t i v e d e n i t e m a t r i c e s
a p r o o f o f t h i s e l e m e n t a r y r e s u l t m a y b e f o u n d i n 7 0 . C o n v e r g e n c e i s , h o w e v e r , u s u a l l y
s l o w .
4 S m o o t h i n g a n a l y s i s
4 . 1 I n t r o d u c t i o n
T h e c o n v e r g e n c e b e h a v i o u r o f a m u l t i g r i d a l g o r i t h m d e p e n d s s t r o n g l y o n h e s m o o t h e r . T h e
e c i e n c y o f s m o o t h i n g m e t h o d s i s p r o b l e m - d e p e n d e n t . W h e n a s m o o t h e r i s e c i e n t f o r a
l a r g e c l a s s o f p r o b l e m s i t i s c a l l e d r o b u s t . T h i s c o n c e p t w i l l b e m a d e m o r e p r e c i s e s h o r t l y
f o r a c e r t a i n c l a s s o f p r o b l e m s . N o t e v e r y c o n v e r g e n t m e t h o d h a s t h e s m o o t h i n g p r o p e r t y ,
b u t f o r s y m m e t r i c m a t r i c e s i t c a n b e s h o w n t h a t b y t h e i n t r o d u c t i o n o f s u i t a b l e a m o u n t o f
d a m p i n g e v e r y c o n v e r g e n t m e t h o d a c q u i r e s t h e s m o o t h i n g p r o p e r t y . T h i s p r o p e r t y s a y s l i t t l e
a b o u t t h e a c t u a l e c i e n c y . A c o n v e n i e n t t o o l f o r t h e s t u d y o f s m o o t h i n g e c i e n c y i s F o u r i e r
a n a l y s i s , w h i c h i s a l s o e a s i l y a p p l i e d t o t h e n o n - s y m m e t r i c c a s e . F o u r i e r s m o o t h i n g a n a l y s i s
i s t h e m a i n t o p i c o f t h i s c h a p t e r .
M a n y d i e r e n t s m o o t h i n g m e t h o d s a r e e m p l o y e d b y u s e r s o f m u l t i g r i d m e t h o d s . O f c o u r s e ,
i n o r d e r t o e x p l a i n t h e b a s i c p r i n c i p l e s o f s m o o t h i n g a n a