1

Linux 2.4 Implementation of Westwood+ TCP with Rate­Halving : A Performance Evaluation 

over the Internet

Angelo Dell'AeraAngelo Dell'AeraLuigi Alfredo GriecoLuigi Alfredo Grieco

Saverio MascoloSaverio Mascolo

Dipartimento di Elettrotecnica ed ElettronicaDipartimento di Elettrotecnica ed ElettronicaPolitecnico di BariPolitecnico di Bari

Via Orabona 4Via Orabona 4  70125 Bari, Italy70125 Bari, Italy

ICC2004 Paris ­ Jun 22, 2004

Jun 22,  2004 2A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

OutlineOutline

➢ Background  of  TCP  Westwood  and  TCP Background  of  TCP  Westwood  and  TCP Westwood+ Westwood+ 

➢ End­to­End  Bandwidth  Estimation  by End­to­End  Bandwidth  Estimation  by filtering the ACK stream filtering the ACK stream 

➢ Linux implementation of TCP Westwood+ Linux implementation of TCP Westwood+ ➢ Internet measurementsInternet measurements

Jun 22,  2004 3A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

TCP Westwood Congestion ControlTCP Westwood Congestion Control

   Key  idea:  use  end­to­end  bandwidth Key  idea:  use  end­to­end  bandwidth estimation  to estimation  to  adaptively  set adaptively  set  cwndcwnd  and  and ssthreshssthresh  after congestion after congestion 

instead ofinstead of  

   standard standard  ““blindblind”  multiplicative  window ”  multiplicative  window decreasedecrease

Jun 22,  2004 4A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Standard TCP (Van Jacobson)Standard TCP (Van Jacobson)  

time 

ssthresh

cwnd

Congestion Avoidance (CA)

Timeout

Fast recovery

Exponential increasing

Linear increasing

Slow Start (SS) 

Typical cwnd dynamics following the AIMD paradigm

Jun 22,  2004 5A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

TCP WestwoodTCP Westwood

Congestion Avoidance

Slow start

cwnd

time 

Timeoutssthresh

BWE*RTTmin

Adaptive Decrease cwnd = ssthresh = BWE * RTTmin

TCP Westwood Adaptive Decrease vs TCP (New) Reno blind by ½ window shrinking

Jun 22,  2004 6A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Known drawbacks of TCP RenoKnown drawbacks of TCP Reno

➢ Low  throughput  over  wireless  linksLow  throughput  over  wireless  linksbecause losses due to unreliable links because losses due to unreliable links are misinterpreted as congestionare misinterpreted as congestion

➢ Reno  throughput  is  proportional  to Reno  throughput  is  proportional  to 1/RTT1/RTT, i.e. it is not fair, i.e. it is not fair

Jun 22,  2004 7A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

End­to­End Bandwidth End­to­End Bandwidth EstimationEstimation

➢ TCP  Westwood+  algorithm  is  based  on TCP  Westwood+  algorithm  is  based  on end­to­end  estimation  of  the  bandwidth end­to­end  estimation  of  the  bandwidth available along the TCP connection pathavailable along the TCP connection path

➢ The  estimate  is  obtained  by  filtering  the The  estimate  is  obtained  by  filtering  the stream of returning ACK  packets and it is stream of returning ACK  packets and it is used  to  adaptively  set  the  control used  to  adaptively  set  the  control windows  when  network  congestion  is windows  when  network  congestion  is experienced experienced 

      

                                                                                  

Jun 22,  2004 8A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

End­to­End Bandwidth End­to­End Bandwidth EstimationEstimation

ACKs

packets

Filter

RECEIVERSENDER 

Bandwidthestimate 

ACKs

packets

Network 

Jun 22,  2004 9A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

TCP Westwood+ TCP Westwood+ Pseudo CodePseudo Code

➢ When 3 DUPACKs are received by the senderWhen 3 DUPACKs are received by the sender          ssthresh=max(2, (BWE * RTTmin) / MSS);ssthresh=max(2, (BWE * RTTmin) / MSS);

  cwnd = ssthresh;                         cwnd = ssthresh;                         

➢ When coarse timeout expiresWhen coarse timeout expires       ssthresh=max(2, (BWE * RTTmin) / MSS);ssthresh=max(2, (BWE * RTTmin) / MSS);       cwnd = 1;cwnd = 1;

➢ When ACKs are successfully receivedWhen ACKs are successfully receivedcwnd increases as stated in RFC2581 cwnd increases as stated in RFC2581 the end­to­end bandwidth estimate BWE is computed  the end­to­end bandwidth estimate BWE is computed  

      

                                                                                  

Jun 22,  2004 10A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

TCP Westwood+ TCP Westwood+ 

➢ TCP  Westwood+  follows  an TCP  Westwood+  follows  an  Additive  Increase Additive  Increase Adaptive Decrease Adaptive Decrease paradigm paradigm 

➢ TCP  Westwood+  improves  the  stability  of  the TCP  Westwood+  improves  the  stability  of  the standard TCP multiplicative decrease algorithm standard TCP multiplicative decrease algorithm 

➢ The congestion window is decreased enough in The congestion window is decreased enough in presence  of  heavy  congestion  and  not  too presence  of  heavy  congestion  and  not  too much  in presence of  light congestion or  losses much  in presence of  light congestion or  losses not due to congestion   not due to congestion       

      

                                                                                  

Jun 22,  2004 11A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

TCP Westwood+ TCP Westwood+ 

➢ The  adaptive  setting  of  the  control  windows The  adaptive  setting  of  the  control  windows increases  the  fair  allocation  of  the  available increases  the  fair  allocation  of  the  available bandwidth to different TCP flowsbandwidth to different TCP flows

➢ Setting Setting  cwnd cwnd  to  BWE  *  RTTmin  sustains  a to  BWE  *  RTTmin  sustains  a transmission  rate  ((BWE  *  RTTmin)  /  RTT) transmission  rate  ((BWE  *  RTTmin)  /  RTT) smaller than the bandwidth estimated at the time smaller than the bandwidth estimated at the time of congestion thus leaving room in the buffers for of congestion thus leaving room in the buffers for coexisting flowscoexisting flows

➢ This improves statistical multiplexing and fairnessThis improves statistical multiplexing and fairness

      

                                                                                  

Jun 22,  2004 12A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Warning…Warning…

➢ ACKs reach the TCP sender compressedACKs reach the TCP sender compressed➢ Bandwidth samplesBandwidth samples

           contain high frequency  components   that cannot contain high frequency  components   that cannot be  filtered  out  by  a  discrete­time  filter  due  to be  filtered  out  by  a  discrete­time  filter  due  to aliasingaliasing

1−−=

jj

jj tt

db

timealinterarriv 1 ACKtt jj =− −

Jun 22,  2004 13A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

ACK compression effectsACK compression effects

➢ ACK  pairs  give  information  about  the ACK  pairs  give  information  about  the bandwidth  of  the  last  link  traversed  on bandwidth  of  the  last  link  traversed  on the backward paththe backward path

➢ To  smooth  ACK  compression  we To  smooth  ACK  compression  we accumulate ACKs over  an RTT and  then accumulate ACKs over  an RTT and  then compute a bandwidth samplecompute a bandwidth sample

Jun 22,  2004 14A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

An anti­aliasing filter in packet networksAn anti­aliasing filter in packet networks

j

jj

db

∆=

RTT Lastj =∆

RTTlast in the edacknowledg dataalld j =

A n tia liased sam ples

Jun 22,  2004 15A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

End­to­End Bandwidth End­to­End Bandwidth EstimateEstimate

Internet

Anti ACK compression

Low passfilter

Segments sent

      Returning ACKs

BWE

TCP Westwood+

Jun 22,  2004 16A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

➢ The following time­invariant low­pass The following time­invariant low­pass filter is used  filter is used  

kkk bbb ⋅−+⋅= − )1(ˆˆ1 αα

kRTTkd

kb =

End­to­End Bandwidth Estimate

Jun 22,  2004 17A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

ACK compression effectsACK compression effects

➢ We  have  found  that We  have  found  that  ACK  compressionACK  compression  has very important  effects on TCP has very important  effects on TCP 

➢ ACK  compression ACK  compression  must  bemust  be  considered  considered when doing simulation when doing simulation 

Jun 22,  2004 18A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Topology with ACK compression effects Topology with ACK compression effects (10 Mbps)(10 Mbps)

20 TCP

R R

Sink

10 TCPSinks

10 TCPConnections

Reverse traffic: 

10 TCP long­lived NewReno 

connections

   Forward traffic:  

20 TCP Westwood connections

Jun 22,  2004 19A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

The 20 Westwood+ connections estimate a best­effort available bandwidth that reasonably approaches the fair 

share of 0.5 Mbps 

1.0E+01

1.0E+02

1.0E+03

1.0E+04

1.0E+05

1.0E+06

1.0E+07

1.0E+08

1.0E+09

0 20 40 60 80 100

s

Ban

dwid

th e

stim

ate

(bps

)

Fair share

Jun 22,  2004 20A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Westwood overestimates up to 100 times the fair Westwood overestimates up to 100 times the fair share due to ACK compression share due to ACK compression 

1.0E+01

1.0E+02

1.0E+03

1.0E+04

1.0E+05

1.0E+06

1.0E+07

1.0E+08

1.0E+09

0 20 40 60 80 100

s

Ba

nd

wid

th e

stim

ate

(b

ps)

Fair share

Jun 22,  2004 21A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Summary on bandwidth estimateSummary on bandwidth estimate

➢ TCP  Westwood  :  one  bandwidth  sample TCP  Westwood  :  one  bandwidth  sample computed for each ACK computed for each ACK (leads to bandwidth overestimate in presence (leads to bandwidth overestimate in presence of ACK compression)of ACK compression)

➢ TCP Westwood+ : one bandwidth  sample TCP Westwood+ : one bandwidth  sample computed for each RTTcomputed for each RTT

Jun 22,  2004 22A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Linux Implementation of TCP Westwood+Linux Implementation of TCP Westwood+

➢ Linux  2.4  TCP  implementation  supports  the Linux  2.4  TCP  implementation  supports  the Rate­Halving congestion control algorithmRate­Halving congestion control algorithm

➢ The Rate­Halving congestion control algorithm The Rate­Halving congestion control algorithm adjusts  the  window  by  sending  one  segment adjusts  the  window  by  sending  one  segment per  two  acknowledgments  for  exactly  one per  two  acknowledgments  for  exactly  one round tripround trip

Jun 22,  2004 23A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Linux Implementation of TCP Westwood+Linux Implementation of TCP Westwood+

➢ Rate­Halving  sets  the window  to exactly one Rate­Halving  sets  the window  to exactly one half  of  the  data  which  was  actually  held  in half  of  the  data  which  was  actually  held  in the network during the congested round tripthe network during the congested round trip

➢ Rate­Halving  has  been  slightly  modified  by Rate­Halving  has  been  slightly  modified  by setting the lower bound for setting the lower bound for  cwnd cwnd decrease to decrease to BWE * RTTminBWE * RTTmin  

Jun 22,  2004 24A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Linux Implementation of TCP Westwood+Linux Implementation of TCP Westwood+

➢ The  patch  has  been  developed  to  be  as  less The  patch  has  been  developed  to  be  as  less intrusive  as  possible.  In  fact,  it's  possible  to intrusive  as  possible.  In  fact,  it's  possible  to enable/disable  TCP  Westwood+  through  the enable/disable  TCP  Westwood+  through  the sysctl sysctl net.ipv4.tcp_westwoodnet.ipv4.tcp_westwood

➢ The sysctl allows to switch between TCP New The sysctl allows to switch between TCP New Reno and TCP Westwood+Reno and TCP Westwood+

Jun 22,  2004 25A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Linux Implementation of TCP Westwood+Linux Implementation of TCP Westwood+

➢ TCP  Westwood+  support  was  integrated  in TCP  Westwood+  support  was  integrated  in the  Linux  kernel  release  2.4.26­pre1  (kernel the  Linux  kernel  release  2.4.26­pre1  (kernel 2.4) and kernel release 2.6.3­rc1 (kernel 2.6)2.4) and kernel release 2.6.3­rc1 (kernel 2.6)

      http://www.kernel.orghttp://www.kernel.org      http://buffer.antifork.org/westwood/westwood.htmlhttp://buffer.antifork.org/westwood/westwood.html

Jun 22,  2004 26A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Internet measurementsInternet measurements

➢ More than 4000 FTP from Bari, South Italy More than 4000 FTP from Bari, South Italy to:to:

• panther.cs.ucla.edupanther.cs.ucla.edu (UCLA) (UCLA)• ssignserv.signal.uu.seignserv.signal.uu.se (Uppsala) (Uppsala)• main.penguin.itmain.penguin.it  (Parma)  (Parma)

Jun 22,  2004 27A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Uploads to Uploads to panther.cs.ucla.edu panther.cs.ucla.edu (1)(1)

File size=3.2MB, From: rigel.poliba.it, To: panther.cs.ucla.edu, Total number of uploads = 197, Average New Reno Goodput = 16.86Kbyte/s,

Average Westwood+ Goodput = 25.21Kbyte/s

0

10

20

30

40

50

60

Wed Feb26

13:35:162003

Wed Feb26

19:38:032003

Wed Feb26

22:53:272003

Thu Feb 2701:41:26

2003

Thu Feb 2704:10:01

2003

Thu Feb 2706:11:28

2003

Thu Feb 2708:23:06

2003

Date

Goo

dput

(K

B/s

)

Westwood+New Reno

Jun 22,  2004 28A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Uploads to Uploads to panther.cs.ucla.edu panther.cs.ucla.edu (2)(2)

File size=32MB

0

10

20

30

40

50

60

70

80

Fri Feb 2118:15:56

2003

Sat Feb 2206:04:31

2003

Sat Feb 2220:26:44

2003

Sun Feb 2307:24:58

2003

Sun Feb 2319:06:51

2003

Mon Feb 2403:52:51

2003Date

Goodp

ut (K

B/s

)

Westwood+New Reno

Jun 22,  2004 29A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Uploads to Uploads to panther.cs.ucla.edu panther.cs.ucla.edu (3)(3)

File size=32MB

0

10

20

30

40

50

60

Fri Mar 1418:59:15

2003

Sat Mar 1506:09:27

2003

Sat Mar 1513:29:48

2003

Sat Mar 1522:20:43

2003

Sun Mar 1609:57:01

2003

Mon Mar 1702:47:05

2003Date

Goo

dput

(K

B/s

)

Westwood+New Reno

Jun 22,  2004 30A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Uploads to Uploads to panther.cs.ucla.edu panther.cs.ucla.edu (4)(4)

File size=32MB

0

10

20

30

40

50

60

70

Wed Mar19

14:15:252003

Wed Mar19

22:55:382003

Thu Mar20

02:47:102003

Thu Mar20

06:08:362003

Thu Mar20

10:45:342003

Thu Mar20

19:52:362003

Fri Mar21

01:07:102003

Fri Mar21

05:29:192003

Date

Go

od

put

(KB

/s)

Westwood+New Reno

Jun 22,  2004 31A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Main ReferencesMain References

➢ L. A. Grieco, S. MascoloL. A. Grieco, S. Mascolo   “   “Performance Comparison of Reno, Vegas, and Performance Comparison of Reno, Vegas, and 

Westwood+TCP Congestion Control”Westwood+TCP Congestion Control”   ACM CCR Vol. 34 No. 2, April 2004

➢ S. Mascolo, C. Casetti, M. Gerla, S. Lee, M. SanadidiS. Mascolo, C. Casetti, M. Gerla, S. Lee, M. Sanadidi   “   “TCP Westwood: bandwidth estimation for enhanced TCP Westwood: bandwidth estimation for enhanced 

transport over wireless linkstransport over wireless links””      ACM Mobicom 2001ACM Mobicom 2001 and  and Winet Journal 2002Winet Journal 2002

➢ L. A. Grieco and S. Mascolo,L. A. Grieco and S. Mascolo,   “   “End­to­End Bandwidth Estimation for Congestion End­to­End Bandwidth Estimation for Congestion 

Control in Packet Networks”Control in Packet Networks”      Second International Workshop Second International Workshop QoS­IP 2003QoS­IP 2003  

Jun 22,  2004 32A. Dell'Aera, L.A. Grieco, S. Mascolo   –   ICC2004,Paris

Thanks for the attentionThanks for the attention

Questions?Questions?