54
Banking's Best Websites: Who is Leading the Way and Why An InformationWeek Financial Services Webcast Sponsored by

Keynote banking's best websites

Embed Size (px)

DESCRIPTION

Presentation on banking industry best practices for website design and performance.

Citation preview

Page 1: Keynote banking's best websites

Banking's Best Websites: Who is Leading the Way and Why

An InformationWeek Financial Services Webcast Sponsored by

Page 2: Keynote banking's best websites

Webcast Logistics

Page 3: Keynote banking's best websites

Today’s Presenters

Chris Musto, GM, Keynote Competitive

Research and Financial Services Keynote Systems

Ken HarkerSenior ConsultantKeynote Systems

Page 4: Keynote banking's best websites

Banking's Best Websites

Who is Leading the Way and Why

Chris Musto 

GM, Keynote Competitive Research & Financial Services

Ken Harker 

Sr. Consultant, Keynote Systems

Page 5: Keynote banking's best websites

SITES EVALUATED: SAMPLE:

TIMING:

7 evaluations; 1519 panelists total ~200 per site; US online adults 18+ Current online banking customer of site being evaluated

All panelists successfully logged in to account

Bank of America Chase Citibank SunTrust U.S. Bank Wachovia Wells Fargo

To learn what works in online banking, Keynote asked online bankers as they used online banking

Wave 7 evaluation period: May 2010 Previous evaluation period: May 2009 Next evaluation: May 2011

Page 6: Keynote banking's best websites

..using our browser companion that captures events 

…to evaluate their bank’s online banking

…providing clickstreams, comments and  feedback

…which  we analyze quantitatively and qualitatively

…performing tasks & answering questions

“Find information that meets your needs.”

“How satisfied are you with this site?”

We invited online bankers…

As they took the study, we saw how they used the offering, asked what they thought of it, and analyzed the results

Page 7: Keynote banking's best websites

The user’s view Keynote asks user 

to perform a task Keynote asks 

questions about the user’s experience performing that task

Keynote asks the user’s impressions of the bank

To the user, the evaluation was a natural experience

To us, it was an opportunity to find out how some banks get better business outcomes from online banking

Page 8: Keynote banking's best websites

We asked users to perform six tasks

1. Log In

2. Check Balances and Transactions

3. Update Personal Information

4. Schedule Payment or Explore Online Bill Payment

5. Use Customer Support

6. Explore the bank’s other products

Page 9: Keynote banking's best websites

= The highest partial correlation of driver to index

As users conducted the six tasks, we found the experiences that predicted Brand and Loyalty

Correlation to Brand Impact

Correlation to Loyalty Impact

BUSINESS SUCCESS DRIVERS BRAND IMPACT LOYALTY IMPACT

1. Customer Support

3. Bill Pay Satisfaction

Page 10: Keynote banking's best websites

Who excelled at these business‐driving site experiences?

RANK Customer Support Bill Pay Satisfaction

1 SunTrust Bank of America

2

3 Bank of America SunTrust

4 U.S. Bank

5

6

7

Page 11: Keynote banking's best websites

Customer Support

Who is Leading the Way and Why

Page 12: Keynote banking's best websites

Customer Support RankingsSunTrust and Bank of America among top sites Top metrics in this driver

• Options to resolve satisfaction• Agree in‐context help provided• Agree site cares• Online help not well organized• Difficult to locate FAQs and other online help• Difficult to search online help• Site doesn't provide specific tips/ instructions as I complete different tasks

Page 13: Keynote banking's best websites

SunTrust Leads: Agree In‐Context Help ProvidedRate of “top‐two box” agreement with statement

How strongly do you disagree or agree with the following statement?

"This site provides me with help, tips, and guidance specific to the task I am trying to complete (i.e., without having to leave the page I am on)." 

1 = Strongly disagree7 = Strongly agree

Page 14: Keynote banking's best websites

Rate of online banking users frustrated by lack of live chat in online bankingBank of America is meeting an expectation

Which of the following problems or frustrations, if any, have you encountered when contacting customer service at COMPANY in the past (via e‐mail, phone, etc.)? [Check all that apply]

Online chat not available

Page 15: Keynote banking's best websites

Multiple contact/ help options• “There are different options to get customer 

service such as telephone, email or chat.”• “…seem to be there for you 24/7. If you need 

to talk to someone, you can chat, e‐mail, or call the 1800 number.”

• “I like the fact that there are different channels of support whether it is live or web/phone. I do like having immediate support.”

• “I like that when I click help it pops up help for the section of the site I am on, ex if I am in bill pay I am given help for bill pay.”

Live chat helpful for immediate help• “Like very much online live chat. Very very 

helpful.”• “I used the live chat for a problem and it was 

resolved right away.”• “…I also really like that there is an online chat. 

That makes it really easy when I am already on the computer and I need help solving an issue.”

Live Chat gets noticed: Bank of America

Page 16: Keynote banking's best websites

Bill Pay Satisfaction

Who is Leading the Way and Why

Page 17: Keynote banking's best websites

Bill Pay Satisfaction Rankings

All metrics• Schedule payment satisfaction (Q58)• Schedule payment difficulty (Q56) • Inadequate online banking feature: Pay bills online (Q117)• Reason to Stop Online Bill Pay: Difficult to use (Q61)• Reason to Stop Online Bill Pay: Not enough bill pay features/options (Q61)• Inadequate online banking feature: Receive bills online (i.e., e‐bills) (Q117)• Reason to Stop Online Bill Pay: Fees are too high (Q61)

Page 18: Keynote banking's best websites

SunTrust and U.S. Bank: Schedule Payment Satisfaction (Q58)

How satisfied are you with the online bill payment service at this site? 

1 = Not at all satisfied7 = Extremely satisfied

Page 19: Keynote banking's best websites

Quick and easy to use• “Quick, clear, easy.”• “It's very easy to use, the process is fast.”• “It's convenient and very easy to use.”• “I like the simplicity of it. Very clean.”Ease of looking up/ adding a new bill• “It can pay a person by looking up his phone 

number.”• “Setting up new payee started with asking for 

phone number, to simplify process.”• “It's so easy to look up a person if you are 

paying them a bill. finds all of their information for you.”

• “Easy to figure out how to add bills, and lots of good instructions.”

Helpful ‘Payment Assistant’ window• “When you click on a bill to pay, a box comes 

up with information on the last 3 payments that were made to the account.”

Bill Pay Satisfaction Best Practices: U.S. Bank

Page 20: Keynote banking's best websites

Quick and easy to make payments, service is free

• “It's easy to use, & fast.”• “The ease of use and it's free!”• “The online bill pay procedure is very straight 

forward and simple. And it is free.”• “It is fast and easy to arrange the payment 

online and hassle‐free.”• “The service is very easy to use and 

convenient.”Helpful ‘Payment Assistant’ window• “My payment history is right there so that I 

can review previous payments and time when they were made.”

• “I like being able to see what my payment history to each biller is…”

Ease of adding new payee• “I like how easy it is to add a bill and to make 

a payment.”• “It is easy to use and I can pay any bill or 

anyone.”

Bill Pay Satisfaction Best Practices: SunTrust

Page 21: Keynote banking's best websites

How banks are learning from the best of the Web

Who is Leading the Way and Why

Page 22: Keynote banking's best websites

BB&T: Landing page as hubTell the customer what they need to know, even if they didn’t realize they needed to know

Display upcoming transactions Show alert topics Highlight “new” information

Page 23: Keynote banking's best websites

PNC: Leading the movement from statement to hub

On page tools to sort or filter transactions Aggregate of pending 

withdrawals and deposits

Tell the customer what they need to know, even if they didn’t realize they needed to know Available balance is the one dimensional metric that matters most in a checking account But what has posted and what will post are critical to understanding that metric and answer most questions

Page 24: Keynote banking's best websites

Webster: The little bank whose customers could… do it more easliy

What do I need to know and what can I do?

Unlike customers at most large banks, Webster customers don’t have to click past the secure site landing page to see if a recent transaction has been processed.

The site also provides an on‐page transfer interface.

The link directly to the current statement is an easily ignored but important feature, with most banks requiring a one click to pick an account and a second click to view its statements.

Page 25: Keynote banking's best websites

Lowing the barrier to feedback

Who is Leading the Way and Why

Page 26: Keynote banking's best websites

Bank of America: Transaction history enables on‐page editing

A streamlined path to edit transaction records directly from the table without clicking through hierarchical pages makes for a more intuitive and faster user experience

Page 27: Keynote banking's best websites

Bank of America: Low barrier to feedback on transaction tagging

“Tax deductible”

“reimbursable”

Not just beautiful words to your accountant

Lower barriers to positive returns on consumer effort still pay off for both bank and customer

Page 28: Keynote banking's best websites

Keynote Competitive Research

Banking Prospects Study

Page 29: Keynote banking's best websites

Banking Prospects

How do banking sites compare in technical quality?

Site performance and site availability are a good startKeynote uses a more holistic approach to assessing site quality

Consider a common path (transaction) through the site

In this case, start at a bank home page, step through the process of finding information on checking accounts, and begin the application process 

Knowing how your site ranks in a competitive study is important, but knowing why you rank where you do is more important

Page 30: Keynote banking's best websites

Typical Study Measurement Locations

Atlanta Verizon

Boston Verizon

Chicago Verizon

Dallas Verizon

Detroit Level3

Houston Verizon

Los Angeles Qwest

Miami Verizon

New York AT&T

Philadelphia Level3

San Francisco Sprint

Washington D.C. Qwest

Page 31: Keynote banking's best websites

Transaction Compared

Prospective Customer

Home Page List/Details Apply

Page 32: Keynote banking's best websites

High Speed Response 

Dial‐Up  Response

Response Time Consistency

Geographic Uniformity 

Load Handling 

Availability 

Outage Hours

7 Key Factors

Responsiveness Index

ReliabilityIndex

Page 33: Keynote banking's best websites

For one‐time studies, Keynote uses at least three weeks of data

• Important to measure weekdays and weekends • Multiple weeks reduce the impact of any holidays or unusual news events• For banking studies, Keynote does not consider weekends to be “peak 

period”, but as more and more customers interact with financial institutions online, this might need to change

• Long‐term continuous measurement is the best way to manage site performance

Study Period 

Page 34: Keynote banking's best websites

All pages are very slow to a small percentage of site visitors

• 5% of visitors see page load times of slower than 23 seconds• Keynote recommends all page loads average 2 seconds or faster

An Example of an Action Area – Average Time and Variability

High 95thpercentile 

times indicate small number of site visitors see much 

slower times than the 

average site visitor

Page 35: Keynote banking's best websites

Action Areas – Profiling Page Performance by Element

Many things can impact site performance, including issues with application calls, CDNs, and third‐party elements

You cannot rely upon implementing  best practices to solve all problems, you need to measure

Page 36: Keynote banking's best websites

The application call that generates the base page content occasionally takes 5 to 8 seconds to load

End users see no changes to the new page until this call is completeThe delay is very damaging to end user perception of the site

Action Areas – Application Calls and Variability

Page 37: Keynote banking's best websites

Action Areas – Client‐Side Processing

Although banking sites are not pushing the AJAX, Javascript, and Flash model as much as other industries, we are seeing it more and more

You need to understand the impact of client‐side processing time

This page has two periods of client‐side processing, early in the page download, that impact the end user perception of the page

200 ms of client‐side processing 

delay

150 ms of client‐side processing delay

Page 38: Keynote banking's best websites

Action Areas – Third‐Party Elements

sales.liveperson.net  call takes an 

extraordinarily long time

Critical page content from the banking site 

is blocked from loading

Managing the performance and reliability of third‐party calls (ad tags, analytics tags, marketing tags, etc.) is a challenge

Delays from third‐party elements can block critical page content from loadingThe delay is very damaging to end user perception of the site

Page 39: Keynote banking's best websites

Site visitors in San Francisco, Miami, and Los Angeles have slower page download times than the other markets

Is this normal?  Can something be done?Would a CDN help?  Are third‐party elements partly to blame?What else can I do to make sure all of my customers are getting the same level of service?

Action Areas – Geographic Uniformity

Page 40: Keynote banking's best websites

Mobile Banking

Keynote Competitive Research 

Page 41: Keynote banking's best websites

Common Challenges to Overcome

1. Increasing demand for your services on mobile

2. Need for consistent QoS across devices and networks

3. Dependency on 3rd Parties to deliver mobile services

4. Lack of ability enforce SLA due to insufficient “evidence”

5. Service downtime and poor performance can affect revenue and brand reputation

6. Quick release cycles impacting QoS

7. Need for performance trend analysis 

Page 42: Keynote banking's best websites

Different Options to Deliver Content

Web Applications SMS Applications Native Applications

Page 43: Keynote banking's best websites

Web Application Monitoring

Typical Online Banking Customer Activity: Send Payment1. Start browser on mobile device

2. Open site URL

3. Login with account credentials

4. Complete payment transaction

5. Take timings of page load response

6. Validate correct content appears

7. Save result to reporting server

Page 44: Keynote banking's best websites

Web Application Monitoring : Send Payment2 3

4

1

Page 45: Keynote banking's best websites

“We are unable tocomplete your payment...” March 10, 201145

©2009 Keynote Systems, Inc. - All rights reserved

100%

80%

Page 46: Keynote banking's best websites

Mobile Web Applications Issues

Expected  Actually ReceivedImage timed‐out

Page 47: Keynote banking's best websites

Native Smartphone Application Monitoring

Download from mobile app store1. Start App

2. Login

3. Access main account balance screen

4. Take timings based on UI actions

5. Validate correct result appears on the UI

6. Save timings to reporting server

Page 48: Keynote banking's best websites

#1 StartApplication

Native Application Monitoring

#2 Login #3 RetrieveAccount Info

#4 DisplayAccount Balance

Page 49: Keynote banking's best websites

March 10, 201149

©

Login function is broken for several 

hours

Login function is broken for several 

hours

Login function is broken for several 

hours

Account summary screen takes over 60 seconds to load

Loading…

MyKeynote can track problems with applications running on real iPhones and other popular mobile handsets

Login function is broken for several 

hours

Page 50: Keynote banking's best websites

©2007 Keynote Systems, Inc.  Keynote & Client Confidential.

Competitive Benchmark: Home Page DownloadPerformance in Seconds

How important is being fast?

Page 51: Keynote banking's best websites

Mobile Banking Summary 

Mobile Banking is providing competitive differentiation

Mobile Banking leverages:

SMS Mobile Websites Native Smartphone Applications (iPhone, Android, BlackBerry) Composite Transactions

End users show low “failure tolerance” when applications touch their personal financial information

Competitive benchmarking is extremely popular 

Page 52: Keynote banking's best websites

Questions?

Page 53: Keynote banking's best websites

Q&A

Please Submit Your Questions Now

Page 54: Keynote banking's best websites

Resources 

To View This or Other Events On-Demand Please Visit:http://www.netseminar.com

For more information please visit:

http://www.keynote.com/company/events/events.html