Katie Delahaye PaineCEOPaine Publishing

www.painepublishing.com | @queenofmetrics | measurementqueen@gmail.com

Best Practices and Standards in PR and Social Media Measurement

October 18, 2018PRSA IOWA Conference Des Moines, Iowa  

Fact Checking the Measurement Discussion 

Myth Reality

You probably can’t 

Automation is worthless without your insight 

You probably need less

What is efficiency worth? 

I need to prove ROI 

I need automation 

I need more data 

Measurement is expensive 

A Typical Day in Communications 

Because the boss says so

47%

Because some one thought it was a good 

idea 37%

Because its cool11%

Because it helps our mission /bottom line

5%

Requests 

How Measurement Helps: Stop Doing the Stupid Stuff! 

Sales: Sales: Announce our latest contract 

win!

Mktg:Announce our latest strategic 

alliance

CEO:I hate talking to the 

media

The History of Measurement

Eyeball counting HITS  Outcomes

MSM Online Social media 

5

Times change, as do metrics 

Number of Placements

Impressions

Message exposure

Headlines

ThenNumber of conversions

SEO rank and influence

Message belief

Calls to Action

Now

6 steps to best‐in‐class 

1. Define your champagne moment 2. Agree upon acceptable proxies3. Define a benchmark4. Agree on your Kick Butt Index5. Get good data6. Use data to tell your story 

7

Six Steps to Success

1

2

3

4

5

6

Step 1: Define Your Champagne Moment What return is expected?  Define in terms of the business goals or mission

Define your champagne moment  If you are celebrating complete 100% success a year from now, what is different about the organization?

8

Definitions of “Success”  What’s the path?    

The “Spark” – top tier media coverage

Quality media coverage conveys messages

Influencers generate understanding/awareness 

Communications increases engagement 

Engagement increases revenue and revenue advances goals 

9

Relevant business metrics

Relevant branding metrics

• Customer retention rate• New customer acquisition costs • Cost to close a sale  • Profit• Efficiency

• Increase in the awareness of your brands

• Share of Voice • Increase in preference for our brand• Share of favorable product reviews 

Step 2: Agree on Acceptable Proxies

Procter & Gamble 

11

Purchase

Desirable Photo

Recommendation

Brand Benefit

Atlantic City Alliance

12

Intent to visit 

Desirable Photo

Dispels a Myth

Signature Experience

Call to action or recommendation 

Stories and Campaigns that drive downloads are smarter than ones that don’t 

0.41

0.44

0.47

AC items

ACA items

ACA Optimal ContentScore

Correlations between Web Visits and PR Metrics

Pearson r. value

13

13

0

50

100

150

200

250

300

0

20000

40000

60000

80000

100000

120000

140000

1/1/20

14 ‐ 1/7/20

141/8/20

14 ‐ 1/14

/201

41/15

/201

4 ‐ 1

/21/20

141/22

/201

4 ‐ 1

/28/20

141/29

/201

4 ‐ 2

/4/201

42/5/20

14 ‐ 2/11

/201

42/12

/201

4 ‐ 2

/18/20

142/19

/201

4 ‐ 2

/25/20

142/26

/201

4 ‐ 3

/4/201

43/5/20

14 ‐ 3/11

/201

43/12

/201

4 ‐ 3

/18/20

143/19

/201

4 ‐ 3

/25/20

143/26

/201

4 ‐ 4

/1/201

44/2/20

14 ‐ 4/8/20

144/9/20

14 ‐ 4/15

/201

44/16

/201

4 ‐ 4

/22/20

144/23

/201

4 ‐ 4

/29/20

144/30

/201

4 ‐ 5

/6/201

45/7/20

14 ‐ 5/13

/201

45/14

/201

4 ‐ 5

/20/20

145/21

/201

4 ‐ 5

/27/20

145/28

/201

4 ‐ 6

/3/201

46/4/20

14 ‐ 6/10

/201

46/11

/201

4 ‐ 6

/17/20

146/18

/201

4 ‐ 6

/24/20

146/25

/201

4 ‐ 7

/1/201

4

Relationship between High MQI and Site Visits

Site Visits High MQI Mentions

Step 3: Establish benchmarks

Past Performance Over Time Think 3 Whatever keeps your 

C‐suite up at night

14

Step 4: Define your  Kick‐Butt Index:

You become what you measure, so pick your KBI carefully

A good KBI must be:  Actionable Is there when you need it Continuously improves your processes

Gets you where you want to go 

15

Answer these questions first

What does your perfect story include? 

What is your worst nightmare?  What does an engaged 

customer/prospect do?  What does an engaged employee 

do?  What constitutes “quality” content?  What is an influencer?  What thoughts do you want to 

lead? 

16

We need a thought 

leadership program !

We need to focus on key influencers!

We need better media coverage!

We need to increase 

engagement!

Our content needs to 

be better! 

What IS a “good article”?

17

Desirable Criteria Score Undesirable Criteria Score

Positive: Leaves reader more likely to purchase, work for, or invest OR less likely to oppose

1Negative: Leaves reader less likely to purchase, work for, or invest OR more likely to oppose

1

Contains one or more positive messages 1.5 Contains one or more negative  

messages 2

Event/Program is mentioned 1 No Event/Program is mentioned 0

Dispels a myth 2 Perpetuates a myth  2

Positive headline 2 Negative headline  2

Third‐party endorsement 1 Recommends competition 1

Contains desirable visual 1.5 Contains undesirable visual 2

Total Score 10 Total Score ‐10

What does an engaged customer/prospect do? 

Metric  Weighting 

Complete a goal (Google Analytics)  ?

Signs up for email  ?

Attends an event ?

Positively Comments  ?

Watches more than 50% of videos  ?

Total 10

What does an engaged employee do? 

Metric  Weighting 

Participation in Training

Volunteers for Community Activity

Event Attendance

Comments

Videos watched > 50% 

Total 10

My Favorite Metrics  Events

• $$ Per Lead• $$ Per Minute spent with Prospect

• Pre/Post %    in goal• Share of desirable voice in media and/or share of event hashtags

For Owned Digital/ and Social, use these 

metrics:

• % ! in conversions• % ! in incoming  queries 

• % ! in preference/ consideration/trust

For Earned Media, use these metrics:

• % ! in conversions from earned content

• % ! in coverage containing 1+ key messages

• in share of desirable coverage vs. the competition

• %    in share of undesirable coverage vs. the competition

• % ! in incoming queries• % ! in preference or consideration or trust or awareness

For Internal Communications, use these metrics:

• %     in willingness to recommend

• % ! in employee engagement

• % ! in understanding of company priorities

Step 5: Collecting Good Data  

Data is driven by goals What outcomes is your program expected to achieve? 

Is it sufficient data?  Is it accurate?  Is it relevant? 

21

• 61% or identifiable Very High Volume posters were considered “suspicious.” *

• Popular Hashtags attract content spam (i.e. #corn, fat, obesity, opinion, pop, organic.)

Which data matters? 

Focus on the KPIs with pre‐assigned targets 

Analyze the outliers Include the metrics that answer 

the “why?”  Cluster the rest 

The 6 Most Common Data Problems

Duplicate data  Not enough data Too much data Too many metrics  Comparing apples to goats  Lack of standard terminology  Bots, spam and just plain bad data 

How to Make Sure Your Data is Clean

Only collect and report on the data that matters –i.e. connects to your goals 

Eliminate sources that aren’t relevant Check for and eliminate duplicates Make sure your data streams are parallel Develop a standard dictionary for all vendors Audit & test your data 

Get the right data 

25

• Survey or Online action Awareness• Survey or Online action Preference• Survey or Online action  Consideration

• Sales contact system ‐CRM Leads

• Monitoring/listening or Survey  Messaging• Monitoring/listening Visibility• Revenue/expenses Cost savings 

Objectives  Actions Metrics

26

Organizational Objectives

Online and multi‐media contribution

Online and multi‐media  Activity

Activity Metric Outcome Metric

Increase market share

Increase preference and consideration

Social MediaWebsitePodcast Videos 

•% increase in media quality score

•% increase in socialengagement

•% increase in preference and consideration

•% increase in qualified leads

Increase donations and/ormembership

Increase trust in the organization 

Content Creation • Increase in web conversions and online support 

•% increase in donations or membership 

Increase support for policy 

Educate consumers  Publish content  • Increase % of articles containing spokesperson quotes. 

•% increase in references to “global financier 

•% increase awareness and support 

4/22/2019

Objectives  Actions Metrics

27

Organizational Objectives

Online and multi‐media contribution

Online and multi‐media  Activity

Activity Metric Outcome Metric

Increase market share

Increase preference and consideration

Social MediaWebsitePodcast Videos 

•% increase in media quality score

•% increase in socialengagement

•% increase in preference and consideration

•% increase in qualified leads

Increase donations and/ormembership

Increase trust in the organization 

Content Creation • Increase in web conversions and online support 

•% increase in donations or membership 

Increase support for policy 

Educate consumers  Publish content  • Increase % of articles containing spokesperson quotes. 

•% increase in references to “global financier 

•% increase awareness and support 

4/22/2019

Objectives  Actions Metrics

28

Organizational Objectives

Online and multi‐media contribution

Online and multi‐media  Activity

Activity Metric Outcome Metric

Increase market share

Increase preference and consideration

Social MediaWebsitePodcast Videos 

•% increase in media quality score

•% increase in socialengagement

•% increase in preference and consideration

•% increase in qualified leads

Increase donations and/ormembership

Increase trust in the organization 

Content Creation • Increase in web conversions and online support 

•% increase in donations or membership 

Increase support for policy 

Educate consumers  Publish content  • Increase % of articles containing spokesperson quotes. 

•% increase in references to “global financier 

•% increase awareness and support 

4/22/2019

Step 6: Use Metrics to tell Your Story  

29

Rank order results from worst to best Stop doing the “worst” performing 

things Ask “So What?” at least three times Find your inner “Data Geek” (or 

someone who is) Compare to last month, last quarter, 

13‐month average

Make Data your Bitch

Figure out what kind of a story they need to hear  What’s keeping them up at night? 

What’s preventing them from earning their bonus? 

Analyze your data – What story can you tell 

Illustrate your story 

Real Life 

Without ACA Events, Optimal Content Scores for Atlantic City Would Have Been Significantly Lower 

The red line represents coverage of Atlantic City minus all mentions of ACA and its programs

4

3.252.75 2.99

3.652.96

3.36 3.24

2.34 2.37 2.43

1.30

‐1.24

0.37‐0.05

0.28 0.28

‐1.56

4.91

3.92

2.993.58

4.14 4.1 4.27 4.12 4.29

2.78 2.56

1.53

‐0.29

0.610.20

1.441.77

0.63

‐2

‐1

0

1

2

3

4

5

6

Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Jan Feb Mar Apr May June

Average OCS

 Score 

Atlantic City OCS without ACA Atlantic City OCS with ACA 32

Because of ACA’s efforts:• Coverage was less negative, and more positive 

• More downloads of the “Visitor Guide” were generated for less money

• People who saw news about Atlantic City are more likely to recommend and also perceive AC as fun and a place they are excited to visit – a key driver of preference. 

32

The Data is the Data 

Don’t be afraid of bad news You learn more from failure Suggest ways to improve Make sure you relate data to goals  

33

Prioritizing Efforts 

34

Market News InternationalJacksonville Business Journal Online

American BankerAtlanta Business Chronicle

ForbesMiami Herald

Jacksonville Business JournalNew York Times

Fox Business NetworkTimes‐Picayune Online

USA TodayUS News & World ReportWall Street Journal Online

Forbes OnlineWall Street JournalUSA Today OnlineCNNMoney.com

Atlanta Journal‐ConstitutionBloomberg Radio Network

Atlanta Business Chronicle OnlineEconomist

Fox Business OnlineBloomberg News

ReutersTheStreet

MSN Money (US)MarketWatch

Bloomberg TelevisionNew York Times Online

Calculated RiskCNBC

Washington Post OnlineMoneyBeat

TwitterBusiness Insider

CNBC OnlineReuters Online

NASDAQYahoo! FinanceSeeking Alpha

Outlets that Don't Include Key Messages Incorrect or Undesirable message No Message

Calculated Risk 2.42Atlanta Journal‐Constitution 2.40Fox Organizational Network 2.25Nightly Organizational Report Online 2.10WFLA‐AM (Fox News Radio) 2.00DealBook 1.63New Orleans City Organizational Online 1.00Forbes 1.00New Orleans City Organizational 1.00Miami Herald 1.00Facebook 1.00CNN Online 1.00Jacksonville Organizational Journal 1.00Reuters 0.91MarketWatch 0.90Economist 0.88FiveThirtyEight 0.75CNBC World 0.50Times‐Picayune 0.50Tennessean Online 0.50

Media Outlets with Lowest Quality Score 

More spokespeople would translate into better coverage

35

Research: A Pearson correlation 

addressed the relationship between the 

number of quotes and the volume of desirable coverage and found that the number of quotes and  the volume of desirable coverage 

are positively related

Mktg:We want to be 

seen as a thought leader 

Experts:I’m too busy to talk to the 

media

The Rules of Best‐in‐Class Measures  Resources: 

AMEC Framework IPR Standards Paine Publishing's Standards Central

This Photo by Unknown Author is licensed under CC BY‐SA

Focus on KPIs not metrics Tell a story that leadership needs to 

hear  Understand your data  Be the ultimate skeptic  Use only the data that tells a story  Use data that you can act on or that 

stops you from doing stupid stuff  Use charts that illustrate your story  Only show the data that impacts the 

business, the rest can go in an appendix

Remember These PointsIt’s not about the media or the tools, it’s about the business and the customers 1

It’s not about big data, but about how you use it.2

You need to be data informed, not data-driven.3

If you have questions:• Visit Paine Publishing online: www.PainePublishing.com• For any questions, email me: measurementqueen@gmail.com• Follow me on Twitter: @queenofmetrics• Follow Paine Publishing on Facebook• Or call me: +01‐603‐682‐0735

4

Thank You!

38

38

Visit Paine Publishing online: www.PainePublishing.comFor any questions, email me: measurementqueen@gmail.comFollow me on Twitter: @queenofmetricsFollow Paine Publishing on Facebook