14
How To Be A SurveyMonkey Audience Pro Impress your friends, colleagues and clients with your survey skills - look no further for all the tips and best practices to create a great SurveyMonkey Audience project The Process of Creating a Great Survey Project Picking A Target Audience Survey Writing Guide Start backwards Keep your objectives and focus narrow Choose 23 top goals Create 13 questions for each goal Use the Jumpstart Question Library Write questions so they are easy to understand Select the correct question type Normalize industry terms Avoid Yes or No answer choices where possible Don’t use numbers in rating scales Use time increments wherever possible Use portions instead of percentage Pricing questions Provide fully inclusive answer options Overlapping ranges Specific settings guidelines Require all questions Randomize answer choices when possible or relevant Audience Pro Preferences For Multiple Choice (Multiple answer) questions When similarly worded questions are asked, specific keywords should be highlighted: Use sentence case for all answer choices Skip logic Make your survey more inviting by doing the following: Survey Formatting Guide

SurveyMonkey Audience: Jumpstart Survey Creation Guide

Embed Size (px)

DESCRIPTION

SurveyMonkey Audience: an on-demand group of millions of survey respondents to take your surveys. Audience allows customers to target respondents on a wide variety of demographic and behavioral traits to get fast, high quality, cost effective data.

Citation preview

Page 1: SurveyMonkey Audience: Jumpstart Survey Creation Guide

How To Be A SurveyMonkeyAudience ProImpress your friends, colleagues and clients withyour survey skills - look no further for all the tipsand best practices to create a great SurveyMonkeyAudience project

The Process of Creating a Great Survey ProjectPicking A Target AudienceSurvey Writing Guide

Start backwardsKeep your objectives and focus narrow

Choose 2­3 top goalsCreate 1­3 questions for each goal

Use the Jumpstart Question LibraryWrite questions so they are easy to understand

Select the correct question typeNormalize industry termsAvoid Yes or No answer choices where possibleDon’t use numbers in rating scalesUse time increments wherever possibleUse portions instead of percentagePricing questionsProvide fully inclusive answer optionsOverlapping ranges

Specific settings guidelinesRequire all questionsRandomize answer choices when possible or relevant

Audience Pro PreferencesFor Multiple Choice (Multiple answer) questionsWhen similarly worded questions are asked, specific keywords should be highlighted:Use sentence case for all answer choicesSkip logicMake your survey more inviting by doing the following:

Survey Formatting Guide

Page 2: SurveyMonkey Audience: Jumpstart Survey Creation Guide

Formatting KeyReferences

Survey Example

The Process of Creating a Great Survey Project1. Decide what you want to know about your topic. Almost all SurveyMonkey Audience survey goals can be

framed as a hypothesis to prove or disprove.○ Ex: “I think the Kindle Fire will do well in the tablet market.” One of the main goals of the survey will

be to find out what people think about the Kindle Fire and its features.○ The SurveyMonkey Audience Survey Writing Guide will guide you more on how to come up with

survey goals.

2. Decide on targeting and how many respondents you need

● Tip from the Audience Pro: If you can’t figure out exactly who you need to target, contact your sales repor [email protected] and we’ll help you with custom targeting.

3. Write your survey with the SurveyMonkey Audience Survey Writing Guide

4. Use our format guide to help you draft offline and use formatting notes to help for fast survey programmingin SurveyMonkey

5. Once your survey is finalized, upload into SurveyMonkeya. Easily upload the survey yourselfb. Or have us do it for you using SurveyMonkey’s Custom Programming Service

● Tips from the Audience Pro:○ Make sure you setup your survey so it’s simple for respondents to complete and that questions and

answer options are clear and understandable.○ Customize your survey with Skip Logic and special formatting if needed and make sure all

respondents are taken to the appropriate sections in the survey with screener questions.○ Underline and bold specific question and answer text to make certain words stand out when

needed.○ When our Audience team programs surveys, we always hide asterisks after we have made sure all

questions are required, hide survey and page titles (so internal labels aren’t confusing forrespondents), and hide question numbers to keep a clean appearance to the survey.

6. Get responses!a. You can see responses as soon as they start coming in, on the “Analyze Results” tab of your

SurveyMonkey account. Simply login to your account, click on the Analyze Results tab, and a fullsummary of results will be displayed.

b. You can see the status of your project in a summary report on the “Collect Responses” tab in yourSurveyMonkey account.

7. Use SurveyMonkey Analyze Tools

Page 4: SurveyMonkey Audience: Jumpstart Survey Creation Guide

Picking A Target AudienceAfter you’ve decided on your project goals, decide who you need to answer your survey. Keep in mind that thenarrower your audience group is, the tougher it will be to collect responses. This is due to the limited availability ofthat people who fit that description in the general population.

E.g., It’s very difficult to find a large number of women who are vegetarian, drive a pickup truck and have a petgoldfish.

Take a look at the following list to see what SurveyMonkey Audience can target on or reach out to us to learn moreabout our detailed targeting capabilities. If you need international or advanced targeting that is not available in ourself­service tools, please inquire with your sales representative as our targeting attributes are always increasingand custom targeting is available. Our sales team is well equipped to help with any custom needs.

Based on the list above, select the criteria that will create a profile of the type of person who would likely qualify foryour survey.

E.g., If you want luxury bag owners, you can choose a target audience of females that have a household income of$100,000 or higher.

You will still be charged for the group of females who have household incomes of $100,000 but answer “No” to thequestion asking if they own a luxury bag.

Page 5: SurveyMonkey Audience: Jumpstart Survey Creation Guide

Survey Writing Guide

Start backwardsCreate your objectives by thinking about how you plan to use your data, and what you will need the output of yourdata to look like before creating any questions.

● Tip from the Audience Pro: Write your research conclusions first and then work backwards to draftquestions that will allow you to fill in the blanks. This will streamline the number of questions you need toask, and speed up your analysis since you can focus on the things that matter most.

Keep your objectives and focus narrow

Choose 2­3 top goalsFocus on key data needs, not “nice to have” information. This keeps survey creation simpler and makes dataanalysis easier. Make sure your goals are very clear and measurable.Example:Goal 1: How many people subscribe to Netflix?Goal 2: How satisfied are Netflix subscribers?Goal 3: What are people using instead of Netflix?

Create 1­3 questions for each goalWrite out the questions to answer your goals directly. It’s best to focus on questions that can be answered by thegeneral pool of respondents who will be taking your survey.

Example:Question for Goal 1: Are you currently subscribed to Netflix?Questions for Goal 2: How satisfied are you with Netflix? How likely are you renew your Netflix subscription at theend of your billing cycle?Question for Goal 3: What other service(s) do you use to watch streaming video?

Use the Jumpstart Question LibraryDon’t know how to ask your questions? Use the our Question Library,which includes commonly used surveyquestions written by our in­house survey experts. They are written to be methodologically sound and easy toanalyze.

Write questions so they are easy to understand

Select the correct question typeOften, survey creators pick the wrong question type to use. This is frequently just a simple mistake. If you wantusers to only select one answer in a multiple choice question, use the Multiple Choice (Only One Answer) questiontype. If you want them to be able to select multiple options in a multiple choice question, use the Multiple Choice(Multiple Answers) question type.

Page 6: SurveyMonkey Audience: Jumpstart Survey Creation Guide

Normalize industry termsBe careful when using terminology that may be familiar to you or your industry, but not to the average consumer orpotential targets of the survey. Seek out industry terms then adjust them to use common English. Examplesshould be added where relevant.

For example: If you are targeting iPad or Android tablet owners, asking if they own a "tablet PC" may be ok sincethey are likely to know the terminology. But if you were asking a more general audience, you may want to useclarifying language or examples like "tablet computer (e.g., iPad, Android tablet)" to ensure the respondentsunderstand question language and answer choices.

Avoid Yes or No answer choices where possibleAsking Yes/No question can be valuable if you need a straightforward answer. On the other hand using a questionwith ranges can give you more insight and will allow respondents to answer more truthfully. Ranges also givemidpoints that respondents can choose.

For example: Ask “how likely are you to cancel your subscription in the next 6 months” instead of “will you cancelyour subscription in the next 6 months?”

Avoid:Will you be upgrading to the iPhone 5 in the next month?YesNo

Use:How likely are you to upgrade to the iPhone 5 in the next month?Extremely likelyVery likelyModerately likelySlightly likelyNot at all likely

Don’t use numbers in rating scalesRating scales should be labeled, ideally with descriptive language to increase option clarity for respondents. Ratingscales should also typically use 5 or 7 point scales so that a midpoint exists and can give give evenly spacedrespondent choices that you can use to assign percentage numbers to (e.g., 0%, 25%, 50%, 75%, 100%). Theword choices we use in our ranges were built by our methodology team after rigorous testing on which descriptivewords were evenly spaced to provide a comprehensive range. We recommend the following:

Unipolar: the response can be thought of as having a five point scale (0 to 4)ExtremelyVeryModeratelySlightlyNot at all

Bipolar: the response can be thought of as having a seven point scale (­3 to +3)

Page 7: SurveyMonkey Audience: Jumpstart Survey Creation Guide

Much moreModerately moreSlightly moreNeither more nor lessSlightly lessModerately lessMuch less

Avoid:Please rate 1 to 5 how important the the checkout process is in a shopping site.1 ­ Very important2345 ­ Not important

Use:Please rate how important the checkout process is in a shopping site.Extremely importantVery importantModerately importantSlightly importantNot at all important

Use time increments wherever possibleIt is often very helpful for both data analysis and for question clarity, to limit the scope of a question to a specifictime period. Not defining a time period in a question can lead respondents to define their own time ranges, orattempt to answer based on a period of time "ever" that is difficult to recall. In some cases, such as demographicquestions or yes/no questions, time definitions are unnecessary. In other cases, consider adding or refininglanguage to includes statements such as:

In the past week, have you …In the past 30 days, have you …In the past 12 months, have you …In a typical day, do you …In a typical week, do you …

Avoid:How much do you usually spend on groceries?

Use:In a typical week, how much do you usually spend on a groceries?

Use portions instead of percentageThis allows respondents to do minimal mind work before answering and provides less room for error. Commonportion breakdown can be:

All

Page 8: SurveyMonkey Audience: Jumpstart Survey Creation Guide

MostAbout halfSomeNone

Avoid:About how much of your marketing budget do you spend on online advertising?0­25%26­50%51­75%76­100%

Use:About how much of your marketing budget do you spend on online advertising?All of itMost of itAbout half of itSome of itNone of it

Pricing questionsAsking respondents for their feedback on pricing can be tricky. To normalize answer options so respondents canuse familiar words and a 5 or 7 point range, use the standard ranges we provide that have been developed by ourmethodology team.

For example:Is $XXX too expensive, too cheap, or about right?Do you think the price is too high, too low, or about right?How much would you be willing to pay?

Avoid:What do you think of the current price for an Amazon Prime subscription?I like itI don’t like it

Use:Do you think $76 for an Amazon Prime subscription is too high, too low, or about right?Much too highSomewhat too highSlightly too highAbout rightSlightly too lowSomewhat too lowMuch too low

Provide fully inclusive answer optionsWhen providing answer options, it can be helpful for data quality to ensure that all possible response options forrespondents who have reached a question are included. In many cases, respondents have been targeted on a

Page 9: SurveyMonkey Audience: Jumpstart Survey Creation Guide

certain attribute or have answered previous questions in the survey in a manner where full inclusivity is notnecessary. But providing options that allow users who cannot find an answer choice that suits them is helpful.Answer choices that can be helpful in accomplishing inclusivity include:

None of the aboveI don’t knowOther (please specify)

Avoid:In the last 30 days, which of the following organic products have you purchased? (Select all that apply.)Organic foodsOrganic skin care productsOrganic hair care productsOrganic clothingOrganic housewaresOrganic toys

Use:In the last 30 days, which of the following organic products have you purchased? (Select all that apply.)Organic foodsOrganic skin care productsOrganic hair care productsOrganic clothingOrganic housewaresOrganic toysNone of the aboveOther (please specify)

Overlapping rangesWhen using ranges in a multiple choice (single answer) question, it is a best practice to ensure that ranges do nothave any overlap and are mutually exclusive. Overlapping ranges can cause data quality issues since two differentrespondents with the same answer would be able to accurately select different options. A common rangeconvention we use is:

01­23­56­10More than 10

Avoid:In a typical day, how many times do you view updates or other information on Facebook?0 times1­2 times2­3 times3 or more times

Use:

Page 10: SurveyMonkey Audience: Jumpstart Survey Creation Guide

In a typical day, how many times do you view updates or other information on Facebook?0 times1 time2­3 timesMore than 3 times

Matrix/Grid questionsWhile SurveyMonkey does allow users to create matrix or grid questions, and in some cases they are very useful,in many cases they are harmful to data quality. A matrix with 6 rows is essentially 6 questions, so should be askedas such. When matrices are used, survey creators are often asking respondents to answer several questionsusing the same scale, when the scale or wording should be altered. Matrix questions also lead to respondentfatigue and long surveys and satisficing. While a 6 row matrix question may seem like 1 question, the cognitivedecisions required to answer accurately may mean that it should take nearly a full minute to answer. Oursuggestion, when possible, break down your matrix/grid questions into multiple questions, one question for eachrow, and appropriately label the scales used.

Specific settings guidelines

Require all questionsSurvey respondents might skip a question by mistake, or click the “next page” button too early, so requiringanswers to questions can help avoid missing key data.

Randomize answer choices when possible or relevantRemove order bias by randomizing answer choices in multiple choice questions.

Audience Pro PreferencesThe following tips are SurveyMonkey Audience Survey Expert preferences for consistency purposes. They areinternal guidelines and not necessarily needed to ensure methodological soundness, but can lead to betterrespondent experience.

For Multiple Choice (Multiple answer) questionsAt the end of the question, always add: (Select all that apply.)

When similarly worded questions are asked, specific keywords should be highlighted:In survey questions: use underlinesIn survey response options: use bold

Use sentence case for all answer choicesCapitalize only first letter of each optionThis does not apply in the case of proper nouns

Skip logicLabel all pages where you may skip respondents to indicate specific sections. This can be a significant help whenediting a survey and making changes since pages will be clearly labeled.

Page 11: SurveyMonkey Audience: Jumpstart Survey Creation Guide

Make your survey more inviting by doing the following:Hide asterisksHide survey titlesHide page titlesDo not include progress bars

Page 12: SurveyMonkey Audience: Jumpstart Survey Creation Guide

Survey Formatting Guide● Tip from the Audience Pro: If you are programming your survey offline, use this formatting guide to make

it easy for you or anyone else to understand and upload your survey into SurveyMonkey.

Formatting Key● Items in [BRACKETS] are instructions for inputting the survey into SurveyMonkey, examples include:

○ [randomize] = randomize responses○ [skip to PAGE TITLE] = skip that answer choice to PAGE TITLE○ [skip to DISQUALIFY] = skip that answer choice to DISQUALIFY

■ if [skip to DISQUALIFY] is used on a PAGE TITLE, use page logic to skip all to DISQUALIFY○ [open text] = use an open text or paragraph question type

● Items on their own line, in ALL CAPS, indicate that a new page should be added, and the page title of thenew page

○ SPLIT PAGE indicates to add a new page or use the “split page” button● Numbered items (e.g., 1. Lorem ipsum...) indicate questions● Specific formatting guidelines

○ When a question ends with “(Select all that apply.)”, this question should be a multiple choice,multiple answer question type

○ When needed, the “add Other as an answer choice” option should be checked while inputting thesurvey into SurveyMonkey

○ When [randomize] is used, if the last answer choice, or second to last answer choice when an“Other (please specify)” option is used, should not be randomized (this is an option in the relevantquestion types)

○ If words in a question or answer choice use underline or bold formatting, use HTML in the questionfor the designated words or phrases

■ for question language, use underline, since all questions are bolded: <u>word or phrase</u>■ for answer language, use bold: <b>word or phrase</b>

● All questions should be required unless otherwise noted● Hide asterisks for required questions● Hide all page titles● Hide all question numbering

References● How to add Other as an answer choice● How to require questions● How to hide page titles and question numbers● How to enable HTML in your account

Survey ExamplePAGE: DEMOGRAPHICS

1. How much income did all members of your household earn in 2011?a. Less than $20,000

Page 13: SurveyMonkey Audience: Jumpstart Survey Creation Guide

b. $20,000 to $49,999c. $50,000 to $99,999d. $100,000 to $149,999e. $150,000 or moref. Prefer not to disclose

PAGE: UNAIDED BRAND AWARENESS

1. Which websites/mobile apps have you heard about that allow you to make restaurant reservations online?a. [open text]

PAGE: OPENTABLE SCREENER

1. Have you heard of OpenTable?a. Yes, and I have used itb. Yes, but I have never used it [skip to DISQUALIFY]c. No [skip to DISQUALIFY]

PAGE: OPENTABLE USERS

1. About how many times do you use OpenTable in a typical month?a. 0b. 1­2c. 3­5d. 6­10e. More than 10 times

2. When needing to make a restaurant reservation, how often do you use OpenTable when it’s available?a. All the timeb. Most of the timec. About half the timed. Some of the timee. None of the time

3. Overall, how satisfied are you with OpenTable?a. Extremely satisfiedb. Very satisfiedc. Moderately satisfiedd. Slightly satisfiede. Not at all satisfied

4. What do you like most about OpenTable?a. [open text]

5. What do you dislike most about OpenTable?a. [open text]

6. Do you have a smartphone (e.g., iPhone, Android, BlackBerry) or tablet computer (e.g., iPad, Kindle Fire)?a. Yesb. No [skip to END]

PAGE: OPENTABLE MOBILE APP

Page 14: SurveyMonkey Audience: Jumpstart Survey Creation Guide

1. Do you have the OpenTable mobile app on your smartphone or tablet computer?a. Yesb. No