21
In this lecture we will explore the basic elements of scientific research. These elements are common across all scientific inquiries, ranging from hard sciences such as math and chemistry, to social sciences such as psychology or criminology. Specifically, our goal is to become familiar with these key concepts: 1. Variables, Concepts and Constructs 2. Hypotheses 3 Theories 3. Theories 1

Mba724 s2 w1 elements of scientific research

Embed Size (px)

Citation preview

Page 1: Mba724 s2 w1 elements of scientific research

In this lecture we will explore the basic elements of scientific research. These elements are common across all scientific inquiries, ranging from hard sciences such as math and chemistry, to social sciences such as psychology or criminology.

Specifically, our goal is to become familiar with these key concepts:1. Variables, Concepts and Constructs2. Hypotheses3 Theories3. Theories

1

Page 2: Mba724 s2 w1 elements of scientific research

Let’s take the notion of “theory” as an example. We all have our own theories in everyday life. Do you like to cook?What do you like to make? What ingredients and methods bring about the best tasting dish?cook? What do you like to make? What ingredients and methods bring about the best tasting dish? 

What do you believe would make the best hummus or vegetable soup or chili?

The ingredients are the “concepts” (or independent variables) and the taste is the outcome (or dependent variable).

For example, perhaps you believe that the best tahini makes the best hummus. In other words, you believe that the quality of tahini (independent variable) affects the taste of hummus (dependent variable.)  these variables will be explained in detail later.

You probably have a bunch of reasons why tahini is so important. These reasons constitute your theory about hummus making. This theory helps you form a hypothesis about the relationship between tahini and hummus.

We also have lots of informal theories that guide us in our lives – theories about child rearing or proper maintenance of an automobile. The difference between such informal (or “folk”) theories and more formal, scientific theories is simply that:

1. Scientific theories are more rigorous in logical reasoning, whereas informal theories can contain logical inconsistencies hen e amined more caref ll (e g professional athletes make a lot more mone thaninconsistencies when examined more carefully (e.g., professional athletes make a lot more money than the rest of us; poor people commit more white collar crime than rich people do)

2. Scientific theories are usually examined empirically using a systematic method (e.g., a systematic survey of athletes’ income over the entire duration of their professional lives; a correlational study of socio‐economic status and white collar crime rate)

2

Page 3: Mba724 s2 w1 elements of scientific research

Your book defines these terminologies in a fairly general wayHere we try to illustrate these terminologies using concrete examples. Please contact the instructor right away if you are still confused about these 3 terms after reviewing the slides

3

Page 4: Mba724 s2 w1 elements of scientific research

Concepts are smaller units of “ideas”A concept usually contains a single idea, along a single dimension (we’ll explain dimension on later slides)

Construct’s on the other hand, are broader ideas that include multiple concepts/dimensions

These examples are designed to help you see their differences more concretelyThese examples are designed to help you see their differences more concretely

4

Page 5: Mba724 s2 w1 elements of scientific research

Variables tend to be very specific and quantifiableA variable usually measures an (abstract) concept, or a small aspect of a conceptFor example, net income (as a variable) can be a measure of firm performance (an abstract concept) or a dimension of firm performance (other dimensions may include customer satisfaction, stock price, etc)

5

Page 6: Mba724 s2 w1 elements of scientific research

Variables are not just limited to things that are easy to count (e.g., price, number of stocks)

They can also be measures of more abstract concepts, such as trust, morale, emotion or culture

6

Page 7: Mba724 s2 w1 elements of scientific research

Every concept or construct must be defined operationally if we want to use them for empirical research. In other words, if we want to measure something abstract (e.g., happiness), we need to tell people how we are going to count it (e.g., number of smiles per hour?)

Operational definition is a clear specification of how you will measure the variable.For example, with the gender variable, one way to operationalize is to have people self report their gender on a survey questionnaire An alternative operationalization is to hire areport their gender on a survey questionnaire. An alternative operationalization is to hire a nurse to give everyone a physical inspection!

Another example is customer satisfaction. There are several ways to operationalize it:Operational definition 1: customer’s self report on a satisfaction questionnaireOperational definition 2: average reviews on AmazonOperational definition 3: Number of times products are returned to store

The importance of operational definition is illustrated by how the concept of “poverty” is defined.

The level of poverty in countries in third world countries is very low with respect to the developed with countries. However, students may be surprised to know that the $ threshold to define poverty is different in both groups is different (if the threshold were notthreshold to define poverty is different in both groups is different (if the threshold were not different for both groups, everybody would be poor in the third world (compared to incomes in countries like the U.S.) or everybody would be rich in the U.S. (compared to incomes in the third world). 

Why are operational definitions so important? Imagine that you read that the unemployment in the U.S. is much lower than the unemployment in the U.K.  Under what i t th i i lid?

7

Page 8: Mba724 s2 w1 elements of scientific research

When you state your research questions, you should be able to identify your variables right away from the questions. For example, if the questions is about whether men or women are the happier gender, then you should be able to see two variables – gender as variable #1, and level of happiness as variable #2.

Your research questions are the “report” type if you just summarize each variable alone. For example, you report how many men vs. women there are in the sample. You also report on average how happy they are But you don’t discuss how the two variables relatereport on average how happy they are. But you don t discuss how the two variables relate to each other – is one gender happier than the other? That’s a “descriptive”, not “report” type of question.

If you ask “Does gender explain why you’re happy/unhappy?” then this becomes an explanatory research question.

If you ask “Given a particular gender, can we predict how happy a person might be?” this becomes a predictive question.

All these questions involve exactly the same two variables – gender and happiness. However, they specify different kinds of relationships between these two variables.

Different research questions require different research designs to obtain the answers weDifferent research questions require different research designs to obtain the answers we seek. 

Caution: A variable is a variable only if it "varies" across subjects in your study. 

E.g., How many people will attend a yoga class?Truth or myth? ‐ The yoga class would be the independent variable and the number of 

l tt di ld b th d d t i bl8

Page 9: Mba724 s2 w1 elements of scientific research

When identifying your variables, make sure they are uni‐dimensional. In other words, do they vary along a single dimension? 

On this slide you can see that gender is a uni‐dimensional variable, whereas “niceness” can be a multi‐dimensional variable.

Other examples of multidimensional variables are “City’s best interest,” “Socio‐economic status ” “IQ ” “program success ” “emotion ” etc these are also usually referred to asstatus,   IQ,   program success,   emotion,  etc.  these are also usually referred to as constructs

9

Page 10: Mba724 s2 w1 elements of scientific research

On the flip slide, sometimes two variables may actually be the same one.

One common mistake is to consider variables that overlap or that they are not really distinct from each other.  A crude example could be if I want to study the factors affecting students’ success in a course and I believe that it is important to measure the emotional approach to the course which has two dimensions: how much the student loves the course and how much he/she hates the subject! (I know it is a silly example but proves my point ☺)☺)

On the slide you can see that it’s hard to imagine that someone would be polite and rude at the same time, or impolite but not rude at the same time. In this case, politeness and rudeness are probably not two separate variables, but rather the two ends of the same spectrum (variable.)

10

Page 11: Mba724 s2 w1 elements of scientific research

When we talk about a testable hypothesis, we mean if the hypothesis can be proved to be false (we cannot prove if a proposition is true – we can only prove it to be wrong – we discussed this idea in the previous session.)

Developing hypothesis is about asking questions about how variables relate to one another

11

Page 12: Mba724 s2 w1 elements of scientific research

In “How X relates to Z conditional of Y “ Y or gender is the moderator variableFor your research project, you should concentrate on rather simple questions with 2 or 3 variables at the most.

12

Page 13: Mba724 s2 w1 elements of scientific research

These diagrams are visual illustrations how variables may relate to each other

Causation is one of the most difficult relationships to “prove”

The third relationship, called a conditional model, will be explained in more detail in the next slide.

13

Page 14: Mba724 s2 w1 elements of scientific research

Variable Y is called the moderator and changes the strength of the relation between X and Z or the nature of that relationship.  In the example given, it may be that stock price decreases more quickly than usual when a data breach is reported. However, this effect is more dramatic, that is, positively moderated, when the firm is large (i.e., with more than $100 million of net income.)

14

Page 15: Mba724 s2 w1 elements of scientific research

Notice that we started using the term models in the previous slide, as soon as the relationships we started to study moved beyond one. Remember that a model is a simplified representation of phenomena. The first model here tries to explain how top management beliefs and participation influence the success of complex programs. The second model is a variation of the “Technology Acceptance Model” that tries to explain the antecedents of Information Technology (IT) adoption by users.

15

Page 16: Mba724 s2 w1 elements of scientific research

The meaning of “scientific theory” is different from the way we use the word “theory” in every day language – “speculative” as opposed to fact/practice

16

Page 17: Mba724 s2 w1 elements of scientific research

Parsimony: Using a minimal number of concepts, principles, or assumptions to explain a maximal number of cases

An example of a theory that’s not parsimonious:Jason may have a theory of why Enron failed – He speculated over 50 reasons –overcompensated CEO, greedy consultants, lazy employees, lack of a hotline, too many acquisitions, too few outside board members, disfranchised corporate culture, company size too big growth too fast CEO has a private jet etcsize too big, growth too fast, CEO has a private jet, etc.

He speculated that all 50 factors must be present in order for a company to fail.Turned out that these 50 factors only apply to Enron. They don’t apply to many other companies that also failed miserably.

We would say that Jason’s theory is not parsimonious because it’s an entangled web of principles, speculations, overlapped reasonings, etc that only explain one isolated case (i.e., Enron)

In contrast, if Jason could organize these 50 different thoughts into 3‐4 major themes that not only apply to Enron, but many other similar cases (e.g, WorldCom and others), his theory would be more powerful (more useful) and more parsimonious

17

Page 18: Mba724 s2 w1 elements of scientific research

Why Companies Fail by Ram Charan and Jerry Useemhttp://money.cnn.com/magazines/fortune/fortune_archive/2002/05/27/323712/index.htm

This article speculates 10 factors that explain why companies would fail.Although it’s not technically a rigorous scientific theory (much tighter logic and more in‐depth elaboration is needed,) it is a good illustration of the types of theories we commonly find in the popular pressfind in the popular press

If you want to apply this theory to empirical research, the first step is to identify concepts and see if you can measure them somehow. To do that we should begin with operational definitions.

How would you operationally define the following “concepts?”• Softened by success• See no evil• Overdose on risk

Because these concepts are taken from a popular press article, they are not defined by the writer. The concepts are loosely illustrated by examples rather than defined logically.

Perhaps we can attempt to define them more formally here.For example, by “softened by success,” the authors attempt to theorize that the more successfully the company is, the less likely they are to make sound decisions (blinded by their own success.) This statement expresses the logical relationship between two concepts: firm success and decision making abilities. The relationship between the two concepts is negative. In other words, “softened by success” is not a concept. Rather it is a 

iti /h th i18

Page 19: Mba724 s2 w1 elements of scientific research

Earlier we discussed features that define a good scientific theoryLet’s apply these principles to examine this theory

19

Page 20: Mba724 s2 w1 elements of scientific research

This diagram summarizes factors that have been theorized to affect tax fraud levels (based on a review article by Torgler 2008). The diagram shows a research “model” which graphically summarizes the different components of the theory.

The theory is intended to explain why people commit tax fraud. The model shows that the theory provides two explanations – when people have a low level of tax morale (X1), they are more likely to commit tax fraud (Y)  X1 leads to Y would be the first hypothesis

The model also shows that when people perceive the institution to be corrupted (X2), they are more likely to commit tax fraud (Y)  X2 leads to Y would be the second hypothesis

Finally, the model shows that when people perceive the institution to be corrupted (X2), they are more likely to have a lower level of tax morale (X1)  X2 leads to X1 would be the third hypothesis

X1, X2, and Y are “constructs” because they refer to abstract, as opposed to concrete, and multi‐dimensional ideas. 

In order to test this theoretical model, the scientific method would require empirical testing. How would you go about testing this theory?

Independent Variables (called so because they are the ones that will cause the change according to the theory): X1, X2[Independent variables –IV‐ are sometimes called “predicting variables” or “predictors”Dependent Variable (called so because it is the one that will be affected by the independent variables): Y[Dependent variables –DV‐ are sometimes called “predicted variables” 20

Page 21: Mba724 s2 w1 elements of scientific research

As a group you may want to discuss these questions and consult the instructor if you aren’t sure about your answers

At this point you should be able to draw a very concrete research model to represent your explanatory/predictive research question

21