1

You might think only dorks ‐ aka those boring academics care about research. But if even Brad Pitt made a movie about the value of research, perhaps it’s not so nerdy at all! The movie Moneyball which premiered 9/23/2011 is about how the manager of a losing baseball team was able to turn things around by using the right kinds of statistical models.

2

We discussed the concept of research and its philosophical implications last class. Today, we will discuss the process of literature review, with the important goal of developing hypotheses or theory. 

This lecture is an adaptation of workshop materials developed by Center for Academic Achievement, Carlow University

3

4

A lit review in an essential part of a larger research project

5

The literature review is more of an art than a science. Unfortunately, students tend to be sloppy about lit review. As we will see, finding a few articles that support our point of view is not literature review.

6

You cannot discuss or research a topic unless you know about the topic. Furthermore, in research you must learn what is known, collectively, about the topic. Only then you can form your own ideas and conclusions about the status of the general knowledge about this topic. 

7

Forming your own ideas and conclusions on the state of your topic research (e.g. distinguishing strong studies from poor ones, noticing what is not known yet) is called a “critical” review of the literature (and you may realized this is what you have been doing the last couple of weeks! As a result of your literature review, you can determine for example, after reading the available literature on this topic, that we know a lot about college dropouts (e.g. most students drop during the freshman year) but we know very little about why they drop . So, you find a research gap (an area we don’t know about) and may propose filling it in with your research study!

In other words, a critical lit review helps you identify what research still needs to be done

8

Your literature search is usually focused on the “Secondary” category. One important aspect to notice is that if you go to tertiary sources, the material is typically a few years old. First, it takes a long time to do a study (ranging from 1 to 5 years) and it takes a long time to write and publish a book (1 to 3 years). In fast‐changing fields (e.g., information technology) the age of the source is often a critical determinant of the source’s quality, relevance, or usefulness.

9

Before you start reading what has been studied about a topic, you must have an idea where to look for theses studies; that is, you must identify your sources. In my previous example of college dropouts, you might want to interview students who abandoned college (in this case we say you are using primary sources), read in journals dedicated to college education or even in newspapers about this problem (secondary sources) or look in aggregated knowledge sources (e.g. Encyclopedias). Also, if you are lucky, you may find a tertiary source with the title of “Handbook of College Dropout Studies” which may be an edited book with a collection of the most relevant studies in this area. In this case you hit a jackpot!

Now, you are beginning to understand –thanks to this course, especially Best’s book ‐ that not because the newspaper says something, it means it is true. Even worse, the investigative quality of the leading newspaper –lets say the “JustAfew Herald” in the town of  Justafew (I made up the name) with population of 1000 people will not be the same as in the case of the NY Times (just a matter of resources). So, here we come to the issue of relevance and reliability. If you are studying the problem of dropouts in that town, that source will be relevant but if you are studying the problem at a national level you may prefer to refer to the NY times because it is more reliable.  The reliability of a source is very arguable but typically the research community helps in this area. For example, in my own field of management information systems, the community recognizes certain rankings as very serious and rigorous when publishing an article. However, a word of warning. Independently of the public perception of reliability, you must read the information critically and make up your own conclusions whether what you read is reliable or not. The 

10

main “take away” of this course is probably your ability to read research critically!

Finally, notice that if we use the term “college dropouts” to search for articles on this topic, I might not get all the relevant articles or a comprehensive list. Why?... The problem of the keywords. Perhaps the most important study on this subject had the title: “Why students fail to complete their college education?” This means that you must generate a list of keywords of what to look for (make sure to include “college education”). This is really more of an art –in particular at the beginning‐ but little by little you will start noticing that certain terms appear over and over (people love to give “names” to social problems or problems in general (e.g. “restless leg syndrome”). So, the bottom line here is that your must generate keywords using word associations, brainstorming, and try to be creative and open‐minded!

With respect to what search to use, it used to be that people would go to the library and use their search tools to look for articles and books. We still do it but now we also have the advantage of the web and search engines such as Google, which –by the way‐ has a specialized academic search engine ( http://scholar.google.com/ ). What is the difference? All the reference links provided are academic sources. So, this is a good search tool to use for academic research. Unfortunately, it will provide the references in many cases but you will still have to go to the library to read the book or article.

10

11

12

13

14

15

16

You must also be able to find some sort of a classification structure for what you are reading. 

17

18

19

One important observation about the research review process is that it is an iterative process. Using your original keywords you look for articles but then you read an article which refers to another article (by the way, you must also “read” the list of references of the articles you read) and some new terms or keywords appear so you search for related articles again and when reading them you find that there are other terms and so on… However, each time you should be nailing down the problem (notice that it is a converging spiral) because you are going from the more general to the particular.

20

The first 4 items have been already discussed; however, it is important to address the last 2 points. The first time that students perform a literature review (I did it too as a research methods student!) they tend to report: Study X1 found Z1, study X2 found Z2, etc. This is just a list of references (usually commented ones). However, it is important to report something like this: Study X1 found Z1 but because it has some serious problems (e.g. insufficient sample size), its finding is questionable. On the other hand, the seminal study X2 found Z2 and this finding has been corroborated by study X3, etc.  This is more of a critical review of the literature (browse the exemplary “literature review” paper ‐ Zahra 2005 Antecedents & Consequences of Top Mgt Fraud).

The previous paragraph is an oversimplification of what critical literature review is about. You must also be able to find some sort of a classification structure for what you are reading. For example, you could classify the studies on college dropouts in terms of studies that deal with students’ family issues, college environment, psychological issues, etc. As any art, the literature review is learned through trial and error and through reading other researcher’s literature reviews.

Finally, at the end of the literature review, you must be able to state what the research gap (this missing piece of knowledge) that you intend to fill is. Otherwise, why bother in doing any research at all?

21

This workshop was prepared with help from

Columbia University Work Writing Center/School of Social Work web pageUniversity of North Carolina at Chapel Hill Writing Center web pagePurdue On‐line Writing Lab

22