Más allá de «los métodoscualitativosversus los cuantitativos»

Charles S. ReichardtUniversidad de Denver

Thomas D. CookUniversidad de Northwestern

Existe un considerable desacuerdo sobre laadecuación de varios métodos y posturas meto-dológicas al realizar investigaciones evaluativas.Un punto de debate creciente se centra en la dis-tinción entre métodos cuantitativos y cualitati-vos. Por métodos cuantitativos, los investigado-res entienden técnicas de experimentos aleato-rios, cuasi-experimentos, tests «objetivos» de lá-piz y papel, análisis estadísticos multivariantes,encuestas por muestreo, etc... En contraposición,los métodos cualitativos incluyen la etnografia,el estudio de casos, las entrevistas en profundi-dad y la observación participante. Cada uno deestos métodos —tipo, es decir, cuantitativo y cua-litativo, ha adquirido un círculo distinto de de-fensores que argumentan que los métodos porellos preferidos son los que mejor se prestan a laevaluación. A continuación se presenta unamuestra de las opciones a favor de cada lado deldebate.

Se cita a menudo a Campbell y Stanley (1966)y Riecken et al. (1974) como firmes proponentesde los métodos cuantitativos. Aunque Campbelly Stanley (1966:2) no estaban primordialmenteinteresados en la investigación cualitativa, des-criben el experimento como: «única vía de esta-blecer una tradición acumulativa en la cual pue-

dan introducirse mejoras sin peligro de desecharfrívolamente la sabiduría heredada en favor denovedades inferiores». Riechen et al. (1974: 6,12) son sólo ligeramente más moderados en susafirmaciones sobre los experimentos y no me-nos vehementes: «Los experimentos no sóloconducen a inferencias causales más claras sinoque el mismo proceso de diseño experimentalayuda a clarificar la naturaleza del problema so-cial que se investiga». «Cuando las condicionesno son problemáticas o cuando la creatividad ola ingeniosidad del director de la investigaciónpueden resolver problemas dificiles, el experi-mento es el método de elección para obtener in-formación fidedigna y válida en base a la cualplanificar programas sociales».

Weiss y Rein (1972), Parlett y Hamilton (1976)y Guba (1978), entre otros, están al lado de quie-nes abogan por los métodos cualitativos. En par-ticular, Weiss y Rein (1972: 234) sugieren variasestrategias alternativas de investigación deriva-das de la tradición cualitativa que creen es «engeneral superior al diseño experimental comometodología para evaluar programas de amplioalcance». Refiriéndose específicamente a la eva-luación educativa, Parlett y Hamilton (1976: 141)añaden con gran énfasis:

41

«De un modo característico, los planteamien-tos convencionales han seguido las tradicionesexperimentales y psicométricas dominantesen la investigación educativa. Su obletivo (noconseguido) de llegar a "métodos plenamenteobjetivos" ha llevado a investigaciones queson artificiales y muy restrictivas en cuanto asu ámbito. Sostenemos que tales evaluacionesson inadecuadas para dilucidar las complejasáreas de problemas que estudian y, como re-sultado, aportan poco que sea efectivo al pro-ceso de toma de decisiones... La .evaluación es-clarecedora pertenece a un "paradigma antro-pológico de investigación" contrapuesto.»

Análogamente, Guba (1978: 1) arguye que lainvestigación naturalista (que es asimilada al tra-bajo de campo etnográfico y al periodismo in-vestigador y es presentada como diametralmen-te opuesta a la indagación convencional experi-mental) ofrece un «modo de evaluación máscongruente y más sensible que cualquier otro delos que hoy en día se están practicando».

El pensamiento actual está remanente más endesacuerdo de lo que de hecho estas dos seriesde citas indican. Hay desacuerdo sobre si hay ono desacuerdo. Rossi y Wright (1977: 3), porejemplo, afirman que «hay un acuerdo práctica-mente universal entre los investigadores de queel experimento aleatorio controlado es el mode-lo ideal para evaluar la efectividad de una políti-ca». Guba (1978) cita esta afirmación con obviodesdén.

El objetivo del presente artículo es sugerirque, en parte, el debate actual sobre métodoscualitativos y cuantitativos no se centra en cues-tiones fructíferas y, por tanto, no se discute tanlógicamente como se debería. Con esto no que-remos sugerir que sea posible un resolucióncompleta de esta disputa metodológica. Como sediscutirá más adelante, hay cuestiones importan-tes que surgen del debate y que permiten esta-blecer 1:gerencias genuinas de opinión y de jui-cio. Continuar el debate sería totalmente apro-piado para expresar sentimientos como los con-tenidos al menos en algunas de las citas anterio-res. Pero el debate, tal como está siendo progre-sivamente planteado, está oscureciendo las cues-tiones y creando, innecesariamente, cismas en.tre los dos métodos, cuando deberían construir-se puentes y clarificar desacuerdos genuinos quemerecen atención.

El lenguaje del debate actual

Para comprender algunas de las falacias en elpensamiento actual que están haciéndose popu-lares, habrá que apreciar más a fondo como estásiendo planteada la discusión entre los dos méto-dos. Comentaristas recientes, críticos y defenso-res (Guba, 1978; Parlett y Hamilton, 1976; Pat-ton, 1975, 1978; Rist, 1977; y Wilson, 1977) noven la discusión como un mero desacuerdo so-bre las ventajas y las desventajas relativas de losmétodos cualitativos y cuantitativos sino comoun choque fundamental entre paradigmas meto.dológicos. Según este punto de vista, cada méto-do-tipo se asocia con una perspectiva paradigmá-tica independiente y única y son estas dos pers-pectivas las que están en conflicto. Como lo for-mula Rist (1977: 43) «Ultimamente la cuestión noson las estrategias de investigación, per se. Másbien la adhesión a un paradigma como opuestoa otro predispone a ver el mundo y sus aconteci-mientos de manera profundamente diferente».

De Khun (1962, 1970) se toma el concepto deparadigma. Sobre esta base, Patton (1978: 203)define un paradigma corno

«una visión del mundo, una perspectiva gene-ral, una forma de desmenuzar la complejidaddel mundo real. Como tal, los paradigmas es-tán profundamente insertos en la socializa-ción de sus seguidores y practicantes; los para-digmas les dicen lo que es importante, legíti-mo y razonable. Los paradigmas son asimis-mo normativos, diciendo al que lo pone enpráctica qué hacer sin la necesidad de largasconsideraciones existenciales o epistemológi-CaS».

Quienes ven la discusión en términos de uncontraste entre paradigmas, suelen ofrecer unalista de atributos que se supone distinguen las vi-siones cualitativas y cuantitativas del mundo.Rist (1977), por ejemplo, ofrece tres atributos,Patton (1978) siete, y Guba (1978) da catorce. Sinintentar ser exhaustivos, se presentan en la Ta-bla 1 muchos de los atributos de cada paradig-ma. Brevemente, al paradigma cuantitativo seatribuye una visión del mundo porsitivista, hipo-tético-deductiva, particularista, objetiva, orienta-da hacía resultados y propia de la ciencia natu-ral. En cambio, se dice que el paradigma cualita-tivo se adscribe a una visión del mundo fenome-nológica, inductiva, holística, subjetiva, orienta-da hacia el proceso propio de la antropología so.

42TABLA 1

Atributos de los paradigmas cualitativo y cuantitativo

Paradigma cualitativo

- Defiende la utilización de métodos cuali-tativos

- Fenomenología y «verstehen»: buscacomprender el comportamiento humanoa partir del propio marco de referenciadel individuo

- Observación naturalista y no controlada

- Subjetivo

- Cercano a los datos; perspectiva desdedentro

- Fundamentado en la «realidad», orienta-do hacia el descubrimiento, explorato-rio, expansionista, descriptivo e inducti-vo

- Orientado hacia el proceso

- Válido; datos «reales», «ricos» y «profun-dos»

- No generalizable; estudio de casos aisla-dos

- Holístico

- Supone una realidad dinámica

Paradigma cuantitativo

- Defiende la utilización de métodos cuan-titativos

- Lógico-positivista: busca los hechos ocausas de los fenómenos sociales conpoca atención a los estados subjetivos delos individuos

- Medición reactiva y controlada

- Objetivo

- Apartado de los datos; perspectiva desdefuera

- No fundamentado en la «realidad»,orientado hacia la verificación, confir-matorio, reduccionista, inferencial e hi-potético-deductivo

- Orientado hacia el resultado

- Seguro; datos «duros» y replicables

- Generalizable; estudio de casos múlti-ples

- Particularístico

- Supone una realidad estable

cial. La descripción de Filstead de los paradig-mas es mucho más completa y detallada.

Estas caracterizaciones paradigmáticas se ba-san en dos supuestos que son consecuencia di-recta de la discusión sobre los métodos. Primero,se supone que un método-tipo está ligado irrevo-cablemente a un paradigma de modo que la ad-hesión a una paradigma proporciona los mediosúnicos y adecuados para elegir entre los méto-dos-tipo. O sea, dado que los investigadokes venel mundo de maneras diferentes, deben utilizarmétodos diferentes de investigación. Si la pers-pectiva evaluativa de una persona está más es-trechamente relacionada con los atributos delparadigma A que con los del paradigma B, debeautomáticamente preferir estos métodos de in-vestigación relacionados con el paradigma A. Se-gundo, se supone que los paradigmas cualitati-

vos y cuantitativos son rígidos y fijos y que laelección entre ellos es supuestamente la únicaelección posible. Es decir, los paradigmas se con-sideran tallados en piedra de forma que no esposible modificarlos ni recurrir a otras opciones.

Con o sin intención (en algunas discusiones laintención daramente no está presente) los dossupuestos conducen últimamente a la conclusiónde que los métodos cualitativo y cuantitativo ja-más podrán ser utilizados juntos. Ya que los mé-todos están relacionados con distintos paradig-mas, y puesto que se debe elegir entre estas vi-siones del mundo mutuamente exduyentes y an-tagónicas, se debe también elegir entre méto-dos-tipo.

Si se tratan los métodos-tipo como incompati-bles, obviamente se incita a los investigadores a

43

utilizar tan sólo uno u otro, cuando es posibleque una combinación de los dos se preste mejora las necesidades de la investigación. Paraliza asi-mismo cualquier intento de reconciliar las dife-rencias entre los dos lados opuestos del debatesobre los métodos-tipo. Por estas razones, la con-ceptualización de los métodos-tipo como antagó-nicos puede muy bien llevar por un camino equi-vocado la discusión y la práctica metodo-lógicas. Es nuestro punto de vista que la perspec-tiva paradigmática que promueve esta incompa-tibilidad entre los métodos es un error. Concre-tamente, ambos supuestos son incorrectos; deahí que la conclusión de que los investigadoresdeben elegir entre dos tipos de métodos, no sesostenga. En la discusión siguiente demostramosla falacia de ambos supuestos (es decir, la rela-ción entre paradigma y método y la elección for-zosa entre los paradigmas cualitativo y cuantita-tivo). Después de haber reconsiderado el conflic-to entre los puntos de vista paradigmáticos, de-bemos redefinir las cuestiones aparecidas en eldebate sobre los tipos de métodos y subrayar al-gunos de los beneficios Potenciales de utilizar losmétodos cualitativo y cuant it al ivo conjuntamente.

¿Determinan /o., paradigmas lógicamente la eleccióndel método de inve.vligación?

Según la utilización habitual, un paradigma in-cluye no solo una visión filosófica del mundo,sino también una 1-elación con un determinadotipo de método de investigación. En este sentido,un Raradigrna determina pues el método. Lacuestión aquí es si esta relación entre paradigmaY método es necesaria e inherente o meramentese deriva de la delimitación conceptual y de lapráctica. En otras palabras, ¿existe inconsisten-cia al adscribirse a la filosofía de in paradigma, yemplear los métodos de otro? Esta cuestión secontesta fácilmente considerando cada uno delos atributos paradigmáticos para ver si está lógi-camente ligado sólo a uno de los métodos o si sepuede aplicar igual de bien a ambos. A continua-ción, analizamos cada atributo de la Tabla I porseparado.

Reconsideración de la relación entre paradigma y mé-.lodo

— ¿Es el investigador que utiliza procedimien-tos cuantitativos necesariamente un positivista

lógico y, al revés, el que utiliza procedimientoscualitativos necesariamente un fenomenólogo?Ciertamente no, ya que, de un lado, muchos in-vestigadores sociales que utilizan métodos cuan-titativos se adhieren a un planteamiento feno-menológico. Por ejemplo, las teorías psicológico.socialesde la atribución son fenomenológicas encuanto están dirigidas a entender comporta-mientos y creencias desde la perspectiva de lospropios actores. Sin embargo, casi toda —si notoda— la investigación sobre atribución se lleva acabo en el laboratorio con métodos cuantitati-vos. O considérese la investigación de la intros-pección, un tema que está claramente en el cam-po de la fenomenología. En la recensión de Nis-bett y Wilson (1977) de investigaciones intros-pectivas, la gran mayoría de estudios utilizabamétodos cuantitativos tales como el experimen-to aleatorio y medidas «objetivas» del comporta-miento.

Por otro lado, sería posible aunque quizás im-probable, para un etnógrafo llevar a cabo inves-tigaciones desde un planteamiento lógico.positivista. Por ejemplo, imagínese a un investi-gador que cree que el status socio-económico sedefine tan sólo en términos de posesiones mate-riales tales como televisiones, coches, casas yropa. Puesto que estos bienes materiales puedenobservarse y contarse sin referencia a la signifi-cación que tienen para sus propietarios, esta me-dida del status socio-económico se sitúa clara-mente en la tradición lógico-positivista. En estecaso, un investigador que utiliza esta medida yque verifica las posesiones de un individuo me-diante trabajo de campo etnográfico se adscribi-ría al positivismo lógico utilizando al mismotiempo métodos cualitativos.

— Las mediciones cualitativas ¿son necesaria-mente naturalistas y los procedimientos cuanti-tativos necesariamente reactivos? Ciertos proce-dimientos cualitativos, tales como la observaciónparticipante, pueden ser reactivos en algunas si-tuaciones de investigación. Por ejemplo, es pro-bable que el status de M. Mead como «outsider»fuera inmediatamente detectado por la genteque estudió y ello ciertamente influyó en su rela-ción de trabajo con esta misma gente. Por elcontrario, algunos procedimientos cuantitativos,tales como los experimentos aleatorios, puedendiseñarse ocasionalmente de un modo totalmen-te no reactivo (véase Lofland y Lejeune, 1960).De hecho, la cuestión del engaño ha sido suscita-

44

da en muchos experimentos de campo y de la-boratorio precisamente porque el investigador yla manipulación parecían estar perfectamenteocultos (véanse Davis, 1961; Lofland, 1961; Roth,1962; y Kelman, 1972).

— ¿Son los procedimientos cualitativos nece-sariamente subjetivos y los cuantitativos necesa-riamente objetivos? Según Scriven (1972) se de-bería reconocer que la palabra «subjetivo» (o al-ternativamente objetivo) ha llegado a tener dossignificaciones diferentes: se entiende a menudoque subjetivo implica «influenciado por el juiciohumano». De acuerdo con este uso, todos losmétodos y medidas, tanto cualitativos comocuantitativos, son subjetivos. Efectivamente, losmodernos filósofos de la ciencia están amplia-mente de acuerdo en que todos los hechos estánimbuidos de teoría y, por tanto, al menos en par-te, son subjetivos. Es evidente que el asignar nú-meros de manera mecánica, como es corrienteen los procedimientos cuantitativos, no garanti-za la objetividad. Por ejemplo, Bogdan y Taylor(1975) describen una evolución de un programade aprendizaje que demuestra claramente lasubjetividad de un indicador nominalmente ob-jetivo. En aquella evaluación se podía justificar

. tanto una tasa de éxito del 12 To como una del66 %. La discrepancia surge debido a las dife-rencias de cómo se decide (subjetivamente) quéindicadores objetivos definen resultados positi-vos. Parecido tipo de subjetividad surge siempreque se emplean diseños y análisis cuantitativos.El significado alternativo de subjetivo se refiere ala medición de sentimientos y creencias. Es de-cir, una medida o procedimiento es subjetivo sirecurre a sentimientos humanos que presumi-blemente no son directamente observables. Denuevo, no hay ninguan razón para suponer quelos procedimientos cualitativos tienen el mono-polio de la subjetividad. Los sondeos nacionalesde opinión (por ejemplo, una encuesta sobre lapopularidad del presidente Carter) son ejemplosprimarios de medidas cuantitativas que son sub-jetivas. También lo son los ejemplos en la ante-rior discusión sobre la fenomenología.

— Los métodos cuantitativos, ¿aislan necesa-riamente al investigador de los datos? A Fein-berg (1977) le parece «asombroso que el estarcerca de los datos pueda interpretarse como atri-buto unicamente del enfoque (cualitativo)».Como ejemplo Fienberg (1977) cuenta que man-dó a sus estudiantes a pasar un par de noches en

un coche-patrulla de la policía para capacitarsemejor para diseñar una evaluación cuantitativasobre las actividades policiales. Similarmente,muchos investigadores cuantitativos se aventu-ran en el «campo» para «ensuciarse las manos» ylos psicólogos de laboratorio siguen de cerca suspropias manipulaciones y «torturan» a sus inte-rrogados para descubrir lo que significan sus res-puestas conductuales. Quizá un firme defensorde lo cualitativo sostendrá que todos estos sonejemplos de procedimientos cualitativos mezcla-dos con métodos cuantitativos. En cualquiercaso, es claro que el investigador cuantitativono está necesariamente aislado de los datos.

— Los procedimientos cualitativos ¿están ba-sados en la «realidad», y son exploratorios e in-ductivos mientras los procedimientos cuantitati-vos son siempre confirmatorios y deductivos yno basados en la «realidad»? Generalmente sereconoce que Glaser y Strauss (1967: 17-18) hanescrito la Biblia sobre la teoría basada en la «rea-lidad». Dicen: «No hay un choque fundamentalentre los objetivos y capacidades de los métodoso datos cualitativos y cuantitativos. Creemos quecada clase de datos es útil tanto para la verifica-ción como para generar teoría según cual sea elénfasis principal». Estamos de acuerdo: los méto-dos cualitativos no deben utilizarse solamentepara descubrir qué preguntas interesa formulary los procedimientos cuantitativos no deben uti-lizarse solamente para responder estas pregun-tas, más bien, cada uno de los procedimientosdebe servir para ambos papeles. Por ejemplo,Glaser y Strauss (1965, 1967) detallan cómo gru-pos de comparación (tanto aleatorios como deotro tipo) pueden ser utilizados muy beneficiosa-mente para la generación de teorías y al revés.Los métodos cualitativos tienen reglas bien defi-nidas de evidencia y comprobación para confir-mar teorías (véanse, Barton y Lazarsfeld 1969;Becker, 1958; y McCall, 1969). Campbell no sólodemuestra cómo el estudio de casos etnográficospuede verificar proposiciones teoréticas, sinoque además ofrece a menudo sugerencias paramejorar el procedimiento empleado. La cues-tión es que la lógica de la descripción e inferen-cia se entrecruza con los métodos (véase Fien-berg, 1977). La presentación de Becker incide eneste mismo extremo aplicando a un tipo de da-tos cualitativos —fotografías— criterios de validezque fueron originalmente desarrollados paramétodos cuantitativos.

— ¿Deben los procedimientos cualitativos uti-

45

lizarse sólo para medir procesos, y deben las téc-nicas cuantitativas urilharse sólo para detectarresultados? Igual que en la distinción enle veri-ficación y descubrimiento, aquí tampoco tienepor qué existir una estricta división del trabajoentre métodos cualitativos y cuantitativos. Otravez, la lógica de la tarea (descubrimiento , del pro-ceso versus evaluación de resultados) se entre-cruza con los métodos. Así, por 'un lado, Hollis-ter et al. describen técnicas cuantitativas que uti-lizan procesos y Campbell (1970) llega hasta su-gerir que el diseño experimental sería útil en elestudio del proceso porque podría ayudar a eli-minar hipótesis alternativas. Por otro lado, a me-nudo se ha utilizado con éxito un procedimientode estudio de casos para evaluar resultados. Porejemplo, un estudio de casos es suficiente paradetectar muchos de los efectos de una inunda-ción o de un huracán y se reconoce generalmen-te por los profesionales de la Ciencia Social quela visita «in situ» es una manera adecuada deevaluar la eficacia de programas de aprendizaje.

—¿Son los métodos cualitativos necesaria-mente válidos pero poco fiables, y los cuantitati-vos necesariamente fiables pero inválidos?Como contraejemplo, considérese la observa-ción participante de una ilusión visual. Por lapropia naturaleza de una ilusión, la observaciónproduce forzosamente conclusiones inválidasque sólo pueden corregirse empleando más pro-cedimientos cuantitativos (véase la discusión deCampbell de la ilusión de Muller-Lyer). Ni la fia-bilidad ni la validez son un atributo inherente aun instrumento de medición (sea éste una reglade cálculo o un ojo humano). Más bien, la exacti-tud depende del propósito para el que se em-plea el instrumento de medición y de las circuns-tancias bajo las cuales se realiza la medición. Aveces' los ojos y los oídos de una persona son elinstrumento más preciso y significativo (véaseBrickell, 1976 y Shapiro, 1973), mientras enotros casos un instrumento más cuantitativo se-ría más válido y más fiable.

—¿Están los métodos cualitativos siempre li-mitados a un caso aislado y, por ello no son ge-neralizables? Las respuestas afirmativas estándo-blemente equivocadas. Primero, los estudioscualitativos no están necesariamente limitados acasos aislados. Rist (1979), da cuenta de un estu-dio etnográfico que examina 60 lugares diferen-tes para poder generalizar Mejor. Segundo, laposibidad de generalizar depende normalmente

de más cosas que del tamaño de la muestra. Sóloen muy pocos casos, como cuando se utiliza elmuestreo de una encuesta con selección aleato-ria, la generalización de datos de una muestra auna población se basa en razonamientos estadís-ticos. Habitualmente, la generalización es mu-cho más informal y, por tanto, mucho más in-ductiva y potencialmente falible. Es decir, los in-vestigadores habitualmente quieren generalizara poblaciones que no han sido objeto de mues-treo (por ejemplo, a niños en diferentes distri-tos escolares, a cabezas de familia en paro enotras ciudades, y a tiempos y tipos de tratamien-to diferentes). Tales generalizaciones no están«nunca totalmente justificadas lógicamente», sebasen en datos cualitativos o cuantitativos(Campbell y Stanley, 1966: 171; véase tambiénCronbach 1978). De la misma manera que unmuestreo numeroso y diverso de casos puedejustificar mejor tales generalizaciones informa-les, también igual papel cumple la profundidadde comprensión de un caso singular. Así, en ge-neral, no existe ninguna razón por la que los re-sultados cuantitativos deban ser inherentementemás generalizables que los resultados cualitati-vos.

—¿Son los procedimientos cualitativos nece-sariamente holísticos, y los cuantitativos necesa-riamente particularistas? Claramente, la respues-ta debe ser negativa. Un investigador puede es-tudiar intensivamente tan sólo un aspecto muydeterminado del comportamiento, utilizando, di-gamos, el método de la observación participantesimplemente porque este comportamiento seobserva más difícilmente o menos precisamentede cualquier otra manera. Por ejemplo, un com-portamiento sutil puede que sea sólamente de-tectado por un observador sofisticado que tieneun extenso conocimiento de la cultural local. Enesta ocasión, pues, el investigador podría utilizarel ojo de un observador participante como uninstrumento de medición sin preocuparse deotro contexto más amplio que el propio com-portamiento específico. Y al revés, los métodoscuantitativos tales como las encuestras o experi-mentos aleatorios pueden tomar en cuenta él«todo global» aunque sólo sea midiéndolo todo.

—¿Los procedimientos cuantitativos debensuponer que la realidad es estable e inalterable?Admitiendo que algunos diseños son más rígi-dos que otros, los procedimientos cuantitativosno obligan en general al investigador a concebir

46

una realidad fija. Realmente una de las grandesventajas de los cuasi-experimentos con seriestemporales es que pueden seguir la pista de uncambio temporal como efecto de un programaen el trasfondo de los cambios «naturales». Lle-vado al extremo, ninguna estrategia de evalua-ción dá por supuesto una realidad perfectamen-te fija, ya que el mismo propósito de la investiga-ción es detectar el cambio. Con ello, no se quieresugerir que acontecimientos no planeados y nocontrolables no supongan un riesgo para unaevaluación con éxito, sino sólo que los cambiosen el marco de la investigación pueden pertur-bar tanto las evaluaciones cualitativas como lascuantitativas. Por ejemplo, se afirma a menudoque los experimentos aleatorios son inválidoscuando se altera el proceso de tratamiento du-rante el curso de la investigación. Al mismotiempo, otros tipos de cambio no anticipado, ta-les como tensiones crecientes entre el observa-dor y el equipo de investigación (véase Knapp)pueden igualmente poner en peligro una evalua-ción etnográfica. Mucho se puede hacer en am-bos casos para hacer las evaluaciones más resis-tentes a cambios inconvenientes.

La importancia de la situación

Concluimos de las observaciones precedentesque los atributos de un paradigma no están in-herentemente ligados a métodos cualitativos ocuantitativos. Los dos métodos-tipo pueden serasociados con los atributos tanto del paradigmacualitativo como del paradigma cuantitativo.Ello no quiere decir que la postura paradigmáti-ca no sea importante para optar por un método;ni negar que ciertos métodos se asocian habi-tualmente con paradigmas específicos. Lo quemás importa es que los paradigmas no son elúnico determinante de la elección de métodos.

La elección del método de investigación debe-ría también depender, al menos en parte, de laexigencias de la situación que se investiga encada caso. Por ejemplo, considérense las evalua-ciones de impacto de dos programas educativos.En uno, el tratamiento es un proyecto nuevo eintensivo dirigido a neutralizar los efectos de lasdesventajas económicas. La seriedad y la relativaintransigencia del problema justifican una inver-sión sustancial en tiempo y dinero. Especialmen-te dado que un programa del que se probaraéxito podría adoptarse como política. en este

caso, un experimento aleatorio podría ser el me-jor medio de información para la toma de deci-siones.

El otro programa educativo es una beca deformación para estudiantes graduados en un de-partamento universitario. En este caso, no estájustificada ninguna inversión amplia de tiempo ydinero, porque el programa mismo es relativa-mente limitado y porque no dependerá ningunadecisión a nivel nacional de los resultados de laevaluación, por tanto, propugnar que los experi-mentos aleatorios (o visitas in situ) deberían ser.siempre usados para la evaluación es tan tontocomo sostener que no se deben utilizar jamás.En algunas situaciones, el procedimiento de in-vestigación más eficaz será cuantitativo, mien-tras que en otras el mismo propósito de la inves-tigación se cumplirá mejor por un método cuali-tativo.

Sabiduría implícita en lo real pero imperfecta relaciónentre paradigma y método

Es evidente que la relación que existe, en lapráctica, entre paradigmas y métodos indica as-pectos que hay que tener en cuenta. Los investi-gadores que utilizan métodos cualitativos se ad-hieren más a menudo al paradigma cualitativoque al cuantitativo Similarmente, existe una co-rrelación entre el uso de métodos cuantitativos yla adhesión al paradigma cuantitativo (aunqueestas relaciones entre paradigma y método noson tan perfectas como algunos creen). Tales re-laciones pueden muy bien ser el resultado deuna evaluación adaptativa que refleja el hechode que, permaneciendo todo lo demás igual, losmétodos cualitativos y cuantitativos son másadecuados para los puntos de vista paradigmáti-cos con los cuales han llegado a asociarse.

Sospechamos que la distinción más significati-va y más fundamental entre los paradigmas seencuentra en la dimensión de verificación versusdescubrimiento. Parece que los métodos cuanti-tativos han sido desarrollados directamente parala tarea de verificar o confirmar teorías y que, engran medida, los métodos cualitativos han sidodesarrollados intencionalmente para la tarea dedescubrir o generar teorías. Por tanto, no sor-prende que cada método-tipo sea sociado a estasposturas paradigmáticas separadas y que estosmétodos den lo mejor de sí mismos cuando seusen para estos propósitos específicos.

4 7Estas relaciones históricas pueden explicar las

tendencias pasadas y presentes en el uso de losdiferentes métodos de evaluación. En los prime-ros tiempos, se suponía que se podría diseñar fá-cilmente programas para producir los resultadosdeseados y que el propósito de la evaluación erasimplemente verificar estos efectos anticipados.Por tanto, y de un modo natural, la evaluacióntendía hacia métodos cuantitativos con un énfa-sis tradicional en la verificación. Luego, se descu-briría que el cambio positivo no era tan sencilloy que los programas podían tener una ampliavariedad de efectos no sospechada. El énfasisempezó a trasladarse desde la verificación deefectos supuestos hacia el descubrimiento decómo se podría diseñar un programa para quetuviese el efecto deseado, por un lado, y quéefectos, tanto supuestos como insospechados,podían realmente tener estos programas. Porconsiguiente, algunos campos de la evaluación(sobre todo la educación) han mostrado un cre-ciente interés en los métodos cualitativos con én-fasis en el descubrimiento.

Pero mientras la conexión que existe entre elparadigma y el método puede guiar la propiaelección del método de investigación, la cone-xión por sí misma no debería determinar la elec-ción. Hemos sostenido que la situación de la in-vestigación es también un factor importante.Esto es especialmente importante, porque la in-vestigación evaluativa se lleva a cabo bajo mu-chas circunstancias únicas y exigentes que pue-den requerir modificaciones de las prácticas tra-dicionales. El hecho de que paradigma y métodohayan sido vinculados en el pasado no signifi-ca que sea ni necesario ni inteligente hacerlo enel futuro.

¿HAY QUE ELEGIR ENTRE PARADIGMAS?

Como se ha apuntado antes, el debate actualsobre métodos da la impresión de que el investi-gador debe no sólo elegir un método por adhe-sión al paradigma, sino que debe también elegirentre los paradigmas cualitativo y cuantitativo,porque son las únicas elecciones disponibles. He-mos discutido la primera cuestión; ahora tratare-mos la segunda.

Los dos paradigmas discutidos surgen de dostradiciones bastante diferentes y únicas. El con-glomerado de atributos que constituye el para-digma cuantitativo tiene su origen en las Cien-

cias Naturales y agrícolas mientras el paradirmacualitativo surge de los trabajos en Antropologíasocial y en Sociología, en especial de la escuelade Chicago. No está claro por qué habría que es-perar que una y otra de estas tradiciones separa-das ofrecieron un paradigma adecuado para lainvestigación evaluativa. Afortunadamente losevaluadores no tienen que restringirse a estasdos elecciones.

El hecho de que alguien lleve a cabo la investi-gación de una manera holística y naturalista. noViere decir que tenga que adherirse a los de-más atributos del paradigma cualitativo. tale.scomo ser exploratorio y orientado hacia el pro-ceso. Más bien, se podrían combinar los atribu-tos naturalistas y holisticos del paradigma cuali-tativo con otros atributos, tales como ser confir-matorio y orientado hacia el resultado, del para-digma cuantitativo. O considérese un ejemplode la práctica general. El positivismo lógico no esya una postura filosófica generalmente adoptadapor la investigación social. La mayoría de los in-vestigadores han adoptado en la actualidad unapostura fenomenológica, prescindiendo de quela combinen con una investigación orientada ha-cia el proceso, o hacia el resultado, hacia el natu-ralismo o hacia el control.

De hecho, todos los atributos que constituyenlos paradigmas son lógicamente independientes.Precisamente porque los métodos no están enconexión lógica con cualquiera de los atributosparadigmáticos, los atributos mismos no estanlógicamente conexionados entre ellos. Podría-mos repasar la lista de atributos, uno por uno,Çomo en la sección anterior, dando ejemplospara demostrar su independencia, pero esto seharía enseguida tedioso. Baste decir que no haynada (excepto quizá la tradición) que impida alinvestigador mezclar y emparejar los atributosde los dos paradigmas para lograr la combina-ción más apropiada para el problema y el con-texto investigador presente.

Suponiendo que haya disponibles considera-bles recursos para la evaluación y que se deseeuna evaluación exhaustiva, se querrá muestrearatributos de cada paradigma en la misma dimen-sión. Por ejemplo, las evaluaciones exhaustivasdeberían estar orientadas tanto hacia el procesocomo hacia el resultado, ser tanto exploratoriascomo confirmatorias, y válidas tanto como fia-bles. No hay ninguna razón por la que los inves-tigadores deban constreñirse a uno u otro de los

48

paradigmas tradicionales, aunque ampliamentearbitrarios, cuando pueden tener lo mejor deambos.

Además, los evaluadores deberían sentirse li-bres para cambiar su postura paradigmáticacuando sea necesario. No hay ninguna razónpara adscribirse a una mezcla de atributos parasiempre. Más bien, pasando de un programa alpróximo o de un estudio al siguiente (suponien-do que se planifique una serie de evaluaciones,más que un estudio aislado para un programaúnico) puede cambiar la postura paradigmáticamás apropiada para la investigación. En conse-cuencia, el punto de vista paradigmático del in-vestigador debería ser flexible y adaptativo.

¿POR QUE NO UTILIZAR LOS METODOSCUALITATIVO Y CUANTITATIVO A LAVEZ?

Redefinición del debate

Hemos visto que la elección de los métodosno debería determinarse por la adhesión a unparadigma arbitrario. Esto es así porque un pa-radigma no está inherentemente conexionadocon un conjunto de métodos y porque las carac-terísticas del marco de la investigación específicason tan importantes como los atributos del para-digma para elegir un método. Hemos visto queun investigador no tiene por qué adherirse cie-gamente a uno de los paradigmas de polosopuestos que han sido etiquetados como «cuali-tativo» y «cuantitativo», sino que puede elegir li-bremente una mezcla de atributos de ambos pa-radigmas de manera que se adapten mejor a lasdemandas del problema de la investigación encurso. No parece tampoco que exista una razónpara tener que elegir entre los métodos cualitati-vo y cuantitativo. Lo sensato sería que los eva-luadores utilizasen los métodos más apropiadospara sus necesidades de investigación indepen-dientemente de la afiliación tradicional del mé-todo. Si ello implica una combinación de méto-dos cualitativos y cuantitativos, que así sea.

Es evidente que todavía puede haber un deba-te franco sobre qué métodos son los más ade-cuados dados un enfoque paradigmático y una si-tuación de investigación. Por ejemplo, parte dela literatura sobre formación profesional mues-tra un desacuerdo sobre la probabilidad de que

los ingresos de los participantes en estos progra-mas cambie en ausencia de efectos debidos altratamiento. Si no existe esta maduración (ga-nancia o pérdida), no hace falta un grupo de con-trol en la evaluación del impacto; el diseño de uncaso sería suficiente. Por otro lado, si la madura-ción en ausencia de tratamiento ocurre, sería de-seable contar con un grupo de control (quizá in-cluso aleatorio).

Un debate honesto puede también surgir so-bre la adecuación de una postura paradigmáticaparticular a una evaluación específica. Un ejem-plo puede ser un desacuerdo sobre la importan-cia relativa de la validez interna versus la validezexterna. Ciertamente ambos atributos son im-portantes; pero alguno evaluadores puedencreer que a la larga la mejor manera para lograrvalidez externa es asegurar que cada estudio in-dividual sea internamente válido (véase Camp-bell, 1969), mientras otros puedan preferir solu-ciones a corto plazo donde el objetivo inmediatode validez externa adquiera preminencia sobrela validez interna.

El problema es que estos dos debates legíti-mos son objeto de confusión en la literatura. Lascríticas se dirigen a los métodos, cuando lo querealmente se ataca es la visión del mundo para-digmática y vicerversa. Ya que métodos y para-digmas son lógicamente separables, esta es unaforma de debate desorientadora y confusa. Elhecho de que un método se haya utilizado parapropósitos inapropiados no significa que el mé-todo en sí mismo sea defectuoso o inapropiado.Confundir razonamientos sobre paradigmas conrazonamientos sobre métodos sólo conduce alactual estado de las cosas, donde los investigado-res toman partido por uno de los dos métodos-tipo. La redefinición del debate como dos razo-namientos separados y legítimos revela la falaciade los hábitos actuales: más que ser rivales in-compatibles, los métodos pueden utilizarse con-juntamente según las exigencias de la situacióninvestigadora.

Una serie de investigadores han defendido an-teriormente la posición según la cual métodoscualitativos y cuantitativos pueden utilizarse be-neficiosamente conjuntamente, ambos en elcontexto de la investigación evaluativa (véanseBritan 1978; Campbell, 1974; Cook y Cook,1977, y Stake, 1978), y en las disciplinas sustanti-vas más tradicionales (véanse Denzin, 1970; Eis-ner, 1977; Erickson, 1977; Rist, 1977 y Sieber.

49

1973). Quizá Trow (1957: 338) expresa mejor elsentimiento en un debate sobre las ventajas rela-tivas de la observación participante comparadacon la entrevista:

«Todo zapatero piensa que la única cosa im-portante es la piel. La mayoría de los científi-cos sociales, incluyendo a quien escribe estaslíneas, tiene sus métodos de investigación fa-voritos con los cuales está familiarizado y tie-ne algunas habilidades para utilizarlos. Y sos-pecho que queremos sobre todo investigarproblemas que parecen poderse abordar porestos métodos. Pero deberíamos al menos in-tentar ser menos paletos que los zapateros.Abandonemos los argumentos del tipo "ob-servación participante" frente "entrevistas" dela misma manera que hemos dejado ya la ar-gumentación del tipo "psicología versus socio-logía" y sigamos con la tarea de abordar nues-tros problemas con el conjunto más amplioposible de instrumentos conceptuales y meto-dológicos de los que dispongamos y que es-tos problemas demanden. Ello no impide ladiscusión y el debate referente a la utilidad re-lativa de los diferentes métodos para el estu-dio de problemas específicos o tipos de pro-blema. Esto es muy distinto de la afirmaciónde la superioridad general e inherente de unmétodo sobre otro sobre la base de algunascualidades intrínsecas que presumiblementeposee.»

Beneficios potenciales del uso conjunto de los métodosCualitativo y Cuantitativo

Hay por lo menos tres razones por ls cualesel abordar problemas de evaluación con los ins-trumentos más apropiados disponibles llevaría autilizar una combinación de métodos cualitati-vos y cuantitativos. En primer lugar, la investiga-ción evaluativa tiene normalmente numerosospropósitos que deben llevarse a cabo en condi-ciones muy exigentes. Esta variedad de necesida-des requiere a menudo una variedad de méto-dos. Segundo, cuando se utilizan conjuntamentepara el mismo propósito, los dos métodos-tipopueden fecundarse mutuamente para ofrecer in-.tuiciones que ninguno puede aportar por sí solo.Y, tercero, ya que todos los métodos tienen ses-gos, sólo utilizando técnicas múltiples el investi-gador puede «triangular» la verdad subyacente.Ya que los métodos cuantitativos y cualitativos

tienen a menudo diferentes sesgos, cada unopuede utilizarse para confrontar y aprender delotro. Aunque no se presupone que estos trespuntos sean completamente independientes, ana-lizaré a continuación cada uno por separado.

I Propósitos múltiples. Como se ha apuntado an-tes, la evaluación exhaustiva debe interesarsetanto por el proceso como por el resultado. Poranálisis del proceso, los investigadores entien-den dos procesos distintos a los que daremos eti-quetas separadas. El primer sentido de procesoes de control: describir el contexto y la pobla-ción del estudio; descubrir la extensión con queel tratamiento o programa han sido implanta-dos, proporcionar una retroalimentación inme-diata de tipo formativo, y cosas parecidas. El se-gundo sentido de proceso es de explicación cau-sal: descubrir y confirmar el proceso por el cualel tratamiento ha tenido el efecto que tuvo. Des-de luego, medir el efecto de un programa es re-sultado de sumas o evaluación de su impacto.

Para una comprensión total de un programa,una evaluación debería comprender al menosestas tres tareas: control, evaluación del impactoy explicación causal. Esto configura un reperto-rio bastante amplio de tareas que, para enfren-tarse con ellas con eficacia, pueden muy bien re-querir tanto métodos cuantitativos como cualita-tivos. Aunque no sea inevitable, probablementela mayoría de las veces el control se llevará acabo más eficazmente con un método cualitati-vo, la evaluación del impacto se realizará másadecuadamente con métodos cuantitativos, y laexplicación causal se logrará con mayor efectivi-dad con el uso conjunto de métodos cualitativosy cuantitativos. Aunque quiero evitar dar la im-presión de que se necesita una rígida o inheren-te división del trabajo, creo que en la mayoría delos casos será necesario utilizar una combinaciónde métodos-tipo para conseguir todos los objeti-vos de la evaluación.

Al utilizar conjuntamente los métodos para sa-tisfacer la gran cantidad de necesidades de unainvestigación, la evaluación debería estar abiertaa nuevas y únicas formas y a concatenaciones demétodos. Muchas veces se dice que las CienciasSociales cuantitativas han adoptado los métodosde las Ciencias naturales y agrícolas en su inte-gridad. Si fuera cierto, sería desafortunado yaque difícilmente se podría esperar que los instru-mentos de una disciplina fuesen los más conve-nientes para los propósitos y las circunstancias

4

50

de otra. De hecho, ha habido mucho refinamien-to de los métodos en el proceso de adoptarlos(véase Boring, 1954, 1969) y se deberían fomen-tar nuevas adaptaciones.

Algunas adaptaciones útiles pueden conllevarun matrimonio creativo entre métodos cualitati-vos y cuantitativos, como por ejemplo utilizar ex-perimentos aleatorios con observadores partici-pantes como instrumentos de medición. Estopuede ayudar a evitar la crítica hecha a menudocontra la evaluación cuantitativa de que las me-didas psicométricas habitualmente utilizadas soninsensibles a la dimensión de interés. Puede asi-mismo evitar la crítica hecha contra muchas eva-luaciones cualitativas de que no controlan lasamenazas contra la validez interna. Como otroejemplo, considérese el uso de etnógrafos encombinación con el diseño de discontinuidad dela regresión. La esencia del diseño de disconti-nuidad de la regresión es que el tratamiento seasigna de manera estricta según una dimensióncuantitativa (véase Cook y Campbell, 1979). Estapodría ser una medida de distancia geográficahasta un límite como una calle u otra fronteranatural que sirva de línea de separación entrequienes reciben un tratamiento y quienes nolo reciben. Para medir el efecto del tratamientoen este Gis°, los etnógrafos pueden entrar y mo-verse libremente fuera y dentro de la fronterapara determinar si se produce una discontinui-dad en los comportamiento o actitudes de inte-rés. Claramente son también posibles otras com-binaciones poco usuales de métodos cuantitati-vos y cualitativos.

2 Cada método-tipo apoyándose en el otro. En unsentido fundamental, los métodos cualitativospueden definirse como técnicas de . compresiónpersonal, de sentido común y de introspección,mientras las técnicas cuantitativas pueden defi-nirse como técnicas de contar, medir y de razo-namiento abstracto. Evidentemente esto cambialos significados de los métodos cualitativo ycuantitativo que han sido utilizados a lo largo delresto del capítulo, aunque se justifica, porque al-gunos autores apoyan estas definiciones. Estecambio de significado es útil, porque la nuevaperspectiva revela claramente cómo cada méto-do-tipo complementa al otro. Específicamente,el conocimiento cuantitativo debe apoyarse enel conocimiento cualitativo, y así puede ir másallá de él.

Los métodos cuantitativos no pueden lógica-

mente reemplazar los métodos cualitativos yaque le conocimiento cuantitativo presupone co-nocimientos cualitativos. Campbell, demuestracómo la medición cuantitativa de una ilusión vi-sual se utiliza para corregir la observación cuali-tativa, pero tan sólo basándose en ella de otrasmuchas maneras. La base del argumento es quecada medición se fundamenta en supuestos cua-litativos innumerables sobre naturaleza de losinstrumentos de medición v de la realidad medi-da. Por ejemplo, al registrar el movimiento detemporales, se supone que la fuerza de la grave-dad de la tierra permanece constante, ya que sihubiera cambios provocarían un desplazamientoartificial de la presión barométrica. O al seguir elcrecimiento del niño, se supone que es el niño yno el instrumento de medición el que está cam-biando con el tiempo. De manera parecida lacomprensión cualitativa es esencial en el razona-miento estadístico. Elegir un modelo estadísticoque encaje con los datos, interpretar los resulta-dos que son el «output». y generalizar los resulta-dos a otros conceptos, todo ello se apoya en elconocimiento cualitativo. Sencillamente, los in-vestigadores no pueden beneficiarse del uso delos números si no saben, en términos de sentidocomún, lo que los números significan.

Y, a la inversa, el conocimiento cualitativopuede beneficiarse del conocimiento cuantitati.yo. Hasta los investigadores más introspectivos ysubjetivamente orientados, no pueden por me-nos de contar cabezas o utilizar conceptos cuanti-tativos tales como «mayor que» y «menor que».La medición cuantitativa de ilusiones visualespuede corregir la observación cualitativa inclusocuando se apoya en ella. Y un hallazgo cuantitati-vo puede estimular pruebas cualitativas subjeti-vas (Light, 1979; y Sieber, 1973), como cuandoun resultado experimental sorprendente lleva alinvestigador a preguntar a los sujetos experi-mentales para hallar claves introspectivas.

La ciencia normal utiliza el conocimiento cua-litativo y cuantitativo conjuntamente para pro-porcionar una profundidad de percepción o unavisión binocular que ninguno de los dos podríaaportar por sí solo (Eisner, 1977). Lejos de ser an-tagónicos, los dos tipos de conocimiento soncomplementarios. Ello no quiere decir que lacombinación de los dos sea siempre fácil. A me-nudo habrá rompecabezas dificiles de solucionar(véase Trend); pero habrá discrepancias normal-mente y, por ello, rompecabezas, siempre que se

51

utilicen conjuntamente dos métodos cualesquie-ra. Resolver los rompecabezas entre el conoci-miento cuantitativo y cualitativo no debería sermás dificil, en principio, que resolver otros rom-pecabezas de investigación, aunque sospecha-mos que será frecuentemente más esclarecedor.

3 Triangulación por operaciones convergentes. Utili-zar los métodos cualitativos y cuantitativos con-juntamente o, de hecho, utilizar cualesquieramétodos conjuntamente, ayuda a corregir lossesgos inevitables que se presentan en cada mé-todo. Con sólo un método es imposible separarel sesgo del método de la cantidad o cualidad su-byacentes que se quiera medir. Pero se puedenutilizar varios métodos conjuntamente para«triangular» la verdad subyacente, separando eltrigo de la paja, por decirlo así (véanse Denzin,1970; Garner et al. 1956; y Webb, el al., 1966).Aunque cualesquiera, dos o más métodos pue-den utilizarse para este propósito, los métodosdispares que sin embargo convergen en las mis-mas operaciones, son mejores que otros simila-res, porque los primeros tienen probablementemenos sesgos en común que los segundos. Amenudo los métodos cualitativos y cuantitativosfuncionan bien juntos porque son relativamentedispares.

Además, cada método-tipo puede potencial-mente enseñar otros caminos nuevos para de-tectar y reducir sesgos. Ya que estos dos méto-dos-tipo han existido en tradiciones separadas y,en gran medida, aisladas, gran parte de la expe-riencia metodológica adquirida ha estado tam-bién aislada. Juntando los métodos, estos dosacervos separados de conocimientos y experien-cias pueden fructificarse mutuamente. Quizás in-cluso puedan descubrirse nuevas fuentes de ses-gos y medios para su reducción, que no se sospe-chan por ninguna de las tradiciones por separa-do.

En investigación evaluativa la tradición hasido centrarse en los métodos cuantitativos, po-niendo el énfasis tanto en su utilización como enlos posibles sesgos. De hecho, el que muchos delos sesgos posibles en los métodos cuantitativoshayan sido reconocidos tan abiertamente hasido en parte debido a la insatisfacción crecientecon estos métodos y a la creciente defensa de losmétodos cualitativos efectuados por algunos au-tores. Ciertamente, la tradición cuantitativa enevaluación puede aprender mucho de la expe-riencia acumulada de eliminación de sesgos que

se ha desarrollado en la tradición cualitativa. Porejemplo, el enfoque cualitativo sobre la validezdescriptiva y los sesgos de muestreo no aleato-rios (e.g., el sesgo elitista Vidich y Shapiro, 1955)pueden muy bien conformar los procedimientoscuantitativos de muestreo.

Y al revés, a pesar de una larga tradición en laliteratura sociológica y antropológica sobre ses-gos anticipados, muchas de las dificultades deutilizar métodos cualitativos en el contexto de lainvestigación evaluativa están sólo empezando aaparecer (véanse Knapp, Ianni y Orr) y este pro-ceso de aprendizaje puede acelerarse por la com-prensión ganada desde la tradición cuantitativa.Por ejemplo, la investigación cuantitativa sobrelos procesos psicológicos de introspección y jui-cio puedes muy bien utilizarse para informar alobservador etnográfico. Nisbett y Wilson (1977)pasan revista a la evidencia que sugiere que ob-servadores y participantes a veces no puedendescribir con exactitud su propio comporta-miento por introspección. La investigación deChapman y Chapman (1967) y de Chapman(1967) sobre correlaciones ilusorias y los trabajosde Tversky y Kahneman (1974) sobre juicios bajoincertidumbre pueden ayudarnos a apreciar ses-gos en la manera como los observadores partíci-pes detectan y constatan la covariación en elcomportamiento estudiado. Similarmente,Scheirer (1978) se apoya en la investigación de la-boratorio en Psicología para sugerir que tantoparticipantes como administradores y observa-dores reportan un exceso de aspectos positivosde un programa. Además, muchas de las ideasclásicas de validez, asociados ante todo con losdiseños cuantitativos pueden también confor-mar el uso de los métodos cualitativos. TantoBecker con su preocupación por eliminar lasamenazas a la validez al interpretar el métodocualitativo de fotografía, como Campbell con sussugerencias para grupos de comparación adicio-nales y observadores múltiples en el estudio decasos, son ejemplos de ello.

Obstáculos a la utilización conjunta de métodos cuan-titativos y cualitativos

Aunque lógicamente deseable, una serie deobstáculos prácticos puede dificultar la combina-ción de métodos cualitativos y cuantitativos enun estudio de evaluación.

En primer lugar, combinar métodos cualitati-

52

vos y cuantitativos pueden ser prohibitivamentecostoso. Considérese que comparado con un es-tudio de caso, un experimento aleatorio tienecostes adicionales teniendo que compilar datosde un grupo de control no tratado, mientras quelos costes de la recopilación de datos por sujetopara el investigador de campo suelen ser bastan-te mayores que para el cuestionario «standard»de un sondeo de procedimiento cuantitativo.Combinar los dos métodos puede significar su-mar los elementos más costosos de cada uno.

En segundo lugar, utilizar a la vez métodoscualitativos y cuantitativos puede costar dema-siado tiempo. Los representantes de ambos la-dos del debate sobre los métodos-tipo estánpreocupados porque sus métodos preferidospuedan ser demasiado lentos para los plazos po-líticos. Los experimentos aleatorios, por ejem-plo, tienen que disponer de tiempo suficiente,entre asignación de los sujetos a las condicionesy la recogida de datos post-test para que el trata-miento siga su debido curso. Análogamente, losetnógrafos necesitan suficiente tiempo para de-sarrollar el informe, expresar libremente aque-llos aspectos del programa que parecen relevan-tes y seguir las líneas que surjan, y luego necesi-tan otra vez tiempo suficiente para sintetizar susapuntes de campo en un informe final. En cadacaso, esto puede llevar arios. Si las actividades delos dos métodos no pueden llevarse a cabo si-multáneamente, puede que no haya tiempo sufi-ciente para utilizar ambos.

En tercer lugar, los investigadores pueden notener suficiente formación en los métodos-tipopara utilizar ambos. La mayoría de los estudiosque combinan los dos métodos suelen apoyarseen equipos interdisciplinarios. Cuando los miem-bros del equipo proceden de diferentes tradicio-nes de métodos cualitativos y cuantitativos, la in-teracción entre las dos facciones no siempretranscurre sin obstáculos (véase lanni y Orr, yTrend).

Finalmente, existe la cuestión de la moda y laadherencia a la forma dialéctica del debate. Laevaluación, como la ciencia en general, sufre loscambios de la moda. Con buena razón, los inves-tigadores se muestran a menudo remisos enquedarse al margen de lo que está en boga, es-pecialmente cuando las instituciones financierasparticipan de las tendencias del momento. Talestendencias favorecen a menudo uno u otro delos métodos-tipo, pero raramente valoran igual-

mente a ambos. Sería dificil convencer a los in-vestigadores de que combienen los métodos-tipohasta que se esclarezca la falta de lógica del de-bate en curso, con su énfasis en la separación.

Por estas razones, no somos optimistas respec-to a la generalización del uso conjunto de losmétodos cualitativo y cuantitativo. Esto no signi-fica que los evaluadores deban volver a elegiruno u otro basándose en el dogma paradigmáti-co. Los evaluadores deben adoptar los métodosa las demandas del problema de investigacióndel mejor modo posible, independientementede la afiliación paradigmática tradicional. Signifi-ca, sin embargo, que los evaluadores deben esta-blecer unas prioridades de propósitos y temas,ya que normalmente suelen ser incapaces derealizar todos los objetivos deseados. Sospecha-mos que la mayoría de las veces se dará priori-dad a la cuestión del impacto y por consiguientea los procedimientos cuantitativos. Pero, de to-das formas, el empleo de un método u utro sola-mente significa la aceptación de una evaluaciónno exhaustiva.

CONCLUSION

El debate reciente sobre la utilización de mé-todos cualitativos y cuantitativos en la investi-gación evaluativa ha arrojado mucha luz. Mu-chos evaluadores que se han educado en la tradi-ción cuantitativa (incluidos los autores de este ar-tículo) han sido demasiado celosos en su uso delos métodos cuantitativos, como el zapatero deTrow que todo lo vé en piel, o el niñó que, cuan-do le dan por primera vez un martillo, encuen-tra que todo necesita martillazos. Como respues-ta, la discusión ha dejado claro que los métodoscuantitativos no son siempre los más adecuadospara algunos de los propósitos de la investiga-ción y contextos en los que se han utilizado. Eldebate también ha ayudado a legitimar e incre-mentar la utilización de métodos cualitativos enla evaluación.

Muchos evaluadores han sido también dema-siado rápidos en aceptar el conjunto de atributosque componen el paradigma cuantitativo. Comorespuesta, el debate ha centrado la atención so-bre el proceso, descubrimiento, cercanía a losdatos, holismo, naturalismo, y los otros atributosdel paradigma cualitativo. En el pasado, el pén-dulo se ha movido demasiado hacia el lado cuan-

53titativo, tanto en paradigma como en método, yel debate ha hecho conscientes a los evaluadoresde este desequilibrio.

Pero mientras el debate ha servido a un pro-pósito muy útil también ha sido, en parte, disfun•cional. En gran parte, la forma en la que se llevaactualmente la discusión sirve para polarizar lasposiciones cualitativa y cuantitativa y fomentarla creencia de que la única opción posible es laelección entre estos dos extremos. Parece que elpéndulo debe oscilar hacia un lado u otro. El ex-cesivo énfasis que se observa actualmente sobrelos métodos cuantitativos sólo podrá corregirsepor un énfasis igual pero opuesto dado a los mé•todos cualitativos. Naturalmente, una vez quelos métodos cualitativos hayan sido probadostan exhaustivamente como los procedimientoscuantitativos en el pasado, se encontrará que losmétodos cualitativos al igual que aquellos son fa-libles y débiles (véase Overholt y .Stallings, 1979).Si la dicotomización entre los métodos se man-tiene el péndulo volverá a oscilar hacia procedi-mientos cuantitativos en un «backlash» inevita-ble. Sin duda, esto sería igual de insatisfactorio,así que el péndulo seguiría oscilando, y así suce-sivamente. Por consiguiente, el debate actualmantiene la oscilación del péndulo entre extre-mos de métodos y extremos de insatisfacción.

La solución, obviamente, es darse cuenta que ledebate se plantea incorrectamente. No hay nin-guna necesidad de elegir un método de investi-gación sobre la base de una postura paradigma-tica tradicional. Tampoco hay razón para esco-ger entre dos paradigmas polarmente opuestos.Consecuentemente, no hay necesidad para unadicotomía entre métodos-tipo y existen todas lasrazones (por lo menos en lógica) para utilizarlosconjuntamente para satisfacer las exigencias dela investigación evaluativa de la manera más efi-caz posible.

Es de esperar que la próxima generación de

evaluadores se formará tanto en la tradicióncualitativa como en la cuantitativa. Estos investi-gadores estarán capacitados para utilizar lagama más amplia posible de métodos y adaptarásin prejuicios las técnicas a los problemas de lainvestigación. Aprenderán nuevas maneras decombinar los métodos y de reconciliar hallazgosdiscrepantes sin rechazar arbitrariamente uno enfavor del otro. Estos evaluadores serán asimismomodestos en sus pretensiones sobre los méto-dos. Se darán cuenta de que todos los métodosson falibles y que el descubrimiento de un sesgono es necesariamente una razón para rechazarun método sino un reto para mejorarlo, al igualque nos esforzamos en mejorar una teoría con-frontada con datos que no la confirman. No seráfácil adquirir estas actitudes, pero valdrá la pena.

Sin duda. existen ventajas pedagógicas en laforma dialéctica de razonamiento que polarizalos métodos cualitativo y cuantitativo. Por ejem-plo. la mayoría de las veces lo más fácil es expo-ner un caso dicotomizado un continunm en ex-tremos opuestos de manera que la dimensiónque interesa se ponga de relieve más claramen-te. Pero se ha aprendido ya la lección de que losmétodos cuantitativos pueden utilizase abusiva-mente y ahora es tiempo de detener al pénduloen sus oscilaciones de un extremo al otro. Estiempo de dejar de construir muros entre losmétodos y empezar a construir puentes. Quizáses incluso tiempo para ir más allá del lenguajedialéctico de los métodos cualitativos y cuantita-tivos. El reto real es adaptar sin prejuicios losmétodos de investigación al problema de evalua-ción. Esto puede muy bien exigir una combina-ción de métodos cualitativos y cuantitativos. Dis-tinguir entre los dos usando etiquetas separadaspuede servir sólo para polarizarlos innecesaria-mente. Dejando las etiquetas de lado, no tene-mos otra elección que ir más allá el debate de losmétodos cualitativos y cuantitativos.

Referencias

BARTON. A.H. vP. F. LAZARSFELD (1969) Some functions of qualitative analysis in social research. En G.J. McCall J. L. Simmons (eds.)Issues in Participant Observation: A Text and Reader. Reading, MA: Ad-dison-Wesley.

BECKER, H. S. (1958) Problems of inference and proof in participant observation. American SociologicalRevino 169: 652-660.

54

y B. GEER (1957) Participant observation and interviewing: a comparison. Human organiza-lion 16: 28-32.

BOGDAN, R. Y S. TAYLOR (1957 Introduction lo Qualitative Research Methods. New York: John Wiley.BORING, E. G. (1969) Pespective: artifact and control. En R. Rosenthal and R. L. Rosnow (ecisJArtifact

in Behavioral Research. Nueva York: Academie Press. (1954) The l'atuve and history oí experimental control. Arnerican ,Journal of Psychology 67:

573-589.BORUCH, R. E. (1975) 'On common contentions aboutandomized experitnents for evaluating social

programs: En R. F. Boruch y H. W. Riechen (eds.) Experimental Te.sting of Public Policy. Boulder:Westview.

BRICKELL, H. M. (1976) Needed: instruments as good as our cycs..journal o/ Curriculum Evaluation. 2:56-66..

BRITAN, G. M. (1978) Experimental and contextual Inodels of program evaluation. Evaluationand Pro-gram Planning 1: 229-234.

CAMPBELL, D. T. (1974) Qualitavite knowing in action research. Kurt Lewin Award Address, Society forthe Psychological Study ot Social Issue, reunión con la American Psychological Association,Nueva Orleans, Septiembre 1. (1970) Considering the case against experimental evaluations of social innovations. Admi-

nistrative Science Quarterly 15: 110-113. (1968) Artifact and control: E. R. Rosenthal y R. L. Rosnow (eds.) Artifacl in Behavioral Re-

search. Nueva York: Academie Press. y J. C. STANELY (1966) Experimental and Quasi-Experimental Designs Research Chicago

Rand, McNally.CHAPmAN. L. J. (1967) Illusory correlation in observational reportiourna/ of Verbal Learning and Verbal

Behavioi- 6: 151-15.5. y EJ. P. tAinoAN (1967) Genesis of popular but erroneous psychodiagnostic observations.

Jour-nal or A briorrnal Psychology 72: 193-204.Cook. T. D. y D. T. CAMPBELL (1979) Quasi-Experimentation: Design and Analysis Issues .for Field Settings.

Chicago: Rand McNally.COOK. T. D. y F. L. COOK (1977) Comprehensive evaluation research and its dependence on both

humanistic and empiricist perspectives. En R. S. French (ed.)Humanists and Policy Studies: Relevan-ce Revisited: Curriculum Development in the Humanities. N.° 3. Washington, DC: George Washington Uni-versity, Division ol Experimental Programs.

CRONBACII, L. J. (1978) Designing educational evalualions. Stanford: Stanford University. (Sin publicar).DAvis, E. (1961). Comment on lnitial interaction of newcomers in Alcoholics Anonymous. Social Pro-

blems 8: 364-365.Diszi s. N. (1970) The Research Art. Chicago: Aldine.EISNER. E. W. (1977) Cu t iq lie. A nlhropology and Education Q_uarterly 8: 71-72.Eaa:KsoN. F. (1977) Sume approaches tu inquiry in school-community ethnography. Anthropology and

Education Qyarterly 8: 58-69.FIENBERG. S. E. (1977) The collect ion and analysis of ethnographic data in educational research. Anth-

ropology and Education Quartet). 8: 50-.57.u.s-rtiA W. J. (ed.) (1970) Qualitat ive Methodology. Chicago: Markham.

C;ARNER. W. R., H. W. HAKE. y C. W. ERICKSEN (1956) Operationism and the concept of perception.y ehological Res len' 63: 149-159.

GLAsts. B y A. L. STRAt'ss (1967) The Di,covery ol Grounded Theory. Chicado: Aldine. • (1965) Discovery oí substantive theory: a basic strategy underlying qualitative research.

.1 //inri/vil! Behavioral Scien list 8: 5-12.Gt • BA. E. G. (1978) Toward a Methodology Naturalistic Inquiry in Educational Evaluation. Los Angeles:

Universit y oí California, Los Angeles, Center for the Study of Evaluation.KELMAN. H. C.(1972) The rights of the subject in social research: an analysis in terms oí relative po-

wer and legitimacy. American Psychologist 27: 989-1016.KUHN. T. S. (1970) ¡he Struclu re qSeirnlifie Revolution.s. Chicago: University of Chicago Press. (1962) ¡he N'imano> ofScienti lir Revolulions. Chicago: University of Chicago Press.La; t rr. R. (1979) lile Structure of Scientilic Rezzolutions. Chicago: University of Chicago Press.LIGI ti-. R. (1979) Integrating multiple empirical stuIes. Presentada en la reunión anual de la Asocia-

(ión para la investigación educativa, San Francisco.LouLAND. J. (1961) Reply to Davis comment on Initial interaction. Social Problems 8: 365-367. y R. A. LEJFUNE(l960)Initlal interaction of newcomers in Alcoholics Anonymous: a field

experiments in class symbols and socialization. Social Problenzs 8: 102-11.

5 5McCALL, G. J. (1969) The problem of indicators in participant observation research. En G. J. McCall y

J. L. Simmons (eds.). Issues in Participant Observation: A Text and Reader, Reading, MA: Addison-Wesley.

NEBErr, R. E. Y T. D. WILSON (1977) Telling more than we can know: verbal reports on mental proces-ses. Psychological Review 84: 231-259.

OVERHOLT, G. E. y W. M. STALLINGS (1979) Ethnography in evaluation: dangers of methodologicaltransplant. Presentada en la reunión anual de la Asociación para la investigación educativa. SanFrancisco.

PARLErr, M. y D. HAMILTON (1976) Evaluation as illumination: a nem approach to che study of innova-tory programs. En G. V Class (ed.)Evalualion Studies: Review A nnual, Vol. 1. Beverly Hills: Sage.

PATroN, M. Q (1978) Utilization-Focused Evalualion. Beverly Hills: Sage. (1975) Alternative Evaluation Research Paradigm. Grand Forks: University of North Dakota

Press.RIECKEN, W. R., R. F. BORUCH, D. T. CAMPBELL, N. CAPLAN. T. K. GLENAN. \V. PRATT. A. REES. Y W.

WILLIAMS (1974) Social Experimentation: A Method for Planing and Evalu Ming Social Interecntion.Nueva York: Academic Press.

RIST, R. C. (1979) On the utility of ethnographic case studies for federal policy. Presentado a la reu-nión anual de la Asociación de investigación educativa. San Francisco. (1977) On the relations among educacional research paradigms: from disdain co detente.

Anthropology and Education Quarterly 8: 42-49.Rossi, P. H. S. R. WRIGHT (1977) Evaluation research: an assessment of theory practice. and polities.

Evaluation Quarterly 1: 5-52.RorrH, J. A. (1962) Comments on Secret observation. Social Problems 9: 283-284.SCHEIRER, M. A. (1978) Program participants positive perceptions: psychological conflict of interest in

social program evaluation. Evaluation Quarterly 2: 53-70.SCRIVEN, M. (1972) Objetivity and subjetivity in educational research. En L. G. Thomas (ed.) Philosophi-

cal Redirection of Educational Research: The Seventy-first Yearbook of (he National Society for (he Study . ofEducation. Chicago: University of Chicago Press.

SHAPIRO, E. (1973) Educational evaluation: rethinking the criterion of competence. School Review 81:523-549.

SIEBER, SL (1973) The integration of field work and survey methods. American Journal of Sociology 28:1335-1359.

STAKE, R. E. (1978) Should educacional evaluation be more objetive or more subjetive? More subjeti-ve! Debate en la Revisión Anual de la Asociación para la investigación educativa.

TROW, M. (1957 Comment on Participant observation and intervieviing: a comparasion. Human Orga-nization 16: 33-35.

TVERSKY, A. Y D. KAHNEMAN (1974) Judgments under uncertainty: heuristic and biases Science 185:1124-1131.

VIDICH, A. J G. SFIAPIRO (1955) A comparasion of participant observation and survey data AmericanSociological Review 20: 28-33.

WEBB, E. J., D.T. CAMPBELL, R.D. SACHWARTZ Y L. SECHREST (1966) Unobtrusive Measures: NonreactiveResearch in the Social Sciences. Chicágo: Rand McNally.

WEISS, R. S M. REIN (1972) The evaluation of broad-aim programs: difficulties in experimental de-sing and an alternative. En C.H. Weiss (ed.) Evaluating Action Programs: Readings in Social Actionand Education. Boston: Allyn and Bacon.

WILSON, S. (1977) The use of ethnographic techniques in educational research Review of EducationalResearch 47: 245-265.