Validación de Métodos Cualitativos "Caso de Aplicación"

ValidaciValidacióón de Mn de Méétodos todos CualitativosCualitativos

““Caso de AplicaciCaso de Aplicacióónn””

Agenda

Introducción

Definiciones

Clasificación

Validación

Evaluación de Métodos Cualitativos

Caso de Aplicación

Conclusiones

La validación de métodos debe llevarse a cabo cada vez que se incorpore un nuevo método en el laboratorio.

VALIDAR / VERIFICAR EL DESEMPEÑO DEL MÉTODO

ASEGURAR LA CALIDAD DE LOS RESULTADOS

Introducción

En el laboratorio existen mEn el laboratorio existen méétodos:todos:

--

CuantitativosCuantitativos

--

SemiSemi--cuantitativoscuantitativos

--

CualitativosCualitativos

Introducción

Existen guExisten guíías claramente definidas para la as claramente definidas para la validacivalidacióón de mn de méétodos cuantitativos.todos cuantitativos.

No existen lineamientos claros para los No existen lineamientos claros para los mméétodos cualitativos y todos cualitativos y semisemi--cuantitativos.cuantitativos.

Los parLos paráámetros de calidad que caracterizan a metros de calidad que caracterizan a los mlos méétodos cualitativos son distintos.todos cualitativos son distintos.

Introducción

Agenda

Introducción

Definiciones

Clasificación

Validación


Caso de Aplicación

Conclusiones

MMéétodos Cualitativostodos Cualitativos

“Aseguran la presencia o ausencia de uno o más analitos en una muestra considerando sus propiedades físicas, biológicas o químicas”.

“Métodos de análisis cuya respuesta es la presencia o ausencia de un analito, detectado en forma directa o indirecta en una muestra”.

Se emplean para saber si una muestra contiene uno o más analitos.Presencia/ausencia con respecto a un nivel de concentración.Por debajo de ese límite la concentración del analito se considera despreciable.

Definiciones

Puede ser necesario un instrumento para la detección del analito o se puede aplicar únicamente los sentidos.

La respuesta de estos métodos suele ser binaria (más allá del tipo de detección)

-SI / NO-POSITIVO / NEGATIVO-REACTIVO / NO REACTIVO

Existen otros tipos de respuesta

-POSITIVO / Zona Gris / NEGATIVO-REACTIVO / Zona Gris / NO REACTIVO

Definiciones

MMéétodos todos SemiSemi--cuantitativoscuantitativos

Se encuentran entre los métodos cualitativos y cuantitativos.

Ofrecen una cuantificación somera con una incertidumbre importante.

Los resultados se terminan agrupando en clases:

- Positivo (+ + +)

- Positivo Débil (+)

- Zona Gris (+ / -)

- Negativo (-)

Definiciones

““Los mLos méétodos cualitativos o todos cualitativos o semisemi--cualitativos se cualitativos se emplean como memplean como méétodos de todos de screeningscreening””

MMéétodos (tests) de todos (tests) de ““ScreeningScreening””

- Separan o discriminan muestras de un grupo más grande.- Uno o más analitos por encima o por debajo de un valor

preestablecido.- Este valor preestablecido puede haber sido establecido de

distintas formas:1) Organismo oficial2) Control de Calidad Interno3) Requerimientos del Cliente

Límite de EspecificaciónValor de Corte

Definiciones

DefinicionesHay analito por encima de un determinado valor, Xsl?

SISTEMA DE SCREENING

NO SE ANALIZA

ANÁLISIS CUANTITATIVOSI

NO

MUESTRAS

>Xsl<Xsl

Agenda

Introducción

Definiciones

Clasificación

Validación


Caso de Aplicación

Conclusiones

Existen distintos criterios de clasificación.

Clasificación

DetecciDeteccióón sensorialn sensorial

• A través de la vista

• Ejemplos:¿?

DetecciDeteccióón Instrumentaln Instrumental

• La respuesta instrumental se transforma en respuesta binaria

• Se trabaja con la respuesta del límite de especificación o calor de corte

• Ejemplos: ¿?

Clasificación

Agenda

Introducción

Definiciones

Clasificación

Validación


Caso de Aplicación

Conclusiones

Los métodos cualitativos deben Validarse / Verificarse

VALIDACIÓN

Validation es la confirmación mediante el exámen y la provisión de una evidencia objetiva de que se han satisfecho unos requisitos particulares para un uso retendido y específico (1).

Validaciones

(1) Definición según la norma ISO 8402 – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis.

Establecer parámetros de desempeño.

¿¿Los mismos que en los mLos mismos que en los méétodos cuantitativos?todos cuantitativos?

Validaciones

Verificar o Validar los parámetros de desempeño

Trazabilidad

Sensibilidad

Especificidad

Tasa de Falsos positivos

Tasa de falsos negativos

Límite de corte y su incertidumbre

Límite de detección

Validaciones

Trazabilidad y Veracidad -

Algunas consideraciones

1)- Por lo general no existen CRMs para métodos cualitativos

2)- El uso de CRMs en métodos cualitativos es complicado

3)- Comparación frente a Métodos de Referencia

4)- Los métodos de referencia suelen ser métodos cuantitativos

5)- Participación en esquemas interlaboratorio

Validaciones

Valor de corte ““CutCut

OffOff””

En un mundo ideal!!!En un mundo ideal!!!

En el mundo real!!!En el mundo real!!!

Validaciones

Falso Positivo (FP)Falso Positivo (FP)“Muestras (+) por el “test de screening” y (-) por el método de referencia”

Falso Negativo (FN)Falso Negativo (FN)“Muestras (-) por el “test de screening” y (+) por el método de referencia”

Validaciones

Positivo Verdadero (TP)Positivo Verdadero (TP)“Muestra (+) por el “test de screening” y (+) por el método de referencia”

Negativo Verdadero (TN)Negativo Verdadero (TN)“Muestra (-) por el “test de screening” y (-) por el método de referencia”

Validaciones

Tasa de Falsos PositivosTasa de Falsos Positivos“Probabilidad de que una muestra con valor verdadero

negativo dé un valor positivo por el test de screening”

FP

FP + TNTasa de FP =

FP: Falso PositivoFP: Falso PositivoFN: Falso NegativoFN: Falso NegativoTP: Positivo VerdaderoTP: Positivo VerdaderoTN: Negativo VerdaderoTN: Negativo Verdadero

Validaciones

Tasa de Falsos NegativosTasa de Falsos Negativos“Probabilidad de que una muestra con valor verdadero

positivo dé un valor negativo por el test de screening”

FN

FN + TPTasa de FN =


Validaciones

Sensibilidad Sensibilidad “Capacidad o habilidad de un test de test de screeningscreening de detectar

muestras positivas cuando realmente son positivas”

TP

TP + FNSensibilidad =


Validaciones

Especificidad Especificidad “Capacidad o habilidad de un test de test de screeningscreening de detectar muestras negativas cuando realmente son negativas”

TN

TN + FPEspecificidad =


Validaciones

Zona de IncertidumbreZona de Incertidumbre

“Corresponde a la región en la cual se obtienen respuestas falsas (falso negativo o falso positivo)”

Validaciones

“Menor cantidad de analito que puede ser detectada en una matriz”Error: Tipo Beta 5 %Máximo nivel de concentración permitidoLímite superior de la zona de incertidumbreSensibilidad 95%Cut Off

LLíímite de Deteccimite de Deteccióón y n y CutCut OffOff

Validaciones

Error Beta: Tasa de FN

Error Alfa: Tasa de FP

LLíímite de Deteccimite de Deteccióón y n y CutCut OffOff

Validaciones

Error Beta: Tasa de FNError Alfa: Tasa de FP

“Si consideramos el caso de mínima concentración permitida”Error Alfa: 5 % Límite inferior de la Zona de incertidumbre

CutCut OffOff

“Nivel de concentración en el cual el test de screening diferencia las muestras con una probabilidad de error

aceptable ( 5 %)”

Si hablamos de máximo nivel permitido:- Cut Off se relaciona con sensibilidad- Corresponde a la concentración donde la sensibilidad es del 95 %y el error de tipo Beta (Falso negativo) ha sido fijado al 5 %

Validaciones

Error Beta: Tasa de FNError Alfa: Tasa de FP

Agenda

Introducción

Definiciones

Clasificación

Validación


Caso de Aplicación

Conclusiones


Básicamente existen varias formas de evaluar los parámetros de desempeño de los métodos cualitativos

Destacamos cuatro, todas ellas con ventajas y desventajas:

- Tablas de Contingencias

- Teorema de Bayes

- Test Estadísticos de Hipótesis

- Curvas Características de Desempeño


Tablas de ContingenciaTablas de ContingenciaDiferencian las muestras en 2 categorías ( + y -) por el test de

screening y establecen una tabla de comparación con respecto al método de referencia o confirmación.

FP: Falso FP: Falso PositivoPositivoFN: Falso FN: Falso NegativoNegativoTP: Positivo TP: Positivo VerdaderoVerdaderoTN: Negativo TN: Negativo VerdaderoVerdaderoN: NN: Núúmero total mero total de ensayosde ensayos

Fuente – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis.


Tablas de ContingenciaTablas de Contingencia

Permiten calcular 4 parámetros de desempeño- Falsos Positivos- Falsos Negativos-

Sensibilidad

-

Especificidad

Permiten calcular 2 valores predictivos-

Probabilidad de Resultado positivo (PVP)

-

Probabilidad de Resultado negativo (PVN)

Probabilidad de Resultado Positivo (PVP)Probabilidad de Resultado Positivo (PVP)“Probabilidad de que un individuo con un resultado positivo

del test tenga una enfermedad o característica, que el test está diseñado para detectar”

TP

TP + FPPVP =


Validaciones

Probabilidad de Resultado Negativo (PVN)Probabilidad de Resultado Negativo (PVN)“Probabilidad de que un individuo con un resultado negativo

del test no tenga una enfermedad o característica, que el test está diseñado para detectar”

TN

TN + FNPVN =


Validaciones


Tablas de Contingencia Tablas de Contingencia ––

Desventajas Desventajas

Asume que las muestras desconocidas tienen el mismo comportamiento que las que se emplearon en el estudio.

Su capacidad depende del número de muestras analizadas.

Requiere el procesamiento de las muestras por 2 métodos.


Teorema de BayesTeorema de Bayes

Calcula la probabilidad de dar un resultado correcto (+ o -) cuando realmente lo es.

Trabaja con probabilidades condicionales.

Requiere de muchos análisis.

Terminología compleja.

Muchos cálculos (Probabilidades intermedias)


Test EstadTest Estadíísticos de Hipsticos de Hipóótesistesis

Aplica únicamente a test con una respuesta instrumental.

Se establece la respuesta a nivel del corte.

Se compara la respuesta de la muestra con el valor previamente establecido de corte.

Comparación a través de Test de Hipótesis

Trabaja con los errores alfa y beta.

Permite estimar la incertidumbre o probabilidad de equivocarnos empleando el test de screening.


Curvas CaracterCurvas Caracteríísticas de Desempesticas de Desempeññoo

Fuente – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis.

Evaluación de Métodos CualitativosCurvas CaracterCurvas Caracteríísticas de Desempesticas de Desempeññoo

“Probabilidad de tener un resultado positivo en Probabilidad de tener un resultado positivo en funcifuncióón de la concentracin de la concentracióón del analiton del analito””

- Permiten calcular los 4 parámetros clásicos- Permiten calcular el límite de detección- Permiten calcular el Cut

Off

- Permiten calcular la zona de incertidumbre

Desventajas

- Requieren realizar el ensayo repetidas veces por cada concentración


GuGuíía para la Evaluacia para la Evaluacióón de Desempen de Desempeñño o

de Tests Cualitativos.de Tests Cualitativos.


EP12 EP12 --

Estudios de PrecisiEstudios de Precisióónn

Recomienda desarrollar experimentos de Recomienda desarrollar experimentos de precisiprecisióón en concentraciones cercanas al n en concentraciones cercanas al CutCut

Off.Off.

50 % (+)50 % (+)50 % ( 50 % ( --))

CutCut

Off Off ––

C50C50

95 % (+)95 % (+)5 % ( 5 % ( --))

5 % (+)5 % (+)95 % ( 95 % ( --))

Intervalo 95 % (C5Intervalo 95 % (C5--C95)C95)

C5C5 C95C95

Evaluación de Métodos CualitativosEP12 EP12 --


Establecer la concentración de Cut Off

Establecer que el Cut Off +/- un 20 % está dentro del intervalo del 95%.

El Cut Off puede estar en el inserto del reactivo

El Cut Off puede ser estimado por repeticiones de diluciones sucesivas de una muestra +.

Preparar muestras en las siguientes concentraciones:

1) Cut Off + 20 % 3) Cut Off

2) Cut Off – 20 %

Repetir las muestras 20 veces



Para cada una de las tres muestras determinar el % de resultados + y-.

Verificar los resultados.


Estudio de ComparaciEstudio de Comparacióónn

Puntos Críticos:

- Muestras

- Número de muestras

- Duración

- Inspección de datos

- Manejo de datos discordantes

- Método de comparación



Análisis de Datos de acuerdo al Comparador

El comparador es

Criterio de Exactitud Diagnóstica

El comparador no

es Criterio de Exactitud Diagnóstica



Si el comparador

es

Criterio

de Exactitud

Diagnóstica

Se puede

estimar:

SENSIBILIDADESPECIFICIDADTASA DE FALSOS POSITIVOSTASA DE FALSOS NEGATIVOSPVPPVN



Si el comparador

NO es

Criterio

de Exactitud Diagnóstica

Se puede

estimar:

Porcentaje

de Acuerdo

Positivo

Porcentaje

de Acuerdo

Negativo

Agenda

Introducción

Definiciones

Clasificación

Validación


Caso de Aplicación

Conclusiones

Caso de Aplicación

Anticuerpos totales Anticuerpos totales para HIV1 y HIV2.para HIV1 y HIV2.

ElecsysElecsys

HIV combi HIV combi ––

Modular Modular AnalyticsAnalytics

E170E170

Caso de AplicaciónEL ENSAYOEL ENSAYO

ECLIA –

Principio sandwichEl Cut

Off se calcula a partir de los calibradores: CAL-1

(negativo) y CAL-2 (positivo).(1)

El resultado se expresa como Cot Off Index.(2)

Interpretación de resultados:COI < 0.9 No ReactivoCOI >

1 Reactivo

COI > 0.9 a < 1 Indeterminado

(1) (2) Fuente

Caso de AplicaciónEstudios de PrecisiEstudios de Precisióónn

Se ensayan los CONTROLES DE CALIDAD INTERNOS durante 20 días.

C 1 –

Negativo (Cut

Off Index: 0.237)

C2 –

Positivo (Cut

Off index: 9.96)

C3 –

Positivo (Cut

Off index: 11.33)


CONTROLES DE CALIDAD INTERNOS

INSERTO DEL REACTIVO

Laboratorio Dr House

SD Claim = CV inserto x Claim Concentration/100

EP Evaluator R8



EP Evaluator R8



EP Evaluator R8

Caso de AplicaciónEstudios de PrecisiEstudios de Precisióón C5 n C5 ––

C95C95

Se ensayan dos diluciones con valores de COI cercanos al Cut

Off.

¿

Cómo seleccionamos las diluciones ?

Se desarrolla un perfil de precisión cercano al Cut Off.

C5 dil 1/32C95 dil 1/16


C95C95

Se ensayan las diluciones al menos 20 veces cada una.Se emplean los operadores estadísticos para demostrar que:Ambas poblaciones tienen una distribución

normal.Ambas poblaciones son estadísticamente

diferentes del Cut

Off (1).Ambas poblaciones son estadísticamente

diferentes entre sí.


αα

0.050.05

CV= 4.6 %

Programa NCSS


ββ

0.010.01

CV= 4.1 %

Programa NCSS


C95C95

Programa NCSS


C95C95

Programa NCSS


C95C95

CV C5= 4.6 %

CV C95= 4.1 %

Caso de AplicaciónEstudios de ComparaciEstudios de Comparacióónn

Se estudian dos poblaciones de pacientes:

150 pacientes sanos (no reactivos)

50 pacientes con diagnóstico de HIV (Western blot

y clínica)


EP Evaluator R8


EP Evaluator R8

Comparar los valores obtenidos con las especificaciones de performance declaradas por el fabricante.

Sensibilidad declarada: 100%Especificidad declarada: 99.63%

Zonas deAcuerdo

FalsosPos.+

FalsosNeg.-

Las Las ááreas de las circunferencias dependen dereas de las circunferencias dependen dela cantidad de muestrasla cantidad de muestras

Caso de Aplicación

EP Evaluator R8

BUBBLE CHART

ALGUNAS DEFINICIONES ADICIONALES

Acuerdo

% total de los casos en que los 2 métodos dan el mismo resultado

Acuerdo +% de los casos en que hay acuerdo cuando el método de referencia da +: TP/ (TP+FP)

Acuerdo Acuerdo ––% de los casos en que hay acuerdo cuando el método de referencia da -: TN/ (TN+FN)

Caso de Aplicación

ALGUNAS DEFINICIONES ADICIONALES

Prevalencia: “Frecuencia de datos positivos en una población estudiada”

-Dato experimental-Dato de Bibliografía-Cantidad de datos evaluados

Caso de Aplicación

Estimación de la ZONA DE NO CONFIABILIDAD

Se estima a través de resultados de calibraciones y empleando la Ley de Propagación de Errores.

1) Buscar la ecuación utilizada para el cálculo del Cut

Off.

2) Calcular el Cut

Off.3) Estimar el CV del cut

Off.

4) Comparar el CV del Cut

Off con la zona de no confiabilidad declarada por el fabricante.

Caso de Aplicación

Estimación de la ZONA DE NO CONFIABILIDAD

Cut

Off Promedio: 23997 RLU

S2co

= ∂CO x Scal1

2 + ∂CO x Scal2

∂Cal1

∂Cal2

S co

= 1680 RLU CV co = 7.0% < 10% (ZNC)

Caso de Aplicación

2 2


Un ejemploUn ejemplo……

El comparador no

es Criterio de Exactitud Diagnóstica



Indica el nivel de acuerdo entre 2 métodos

Puede adoptar valores entre -100% y 100%

Un valor de 0% indica ausencia de acuerdo

Un valor de 100% indica acuerdo perfecto

Es deseable un valor por encima de 75%


Indica la probabilidad de que los métodos sean significativamente diferentes.

Si son diferentes indica en qué dirección.

Evalúa simetría entre los dos métodos.


Agenda

Introducción

Definiciones

Clasificación

Validación


Caso de Aplicación

Conclusiones

Conclusiones

Existen cada vez más métodos cualitativos.Hay confusión en la nomenclatura.Hay confusión en la clasificación de métodos cualitativos.La validación de métodos cualitativos es un tema importante para asegurar la calidad de los resultados que estos métodos generan.No existe consenso sobre cómo realizar estas validaciones.Los parámetros de desempeño están bien definidos.Guía de consenso: EP 12-A2 de la CLSi

MUCHAS GRACIAS!MUCHAS GRACIAS!

Documents

Validación de Métodos Cualitativos "Caso de Aplicación"