1

COMPARACIÓN Y COMBINACIÓN DE PREDICCIONES: APLICACIÓN A LAS SERIES

TEMPORALES Blanca Moreno Cuartas - morenob@econo.uniovi.es Ana Jesús López Menéndez - anaj@aulanet.uniovi.es Manuel Landajo Álvarez - landajo@econo.uniovi.es

Universidad de Oviedo

Reservados todos los derechos. Este documento ha sido extraído del CD Rom “Anales de Economía Aplicada. XIV Reunión ASEPELT-España. Oviedo, 22 y 23 de Junio de 2000”. ISBN: 84-699-2357-9

2

Comparación y combinación de predicciones: Aplicación a las series

temporales

Moreno Cuartas, B. morenob@econo.uniovi.es ;

López Menéndez, A.J anaj@aulanet.uniovi.es;

Landajo Alvarez, M. landajo@econo.uniovi.es

Dpto. Economía Aplicada, Universidad de Oviedo

INTRODUCCIÓN

La predicción es una actividad esencial cuya importancia ha crecido en las últimas

décadas, convirtiéndose en imprescindible en la gran mayoría de los procesos de toma de

decisiones. Planificadores y decisores disponen de una gran variedad de técnicas para realizar

sus predicciones, que van desde las más subjetivas e intuitivas hasta los métodos cuantitativos

más complejos. Entre ambos extremos hay innumerables posibilidades que difieren en su

filosofía, su coste, su complejidad y su precisión.

Teniendo en cuenta además que las predicciones relativas a una magnitud económica

pueden ser realizadas por diferentes agentes y a partir de distintos métodos, es posible

combinar varias predicciones que mejoren la precisión de las predicciones individuales.

En este trabajo analizamos predicciones asociadas a distintos métodos univariantes

(alisados, ARIMA, modelos neuronales) y sus combinaciones, comparando su

comportamiento. En concreto, se estudian varias series de la economía asturiana y se realizan

algunas clasificaciones de los métodos mediante indicadores de precisión y complejidad,

analizando las posibles causas que originan las diferencias en la precisión de las técnicas

empleadas.

EVALUACIÓN DE PREDICCIONES

La evaluación de las diferentes técnicas de predicción puede efectuarse desde muy

diversas perspectivas, fundamentalmente su coste, su complejidad y su precisión. Dado que

las dos primeras implican una cierta subjetividad y las diferencias entre los distintos métodos

son a veces imprecisas, en los modelos de series temporales se emplean habitualmente

indicadores basados en la precisión de las predicciones que tienen como objetivo la medición

de la desutilidad o el coste asociado a los pares de predicciones y realizaciones.

Consideremos una magnitud Y para la cual realizamos predicciones en cierto

horizonte temporal h (h=1,...,T). Si denotamos dichas predicciones por th,ty + , la desutilidad o

3

coste asociado a dicho par vendrá dada por una función ( )t,htht y,yL ++ que, si bien puede

adoptar formas estadísticas sofisticadas, se define habitualmente a partir del error de

predicción th,thtth,t yye +++ −= .

Las distintas especificaciones de ( ) ( )t,htt,htht eLy,yL +++ = dan lugar a las

medidas más directas de la bondad de las predicciones1 entre las que se encuentran las

tradicionales:

Raíz del error cuadrático medio (ECM):

( )∑∑=

++=

+ −==T

1h

2t,htht

T

1h

2t,ht yy

T1

eT1

ECM

Error absoluto medio (EAM):

∑∑=

++=

+ −==T

1ht,htht

T

1ht,ht yy

T1

eT1

EAM

Error absoluto porcentual medio (EAPM):

100Ty

yyEAPM

T

1h ht

t,htht∑= +

++ −=

Estas medidas presentan varias limitaciones: las dos primeras dependen de las

unidades de medida de la variable investigada, y además ninguna de ellas se encuentra

acotada ni tiene en cuenta la dificultad inherente a cada predicción. Con el objetivo de

disponer de un indicador invariante con respecto a las unidades usadas y que además tenga en

cuenta los problemas que rodean a la predicción, H. Theil (1966) propone una medida de

desigualdad dada por la expresión:

( )

∑

∑

=+

=++ −

=

1h

2ht

1h

2htt,ht

A

APU

donde Pt+h,t y At+h representan respectivamente las tasas de variación interanual pronosticadas

y efectivas: 1ht

1hththt

1ht

1htt,htt,ht y

yyA,

y

yyP

−+

−+++

−+

−+++

−=

−= .

1 En López y Moreno (1999) se proponen algunas medidas basadas en la teoría de la información, y se realiza un análisis comparativo con las medidas tradicionales.

4

y donde el numerador puede ser considerado como un indicador de la manera en la que los

errores de predicción se dispersan en torno a cero, mientras el denominador es un indicador de

la dificultad de la predicción2.

El índice de Theil es utilizado con generalidad como medida de la bondad de las

predicciones debido a su sencillez de cálculo e interpretación. Así, el índice U adoptará

valores nulos únicamente en el caso de coincidencia entre tasas pronosticadas y reales,

mientras el resultado U=1 se corresponde con las predicciones ingenuas:

t0Pyy ttt,1t ∀=⇒=+ . Este valor representa un umbral que, si se superase, implicaría que

el modelo considerado predice peor que el modelo ingenuo3.

Si tomamos la precisión como criterio para comparar varios métodos, podemos estar

interesados en contrastar si todos ellos tendrán la misma precisión esperada. Es decir, si

denotamos por j los métodos de predicción utilizados (j=1,...,N) y hemos seleccionado un

indicador de precisión como criterio de comparación, podemos contrastar la hipótesis de

igualdad entre las desutilidades esperadas de la predicción:

[ ] [ ])y,L(yE)y,L(yE jth,tht

ith,tht ++++ =

Stekler (1987) propone un test basado en el ranking que ocupan el conjunto de h predicciones

(h=1,...,T) obtenidas por N métodos, contrastando que cada conjunto de predicciones tienen

igual desutilidad esperada en cada método.

Así, a cada predicción en cada momento h se le asigna un rango de acuerdo con su precisión

(la mejor recibe el rango N, la segunda mejor N-1, y así sucesivamente). Agregando período a

período los rangos para cada método utilizado obtendremos entonces:

( )( )∑=

++=T

1h

jth,tht

j y,yLRankH j=1,...,N

y el estadístico del test de bondad se basa en la expresión:

2 En su origen este índice asume que las predicciones son realizadas año a año, por lo cual los mayores errores pueden esperarse cuando las diferencias entre los valores reales de años sucesivos son mayores. 3 Obsérvese que el índice considerado puede sin embargo adoptar valores superiores a la unidad al no encontrarse acotado superiormente. En trabajos previos, Theil (1958) había propuesto la expresión

( )

∑∑

∑

++

=++

−+

−

−−

=

h

2t,ht

h

2ht

1h

2htt,ht

P1T

1A

1T

1

AP1T

1

U que sí se encuentra acotada entre 0 y 1, pero en cambio presenta la

limitación de incluir las tasas previstas Pt como referencia para la comparación.

5

∑=

−

=N

1j

2j

2NT

2NT

HH

que, bajo la hipótesis nula, sigue una distribución 21N−χ .

Si bien la función de desutilidad asociada a un par realización-predicción ha sido

planteada para series temporales univariantes, la función ( )t,htht y,yL ++ puede adoptar

formas más complejas y ser además aplicada al análisis de series temporales multivariantes.

Así, Theil elabora una medida capaz de tener en cuenta la dificultad del año de la predicción

(h=1,...,T) y la dificultad de predecir yt+h en función de la dificultad para predecir las variables

xi (i=1,...,k) que forman parte del modelo. Si además se tiene en cuenta que las predicciones

para un período se renuevan de acuerdo con los diferentes estadios de la información

disponibles (b=t+1,...t+h), es lógico pensar que el error cuadrático medio variará también de

acuerdo con el estadio de la información en el que nos encontremos.

Así, si xit+h es el valor real de la tasa de la variable i en el período t+h, el error de predicción

será xibt-xit+h y es posible –siguiendo a Theil y Scholes (1967)- utilizar el siguiente patrón para

determinar el error estándar de acuerdo con las fuentes de error en la predicción:

( ) ( )( ) ( )∑ ++++++ =−=h,b,i

htbi2

hitibthibtt,hthitht CBAxxxy,xyL

donde aparecen tres componentes diferenciados de la calidad de la predicción: Ai con respecto

a la variable i, Bb en los sucesivos estadios y Ct+h con el período de predicción.

COMBINACIÓN DE PREDICCIONES

Las predicciones sobre una misma variable económica pueden realizarse a partir de

diversos métodos, y la literatura muestra que una combinación de las predicciones efectuadas

por diferentes procedimientos mejora la precisión de las predicciones individuales4. La idea

de la combinación de predicciones asume implícitamente que no es posible identificar

mediante un modelo el proceso subyacente en una serie, y que cada método de predicción es

capaz de capturar diferentes aspectos de la información disponible para la predicción, de ahí

que una combinación de las predicciones efectuadas según distintas técnicas sea la predicción

más precisa.

4 La combinación de predicciones no sólo se efectúa para las realizadas según distintas técnicas sino, como ha puesto de manifiesto Pulido (1998), para predicciones que, siendo obtenidas bajo un mismo método, se han llevado a cabo por diferentes agentes.

6

En la combinación se aplican habitualmente dos tipos de reglas: la media aritmética de

las predicciones obtenidas por diferentes métodos y la media ponderada, donde los pesos

dependen de la relativa precisión de los métodos individuales. En la combinación ponderada,

estos pesos pueden obtenerse en función de la varianza de error de predicción de cada método

(y de las covarianzas entre ellos) o mediante técnicas de regresión con el objetivo de

minimizar el error de la predicción combinada que se obtiene mediante MCO de las

predicciones individuales. A continuación describimos la obtención de predicciones

combinadas en relación a la regla aplicada.

Si para predecir yt+h tenemos que efectuar una predicción combinada para cualquier

horizonte h, llamando ( )Nt,ht

2t,ht

1t,htt,ht y,...,y,yY ++++ = al vector de predicciones de yt+h según

las N diferentes técnicas, la combinación a partir de la media aritmética nos proporciona:

N

lYC

t,htt,ht

++ = donde l es un vector de unos.

Este procedimiento, que es el más sencillo, no toma en cuenta la información relativa a

la precisión de cada método, por lo que parece razonable dar mayor énfasis a los métodos más

precisos ponderándolos según la técnica de varianza-covarianza o de regresión.

La idea de combinar predicciones ponderadas según la varianza de los errores de

predicción de cada método fue propuesta por Bates y Granger (1969), autores que estudian la

combinación de dos predicciones, planteando también la combinación de numerosas

predicciones.

Supongamos que tenemos dos métodos de predicción que proporcionan dos

predicciones insesgadas5 de la magnitud Y para un horizonte h (yt+h) recogidas en el

vector: ( )2t,ht

1t,htt,ht y,yY +++ = . Entonces la combinación lineal de las dos predicciones será:

α= ++ t,htt.ht YC , donde ),( 21T αα=α son los pesos dados a las predicciones individuales

que cumplen 1lT =α (por lo tanto 12 1 α−=α ).

Si denotamos por 21σ y 2

2σ las varianzas de los errores de las dos predicciones, la varianza de

los errores de la predicción combinada será:

211122

21

21

21

2c ó)á(1á2ó)á(1óáó σ−ρ+−+=

donde ρ es el coeficiente de correlación entre los errores de predicción de los dos métodos.

5 Dicks y Burrel (1994) ponen de manifiesto que cuando la combinación se realiza para predicciones dadas por diferentes agentes, la condición de predicciones insesgadas no suele darse debido a la aversión al riesgo de desviarse de la visión convencional y perder credibilidad.

7

La elección de α1 debe ser realizada de tal manera que el error de la predicción combinada sea

pequeño, requisito que (asumiendo ρ=0) conduce al resultado6: )ó(ó

óá

22

21

22

1 += , donde 2

cσ no

es mayor que la más pequeña de las dos varianzas individuales.

Si bien queda así justificado el uso de una combinación de predicciones, en la práctica no es

posible calcular 2cσ al desconocerse las varianzas de los errores de predicción.

Dado que el valor óptimo de 1α se desconoce al comienzo de la combinación, Bates y

Granger (1969) utilizan la expresión primera de 1α para obtener estimaciones

maximoverosímiles partiendo de las predicciones individuales de un conjunto de períodos

previos a aquél para el cual se va a efectuar la combinación de predicciones. Los autores

sugieren la elección de los pesos basados en dos criterios: el mayor peso se le ha de dar a

aquella predicción cuyo modelo haya actuado mejor en el pasado y es necesario considerar la

posibilidad de que la función de los pesos se adapte cuando se presenten relaciones no

estacionarias en el tiempo entre los métodos de predicción individuales.

Entre las opciones propuestas por estos autores7 la más empleada consiste en sustituir

las varianzas de los errores de predicción por sus estimaciones de los t periodos previos

∑

∑

=

=

+=α

n

1t

2t,2

2t,1

n

1t

2t,2

1

)ee(

e

, donde jttt,j yye −= .

La metodología de Bates y Granger es ampliada por Newbold y Granger (1974) para

el caso de más de dos predicciones. Así, si disponemos de las predicciones realizadas con N

procedimientos: ( )Nt,ht

2t,ht

1t,htt,ht y,...,y,yY ++++ = , entonces la combinación lineal de ellas

será: α= ++ t,htt,ht YC con ),...,,( N21T ααα=α , siendo 1lT =α y j10 j ∀≤α≤ y

donde la varianza del error de la predicción combinada8 es minimizada tomando:

( )( )∑∑

−

−

=α)l'l

l1

1

, con ∑ ++= )ee(E 't,htt,ht y t,ht

Thtth,t Ylye +++ −= .

6 Partiendo de la expresión anterior 2

cσ el valor mínimo se obtendría diferenciando con respecto a 1α e

igualando a cero: 21

22

21

2122

1ó2ñóó

óñóóá

σ−+

−= .

7 Bates y Granger tuvieron también en cuenta la posibilidad de ir variando a lo largo del tiempo el valor de α, dejando abierta la posibilidad de que las predicciones individuales se comporten de forma diferente a lo largo del tiempo. 8 Al desconocerse las realizaciones de yt+h también será necesario sustituir las varianzas de los errores de predicción por sus estimaciones en períodos previos.

8

Como ya hemos mencionado, la combinación ponderada puede obtenerse mediante un

método de regresión. Granger y Ramanathan (1984) mostraron que el vector óptimo de pesos

basados en varianza-covarianza de los errores de predicción tiene una interpretación como

vector de coeficientes de la proyección lineal de yt+h a partir de las predicciones de los N

procedimientos:

t,htN

t,htN1

t,ht1ht uy...yy ++++ +α++α=

Al desconocer el verdadero valor de yt+h los pesos se obtienen a partir de los valores pasados

de la serie; es decir: tNtN

1t1t uy...yy +α++α= donde se puede imponer o no la

restricción 1ˆlT =α . Así, si consideramos:

( )n21T

t y,...,y,yY = vector de valores pasados de la serie

( )jn211jTj y,...,y,yY = vector de predicciones del momento t realizada por el método j

( )N21t Y,...,Y,YY = matriz (nxN) de n predicciones efectuadas por los N métodos

),...,,( N21T ααα=α vector de pesos de los N métodos

entonces nuestro objetivo será estimar α para obtener Yt como proyección lineal de tY .

Comenzaremos sin considerar ninguna restricción para los pesos (método A) y después

incorporaremos restricciones de la forma 1ˆlT =α (método B), denominando CA a la

combinación obtenida por el método A: α= ˆYC tA , y CB a la combinación9 obtenida por el

método B: β= ˆYC tB .

En el método A, el error de predicción vendrá dado por el vector α−= ttA YYe , y

utilizando mínimos cuadrados ordinarios se obtiene la función a minimizar

( ) ( )α−α− ttT

tt YYYY , cuya solución conduce a: ( ) tT

t

1

tT

t YYYYá−

= .

Así pues, una vez estimados los pesos, se obtiene la regresión estimada

( ) tT

t1

tTtttA YYYYYˆYC

−=α= y la suma cuadrática de los errores de predicción

( ) ( ) α−=α−α−=σ ˆYYYYˆYYˆYY tTtt

Tttt

Ttt

2A .

9 Para mayor comodidad, designaremos porβ a los coeficientes del método B, siendo 1l

),...,(T

N21T

=β

βββ=β.

9

Para el método B, el error de predicción será β−= ttB YYe y la función a minimizar

( ) ( )β−β− YYYY tT

tt s.a 1lT =β , llegándose10 a obtener α mediante la expresión del

método A y el multiplicador a partir de la restricción 1lT =β , que proporciona:

( )( )

−α=λ−β

lYYl

1l1

tT

tT

T

.

Ahora el error cuadrático de la predicción es ( )

λ+σ=σ

−lYYl

1t

Tt

T2B

2A

2B ,

observándose que 2A

2B σ≥σ y concluyendo por tanto que el método de la regresión

proporciona mejores resultados mediante la proyección de los valores pasados de Y sobre las

predicciones realizadas por distintos métodos sin imponer ninguna restricción.

La combinación de predicciones basada en una media aritmética proporciona mejores

resultados que otras reglas más complejas, tal y como muestran diversos estudios empíricos

(Granger y Newbold (1975), Makridakis y Hibon (1979), Winkler y Makridakis (1983)). Así

Granger y Newbold (1975) en un experimento sobre 80 series para las que realizan

predicciones a un período de adelanto, concluyeron que las mejores predicciones iban

asociadas a la media aritmética11, resultado coincidente con el obtenido por Makridakis y

Hibon (1979), efectuando predicciones sobre 1001 series con diversos métodos y estudiando

posibles combinaciones.

Winkler y Makridakis (1983) obtienen resultados muy buenos con la media aritmética

en relación a las medias ponderadas, ya que si bien éstas proporcionan mejores predicciones,

el incremento de precisión no parece compensar la mayor complicación del método.

Por otra parte, Winkler (1984) comprobó en un estudio que entre el 52% y el 66% de

las veces otra combinación fue mejor que la media aritmética, afirmando que las diferencias

entre la combinación más simple y otras más complicadas eran también muy pequeñas en

relación con las exigencias que conlleva emplear métodos más sofisticados.

10 La función objetivo es entonces: ( ) ( ) ( )

−+−− 1âl2ëâYYâYYmin Tâtt

T

ttâ donde βλ es el multiplicador de

Lagrange y la condición de primer orden es: ( )( ) ( ) ( ) lYYëálYYëYYYYâ

0lëâYYY1

tT

tb

1

tT

tâtT

t

1

tT

t

âttT

t

−−−−=−=

=−−

11 Además de este resultado los autores también concluyen que la combinación es más beneficiosa cuanto más difiera la naturaleza de los procedimientos que se combinan, idea confirmada por estudios posteriores y que trataremos de comprobar en la aplicación.

10

Así pues, las distintas experiencias no conducen a resultados unánimes en el tema12,

por lo que es necesario tener en cuenta con qué tipo de series y con qué conjunto de datos

trabajamos.

Por otra parte la media aritmética supone restringir las ponderaciones a una suma

unitaria que, como ya hemos visto, ofrece mayores errores cuadráticos de predicción, con lo

que los resultados deberían de ser generalizadamente peores.

COMPARACIÓN DE TÉCNICAS DE PREDICCIÓN

En este apartado efectuamos una comparación de algunas técnicas de predicción para

series temporales univariantes, de acuerdo con el EAPM, realizando algunas clasificaciones

de éstas según el tipo de series a las que se aplican y los horizontes de predicción.

Teniendo en cuenta el grado de complejidad de los métodos considerados y los

resultados obtenidos, elaboramos una frontera de eficiencia con el propósito de ilustrar el

trade-off existente entre la complejidad y la precisión de las técnicas.

Finalmente, proponemos modelos econométricos que explican la precisión en función

de factores como la aleatoriedad, la estacionalidad, la tendencia, el rango de las series y el

horizonte temporal.

La aplicación ha sido realizada sobre 20 series temporales de la economía asturiana13

de periodicidad mensual, recogidas en la tabla 1:

SERIES Carne sacrificada Nº de parados en agricultura en Asturias Consumo de energía eléctrica para la industria Producción de acero Consumo de energía eléctrica usos industriales especiales Producción de aluminio Consumo de energía eléctrica, fuerza industrial Producción de arrabio Consumo total de energía eléctrica Producción de cemento Indice de producción industrial Producción de cemento gris Indice de producción de bienes de inversión Producción de cinc Indice general de precios al consumo Producción de clinker de cementos grises Matriculación de turismos Producción de hulla Nº de camiones matriculados Producción de laminados

Tabla 1

En la modelización de las series descritas consideramos las siguientes técnicas:

12 Una recopilación de la bibliografía existente sobre las combinaciones de predicciones puede verse en Clemen, T. (1989). 13 Los datos han sido extraídos de la base de datos ASTURDAT del equipo de investigación de HISPALINK-Asturias.

11

1. Métodos ingenuos (N1): La predicción es igual al valor en el mes anterior o al de 12

meses antes si existe estacionalidad.

2. Alisados exponenciales (SM): Se aplican las técnicas de alisado exponencial más

adecuadas en cada caso según las componentes de la serie, teniendo en cuenta la

presencia o no de estacionalidad y según la hipótesis de composición de la serie sea

aditiva o multiplicativa.

3. Para series estacionales se han efectuado también predicciones sobre las series

desestacionalizadas según las dos técnicas anteriores, procediendo posteriormente a su

ajuste asumiendo que el patrón de estacionalidad se mantiene constante (N2 y SM2).

4. Metodología Box-Jenkins: Se estiman para las series modelos ARIMA14 incorporando

tratamiento de outliers y análisis de intervención.

5. Redes neuronales artificiales: Con el propósito de incorporar a este estudio algunas de

las técnicas más recientes de predicción, hemos modelizado cuatro de las series

anteriores (producción de energía eléctrica, cinc, laminados y el IPI de Asturias)

mediante redes neuronales artificiales (RNA), utilizando las estructuras de tipo

recurrente15 propuestas por Landajo (1999). Una vez transformada la serie original

hasta reducirla a estacionariedad, el modelo para la serie transformada consta de una

estructura NAR (non-linear auto-regresive), a la que se añaden estructuras de tipo MA

lineales y términos adicionales para modelizar las observaciones anómalas y los

efectos de tipo intervención16.

6. Combinaciones de predicciones: Se han considerado combinaciones de las diferentes

técnicas estudiadas, con el propósito de contrastar si efectivamente la precisión es

mayor que tomando cada predicción individualmente y analizar cuál de los métodos

de combinación aporta mayor precisión.

14 Los modelos ARIMA considerados en esta aplicación son los utilizados en el programa de predicción PROYECTA que el equipo HISPALINK-Asturias emplea para la elaboración de predicciones de las series mensuales de la economía asturiana que intervienen en sus modelos MECASTUR. 15 Desde una perspectiva econométrica, las redes recurrentes son una clase de modelos dinámicos con variables latentes. Una de las estructuras más típicas es la red Elman, caracterizada por Kuan y White (1994) del modo siguiente:

Yt=Ft(Xt,θ)=βCt (ecuación de medida) Ct=G(Xtγ+Ct-1δ) (ecuación de estado)

donde β, γ y δ son vectores de parámetros, Ct es un vector de variables de estado (denominado “contexto” en la jerga neuronal) y G( ) es una función de transferencia (a menudo de tipo sigmoidal), Xt es la entrada del sistema e Yt la salida. Este tipo de redes presenta una clara conexión con los modelos lineales de espacio de estados. 16 La estimación de los parámetros se lleva a cabo mediante una implementación recursiva de los mínimos cuadrados no lineales conocida como el algoritmo BP modificado (V. Kuan y White (1994)). En Landajo (1999) se ha diseñado un software específico para esta clase de modelos, que puede ser ejecutado dentro del entorno Matlab.

12

Como muchos autores han puesto de manifiesto (Newbold y Granger (1974),

Armstrong (1978), Makridakis y Wheelwright (1978) entre otros), los métodos de

extrapolación de series temporales son mejores (o no peores) que los modelos econométricos

para predicciones a corto plazo, aunque para el largo plazo los modelos econométricos pueden

ser más adecuados. Basados en esta idea evaluamos los métodos para predicciones a corto

plazo, y en concreto con horizontes temporales h=1,...,12 meses.

Para evaluar las predicciones hemos considerado los pares predicción-realización

( )t,htht y,yL ++ correspondientes a los 12 últimos valores de cada serie. Es decir, se estiman

yt-12+h con h=1,...,12.

Como ya hemos visto anteriormente, las medidas más comunes de evaluación de

predicciones son el error cuadrático medio (ECM), el índice de desigualdad de Theil y el error

absoluto porcentual medio (EAPM). En este análisis hemos optado por tomar como medida el

EAPM debido a su carácter relativo y su sencillez en el cálculo y la interpretación.

Así, para las 20 series hemos calculado el EAPM para cada horizonte temporal según los

distintos métodos j:

100y

yy

h1

EAPMh

1k k12n

j,k12tk12thj,s ∑

= +−

+−+− −= donde h=1,...,12; s=1,...,20; j=1,...,5

y para cada horizonte temporal hemos obtenido la media del EAPM de las 20 series según los

distintos métodos j: ∑=

=20

1s

hjs ,

hj EAPM

201

EAPM .

Una vez obtenidos los hjEAPM de las 20 series en los distintos métodos y para

horizontes temporales h=1,...,12 se han obtenido los resultados que resumimos a

continuación17:

1. Con el objetivo de estudiar si existen diferencias esperadas en la precisión según los

métodos de predicción, aplicamos el test de Stekler para contrastar la hipótesis

[ ] [ ])y,y(LE)y,y(LE j12t,h12th12t

i12t,h12th12t −+−+−−+−+− = , adoptando el EAPM como

función de coste o desutilidad asociado a cada par realización-predicción.

El estadístico obtenido es 97,34H = , resultado que conduce al rechazo de la hipótesis

nula, y avala la comparación entre los métodos de predicción al existir entre ellos

diferencias esperadas en la precisión18.

17 El escaso número de series analizadas no permite extraer conclusiones robustas respecto a la comparación entre métodos para cada tipo de series. 18 Si tenemos en cuenta el test de Stekler para las predicciones efectuadas con ARIMA, N2, SM2 y redes neuronales el estadístico obtenido es 129,083H = , que conduce también al rechazo de la hipótesis.

13

2. La comparación de los EAPM del método ingenuo y del alisado exponencial realizados

sobre las series originales (N1 y SM) con los EAPM de los mismos métodos aplicados

sobre las series desestacionalizadas y posteriormente ajustadas con el componente

estacional (N2 y SM2), muestra que los resultados mejoran en el 100% de los casos19.

En la tabla 2 se aprecian las ganancias relativas de precisión que N2 y SM2 aportan

respecto a N1 y SM1 respectivamente, calculadas mediante la expresión:

100EAPM

EAPMEAPMg

hj

hj

hih

j,i

−−=

que cuantifica la ganancia en precisión aportada por el método i en relación al método j.

h hN1N2,g h

SMSM2,g

1 27,63 2,30 3 21,29 10,12 6 9,15 3,90 9 5,43 2,98 12 6,77 3,05

Tabla 2

En cuanto a cuál de los dos métodos de alisado sobre series desestacionalizadas funciona

mejor, se aprecia que SM2 ofrece mayoritariamente EAPM menores que N2, aconsejando

trabajar con los métodos de alisado sobre series desestacionalizadas.

3. Si comparamos la modelización ARIMA con los métodos de alisado que mejor se

comportan (SM2 y N2), se observa que funciona mejor la metodología Box-Jenkins

excepto para las predicciones de horizonte temporal h=1.

h hN2ARIMA,g

hSM2ARIMA,g

1 -20,9 -11,8 3 22,9 14,2 6 20,8 14,9 9 20,2 13,8

12 11,8 5,4 Tabla 3

Si bien autores como Makridakis y Hibon (1979), Lewandowski (1984) y Newbold y

Granger (1974) llegan a concluir en sus estudios que a pesar de la complejidad del

método de Box-Jenkins, éste ofrece peores resultados que otros más sencillos, no existe

unanimidad en el tema. De hecho, Newbold y Granger (1979) llegan a concluir lo

contrario que en su trabajo de 1974, es decir que ARIMA es el método que mejor

19 Estos resultados son coincidentes con los obtenidos por Makridakis y Hibon (1979) en su estudio con 111

14

funciona. Así pues las discrepancias existentes20 nos hacen pensar que los resultados

varían según el tipo de series y el conjunto de datos con los que se trabaja (Makridakis y

Wheelwright (1978)).

Si tenemos ahora en cuenta la modelización de redes neuronales (con la particularidad de

que este estudio sólo se ha efectuado para cuatro series), se aprecia que, exceptuando el

caso h=1 en el que los métodos de alisado funcionan mejor, los modelos neuronales son

los que aportan las predicciones más precisas, seguidos por la modelización ARIMA21,

confirmándose la idea de que los modelos más flexibles son también los más precisos.

4. En cuanto a la combinación de predicciones, de acuerdo con las clasificaciones

mencionadas con anterioridad, y teniendo en cuenta los ARIMA, N2 y SM2 es posible

señalar los siguientes rasgos:

a. Cuando se utiliza la Media aritmética, se aprecia en general que la precisión de las

predicciones combinadas mejora respecto a la que aporta cada método

individualmente. Además, la combinación de métodos heterogéneos funciona

mejor que la combinación de métodos similares. Así por ejemplo se observa

12,...,1hEAPMEAPM h2SM2N

h2SMARIMA =∀≥ −− .

Cuando realizamos el estudio teniendo en cuenta las redes neuronales (análisis que

se limita a cuatro series), la supremacía de la combinación de métodos

heterogéneos no está tan clara. Así por ejemplo para ARIMA-Redes y Redes-SM2

observamos el comportamiento resumido en el gráfico:

series de la economía francesa. 20 Makridakis y Hibon (1979) citan algunos trabajos con conclusiones opuestas a la suya y otros en los que los métodos de alisado y ARIMA funcionan de forma similar. 21 Es importante observar la conexión de las redes recurrentes con la modelización ARIMA. Desde este punto de vista, las estructuras recurrentes pueden reescribirse como modelos ARMA no lineales (NARMA, o NARMAX si llevan también variables exógenas), en los que junto a valores retardados de Y aparecen procesos de MA. Una forma típica sería la siguiente:

t

m

1j

q

1iitij

p

1iitijjqt1ttpt2t1tt åãyáóâ),... åå,å,,...yy,f(yY ε+

+== ∑ ∑∑

= =−

=−−−−−−

donde σ( ) es una función de transferencia sigmoidal, y se imponen restricciones adicionales adecuadas sobre las propiedades estocásticas de los procesos {Yt} y {εt}.

15

Combinación aritmética

0.0

2.0

4.0

6.0

1 2 3 4 5 6 7 8 9 10 11 12

h

EA

PM

Arima-Redes Redes-SM2

Figura 1

b. Por lo que se refiere a la utilización de la Media ponderada, comenzando por los

Métodos de varianza-covarianza (Bates y Granger (1969), Newbold y Granger

(1974), compararemos los resultados según tengamos o no en cuenta la correlación

entre los errores de predicción.

Contrastando si la combinación resulta más precisa cuando no se tiene en cuenta la

correlación de los errores de predicción de cada método, obtenemos que para cualquier

horizonte h la predicción combinada asumiendo ρ =0 mejora con respecto a aquélla

que tiene en cuenta la correlación. Winkler y Makridakis (1983) confirman también

que los mejores resultados se obtienen al ignorar los efectos de la correlación para

calcular los pesos de la combinación.

La comparación de las predicciones combinadas a través de media ponderada con las

asociadas a la media aritmética no permite establecer una supremacía clara. Así en

ARIMA-N2 la combinación de media aritmética aporta siempre EAPM menores que

la combinación varianza-covarianza, mientras sucede lo contrario para la combinación

de ARIMA -SM2.

Por su parte, los Métodos de regresión (Granger y Ramanathan (1984)) proporcionan

las ponderaciones de las combinaciones22 ARIMA-N2, ARIMA-SM2, N2-SM2 y

ARIMA -N2-SM2 obteniendo los siguientes resultados:

• Al estimar los pesos de N2-SM2 mediante la regresión

2SM12t2SM

2N12t2N12t yyy −−− α+α= el coeficiente de N2 para el 75% de las series

no supera el valor 0,1 y además no resulta significativo, lo cual indica que N2

22 Tanto en la combinación varianza-covarianza como en la de regresión las ponderaciones han de obtenerse para cada una de las 20 series a partir de los datos de cada una.

16

no aporta información adicional o relevante23 sobre la que aporta SM2 para

explicar la serie. Esto implica que ( ) ( )0,1á,á SM2N2 = y la predicción

combinada N2-SM2 coincide con la dada por SM2:

2SMh12t2SM

2SMh12t2SM

2Nh12t2N

2SM2Nh12t yˆyˆyˆy +−+−+−

−+− α=α+α=

Lo mismo ocurre al estimar los pesos de ARIMA-N2-SM2: se aprecia que N2

no aporta información relevante para la predicción en el método combinado.

• Las combinaciones por este método han sido obtenidas sin la restricción de que

los pesos han de sumar la unidad (método A), ya que –como demuestran Granger

y Ramanathan (1984)- la varianza de los errores de predicción obtenidos mediante

el método sin restricción es menor que la obtenida con el método de regresión

restringido.

En las combinaciones de media aritmética y varianza-covarianza las

ponderaciones suman la unidad, por lo que la varianza del error de predicción debería

de ser mayor que la obtenida por el método de la regresión. Ahora vamos a contrastar en

qué medida éste supone diferencias en la precisión de las combinaciones.

Para las dos combinaciones estudiadas ARIMA –N2 y ARIMA -SM2 los

resultados son diferentes por lo que no podemos extraer conclusiones acerca de cómo

afecta la restricción a los EAPM24.

Si bien hasta ahora sólo nos hemos fijado en la precisión de los métodos de predicción

como criterio para clasificarlos y evaluarlos, no hay que olvidar que tanto la complejidad

como el grado de dificultad para comprender los resultados son importantes a la hora de optar

por una técnica u otra.

Según Lewandowski (1984) el grado de complejidad es el tiempo, medido en horas,

que se requiere para enseñar a una persona, sin conocimientos especiales en predicción o

estadística, los principios de un método. El índice que propone este autor, que además tiene en

23 La idea de contrastar la aportación de información que cada método aporta a la predicción combinada fue dada por Nelson (1972) y Cooper y Nelson (1975) y formalizada y extendida por Chong y Hendry (1986). La formalización de este contraste se puede ver en Diebold y López (1995) 24 Así para ARIMA-SM2 se obtiene:

hMEDIA

hREGRESION

hCOVVAR EAPMEAPMEAPM <<− para h=1,...,12

y para ARIMA-N2: h

COVVARhREGRESION

hMEDIA EAPMEAPMEAPM −<< para h=1,...,5

17

cuenta el grado de comprensión de los resultados obtenidos, coincide básicamente con el

utilizado por Makridadkis (1983) que lo elabora en función de la complejidad percibida y por

tanto introduce criterios subjetivos.

Parece existir acuerdo entre varios autores respecto al hecho de que la metodología de

Box-Jenkins es la que requiere el mayor tiempo, pues es necesario observar el gráfico de cada

serie, las funciones de autocorrelación, identificar el modelo, estimar sus parámetros,

chequear las autocorrelaciones de los residuos, etc.

Los restantes procedimientos tienen una base prácticamente automática, si bien es

necesario detenerse en detectar la estacionalidad, la existencia de tendencia etc. Por lo que se

refiere a las redes neuronales, cuyo nivel de dificultad es considerable, han sido excluídas de

este análisis por haberse aplicado a un número reducido de series.

En nuestra aplicación, elaboramos un índice de complejidad para cada técnica de acuerdo con

los criterios de los autores anteriores, excepto para las combinaciones, en las que (frente a la

práctica habitual de promediar) proponemos agregar la complejidad de los métodos25:

Método de predicción Indice

de complejidad

Ingenuo 1

Alisado 5

ARIMA 10

Combinación Media aritmética 13

Combinación Media ponderada (regresión) 14

Combinación Media ponderada (varianza-covarianza) 15

Tabla 4

Teniendo en cuenta la clasificación de los diferentes métodos de acuerdo con su

precisión y con su complejidad, es posible elaborar una frontera de eficiencia que ilustre el

trade-off entre ambas características. La elección de métodos dependerá entonces de cada

situación considerada y de las preferencias del agente predictor.

h

COVVARhMEDIA

hREGRESION EAPMEAPMEAPM −<< para h=6,...,12

25 En el caso de la media aritmética, al no distinguir entre ARIMA-N2 y ARIMA-SM2, promediamos las dificultades de N2 y SM2 y sumamos el resultado a la dificultad del ARIMA. Para el método de la regresión proponemos añadir 1, teniendo en cuenta que este trabajo se realiza automáticamente con cualquier aplicación informática. En cambio, en el método de la varianza-covarianza añadimos 2 al considerar que exige un mayor esfuerzo del investigador.

18

Una primera frontera (Makridakis, 1983) se obtiene teniendo en cuenta el número de

veces que cada método fue el mejor o el segundo mejor y el índice de complejidad

correspondiente.

Los resultados obtenidos, representados en la figura 2, no cambiarían sustancialmente

si elaboramos la misma frontera pero relacionando la complejidad con los EAPM

(Lewandowski (1984)).

Frontera de eficiencia de los métodos de predicción

0123456789

0 2 4 6 8 10 12 14 16

Indice de complejidad

Nº

de

vece

s q

ue

el m

étod

o fu

e el

mej

or

o el

seg

un

do

mej

or

Figura 2

A partir de estas fronteras se pueden extraer algunas conclusiones para nuestras series:

• Los mejores resultados se obtienen con la media aritmética, al igual que en

diversos estudios empíricos (Granger y Newbold (1975), Makridakis y Hibon

(1979), Winkler y Makridakis (1983)), si bien no existe unanimidad en el tema.

Como menciona Otero (1993) sigue siendo una incógnita por qué la media

aritmética se comporta mejor que métodos de ponderación más complicados.

• En cuanto al trade-off entre precisión y complejidad, se puede perder

relativamente poca precisión a cambio de reducir significativamente la

complejidad de la técnica de predicción empleada.

Una vez efectuadas las comparaciones entre métodos, debemos preguntarnos ahora

por qué se producen diferencias en la precisión de las predicciones.

Existen muchos factores que pueden ayudarnos a entender las diferencias en la

actuación relativa de los métodos estudiados y, si asumimos que éstos pueden ser aislados y

cuantificados, entonces podemos aproximar su influencia.

19

Consideramos aquí un conjunto de estos factores, explorando su capacidad para

explicar la precisión de las predicciones siguiendo el análisis efectuado por Makridakis y

Hibon (1979). Estos autores plantean regresiones considerando el EAPM como variable

dependiente y dos combinaciones de factores como variables independientes26.

El método utilizado para cuantificar los factores se basa en la descomposición clásica

de las series, que permite aproximar los componentes de tendencia-ciclo, estacionalidad y

aleatoriedad. Los cambios absolutos porcentuales medios (CAPM) de cada uno de los

componentes (Ct) se obtienen como:

−−

= ∑−

−

t 1t

1tt

C

CC

12n1

100CAPMc

y se incluyen como variables independientes en las regresiones planteadas.

Puesto que el objetivo de nuestro estudio es la evaluación de los modelos en función

de su capacidad predictiva, nos hemos centrado en el análisis de regresiones que tienen como

variable dependiente al EAPM de las predicciones, considerando ecuaciones de la forma:

uXXXXXEAPM 66554433221 +β+β+β+β+β+β=

donde X2, X3 y X4 representan los cambios absolutos porcentuales medios de los

componentes de tendencia, aleatoriedad y estacionalidad respectivamente, X5 es el número de

períodos que se predicen (h=1...12) y hemos incluido además la variable X6 que recoge el

número de observaciones (t-12) empleadas para ajustar el modelo de predicción

Hemos realizado el estudio para 7 de las 20 series iniciales27 sobre de las cuales ya se

habían obtenido sus correspondientes EAPMhj y estimado distintas regresiones dependiendo

de la técnica j a evaluar. Así, para evaluar una técnica se adoptó como variable dependiente el

EAPM obtenido para las series en los diferentes horizontes temporales de predicción (un total

de 84 observaciones) obteniéndose las estimaciones recogidas en la tabla 5 (entre paréntesis

se indican los errores estándar):

26 Una de las regresiones propuestas explica el EAPM de los modelos de predicción a partir del cambio absoluto porcentual medio de la tendencia, la aleatoriedad, la estacionalidad y el número de datos utilizados para estimar los modelos de predicción. La segunda regresión ajusta el EAPM con el cambio absoluto porcentual medio de la tendencia, de la aleatoriedad, de la estacionalidad y con el horizonte temporal de la predicción. 27 Las series son: Consumo de energía eléctrica usos industriales especiales, Producción de cemento, Producción de cemento gris, Producción de cinc, Producción de hulla, Indice general de precios al consumo e Indice de produccióm industrial.

20

Tabla 5

Los parámetros de las ecuaciones aportan información relevante sobre la actuación

relativa en la predicción de las diferentes metodologías. Así por ejemplo, se observa que la

aleatoriedad es un factor que afecta a la precisión y a la actuación de los diferentes métodos

de predicción. Cuando se produce un cambio en la aleatoriedad, la metodología ARIMA lleva

asociada predicciones más precisas, al ser la que presenta un coeficiente 3β menor.

Según nuestros resultados, el CAPM mayor corresponde a la aleatoriedad para el 70%

de las series por lo que, dado que el método menos afectado en el EAPM es el ARIMA,

resulta lógico que la metodología Box-Jenkins sea la más precisa. Por otra parte, el número de

datos que empleamos en la modelización (t-12) afecta también positivamente a la precisión de

los ARIMA.

El intento de especificar y medir la relación entre la precisión de las predicciones y los

factores que la afectan es válido para ilustrar la comparación entre métodos, si bien como

indican Makridakis y Hibon (1979) aún son necesarias notables mejorías en esta

metodología28 como la consideración de alguna medida cuadrática de precisión como variable

dependiente, o la introducción de más variables independientes.

Finalmente, tenemos que considerar la posibilidad de que el empleo de otra medida en

lugar del EAPM pudiera cambiar las conclusiones extraídas en nuestro estudio. No obstante,

algunos estudios sobre comparación de modelos con otras medidas llegan a similares

conclusiones independientemente de la medida empleada.

28 Los grandes errores estándar que obtienen estos autores les llevan a interrogarse sobre la significatividad estadística de los coeficientes. En nuestro caso a modo de ilustración podemos ver la influencia que tiene un cambio en la estacionalidad en la precisión de N1, con lo que N2 sería mejor al no estar afectado por ésta. Esto puede explicar porqué SM2 y N2 son más precisos que N1 y SM1.

Variable dependiente

Regresiones

Factores CAPMTend CAPMAleat CAPMEstac h t-12

Bondad

1β 2β 3β 4β 5β 6β R2

EAPMARIMA 0,02

(0,01) 0,93

(0,043) 0,001

(0,0005) -0,0002

(4,85E-05) 0,93

EAPMN2 0,037

(0,015) 0,96

(0,066) -0,0002

(7,47E-05) 0,85

EAPMN1 1,96

(1,34) 62,41

(15,3) 48,25

(27,33) 0,6

EAPMSM2 -0,008 (0,007)

1,089 (0,076)

0,84

EAPMSM -0,005 (0,007)

1,1 (0,076)

0,85

21

REFERENCIAS BIBLIOGRÁFICAS

ARMSTRONG, J.S. (1978): “Forecasting with Econometric Methods: Folklore versus Fact”, Journal of Business, Vol. 51, nº 4, 549-564.

BATES, J.M. y GRANGER, C.W.J. (1969): “The Combination of Forecast”, Operational Research Quarterly Vol. 20, nº 4, 451-468.

BOX, G.E.P. y G.M. JENKINS (1976): Time Series Analysis: Forecasting and Control, (2ª ed.), Ed. Holden-Day, San Francisco.

CHEN, X. y SHEN, X. (1998): “Sieve Extremum Estimates for Weakly Dependent Data”, Econometrica, Vol. 66, No. 2, March, 289-314.

CLEMEN, T. (1989): “Combining forecasts: A review and annotated bibliography”, International Journal of Forecasting, Vol. 5, 559-583.

DIEBOLD, X. y LÓPEZ, J.A. (1995): Forecast Evaluation and Combination, Working Paper, University of Pennsylvania.

DICKS, G. y BURRELL, A. (1994): “Forecasting in practice”, Applied Economic Forecasting Techniques, Stephen Hall, London.

GRANGER, C.W.J. (1981): “Some properties of time series data and their use in econometric model specification”, Journal of Econometrics, 16, 121-130.

GRANGER, C.W.J. y NEWBOLD, P. (1975): “Economic Forecasting: The Atheist´s Viewpoint”, Modelling the Economy, Ed. G.A. Renton, London. 131-147.

GRANGER, C.W.J y NEWBOLD, P. (1980): Forecasting Economic Time Series, Academic Press, New York.

GRANGER, C.W.J y RAMANATHAN, C. (1984): Improved Methods of Combining Forecast, Journal of Forecasting, Vol. 3, 197-204.

KUAN, C.M. y WHITE, H. (1994): “Artificial Neural Networks: An Econometric Approach”, Econometric Reviews, 13 (1), 1-91.

LANDAJO, M. (2000): “Neural and Fuzzy Models for Economic Forecasting. An Econometric View and Some Practical Experience”, Fuzzy Economic Review (Aceptado para publicación)

LANDAJO, M. (1999): Modelos neuroborrosos para la predicción económica. Tesis Doctoral, Universidad de Oviedo.

LAPEDES, A. y FARBER, R. (1987): “Nonlinear signal processing using neural networks”, Technical Report LA-UR-87-2662, Los Alamos National Laboratory, Los Alamos, N.M.

LEWANDOWSKI, R. (1982): “Sales Forecasting by FORSYS”, Journal of Forecasting, 1, 205-214.

LEWANDOWSKI, R. (1984): “Lewandowski’s FORSYS Method”, The forecasting Accuracy of Major Time Series Methods, John Wiley & Sons, 245-253.

LÓPEZ, A.J. y MORENO, B. (1999): Evaluación de predicciones basada en medidas de información. Nuevas Alternativas. Actas XIII Reunión Asepelt-España, Burgos.

LÓPEZ, A.J.; MUÑOZ, N. y PÉREZ, R.(1993): Base de datos Asturdat. Documento de trabajo 2/93, Hispalink-Aturias.

MAKRIDAKIS, S. (1984): “Forecasting: State of the Art”, The Forecasting Accuracy of Major Time Series Methods, John Wiley & Sons, 1-17.

MAKRIDAKIS, S. y HIBON, M. (1979): “Accuracy of Forecasting: An Empirical Investigation (with Discussion)”, J. R. Statistical Society, Series A, 142, Part. 2, 97-145.

MAKRIDAKIS, S. y otros (1982): “The Accuracy of Extrapolation (Time Series) Methods: Results of a Forecasting Competition”, Journal of Forecasting, Vol. 1, 111-153.

MAKRIDAKIS, S. y WHEELWRIGHT, S. (1978): Forecasting: Methods & Applications, John Wiley & Sons.

22

MORENO, B. (1999): “Técnicas de predicción en series temporales y medidas de evaluación”. Memoria de Proyecto de Investigación. Departamento de Economía Aplicada, Universidad de Oviedo.

NEWBOLD, P. y GRANGER, C.W.J. (1974): “Experience with Forecasting Univariate Time Series and the Combination of Forecast”, Journal of the Royal Statistical Society, Serie A, 137. Part. 2, 131-165.

NEWTON, H.J. y PARZEN, E. (1984): “Forecasting and Time Series Model Types of 111 Economic Time Series”, The Forecasting Accuracy of Major Time Series Methods, John Wiley & Sons, 267-287.

OTERO, J.M. (1994): Modelos econométricos y predicción de series temporales, Ed. AC, Madrid.

PULIDO, A (1998): Una apuesta por el futuro. Predicciones y profecías económicas. Ed. Pirámide, Madrid.

PULIDO, A. y LÓPEZ, A.M. (1999): Predicción y Simulación aplicada a la economía y gestión de empresas, Ed. Pirámide, Madrid.

QUANTITATIVE MICRO SOFTWARE (1998): EVIEWS User´s Guide, Command and Programming Reference.

STECKLER, H.O. (1987): “Who forecasts better?”, Journal of Business and Economic Statistics, 5, 155-158.

RASVIRTA, T.; TJOSTHEIM, D. y GRANGER, C.W. (1994): “Aspects of modelling nonlinear time series”, en (R.F. Engle & D.L. McFadden, eds.) Handbook of Econometrics, vol. IV, cap. 48, 2917-2957. Elsevier Science, New York.

THEIL, H. (1955): “Who Forecast Best?”, International Economic Papers, Vol. 5, 194-199. THEIL, H. (1958): Economic Forecast and Policy, North Holland Publishing. THEIL, H. (1966): Applied Economic Forecasting, North Holland Publishing. THEIL, H. y SCHOLES, M. (1967): “Forecast Evaluation Based on a Multiplicative

Descomposition of Mean Square Errors”, Econometrica, 35, 70-88. WHITE, H. (1994): Estimation, Inference and Specification Analysis. Cambridge University

Press, New York. WINKLER, R.L. (1984): “Combinig Forecasts”, The Forecasting Accuracy of Major Time

Series Methods, John Wiley & Sons, 289-295. WRINKLER, R.L. y MAKRIDAKIS, S. (1983): “The Combination of Forecast”, Journal of

the Royal Statistical Society, Serie A, 146. Part. 2, 150-157.