Upload
vantram
View
219
Download
0
Embed Size (px)
Citation preview
Redes NeuronalesSupport Vector Regression
Series TemporalesSeries TemporalesMáster en ComputaciónUniversitat Politècnica de Catalunya
Dra. Alicia Troncoso Lora
1
Contenido
� Introducción� Redes Neuronales: Aplicación� Support Vector Regression: Aplicación
Referencias
2
� Referencias
Redes Neuronales (I)
� Las Artificial Neural Network (ANN) han sido ampliamente usadas para predecir series temporales
� No necesita conocimiento a priori sobre la
3
� No necesita conocimiento a priori sobre la distribución de los datos
� Simulan el funcionamiento del sistema nervioso � Modelos que simulan el proceso de aprendizaje de las neuronas interconectadas en el cerebro
� En general, modelos: � Definición de una serie de capas� Cada capa tiene un número de nodos
relacionados con la capa anterior
Redes Neuronales (II)
4
relacionados con la capa anterior� La primera capa es el vector de entrada� La última capa es el vector de salida
� Clasificación según tipo de aprendizaje� Aprendizaje Supervisado
� Perceptrón Multicapa (MLP)Aprendizaje no supervisado
Redes Neuronales (III)
5
� Aprendizaje no supervisado� Redes auto-organizadas (Redes de
Kohonen)� Redes híbridas: kohonen+MLP
� Redes de función de base radial
Redes Neuronales: MLP
12
1
1Capa de entrada Capa de salida
Capa intermedia
1x 1̂x
6
jiw kjw
i k
j
ix kx̂
��
���
� +Φ= �i
jiijj xwx θˆ
Entrenamiento• Cálculo de parámetros � Método de optimización (métodos de descenso de gradiente)
Redes Neuronales: MLP
7
kkk xxx ∇+=+ α1
Entrenamiento
• Rampa de aprendizaje: Paso en el Método del gradiente. Afecta a la rapidez con la que la red
Redes Neuronales: MLP
8
gradiente. Afecta a la rapidez con la que la redalcanza el mínimo.
� Alto: Oscilación alrededor del mínimo o divergencia
� Bajo: mucho tiempo en converger
Entrenamiento• Momento: Prevenir convergencia a mínimo local
o punto de silla. � Alto: Incrementa la velocidad de
Redes Neuronales: MLP
9
� Alto: Incrementa la velocidad de convergencia. Riesgo de “pasarse” el mínimo
� Bajo: Favorece mínimos locales
Predicción de los precios de la energía eléctricaEnero-febrero 2001 � Training setMarzo-octubre 2001 � Test set
Redes Neuronales: Aplicación
10
Topología de la red y funciones de transferencia:3 capas: capa de entrada, capa intermedia y capa de salidaDeterminar el número de neuronas de cada capa
Capa de entrada � 24 neuronascorrespondientes a los precios de las 24 horas
Capa de salida:
Redes Neuronales: Aplicación
11
Capa de salida: � Una única salida� 24 salidas correspondientes a los precios
horarios de un día entero� Función de transferencia lineal
Capa intermedia: 24 neuronasFunción de transferencia sigmoidal
Redes Neuronales: Aplicación
Working days of a representative month
12
Redes Neuronales: Aplicación
Precios Diarios (céntimos/kWh)
marzo-mayo junio-agosto septiembre-octubre
Precio real 2.2588 3.5482 3.673
s. d. 0.7801 1.0597 0.518
15
s. d. 0.7801 1.0597 0.518
Error absoluto medio 0.3464 0.428 0.576
Máximo error horario 2.671 2.0736 2.167
Error relativo medio (%) 15 12 14
Support Vector Regression (I)
Introducidas en los 90 por Vapnik para problemas de clasificación
péta
lo
?
16
������
��������
��� �
Longitud del pétalo
Anc
hura
del p
étal
o
?
?
?
Support Vector Regression� Puntos más cercanos a la recta: vectores soporte� El margen es la distancia mínima de vectores soporte al
hiperplano� Objetivo: calcular hiperplano que maximiza el margen
17
d
Caso separable linealmente
Support Vector Regression� Resolver un problema de optimización:
Función objetivo cuadráticaFunción objetivo convexa
18
Función objetivo convexa
Un único óptimo global
)()1()())1(( vfufvuf θθθθ −+≤−+
Support Vector Regression
11..
||||21
min
)(
2
+=∀+≥+><
+>=<
ybxwas
w
bxwxh w es una combinación lineal de los vectores soporte ( multiplicadores de Lagrange distintos de 0)
19
11
11..
−=∀+≤+><
+=∀+≥+><
ii
ii
ybxw
ybxwas
))(()( xhsignoxf =
Support Vector Regression
11..
||||21
min
)(
2
+=∀−+≥+><
+
+>=<
�i
i
ybxwas
Cw
bxwxh
ξ
ξ
20
11
11..
−=∀−+≤+><
+=∀−+≥+><
iii
iii
ybxw
ybxwas
ξ
ξ
))(()( xhsignoxf =
Support Vector Regression� C nos permite regular el compromiso entre
coste y precisión � Cross-Validation, algoritmosevolutivos
21
más bajo intermedio más alto
Support Vector Regression� ¿Qué es un kernel?
Función que realiza el producto escalar en el espacio expandido
23
espacio expandido
Más ejemplos de kernels� Lineal
� Espacio:� Kernel:
� Cuadrático� Espacio:� Espacio:� Kernel:
� Polinómico de grado d� Kernel:
� Gaussiano de escala� Kernel:
Support Vector Regression� Lineal
� Función de pérdida � Vale 0 para los ejemplos dentrode una banda de anchura ∈
bxwf +>=<)(x
27
{ }εε −−=− )(,0)( xx fymaxfy
ε−ε
�=
−+N
iii fyC
1
2)(
21
min εxw
Support Vector Regression� No lineal
� Resuelve problema de optimización
bxwf +>=< )()( φx
bKf +−=� ),()( )( * xxx αα
28
bKfSVi
iii +−=�∈
),()( )( * xxx αα
Multiplicadoresde Lagrange
Support Vector Regressionx y
1.0 1.6
3.0 1.8
4.0 1.0
5.6 1.2
29
5.6 1.2
7.8 2.2
10.2 6.8
11.0 10.0
11.5 10.0
12.7 10.0
Support Vector Regressionx y
1.0 1.6
3.0 1.8
4.0 1.0
5.6 1.2
30
5.6 1.2
7.8 2.2
10.2 6.8
11.0 10.0
11.5 10.0
12.7 10.0
Support Vector Regression
1) Toolbox SVM en Matlabhttp://www.isis.ecs.soton.ac.uk/resources/svminfo/
Guardar en …/matlab/toolbox/svm y añadir al path
31
Interfaz gráfica (sólo 1 dimensión) uiregress
2) WEKA http://www.cs.waikato.ac.nz/ml/weka/
Classifier�SVMRegClassifier� SMORegClassifier� LibSVM
Ejercicios � Base de Datos: Demanda marzo 2001 – mayo
2001
1) Red Neuronal MLP y SVM (kernel lineal y RBF) con validación cruzada
33
RBF) con validación cruzada
2) Red Neuronal MLP y SVM (kernel lineal y RBF) con Percentage split
MLP SVM
Lineal RBF
Cross-Validation
Percentage split
Ejercicios � Base de Datos: Demanda marzo 2001 – abril
2001
1) Red Neuronal MLP y SVM (lineal, cuadrático, RBF)
34
cuadrático, RBF) Supplied Test set: Mayo 2001
MLP SVM
Lineal Cuadrático RBF
Mayo 2001
Referencias
[1] Ian H. Witten and Eibe Frank. Data Mining: Practical Machine Learning Tools and Techniques Morgan Kaufmann, June 2005.
[2] Alicia Troncoso Lora et al. Influence of ANN-Based Market Price ForecastingUncertainty on Optimal. (PSCC) Power System Computation Conference, 2002
[3] Alicia Troncoso Lora et al. Electricity Market Price Forecasting: Neural Networks
35
[3] Alicia Troncoso Lora et al. Electricity Market Price Forecasting: Neural Networks Versus Weighted-Distance k Nearest Neighbours. Lecture Notes in ComputerScience, Vol. 2453, pp. 321-330, 2002
[4] Wei-Chiang Hong. Electric Load Forecasting by Support Vector Model. Applied Mathematical Modelling, Vol. 33, pp. 2444�-2454, 2009.
[5] Jinxing Che, Jianzhou Wang. Short-term electricity prices forecasting based on support vector regression and Auto-regressive integrated moving average modeling. Energy Conversion and Management, in Press