Upload
alban
View
87
Download
3
Embed Size (px)
DESCRIPTION
Применение негладких функционалов для решения задач оценивания. П.А. Акимов , А.И. Матасов Лаборатория управления и навигации, механико-математический факультет МГУ им. М.В. Ломоносова. Дискретная динамическая система. Уравнения динамики в дискретном времени. Измерения. - PowerPoint PPT Presentation
Citation preview
1
Применение негладких функционалов
для решения задач оценивания
П.А. Акимов, А.И. Матасов
Лаборатория управления и навигации,механико-математический факультет
МГУ им. М.В. Ломоносова
2
Измерения
, kgkGqkFXkX )()()()1(
),()()( krkHXkz
Уравнения динамики в дискретном времени
Дискретная динамическая система
1.0 ,K,..k
Информация о начальном состоянии
),0(~)0()0(~ rXX
Характеристики точностей
ni~r ii ,...,1,)0(~
miRkr ii ,...,1,~)(
nrX R)0(~),0(~
Kkkrkz m ,...,0,)(),( R
ln kq, kX RR )( )(
,...,liQkq ii 1,~)(
Матрицы весовых коэффициентов (диагональные)
},...,{ 1 n diag
},...,{ 1 mRRR diag
},...,{ 1 lQQQ diag
3
Вариационная задача аппроксимации (задача сглаживания)
Проблема со смешанными нормами
при ограничениях
21 / ll
qX
K
k
K
k
kqQkXHkzRXXqXI ,
1
01
1
0
22
122
1 min||)(|| ||))( )((||||))0()0(~
(||),(
10 ,...,Kk, kgkGqkFXkX )()()()1( (1)
Специфика решения:
•варьирование весов
•рекуррентный алгоритм
Специфика решения:
•варьирование весов
•рекуррентный алгоритм
Специфика решения:
•варьирование весов
•рекуррентный алгоритм
Постановка задачи соответствует ситуации, когда возможны аномально большие значения погрешностей
Специфика задачи:
•наличие слагаемых двух типов: модули и квадраты невязок
•большое количество неизвестных –
•большое количество ограничений –
)(kqi
KlKn )1(
Kl
4
Вероятностная интерпретация
Погрешности в измерениях и динамике – независимые случайные величины с нулевым математическим ожиданием и заданной дисперсией:
)( ),0(~ krr ii
,...,ljQ
y
Qyp
jj
qj 1 ),||
2exp(2
1)(
)(kqi распределены по закону Лапласа со средним квадр. отклонением
распределены по закону Гаусса со средним квадр. отклонением
,...,miR
x
Rxp
ii
ri 1 ),2
exp(2
1)(
2
2
Метод максимума апостериорной плотности приводит к задаче типа (1) с точностью до подстановки
22j
j
jQ
iR
5
Алгоритм весовых и временных рекурсий (I)
Два «вложенных» итерационных процесса
«Весовая» рекурсия: последовательность квадратических задач
))( )(())( )((
)(),()( 2
1))0()0(
~())0()0(
~(),,(
),,(min
0
2
1
0
22
,1
K
k
T
K
kW
TT
qXs
kXHkzRkXHkz
kqskQkqXXXXsqXJ
sqXJJ
1,...,0)()()()1( Kk, kgkGqkFXkX при ограничениях
Основная идея – аппроксимация модулей невязок в функционале
|),(|2
1
|),(|
)(
2
1|)(|
2
skqskq
kqkq i
i
ii
)},1(),...,,0(),,(),...,,0({),( )()( sKqsqsKXsXqX ss решение на предыдущей итерации
6
iii
iii
i
Wi
QskqQ
Qskqskq
QskQ
|),(| если ,/
|),(| если ,|),(|),(
2
1
2
Алгоритм весовых и временных рекурсий (II)
Весовые матрицы
1,...,0
)()()()1(
Kk
,kgkGqkFXkX
),,(minarg),(,
)1()1( sqXJqXqX
ss
при ограничениях приближения решения исходной проблемы
,...2,1,0)()( },{ s
ss qX
Последовательность шагов
При малых невязках - регуляризация
ii Qskq |),(| параметр, характеристика малости невязок
|),(|
)(|)(|
2
skq
kqkq
i
ii
Замечание. Более распространенный способ аппроксимации модулей
в отличие от представленного здесь подхода, плохо приближает производную целевой функции
7
Алгоритм весовых и временных рекурсий (III)
«Временная» рекурсия: решение квадратических задач сглаживания.
Формулы Брайсона-Фрейзера
,...,KkkGskQskq
,...,K, kkkPkXskXT
W ,10),1(),()1,(
0),()()()1,(2
,...,KkHkHPRHkFPkK
PkKHkHPRkK
GskQGFkFPkP
XXkgkHXkzkKkFXkX
TTp
Tp
Tp
TW
T
p
,10 ,))(()()(
,)0( ),())()((
),( )()1(
),0(~
)0( ),())()()(()()1(
12
22
2
0)1( ,,...,0
)),()(())((
)1())(()(12
KKk
kHXkzHkHPRH
kHkKFkTT
Tp
)(),( kPkX из формул фильтра Калмана
)(k из рекуррентных формул в «обратном» времени
8
Алгоритм весовых и временных рекурсий (IV)
Структура алгоритма
Шагвычисление весовых матриц -построение функции
1s
),,( sqXJ
),,(minarg),(,
)1()1( sqXJqXqX
ss
Формулы Брайсона-Фрейзера
)(),( kPkX
)1(),1( kPkX
…
…
)1( k )(k… …
Критерий остановки
end0
Шаг 2sНет
Да
Приближенное решение найдено
9
Теорема. Пусть на текущей итерации получено решение
Тогда оценка уровня неоптимальности имеет вид
Уровни неоптимальности
Уровень неоптимальности текущей итерации
0
)1()1( ),(
I
qXI ss
0I минимальное значение целевого функционала
1s
Оценка уровня неоптимальности 0 ?0
Критерий остановки алгоритма end0
1
1
2
11
2
2
12
)1()1(00
1,min2
1,min),( ,
ss
sss JJ
JqXI
).,( )1()1( ss qX
K
k
KiW
skXHkzRsXX
siqsiQQ
0
22
122
12
1,...,02
||))1,( )((||||))1,0()0(~
(||
}||)1,( ),( || max{
10
1
0
2
0
20
20
1
000
,
1
)(),()()()(4
1
)()1( )()()0(~
max
K
kqW
Tq
K
kz
Tz
T
K
k
TK
k
Tz
Ts
kskQkkRk
kgkkzkXJ
Идея доказательства теоремы (I)
Проблема, двойственная к задаче со смешанными нормами, имеет вид
при ограничениях
K
kz
Tz
T
K
k
TK
k
Tz
T
kRk
kgkkzkXI
0
20
20
1
000
,
0
)()(4
1
)()1( )()()0(~
max
KkkkG
kHkFk
HF
qT
zTT
zTT
,...,1 ,0)1()(
,0)()1()(
0)0()1( 0
(2) 1,...,0
,1||)(||
Ki
iQ q
Проблема, двойственная к задаче аппроксимации, имеет вид
при ограничениях (2)
2l
(4)
(3)
11
Идея доказательства теоремы (II)
Соотношения двойственности1
10
0 , s
s JJII
K
kz
Tz
T
K
k
TK
k
Tz
T
kRk
kgkkzkXII
0
20
20
1
000
),(),(
00
)()(4
1
)()1( )()()0(~
max**
Оценка снизу при ограничении (3):0I
),( ** Решение проблемы (4) -
.0)1( ,0)()1()( ),1,(),()(
,,..,0 )),1,( )((2)(
)),1,0()0(~
(2
****2*
2*
2*0
KkHkFkskqskQk
KkskXHkzRk
sXX
zTT
Wq
z
K
kz
Tz
T
K
k
TK
k
Tz
T
kRk
kgkkzkX
0
*2**0
2*0
2
1
0
*
0
**0
)3(,
)()(4
)()1( )()()0(~
max
12
1
2
11
2
2
12
)1()1( 1,min2
1,min),(
ss
sss JJ
JqXI
0
)1()1( ),(
I
qXI ss
Идея доказательства теоремы (III)
1,min2
1,min)2(max
2
11
2
2
121
22
|:|
00 1
ss
ss
JJ
JJII
13
Численный пример
Дискретная динамическая система
1,...,1 ),()(10
04.01)1(
2
1
2
1
2
1
Kkk
q
qk
x
xk
x
x
Измерения и априорная информация
,,...,0 ),()()( 1 Kkkrkxkz )0 ,0()0(~ TX
3 ),5.0 ,1(diag ),1 ,10(diag RQ
Весовые матрицы
K=3600.
Неизвестных параметров 14389
Компонент векторов невязок в функционале 10800
Скачок в компоненте )(2 kx
14
Методы численного решения
аппроксимация, метод весовых и временных рекурсий, решение найдено за 943 с
аппроксимация, метод весовых и временных рекурсий, решение найдено за 80 с
аппроксимация, рекуррентный алгоритм сглаживания, R увеличен в 10 раз, решение найдено за 0.6 с
аппроксимация, рекуррентный алгоритм сглаживания, R увеличен в 50 раз, решение найдено за 0.6 с
Результаты оценивания
2l
1l
2l
21 / ll
1400 1600 1800 2000 2200 2400 2600 2800 3000
-4
-3
-2
-1
0
1
kx 2
Original signal
l1-norm approximation
l2-norm approximation 10xR
l2-norm approximation 50xR
l1/l
2-norm approximation
2000 2100 2200 2300 2400 2500-5
0
5
10
15
20
25
k
x 1
Original signal
l1-norm approximation
l2-norm approximation 10xR
l2-norm approximation 50xR
l1/l
2-norm approximation
15
Уровни неоптимальности
100 200 300 400 500 600 700
0
1
2
3
4
5
6
Number of Iteration
Non
optim
ality
Lev
el,
0-1
l1-norm approximation
l1/l
2-norm approximation
3
6
101
10
end
Параметры метода весовых и временных рекурсий
Существенная экономия вычислительных ресурсов при использовании проблемы со смешанными нормами
16
Два способа перехода к аппроксимирующим задачам
|),(|
)(|)(|
2
skq
kqkq
i
ii |),(|
2
1
|),(|
)(
2
1|)(|
2
skqskq
kqkq i
i
ii
Классический способ аппроксимации (метод Вейсфельда)
Улучшенный способ аппроксимации
Разные решения двойственной задачи (4)
)1,(),()( 2* skqskQk Wq)1,(),(2)( 2* skqskQk Wq
На «поздних» итерациях, вблизи оптимального решения исходной задачи
2|~)(| * kqi 1|~)(| * kqiточнее удовлетворяет условию
1,...,0 ,1||)(|| KkkQ q
...)(),()( ),,(1
0
2
K
kW
T kqskQkqsqXJ ...)(),()( 2
1),,(
1
0
2
K
kW
T kqskQkqsqXJ
Точнее оценивается уровень неоптимальности
17
Численное сравнение двух способов перехода к аппроксимирующим задачам
1400 1600 1800 2000 2200 2400 2600 2800 3000
-4
-3
-2
-1
0
1
k
x 2
Original signall1/l
2-norm approximation (a)
l1/l
2-norm approximation (b)
0 100 200 300 400 500 6000
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Number of Iteration
Non
optim
ality
Lev
el,
0-1
l1/l
2-norm approximation (a)
l1/l
2-norm approximation (b)
Некорректная оценка уровня неоптимальности, однако различие в решениях незначительно.
18
1. Предложен метод весовых и временных рекурсий для проблемы аппроксимации со смешанными номами в динамических задачах оценивания. Он является обобщением алгоритма Вейсфельда на случай динамических систем и существенно использует:
- переход к вспомогательным квадратическим задачам;
- рекуррентные соотношения между оценками векторов состояния в проблемах
сглаживания.
2. При помощи теории двойственности выпуклых вариационных задач построены оценки уровней неоптимальности, которые учитывают динамический характер рассматриваемых систем и «смешанный» характер функционалов.
3. Численные эксперименты показали возможность эффективного решения
динамических проблем аппроксимации большой размерности (с несколькими десятками тысяч переменных).
Заключение
21 / ll
2l
19
[1] Мудров В.И., Кушко В.Л. Методы обработки измерений: квазиправдоподобные оценки. – М.: Радио и связь, 1983.
[2] Bloomfield P., Steiger W.L. Least Absolute Deviations: Theory, Applications, and Algorithms. – Boston-Basel-Stuttgart: Birkhauser, 1983.
[3] Алексеев В.М., Тихомиров В.М., Фомин С.В. Оптимальное управление. – М.: Физматлит, 2005. [4] T. Kailath, A. H. Sayed, and B. Hassibi. Linear Estimation. New Jersey: Prentice Hall, 2000.
[5] Акимов П.А., Деревянкин А.В., Матасов А.И.. Гарантирующий подход и аппроксимация в задачах оценивания параметров БИНС при стендовых испытаниях. - М.: Изд-во МГУ, 2012.
[6] P. A. Akimov and A. I. Matasov. Recursive estimation algorithm for norm approximation in dynamic systems with nonoptimality levels. Proc. European Control Conference, 2013.
[6] B. Wahlberg, S. Boyd, M. Annergren and Y. Wang. An ADMM algorithm for a class of total variation regularized estimation problems. Proc. 16th IFAC Symposium on System Identification, 2012
[7] M.A.T. Figueiredo. Lecture Notes on the EM Algorithm. Lisboa Instituto Superior Archive, 2008
Литература
1l
1l