“Badanie i implementacja aspektu QoE(ang. Quality of Experience) w aplikacjach wideo ze szczególnym uwzględnieniem rozpoznawania obiektów”dr inż. Mikołaj Leszczuk

Kraków, 16.03.2017

Quality of Experience(QoE)

» Jakość usług, Quality of Service (QoS), to za mało dla dostawców usług

» Prawdziwe wyzwanie to jakość doświadczana (QoE)

» Zagadnienie globalne, istotny trend w rozwoju systemów multimedialnych

» Dla wideo: Video Quality Experts Group

2

QoE wg. Białej Księgi Sieci QUALINET

Problematyka badawcza QoE wiąże się ze „stopniem zadowolenia lub irytacji użytkownika aplikacji lub usługi. QoE wynika z realizacji oczekiwań użytkownika względem użyteczności i/lub zadowolenia z aplikacji lub usługi w świetle aktualnych preferencji użytkownika.”

3

Rozważane aspektyekosystemu mediów

Treść Dostarczanie

Użyteczność i interakcja

Model biznesowy

QoE

4

Rozwój moich badań naukowych

Tworzenie i optymalizacja modeli jakości TRV oraz prace przeglądowe i wykorzystanie osiągniętych wyników w standaryzacji ITU-T

Modelowanie i optymalizacja QoE Dobór testerów Standaryzacja ITU-T Prace przeglądowe i

podsumowujące

Badanie i implementacja aspektu QoE w aplikacjach Target Recognition Video (TRV)Inżynieria (bio-)medyczna

•Badanie QoE dla inżynierii medycznej•Określanie jakości nagrań

Aplikacje zapewniające bezpieczeństwo•Rozpoznawanie wzorców•Klasyfikacja TRV, określenie granic QoE i baza sekwencji

Ogólne badania i implementacja aspektu QoE w aplikacjach wideoAnaliza wideo dla kompresji Opracowanie wskaźników QoE i ich implementacja

Przegląd osiągnięć badawczych

6

Ogólne badania i implementacjaaspektu QoE w aplikacjach wideo (1/2)

» Eksperyment psychofizyczny na potrzeby modelu QoE wymagającego dostępu do treści źródłowej (ang. Full-Reference)[Elsevier SPIC, 2013, IF=1.153, 45%]

» Analiza wideo na potrzeby algorytmu doboru parametrów kompresji, maksymalizującego QoE[Proc. EI 2015, WoS, 50%]

7

Ogólne badania i implementacjaaspektu QoE w aplikacjach wideo (2/2)

» Opracowanie koncepcji wskaźników QoE niewymagających dostępu do treści źródłowej (ang. No-Reference)[Springer MTAP, 2014, IF=1.346, 75%]

» Prace przy implementacji wskaźników QoE, działających w czasie rzeczywistym[Elsevier SPIC, 2015, IF=1.462, 60%]

8

Badanie i implementacja aspektu QoE w aplikacjach inżynierii (bio-)medycznej

» Określenie granic wiarygodnej diagnostycznie kompresji (w rozumieniu TRV)[Proc. VISUAL 2008, WoS, 65%][Springer OER, 2008, IF=1.135, 50%](kontynuacja badań po doktoracie)

» Wykrywanie fragmentów nagrań o niskiej/wysokiej QoE (w rozumieniu TRV)[Bio-Med Central BEO, 2011, IF=1.405, 60%]

9

Badanie i implementacja aspektu QoE waplikacjach zapewniających bezpieczeństwo (1/2)

» Analiza rozpoznawania wzorców w TRV pochodzącym z kamery[Proc. SPA 2013, WoS, 60%, Best Paper]

» Metodologia klasyfikowania TRV na potrzeby modelowania QoE[Springer MTAP, 2015, IF=1.346, 65%]

10

Badanie i implementacja aspektu QoE waplikacjach zapewniających bezpieczeństwo (2/2)

» Określenie granic QoE dla rozpoznawania wzorców w TRV pochodzących z kamery[Proc. MCSS 2011, WoS, 60%]

» Udostępnienie bazy sekwencji wizyjnych, jako referencja do badań dla innych zespołów badawczych[Proc. SPA 2013, WoS, 70%]

11

Tworzenie i optymalizacja modeli jakości TRVoraz prace przeglądowe i wykorzystanie

osiągniętych wyników w standaryzacji ITU-T (1/2)

» Model QoE dla TRV[Proc. MCSS 2011, WoS, 100%]

» Algorytm optymalizacji parametrów kompresji TRV[Springer MTAP, 2014, IF=1.346, 100%]

» Przegląd wybranych osiągnięć w ocenie QoE dla TRV[Proc. MCSS 2013, WoS, 70%]

12

40 80 120 160 200 240 280 320 360 400 4400.0

0.5

1.0f(x) = 0.32856173215 ln(x) − 0.92292774755R² = 0.80885872301672

Subjects Model

Bit-Rate [kbit/s]Thre

shol

d Pr

obab

ility

YKxsPfpGWaQoJAc5iSQ4QH

0 0.0005 0.001 0.00150.00.20.40.60.81.0

Logistic (Kept Scale + Compression)Logistic (Scale Down + Compression)

Compression RatioTh

resh

old

Prob

abili

ty

YKxsPfpGWaQoJAc5iSQ4QH

Tworzenie i optymalizacja modeli jakości TRVoraz prace przeglądowe i wykorzystanie

osiągniętych wyników w standaryzacji ITU-T (2/2)

» Opracowanie metodologii doboru testerów TRV[Proc. MCSS 2012, WoS, 60%]

» Standaryzacja metod subiektywnych QoE dla TRV[Zalecenie ITU-T P.912 (03/2016), 30%]

» Podsumowanie prac nad standaryzacją[Instytut Łączności JTIT, 2016, 100%]

13

Podsumowanie dorobku publikacyjnego

PRZED DOKTORATEM (-2006) 30

PO DOKTORACIE (2006+) 132

Książki w języku angielskim (rozdziały) 12

Książki w języku polskim (rozdziały) 3

Czasopisma indeksowane w JCR 19

Inne czasopisma w języku angielskim 9

Czasopisma w języku polskim 21

Standardy międzynarodowe 2

Konferencje międzynarodowe 37

Konferencje krajowe 8

Recenzje książek opublikowane w czasopismach indeksowanych w JCR 2

Raporty międzynarodowe 10

Warsztaty międzynarodowe 9

SUMA 162

BibliometriaSumaryczny IF (25 publikacji z listy JCR) 29,008

Sumaryczny IF po doktoracie (24 publikacje z listy JCR) 28,493

Liczba publikacji w osiągnięciu habilitacyjnym (2008-2016) 17

Sumaryczny IF w osiągnięciu habilitacyjnym (7 publikacji) 9,376

Publikacje WoS 49

Cytowania WoS 97

- bez samocytowań 57

- co stanowi 59%

Cytowania Google Scholar 500

Cytownia Scopus 146

h-index (WoS) 5

h-index (Google Scholar) 11

h-index (Scopus) 6

Projekty po doktoracieProjekt Typ Lata FunkcjaAMIS 🇫🇷🇵🇱🇪🇸 2015-2018 Kierownik umowyMITSU 🇵🇱🇪🇸🇹🇷🇷🇴 2013-2016 Kierownik umowyGAMA 🇪🇺 2007-2009 Kierownik umowyOASIS 🇪🇺 2004-2007 Kierownik umowyINDECT 🇪🇺 2009-2013 Główny wykonawcaSCISSOR 🇪🇺 2015-2017 Główny wykonawcaIMCOP 🇵🇱🇮🇱 2013-2016 Główny wykonawcaCONTENT 🇪🇺 2006-2009 Główny wykonawcaSARACEN 🇪🇺 2010-2013 Główny wykonawcaBRONCHOVID 🇵🇱 2007-2010 Główny wykonawcaTAPAS 🇵🇱 2011-2014 Główny wykonawcaE-NEXT 🇪🇺 2004-2006 WykonawcaINSIGMA 🇵🇱 2009-2015 WykonawcaIIP 🇵🇱 2010-2013 Wykonawca

Współpracamiędzynarodowa

» Członek 3 stałych komitetów redakcyjnych periodyków międzynarodowych (m.in. Elsevier Digital Signal Processing)

» Współprzewodniczący 10 komitetów organizacyjnych konferencji międzynarodowych (MCSS, F(h)MN)

» Recenzent 85 publikacji nadesłanych do czasopism międzynarodowych i krajowych

» Współredaktor 14 wydań specjalnych numerów czasopism indeksowanych w bazie JCR:– Elsevier Computer Communications– Elsevier Digital Signal Processing– Springer Multimedia Tools and Applications

» Recenzent 16 projektów: Komisja Europejska (🇪🇺), COST (🇪🇺), FWO (🇧🇪), IWT (🇧🇪), CHIST-ERA (🇪🇺)

» Członkostwo w organizacjach: VQiPS ( ), VQEG ( ), ITU-T ( ), GAMA (🇺🇸 🌍 🇺🇳 🇪🇺), IEEE ( ).🌍

» Staż: Vienna University of Applied Sciences ( )🇦🇹17

Nagrody zespołowei indywidualne

» 🇵🇱 Laur innowacyjności w ochronie informacji, Krajowe Stowarzyszenie Ochrony Informacji Niejawnych

» 🇵🇱 1 platynowy i 2 złote medale, Targi Innowacji INTARG» 🇹🇼 Srebrny medal, Kaohsiung International Invention and Design EXPO» 🇵🇱 Nagroda diamentowa – Lider, Biuro Bezpieczeństwa Narodowego» 🇫🇷 Nagroda konkursu, Paris International Concours Lepine» 🇵🇱 SUPERNOWOCZESNY, Komenda Główna Policji » 🇧🇪 2 medale, Brussels Innova» 🇵🇱 Best paper, Konferencja SPA» 🇵🇱 Nagroda Ministra za promocję innowacji, MNiSW» 🇵🇱 EuroSymbol Prize, Monitor Rynkowy» 🇵🇱 Gwiazda 7. Programu Ramowego, Małopolski Regionalny Punkt

Kontaktowy» 🇵🇱 Zespołowa Nagroda Dydaktyczna (I stopnia), Rektor AGH» 🇵🇱 5 indywidualnych Nagród Naukowych (II i III stopnia), Rektor AGH

Dziękuję Radzie Wydziału za uwagę

19

Cykl publikacji (1/4)1. [SPIC2013] Mikołaj Leszczuk, Lucjan Janowski, Piotr Romaniak, Zdzisław Papir,

wrzesień 2013, „Assessing quality of experience for high definition video streaming under diverse packet loss patterns”, Elsevier Signal Processing: Image Communication (SPIC) – IF = 1,153, tom 28, numer 8, strony 903–916, udział = 45%.

2. [EI2015] Mikołaj Leszczuk, Lucjan Janowski, 8 lutego 2015, „Advanced mechanisms for delivering high-quality digital content”, Proceedings of IS&T/SPIE Electronic Imaging (EI) – WoS, tom 9396, 6 stron, udział = 50%.

3. [MTAP2014a] Mikołaj Leszczuk, Mateusz Hanusiak, Mylène C. Q. Farias, Emmanuel Wyckens, George Heston, 6 września 2014, „Recent Developments in Visual Quality Monitoring by Key Performance Indicators”, Springer Multimedia Tools and Applications (MTAP) – IF = 1,346, strony 1–23, udział = 75%.

4. [SPIC2015] Mikołaj Leszczuk, Krzysztof Kowalczyk, Lucjan Janowski, Zdzisław Papir, listopad 2015, „Lightweight Implementation of No-Reference (NR) Perceptual Quality Assessment of H.264/AVC Compression”, Elsevier Signal Processing: Image Communication (SPIC) – IF = 1,462, tom 39, część B, strony 457–465, udział = 60%.

20

Cykl publikacji (2/4)5. [VISUAL2008] Mariusz Duplaga, Mikołaj Leszczuk, Zdzisław Papir, Artur

Przelaskowski, 11–12 września 2008, „Evaluation of Quality Retaining Diagnostic Credibility for Surgery Video Recordings”, Proceedings of Microsoft Visual Information Systems (VISUAL) – WoS, tom 5188, strony 227–230, udział = 65%.

6. [OER2008] Mariusz Duplaga, Mikołaj Leszczuk, Zdzisław Papir, Artur Przelaskowski, grudzień 2008, „Compression evaluation of surgery video recordings retaining diagnostic credibility (compression evaluation of surgery video)”, Springer Optoelectronics Review (OER) – IF = 1,135, tom 16, numer 4, strony 428-438, udział = 50%.

7. [BEO2011] Mikołaj Leszczuk, Mariusz Duplaga, 20 grudnia 2011, „Algorithm for Video Summarization of Bronchoscopy Procedures”, Bio-Medical Engineering On-Line (BEO) – IF = 1,405, tom 10, udział = 60%.

8. [SPA2013a] Mikołaj Leszczuk, Łukasz Skoczylas, Andrzej Dziech, 26–28 września 2013, „Simple Solution for Public Transport Route Number Recognition Based on Visual Information”, Proceedings of Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA) – WoS, strony 32–38, udział = 60%.

21

Cykl publikacji (3/4)9. [MTAP2015] Mikołaj Leszczuk, Łukasz Dudek, Marcin Witkowski, czerwiec 2015,

„Classification of video sequences into chosen generalized use classes of target size and lighting level”, Springer Multimedia Tools and Applications (MTAP) – IF = 1,346, tom 74, numer 12, strony 4381–4395, udział = 65%.

10. [MCSS2011a] Mikołaj Leszczuk, Lucjan Janowski, Piotr Romaniak, Andrzej Głowacz, Ryszard Mirek, 2–3 czerwca 2011, „Quality Assessment for a Licence Plate Recognition Task Based on a Video Streamed in Limited Networking Conditions”, Proceedings of Multimedia Communications Services and Security (MCSS) – WoS, tom 149, strony 10–18, udział = 60%.

11. [SPA2013b] Mikołaj Leszczuk, Lucjan Janowski, 26–28 września 2013, „Database for Video Quality Assessment in License Plate Recognition”, Proceedings of Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA) – WoS, strony 51–55, udział = 70%.

12. [MCSS2011b] Mikołaj Leszczuk, 2–3 czerwca 2011, „Assessing Task-Based Video Quality – A Journey from Subjective Psycho-Physical Experiments to Objective Quality Models”, Proceedings of Multimedia Communications Services and Security (MCSS) – WoS, tom 149, strony 91–99, udział = 100%.

22

Cykl publikacji (4/4)13. [MTAP2014b] Mikołaj Leszczuk, styczeń 2014, „Optimising Task-Based Video Quality”,

Multimedia Tools and Applications (MTAP) – IF = 1,346, tom 68, numer 1, strony 41–58, udział = 100%.

14. [MCSS2013] Mikołaj Leszczuk, Joel Dumke, 6–7 czerwca 2013, „Survey of Recent Developments in Quality Assessment for Target Recognition Video”, Proceedings of Multimedia Communications, Services and Security (MCSS) – WoS, tom 368, strony 59–70, udział = 70%.

15. [MCSS2012] Mikołaj Leszczuk, Artur Koń, Joel Dumke, Lucjan Janowski, 31 maja–1 czerwca 2012, „Redefining ITU-T P.912 Recommendation Requirements for Subjects of Quality Assessments in Recognition Tasks”, Proceedings of Multimedia Communications Services and Security (MCSS) – WoS, tom 287, strony 188–199, udział = 60%.

16. [JTIT2015] Mikołaj Leszczuk, styczeń 2015, „Revising and improving the ITU-T Recommendation P.912”, Journal of Telecommunications and Information Technology, tom 2015, numer 1, strony 10–14, udział = 100%.

17. [ITU2016] Carolyn Ford, Lucjan Janowski, Mikołaj Leszczuk, marzec 2016, „Subjective video quality assessment methods for recognition tasks”, Zalecenie ITU-T P.912, udział = 30%.

23