Upload
-
View
140
Download
0
Embed Size (px)
Citation preview
Построение формального описания фотографийна основе контекстно-
событийной онтологии
Савкуев Мурат, 425 группа
• "Context Correlation Using Probabilistic Semantics", S.Rafatirad, K. Laskey, P. Costa, 8th International Conference on Semantic Technologies for Intelligence, Defense, and Security (STIDS 2013), Nov 2013.
• "Transforming Personal Artifacts into Probabilistic Narratives", S. Rafatirad and K. Laskey. The 29th International Conference on Uncertainty in Artificial Intelligence, Jul 2013.
• "Contextual Augmentation of Ontology for Recognizing Sub-Events", S. Rafatirad and R. Jain. The 5th IEEE International Conference On Semantic Computing, Palo Alto, Sep 2011.
2
Формулировка задачи
• На вход подаётся набор фотографий, сопровождаемые мета-данными (время съёмки, координаты, параметры камеры)
• Дополнительно используются внешние источники сведений об авторе
• Учитывая эти данные, найти лучшие возможные тэги событий, соответствующие фотографии или группе аналогичных фотографий
3
Преимущества рассматриваемого подхода
• Использование контекста данных из нескольких источников может способствовать построению последовательной, однозначной базы знаний.
• Достаточно гибкая структура, позволяющая выразить контекстные атрибуты не только «зашитые» в события, но и обнаруженные в ходе работы (в т. ч. из внешних источников)
5
Входные данные
• P – поток фотографий и метаданных.•O (V, E) – контекстно-событийная онтология, где
V – классы событийЕ – отношения между узлами.
• В – набор внешних источников данных об авторе.
6
Вывод тегов
• S – наиболее релевантные подсобытия потока P. 𝑆 ⊆ 𝑉.Элементы множества S – наиболее вероятные события для группы контекстуально подобных фотографий
𝑃, 𝑂 𝑉, 𝐸 ⟶ 𝑆
• Для фотографии 𝑝 ∈ 𝑃, возможно группы аналогичных фотографий 𝑐𝑗 ⊂ 𝑃 (получаем в результате кластеризации)
функция 𝑓 вычисляет меру правдоподобности 𝑚𝑖𝑗𝑃 для
каждого «события – кандидата» 𝑠𝑖:
𝑓 𝑠𝑖 , 𝑐𝑗 = 𝑚𝑖𝑗𝑝
7
• В результате предыдущего шага нами получаем «черновик» описания фотографии: наиболее релевантным событиям
𝑠𝑖∈ 𝑆 ставятся в соответствие теги событий 𝑡𝑖𝑒 ∈ 𝑇.
• Используя информацию В, расширяем T .
• ∀𝑖 𝑡𝑖𝑒∈ 𝑇 либо содержится в 𝑂, либо может быть получено из 𝑂
(тогда расширяем 𝑂 и получаем 𝑂𝑟)
8
Вывод тегов
Модель представления описаний
Дескрипторы фотографий представляются в следующем виде:
𝑡𝑦𝑝𝑒𝑑: 𝑣𝑎𝑙𝑢𝑒𝑑 , 𝑐𝑜𝑛𝑓𝑖𝑑𝑒𝑛𝑐𝑒𝑑: 𝑣𝑎𝑙 , 𝑣𝑎𝑙 ∈ 0; 1
Пример: {sceneT ype : ‘indoor‘, confidence : 0.6}
«Sound cluster» d: для фотографии 𝑝𝑗 из потока P в d войдут те
фотографии из кластера с ( 𝑐 – размер кластера), которые содержат все дескрипторы 𝑝𝑗
𝑐𝑜𝑛𝑓𝑖𝑑𝑒𝑛𝑐𝑒𝑑 =1
𝑐× 𝑓(𝑝𝑗 , 𝑑)
Наличие последовательности из набора дескрипторов является обязательным условием для получения новых выводов.
12
Обработка дескрипторов
• “outdoorSeating: true”;
• “sceneType : outdoor”;
• “weatherCondition: storm”.
• 𝑜𝑢𝑡𝑑𝑜𝑜𝑟𝑆𝑒𝑎𝑡𝑖𝑛𝑔 ∧ 𝑜𝑢𝑡𝑑𝑜𝑜𝑟 → 𝑓𝑖𝑛𝑒𝑊𝑒𝑎𝑡ℎ𝑒𝑟
• 𝑓𝑖𝑛𝑒𝑊𝑒𝑎𝑡ℎ𝑒𝑟 → ¬ 𝑠𝑡𝑜𝑟𝑚
13