Upload
aziz-raboh
View
228
Download
0
Embed Size (px)
Citation preview
8/6/2019 Doc Man Methodology
1/24
A D o c u m e n t M a n a g e m e n t M e t h o d o l o g y B a s e d
o n S i m i l a r i t y C o n t e n t s
F a r i d M e z i a n e
S c h o o l o f C o m p u t i n g , S c i e n c e a n d E n g i n e e r i n g , S a l f o r d U n i v e r s i t y , S a l f o r d M 5
4 W T , U K
Y a c i n e R e z g u i
I n f o r m a t i o n S y s t e m s I n s t i t u t e , S a l f o r d U n i v e r s i t y , S a l f o r d M 5 4 W T , U K
A b s t r a c t
T h e a d v e n t o f t h e W W W a n d d i s t r i b u t e d i n f o r m a t i o n s y s t e m s h a v e m a d e i t p o s -
s i b l e t o s h a r e d o c u m e n t s b e t w e e n d i e r e n t u s e r s a n d o r g a n i s a t i o n s . H o w e v e r , t h i s
h a s c r e a t e d m a n y p r o b l e m s r e l a t e d t o t h e s e c u r i t y , a c c e s s i b i l i t y , r i g h t a n d m o s t i m -
p o r t a n t l y t h e c o n s i s t e n c y o f d o c u m e n t s . I t i s i m p o r t a n t t h a t t h e p e o p l e i n v o l v e d i n
t h e d o c u m e n t s m a n a g e m e n t p r o c e s s h a v e a c c e s s t o t h e m o s t u p - t o - d a t e v e r s i o n o f
d o c u m e n t s , r e t r i e v e t h e c o r r e c t d o c u m e n t s a n d s h o u l d b e a b l e t o u p d a t e t h e d o c u -
m e n t s r e p o s i t o r y i n s u c h a w a y t h a t h i s o r h e r d o c u m e n t a r e k n o w n t o o t h e r s . I n t h i s
p a p e r w e p r o p o s e a m e t h o d f o r o r g a n i s i n g , s t o r i n g a n d r e t r i e v i n g d o c u m e n t s b a s e d
o n s i m i l a r i t y c o n t e n t s . T h e m e t h o d u s e s t e c h n i q u e s b a s e d o n i n f o r m a t i o n r e t r i e v a l ,
d o c u m e n t i n d e x a t i o n a n d t e r m e x t r a c t i o n a n d i n d e x i n g . T h i s m e t h o d o l o g y i s d e v e l -
o p e d f o r t h e E - C o g n o s p r o j e c t w h i c h a i m s a t d e v e l o p i n g t o o l s f o r t h e m a n a g e m e n t
a n d s h a r i n g o f d o c u m e n t s i n t h e c o n s t r u c t i o n d o m a i n .
K e y w o r d s :
D o c u m e n t c o n s i s t e n c y , o n t o l o g y , s i m i l a r i t y c o n t e n t
P r e p r i n t s u b m i t t e d t o E l s e v i e r S c i e n c e 2 2 J u l y 2 0 0 3
8/6/2019 Doc Man Methodology
2/24
8/6/2019 Doc Man Methodology
3/24
m a n a g e m e n t s y s t e m w h i c h s u p p o r t s c o o p e r a t i v e p r e p a r a t i o n , e x c h a n g e a n d
d i s t r i b u t i o n o f d o c u m e n t s . T h e s y s t e m p a r t i c u l a r l y s t r e s s e d o n t h e l o s s o f
w o r k d o n e s i m u l t a n e o u s l y o n a d o c u m e n t a n d a c c e s s r e s t r i c t i o n s . D o c M a n i n -
t r o d u c e s t h e r e v i s i o n c o n c e p t t h a t p r e v e n t s a n y l o s s o f i n f o r m a t i o n c a u s e d b y
c o n c u r r e n t m o d i c a t i o n s b y f o r b i d d i n g d o c u m e n t s ' r e v i s i o n t o b e o v e r w r i t t e n .
T h i s i s a c h i e v e d b y t h e c r e a t i o n o f a n e w r e v i s i o n o r v e r s i o n w h e n t h e u s e r
m o d i e s t h e d o c u m e n t . U s e r s a r e t h e n i n f o r m e d a b o u t t h e d i e r e n t r e v i s i o n
o f t h e d o c u m e n t . T h e Z e l i g S y s t e m [ 4 ] w a s d e v e l o p e d f o r m a n a g i n g m u l t i p l e
r e p r e s e n t a t i o n d o c u m e n t s . I t w a s c l a i m e d t h a t d i e r e n t g r o u p s o f u s e r s w i l l
f a v o u r d i e r e n t r e p r e s e n t a t i o n s o f d o c u m e n t s . I n t h e d e s i g n o f t h e Z e l i g s y s -
t e m , a c l e a r d i s t i n c t i o n b e t w e e n t h e c o n c e p t u a l l e v e l a n d p r e s e n t a t i o n l e v e l
w a s m a d e . T h e c o n c e p t u a l l e v e l o f t h e d o c u m e n t i s w h e r e t h e s e m a n t i c o f t h e
d o c u m e n t a n d i t s l o g i c a l s t r u c t u r e a r e r e p r e s e n t e d . T h e p r e s e n t a t i o n l e v e l i s
t h e w a y t h e d o c u m e n t ' s s e m a n t i c i s c o n v e y e d t o t h e u s e r .
I n t h i s p a p e r w e p r e s e n t a m e t h o d o l o g y f o r m a n a g i n g a n d m a i n t a i n i n g d o c u -
m e n t s c o n s i s t e n c y u s i n g s i m i l a r i t y c o n t e n t . T h i s m e t h o d o l o g y i s d e v e l o p e d f o r
t h e E - C o g n o s p r o j e c t w h i c h a i m s a t d e v e l o p i n g t o o l s f o r t h e m a n a g e m e n t a n d
s h a r i n g o f d o c u m e n t s i n t h e c o n s t r u c t i o n d o m a i n . T h e a p p r o a c h i s b a s e d o n
g e n e r i c p r i n c i p l e s r e l a t e d t o i n f o r m a t i o n r e t r i e v a l a n d k n o w l e d g e m a n a g e m e n t .
T h e a i m o f t h i s p r o j e c t i s t o e x p l o i t t h e s e p r i n c i p l e s t o d e v e l o p a n a p p r o a c h
t h a t w i l l s u p p o r t c o n s i s t e n c y a c r o s s l a r g e k n o w l e d g e r e p o s i t o r i e s m a i n t a i n e d
i n a h e t e r o g e n e o u s a n d d i s t r i b u t e d c o l l a b o r a t i v e b u s i n e s s e n v i r o n m e n t . T h e
m e t h o d o l o g y a i m s a l s o a t a d d r e s s i n g m o s t o f t h e i s s u e s d i s c u s s e d i n t h e p r e -
v i o u s p a r a g r a p h . I t m a i n l y a i m s t o :
I d e n t i f y a d o c u m e n t t h r o u g h a s e t o f d o c u m e n t c h a r a c t e r i s t i c s t h a t a r e n o t
d e n e d b y t h e d o c u m e n t ' s p r o d u c e r b u t b y a p r e d e n e d s e t o f p r o p e r t i e s
a n d t e r m s d e n e d b y t h e s y s t e m ' s o n t o l o g y . T h i s w i l l f o r m t h e b a s i s f o r
b o t h t h e c l a s s i c a t i o n ( b y t h e p r o d u c e r ) a n d t h e r e t r i e v a l o f d o c u m e n t s ( b y
t h e u s e r ) .
M a n a g e t h e u p d a t i n g p r o c e s s o f d o c u m e n t s b y n o t o n l y k e e p i n g t r a c k o f a l l t h e c h a n g e s b u t a l s o b y n o t i f y i n g u s e r s w h e n n e w v e r s i o n o f t h e d o c u m e n t s
a r e p r o d u c e d .
d e a l w i t h a n h e t e r o g e n o u s a n d l a r g e d a t a b a s e o f d o c u m e n t s v i t a l t o t h e c o n s t r u c t i o n d o m a i n .
I t i s t h e a i m o f t h i s m e t h o d o l o g y t o a u t o m a t e a l l i t s s t e p s a n d m a k e t h e
p r o c e s s t r a n s p a r e n t t o t h e u s e r . T h e a p p r o a c h i s b a s e d o n a s o l i d t h e o r e t i c a l
f o u n d a t i o n , a n d w i l l b e d e p l o y e d i n a r e a l b u s i n e s s e n v i r o n m e n t . T h e r e m a i n i n g
o f t h e p a p e r i s o r g a n i s e d a s f o l l o w s : i n s e c t i o n 2 w e p r e s e n t t h e m o t i v a t i o n a n d
t h e b a c k g r o u n d b e h i n d t h e p r o j e c t . I n s e c t i o n 3 w e d e n e t h e d o c u m e n t l o g i c a l
r e p r e s e n t a t i o n a n d i n s e c t i o n 4 w e p r e s e n t t h e d i e r e n t t y p e s o f d o c u m e n t
h a n d l e d i n t h i s p r o j e c t . T h i s i s f o l l o w e d b y s e c t i o n 5 w h e r e d i m o d e l s u s e d f o r
d o c u m e n t s s e m a n t i c c h a r a c t e r i z a t i o n a r e p r e s e n t e d . I n s e c t i o n 6 w e p r e s e n t
3
8/6/2019 Doc Man Methodology
4/24
t h e g e n e r i c m o d e l o f t h e m e t h o d o l o g y u s e d f o r p o o r l y s t r u c t u r e d d o c u m e n t s .
S e c t i o n s 7 a n d 8 p r e s e n t s v a r i a n t s o f t h e m e t h o d o l o g y f o r d o c u m e n t s w i t h t e x t
f o r m a t t i n g s t r u c t u r e a n d h i g h l y s t r u c t u r e d d o c u m e n t s .
2 B a c k g r o u n d a n d M o t i v a t i o n
T h e c o n s t r u c t i o n i n d u s t r i a l p r o c e s s e s a r e c h a r a c t e r i z e d n o w a d a y s b y a n i n -
t e n s i v e u s e o f i n f o r m a t i o n t e c h n o l o g y . D e c i s i o n s w i t h t h e g r e a t e r d e s i g n a n d
e c o n o m i c c o n s e q u e n c e s a r e m a d e i n t h e e a r l y s t a g e s o f a p r o d u c t ' s l i f e c y c l e .
H o w e v e r , t h e i n t e g r a t i o n o f c o n s t r u c t i o n i n d u s t r y p r o c e s s e s i s b e c o m i n g d i -
c u l t d u e t o n e w d e s i g n c o n s i d e r a t i o n s ( n e w s t a n d a r d s a n d r e g u l a t i o n s , e n e r g y
c o n s u m p t i o n a n d m a t e r i a l r e c y c l i n g r e q u i r e m e n t s , e t c . ) a n d t h e c o n t i n u o u s
i n t r o d u c t i o n o f n e w t e c h n i q u e s , m a t e r i a l s a n d b u i l d i n g e l e m e n t s , w h i c h r e s u l t
i n t h e n e e d o f a n i n c r e a s i n g n u m b e r o f s p e c i a l i s t s i n v a r i o u s d o m a i n s . N u -
m e r o u s d o c u m e n t s o f d i v e r s e n a t u r e a r e i n v o l v e d i n t h e c o n s t r u c t i o n d o m a i n .
T h e s e d o c u m e n t s a r e o f t w o t y p e s : d r a w i n g s a n d w r i t t e n d o c u m e n t s . D r a w i n g s
a r e t h e s t r a i g h t f o r w a r d m e d i a t o c o n v e y m o s t o f t h e i n f o r m a t i o n n e e d e d b y
c o n s t r u c t i o n c o m p a n i e s a n d i n c l u d e a l o t o f i n f o r m a t i o n t h a t c a n b e h a r d t o
p u t i n t o w o r d s . T h e y a r e u s u a l l y m o r e f o r m a l a n d c o m p r e h e n s i v e t h a n t e x t
i n f o r m a t i o n . M o r e o v e r , w r i t t e n d o c u m e n t s a r e c o m p l e m e n t a r y t o d r a w i n g s ,
t h e y a r e t h e t r a d i t i o n a l s u p p o r t o f a n e n g i n e e r i n g p r o j e c t d e s c r i p t i o n . S o m e
o f t h e m s u c h a s b u i l d i n g c o d e s , e x a m p l e s o f t e c h n i c a l s o l u t i o n s , c o m p u t a t i o n
r u l e s d e n e t h e l e g a l c o n t e x t o f a p r o j e c t . O t h e r s l i k e t e c h n i c a l s p e c i c a t i o n s
d o c u m e n t s o r b i l l o f q u a n t i t i e s a r e g e n e r a t e d b y t h e e n g i n e e r i n g a c t i v i t i e s a n d
o f t e n h a v e a c o n t r a c t u a l i m p o r t a n c e .
T h e d o c u m e n t s g e n e r a t e d w i t h i n t h e e n t i r e l i f e c y c l e o f a c o n s t r u c t i o n p r o j e c t ,
a n d e s p e c i a l l y d u r i n g t h e d e s i g n s t a g e , n e e d t o b e o f q u a l i t y i n o r d e r t o p r o -
v i d e a r e l i a b l e b a s i s f o r c o n t r a c t o r s t o p e r f o r m t h e i r c o n s t r u c t i o n a c t i v i t i e s .
D o c u m e n t s o f q u a l i t y a r e o b t a i n e d b y e n s u r i n g , d u r i n g t h e i r p r o d u c t i o n , a c o -
h e r e n t a n d c o n s i s t e n t s t r u c t u r i n g b o t h o n t h e l o g i c a l a n d p h y s i c a l s i d e . T h i s
s t r u c t u r i n g i s r e l e v a n t i n t h e s e n s e t h a t t h e s e m a n t i c s o f a d o c u m e n t c a n b e
e c i e n t l y m a s t e r e d a n d t h u s c o r r e c t l y d e s c r i b e d ( a b s e n c e o f r e d u n d a n c i e s a n d
i n c o n s i s t e n c i e s ) .
M o r e o v e r , a d o c u m e n t h a s n o t o n l y t o b e s e l f c o n s i s t e n t b u t n e e d s a l s o t o
b e c o n s i s t e n t w i t h t h e e n t i r e p r o j e c t d o c u m e n t a r y b a s e a s w e l l a s t h e c o n -
s t r u c t i o n s t a n d a r d a n d r e g u l a t i o n b a s e . F u r t h e r m o r e , m a n y p r a c t i t i o n e r s a n d
r e s e a r c h e r s i n t h e c o n s t r u c t i o n d o m a i n h a v e r e c o g n i s e d t h e l i m i t a t i o n s o f c u r -
r e n t a p p r o a c h e s t o m a n a g i n g t h e k n o w l e d g e r e l a t i n g t o a n d a r i s i n g f r o m a
p r o j e c t i n a d i s t r i b u t i v e c o l l a b o r a t i v e e n v i r o n m e n t . A m o n g t h e r e a s o n s f o r
t h e s e l i m i t a t i o n s a r e :
4
8/6/2019 Doc Man Methodology
5/24
M u c h k n o w l e d g e , o f n e c e s s i t y , r e s i d e s i n t h e m i n d s o f t h e i n d i v i d u a l s w o r k i n g w i t h i n t h e d o m a i n .
T h e i n t e n t b e h i n d d e c i s i o n s i s o f t e n n o t r e c o r d e d o r d o c u m e n t e d . I t r e q u i r e s c o m p l e x p r o c e s s e s t o t r a c k a n d r e c o r d t h e t h o u s a n d s o f a d - h o c m e s s a g e s ,
p h o n e c a l l s , m e m o s , a n d c o n v e r s a t i o n s t h a t c o m p r i s e m u c h p r o j e c t - r e l a t e d
i n f o r m a t i o n .
D a t a i s c a p t u r e d d u r i n g a p r o j e c t a n d a r c h i v e d a t t h e e n d o f a p r o j e c t ; t h i s i s n e c e s s a r y b u t n o t s u c i e n t f o r k n o w l e d g e s y s t e m s . K n o w l e d g e i s c r e a t e d
b y p e o p l e a c t i v e l y r e e c t i n g o n t h e e v e n t s r e p r e s e n t e d b y t h e p r o j e c t d a t a .
T h e k n o w l e d g e g a i n e d i s o f t e n p o o r l y o r g a n i s e d a n d b u r i e d i n d e t a i l s . H e n c e ,
i t b e c o m e s d i c u l t t o c o m p i l e a n d d i s s e m i n a t e u s e f u l k n o w l e d g e t o o t h e r
p r o j e c t s .
P e o p l e f r e q u e n t l y m o v e f r o m o n e p r o j e c t t o a n o t h e r , s o i t i s d i c u l t t o t r a c k t h e p e o p l e w h o w e r e i n v o l v e d i n a r e c o r d e d d e c i s i o n a n d w h o u n d e r s t a n d
t h e c o n t e x t o f t h e d e c i s i o n m a k i n g a n d i t s i m p l e m e n t a t i o n .
K n o w l e d g e i n t h e c o n s t r u c t i o n d o m a i n c a n b e c l a s s i e d i n t o t h e f o l l o w i n g
t h r e e c a t e g o r i e s :
D o m a i n k n o w l e d g e : t h i s f o r m s t h e o v e r a l l i n f o r m a t i o n c o n t e x t . I t i n c l u d e s a d m i n i s t r a t i v e i n f o r m a t i o n s u c h a s z o n i n g r e g u l a t i o n s a n d p l a n n i n g p e r m i s -
s i o n , s t a n d a r d s , t e c h n i c a l r u l e s a n d p r o d u c t d a t a b a s e s . T h i s i n f o r m a t i o n i s ,
i n p r i n c i p l e , a v a i l a b l e t o a l l c o m p a n i e s , a n d i s p a r t l y s t o r e d i n e l e c t r o n i c
d a t a b a s e s .
C o r p o r a t e k n o w l e d g e : t h i s i s c o m p a n y s p e c i c , a n d i s t h e i n t e l l e c t u a l c a p - i t a l o f t h e r m . I t r e s i d e s b o t h f o r m a l l y i n c o m p a n y r e c o r d s a n d i n f o r -
m a l l y t h r o u g h t h e s k i l l e d p r o c e s s e s o f t h e r m . I t a l s o c o m p r i s e s k n o w l e d g e
a b o u t t h e p e r s o n a l s k i l l s , a n d p r o j e c t e x p e r i e n c e o f t h e e m p l o y e e s a n d c r o s s -
o r g a n i s a t i o n a l k n o w l e d g e . T h e l a t t e r c o v e r s k n o w l e d g e i n v o l v e d i n b u s i n e s s
r e l a t i o n s h i p s w i t h o t h e r p a r t n e r s , i n c l u d i n g c l i e n t s , a r c h i t e c t s , e n g i n e e r i n g
c o m p a n i e s , a n d c o n t r a c t o r s .
P r o j e c t k n o w l e d g e : t h i s i s t h e p o t e n t i a l f o r u s a b l e k n o w l e d g e a n d i s t h e s o u r c e o f m u c h o f t h e k n o w l e d g e i d e n t i e d a b o v e . I t c o m p r i s e s b o t h k n o w l -
e d g e e a c h c o m p a n y h a s a b o u t t h e p r o j e c t a n d t h e k n o w l e d g e t h a t i s c r e a t e d
b y t h e i n t e r a c t i o n b e t w e e n r m s . I t i s n o t h e l d i n a f o r m t h a t p r o m o t e s r e -
u s e ( e . g . s o l u t i o n s t o t e c h n i c a l p r o b l e m s , o r i n a v o i d i n g r e p e a t e d m i s t a k e s ) ,
t h u s c o m p a n i e s a n d p a r t n e r s h i p s a r e g e n e r a l l y u n a b l e t o c a p i t a l i s e o n t h i s
p o t e n t i a l f o r c r e a t i n g k n o w l e d g e .
T h i s o v e r a l l c o n t e x t h a s o f t e n r e s u l t e d i n k n o w l e d g e r e d u n d a n c y a n d i n c o n -
s i s t e n c i e s , b u s i n e s s p r o c e s s i n e c i e n c i e s , a n d c h a n g e c o n t r o l a n d r e g u l a t o r y
c o m p l i a n c e p r o b l e m s . M o r e o v e r , t h e i n t r o d u c t i o n o f n e w n a t i o n a l r e g u l a t i o n s ,
o r a m e n d m e n t s m a d e t o e x i s t i n g o n e s , a r e o f t e n n o t h a n d l e d e e c t i v e l y w i t h i n
o r g a n i s a t i o n s a n d p r o j e c t s .
5
8/6/2019 Doc Man Methodology
6/24
3 D o c u m e n t s a n d T h e i r L o g i c a l R e p r e s e n t a t i o n
A d o c u m e n t i s a t r a n s i t i o n a l a n d c h a n g i n g o b j e c t d e n e d w i t h i n a p r e c i s e
s t a g e o f t h e p r o j e c t l i f e c y c l e . G e n e r a l l y , a d o c u m e n t i s r e l a t e d t o m a n y e l a b o -
r a t e d d o c u m e n t s o f t h e p r o j e c t d o c u m e n t a r y d a t a b a s e . A d o c u m e n t h a s o n e o r
m a n y a u t h o r s . I t i s d e s c r i b e d b y g e n e r a l a t t r i b u t e s s u c h a s a C o d e , a n I n d e x ,
a D e s i g n a t i o n , a D a t e o f c r e a t i o n a n d a l i s t o f i t s A u t h o r s . I d e a l l y , a l i s t o f
d o c u m e n t v e r s i o n s a l s o k e e p s t r a c k o f a n y a m e n d m e n t s m a d e t o t h e d o c u m e n t
d u r i n g i t s l i f e c y c l e . A n i n d e x i n g s y s t e m m a y b e a s s o c i a t e d t o t h e d o c u m e n t .
A d o c u m e n t i s s u b m i t t e d f o r a p p r o v a l a c c o r d i n g t o a d e n e d c i r c u i t o f e x -
a m i n e r s r e p r e s e n t i n g d i v e r s e t e c h n i c a l o r l e g a l e n t i t i e s . E a c h e x a m i n e r i s s u e s
a s t a t e m e n t t h a t e n a b l e s t h e d o c u m e n t t o b e a p p r o v e d , r e j e c t e d o r a p p r o v e d
u n d e r r e s e r v a t i o n .
A l s o , d o c u m e n t s h a v e b e e n t r a d i t i o n a l l y r e p r e s e n t e d u s i n g a s e t o f k e y w o r d s .
T h e s e k e y w o r d s o r i n d i c e s c a n e i t h e r b e m a n u a l l y d e n e d b y a u s e r w i t h a
g o o d k n o w l e d g e o f t h e s e m a n t i c s o f t h e d o c u m e n t , o r e x t r a c t e d a u t o m a t i c a l l y
f r o m t h e t e x t o f t h e d o c u m e n t u s i n g p r o v e n I n f o r m a t i o n R e t r i e v a l ( I R ) t e c h -
n i q u e s . A d o c u m e n t h a s a l o g i c a l a n d a p h y s i c a l s t r u c t u r e , w h i c h a r e b o t h u s e d
t o c o n v e y i n t h e b e s t p o s s i b l e w a y i t s i n t e r n a l s e m a n t i c s . T h e p h y s i c a l s t r u c -
t u r e o f a d o c u m e n t i s d e s c r i b e d u s i n g a p r o p e r l y d e n e d s y n t a x s u p p o r t e d b y
o n e o r s e v e r a l s o f t w a r e t o o l s .
E a c h d o c u m e n t s h o u l d h a v e i d e a l l y m e t a d a t a a t t a c h e d t o i t . A p o s s i b l e s o l u -
t i o n f o r d e s c r i b i n g m e t a d a t a i s t h r o u g h R D F ( R e s o u r c e D e s c r i p t i o n F r a m e -
w o r k - a d e v e l o p m e n t b a s e d o n X M L ) t h a t p r o v i d e s w i t h a s i m p l e c o m m o n
m o d e l f o r d e s c r i b i n g m e t a d a t a o n t h e W e b . I t c o n s i s t s o f a d e s c r i p t i o n o f
n o d e s a n d a t t a c h e d a t t r i b u t e / v a l u e p a i r s . N o d e s r e p r e s e n t a n y w e b r e s o u r c e ,
i . e . U n i f o r m R e s o u r c e I d e n t i e r ( U R I ) , w h i c h i n c l u d e s U R L ( U n i f o r m R e s o u r c e
L o c a t o r ) . A t t r i b u t e s a r e p r o p e r t i e s o f n o d e s a n d t h e i r v a l u e s a r e t e x t s t r i n g s
o r o t h e r n o d e s .
4 A D o c u m e n t T y p e T a x o n o m y
F o l l o w i n g t h e d e s c r i p t i o n o f w h a t a d o c u m e n t i s , a s w e l l a s t h e l e a d i n g m e t a -
l a n g u a g e a n d l a n g u a g e s t a n d a r d s i n t h i s a r e a , a n a t t e m p t i s m a d e t o c l a s s i f y
d o c u m e n t s b a s e d o n t h e i r i n h e r e n t n a t u r e a n d t h e s t r u c t u r e t h e y e x h i b i t , t a k -
i n g i n t o a c c o u n t t h e s p e c i c i t i e s o f t h e c o n s t r u c t i o n s e c t o r . T h r e e c l a s s e s o f
d o c u m e n t s h a v e b e e n i d e n t i e d , n a m e l y : p o o r l y s t r u c t u r e d d o c u m e n t s , d o c u -
m e n t s w i t h a c l e a r p h y s i c a l s t r u c t u r e , a n d h i g h l y s t r u c t u r e d d o c u m e n t s .
6
8/6/2019 Doc Man Methodology
7/24
4 . 1 P o o r l y S t r u c t u r e d D o c u m e n t s
T h e s e a r e d o c u m e n t s t h a t a r e c o m p o s e d o f t e x t w i t h n o f o r m a l s t r u c t u r e .
T h e s e c o n s t i t u t e t h e v a s t m a j o r i t y o f t h e c o n s t r u c t i o n d o c u m e n t a t i o n . D o c u -
m e n t s a r e t r e a t e d h e r e s i m p l y a s b l a c k - b o x e s . T h e s e t o f o p e r a t i o n s a s s o c i a t e d
w i t h t h i s c a t e g o r y o f d o c u m e n t s i n c l u d e :
M o d i f y i n g t h e c o n t e n t o f t h e d o c u m e n t D e l e t i n g t h e d o c u m e n t
4 . 2 D o c u m e n t s W i t h a T e x t F o r m a t t i n g S t r u c t u r e
T h e s e a r e d o c u m e n t s t h a t a r e t a g g e d u s i n g t h e H T M L l a n g u a g e , o r a t b e s t
t h e X M L l a n g u a g e b u t w i t h o u t r e f e r e n c e t o a D o c u m e n t T y p e D e n i t i o n
( D T D )
1. A p h y s i c a l s t r u c t u r e i n t h e f o r m o f a h i e r a r c h i c a l t r e e , o r h y p e r t e x t
l i n k o f n o d e s c a n b e e a s i l y g e n e r a t e d f r o m t h i s r e p r e s e n t a t i o n . T h i s s t r u c t u r e
o e r s a v a r i e t y o f p o s s i b i l i t i e s i n t e r m s o f t e x t r e t r i e v a l . T h e s e d o c u m e n t s
i n c l u d e d i r e c t r e f e r e n c e s t o o t h e r d o c u m e n t s / d o c u m e n t s e c t i o n s . T h e s e t o f
o p e r a t i o n s a s s o c i a t e d w i t h t h i s c a t e g o r y o f d o c u m e n t s i n c l u d e :
I n s e r t a n e w d o c u m e n t e l e m e n t s u c h a s h e a d i n g , p a r a g r a p h a n d s e c t i o n i n a d o c u m e n t .
D e l e t i n g a n e x i s t i n g h e a d i n g i n a d o c u m e n t . M o d i f y t h e c o n t e n t s o f a n e x i s t i n g h e a d i n g
4 . 3 H i g h l y S t r u c t u r e d D o c u m e n t s
T h i s c a t e g o r i z e s d o c u m e n t s t h a t a r e i n s t a n c e s o f a n X M L - b a s e d m e t a - l a n g u a g e .
T h e s e d o c u m e n t s h a v e a s e m a n t i c s t r u c t u r e t h a t c a n e a s i l y b e u s e d a s a b a s i s
f o r t e x t q u e r i e s a n d r e t r i e v a l . I d e a l l y , w e c a n e n v i s a g e t h a t a l l t h e d o c u m e n -
t a t i o n t h a t i s u s e d a n d p r o d u c e d i n t h e c o n s t r u c t i o n i n d u s t r y b e a n i n s t a n c e
o f a s p e c i c X M L D T D o v e r w h i c h u s e r s c a n e x e r c i s e c o n t r o l o v e r i t s i n t e r n a l
s e m a n t i c s . T h e s e d o c u m e n t s i n c l u d e n a t u r a l l y d i r e c t r e f e r e n c e s t o o t h e r d o c u -
m e n t s / d o c u m e n t s e c t i o n s . T h e s e t o f o p e r a t i o n s a s s o c i a t e d w i t h t h i s c a t e g o r y
o f d o c u m e n t s i n c l u d e :
A d d i n g a n e w D T D e l e m e n t t o t h e D T D l a n g u a g e .
1A D T D i s a f o r m a l d e s c r i p t i o n i n X M L D e c l a r a t i o n S y n t a x o f a p a r t i c u l a r t y p e o f
d o c u m e n t . I t s e t s o u t w h a t n a m e s a r e t o b e u s e d f o r t h e d i e r e n t t y p e s o f e l e m e n t ,
w h e r e t h e y m a y o c c u r , a n d h o w t h e y a l l t t o g e t h e r [ 7 ]
7
8/6/2019 Doc Man Methodology
8/24
I n s t a n t i a t i n g a n e w D T D e l e m e n t w i t h i n a d o c u m e n t . D e l e t i n g t h e i n s t a n c e o f a D T D e l e m e n t w i t h i n a d o c u m e n t . M o d i f y i n g o r e x t e n d i n g t h e c o n t e n t o f a D T D e l e m e n t i n s t a n c e .
5 M o d e l s f o r D o c u m e n t s ' S e m a n t i c s C h a r a c t e r i z a t i o n
I n d e x t e r m s a r e t r a d i t i o n a l l y u s e d t o c h a r a c t e r i z e a n d d e s c r i b e t h e s e m a n t i c s
o f a d o c u m e n t . T h i s a p p r o a c h a t t e m p t s t o s u m m a r i z e a w h o l e d o c u m e n t w i t h
a s e t o f t e r m s t h a t a r e r e l e v a n t i n t h e c o n t e x t o f t h e d o c u m e n t . W h i l e t h i s
a p p r o a c h h a s g i v e n s o m e s a t i s f a c t o r y r e s u l t s i n t h e a r e a o f I n f o r m a t i o n R e -
t r i e v a l ( I R ) , i t s t i l l h a s s o m e l i m i t a t i o n s a s i t p r o c e e d s b y o v e r s i m p l i f y i n g t h e
s u m m a r i z a t i o n p r o c e s s b y r e l y i n g o n a s u b s e t o f r e l e v a n t t e r m s t h a t o c c u r i n a
d o c u m e n t , a n d u s e s t h e s e a s a m e a n t o c o n v e y t h e s e m a n t i c s o f t h e d o c u m e n t .
T h i s s e c t i o n w i l l d e s c r i b e t h e e x i s t i n g I R m o d e l s t h a t e x i s t , a t a x o n o m y o f
w h i c h i s g i v e n i n [ 1 ] . T h e r e a r e t h r e e m a i n c l a s s i c a l m o d e l s o f I R : B o o l e a n ,
V e c t o r a n d P r o b a b i l i s t i c . I n t h e B o o l e a n m o d e l d o c u m e n t s a r e r e p r e s e n t e d
a s a s e t o f i n d e x t e r m s . T h i s m o d e l i s s a i d t o b e s e t t h e o r e t i c [ 9 ] . I n t h e
V e c t o r m o d e l d o c u m e n t s a r e r e p r e s e n t e d a s v e c t o r s i n a t - d i m e n s i o n a l s p a c e .
T h e m o d e l i s t h e r e f o r e s a i d t o b e a l g e b r a i c . I n t h e p r o b a b i l i s t i c m o d e l , t h e
m o d e l l i n g o f d o c u m e n t s i s b a s e d o n p r o b a b i l i t y t h e o r y . T h e m o d e l i s t h e r e -
f o r e s a i d t o b e p r o b a b i l i s t i c . A l t e r n a t i v e m o d e l s t h a t e x t e n d s o m e o f t h e s e
c l a s s i c a l m o d e l s h a v e b e e n d e v e l o p e d r e c e n t l y . T h e F u z z y a n d t h e E x t e n d e d
B o o l e a n M o d e l h a v e b e e n p r o p o s e d a s a l t e r n a t i v e s t o t h e s e t t h e o r e t i c m o d e l .
T h e G e n e r a l i z e d V e c t o r , t h e L a t e n t S e m a n t i c I n d e x i n g , a n d t h e N e u r a l N e t -
w o r k m o d e l s h a v e b e e n p r o p o s e d a s a l t e r n a t i v e s t o t h e A l g e b r a i c M o d e l . T h e
I n f e r e n c e N e t w o r k , a n d t h e B e l i e f N e t w o r k m o d e l s h a v e b e e n p r o p o s e d a s a n
a l t e r n a t i v e t o t h e P r o b a b i l i s t i c M o d e l . I t i s a l s o w o r t h m e n t i o n i n g t h a t m o d e l s
t h a t r e f e r e n c e t h e s t r u c t u r e , a s o p p o s e d t o t h e t e x t , o f a d o c u m e n t d o e x i s t .
T w o m o d e l s h a v e e m e r g e d i n t h i s a r e a : t h e N o n - O v e r l a p p i n g L i s t s m o d e l a n d
t h e P r o x i m a l N o d e m o d e l .
5 . 1 T h e B o o l e a n M o d e l
T h e B o o l e a n m o d e l i s b a s e d o n t h e s e t t h e o r y a n d B o o l e a n a l g e b r a . Q u e r y
e x p r e s s i o n s a r e e x p r e s s e d a s a c o m b i n a t i o n o f B o o l e a n e x p r e s s i o n s , i n c l u d i n g
B o o l e a n o p e r a t o r s w h i c h h a v e a c l e a r s e m a n t i c s . I t w a s a d o p t e d a n d h a d g r e a t
s u c c e s s i n b i b l i o g r a p h i c a n d l i b r a r y i n f o r m a t i o n s y s t e m s . T h e m a i n c r i t i c i s m
o f t h e B o o l e a n m o d e l [ 1 9 ] l i e s i n i t s b i n a r y e v a l u a t i o n s y s t e m . A d o c u m e n t c a n
b e e i t h e r r e l e v a n t o r n o t t o a g i v e n q u e r y . T h e r e i s n o i n h e r e n t a b i l i t y t o r a n k
t h e d o c u m e n t i n r e l a t i o n t o i t s r e l e v a n c e t o a g i v e n q u e r y . I n o t h e r w o r d s ,
t h e r e i s n o n o t i o n o f p a r t i a l m a t c h t o t h e q u e r y c o n d i t i o n s . I t i s c o m m o n l y
8
8/6/2019 Doc Man Methodology
9/24
a c k n o w l e d g e d t o d a y t h a t i n d e x t e r m w e i g h t i n g p r o v i d e s m o r e s a t i s f a c t o r y r e -
s u l t s i n r e t r i e v a l p e r f o r m a n c e . M o r e i n f o r m a t i o n o n t h e B o o l e a n m o d e l c a n b e
f o u n d i n [ 1 , 2 0 , 1 9 ] .
5 . 2 T h e V e c t o r M o d e l
T h e V e c t o r m o d e l a d d r e s s e s t h e l i m i t a t i o n s o f t h e B o o l e a n m o d e l b y p r o v i d i n g
a n a p p r o a c h t h a t s u p p o r t s d o c u m e n t p a r t i a l m a t c h i n g t o a g i v e n q u e r y . T h i s
i s a c h i e v e d b y a s s i g n i n g n o n - b i n a r y w e i g h t s t o i n d e x t e r m s i n d o c u m e n t s a n d
q u e r i e s . T h e s e t e r m k e y w o r d w e i g h t s a r e t h e n u s e d i n a s e c o n d s t a g e t o
s o r t d o c u m e n t s b y t h e i r l e v e l o f r e l e v a n c e t o t h e i n i t i a l q u e r y . M o r e d e t a i l s
a n d f u r t h e r d e s c r i p t i o n o f t h e V e c t o r m o d e l , w h i c h i s t o d a y c o n s i d e r e d a s t h e
m o s t p o p u l a r I R m o d e l , c a n b e f o u n d i n [ 1 , 1 5 , 1 6 ] .
5 . 3 T h e P r o b a b i l i s t i c M o d e l
T h i s w a s i n t r o d u c e d i n i t i a l l y b y R o b e r t s o n a n d S p a r c k J o n e s [ 1 3 ] a s a m e a n
t o a d d r e s s t h e I n f o r m a t i o n R e t r i e v a l p r o b l e m w i t h i n a p r o b a b i l i s t i c c o n t e x t .
I t p r o c e e d s b y r e n i n g r e c u r s i v e l y a g u e s s e d i n i t i a l s e t o f d o c u m e n t s m a t c h i n g
a u s e r q u e r y b y i n v o l v i n g t h e u s e r f e e d b a c k t o e v a l u a t e t h e r e l e v a n c e o f t h e
r e t a i n e d s e t . F o r e a c h i t e r a t i o n , t h e u s e r r e t a i n s t h e d o c u m e n t s t h a t b e s t m a t c h
t h e q u e r y . T h e s y s t e m u s e s t h e n t h i s i n f o r m a t i o n t o r e n e t h e d e s c r i p t i o n
o f t h e i d e a l r e s p o n s e s e t . A s h i g h l i g h t e d i n [ 1 ] , t h e m a i n a d v a n t a g e o f t h e
p r o b a b i l i s t i c m o d e l i s t h a t d o c u m e n t s a r e r a n k e d i n d e c r e a s i n g o r d e r o f t h e i r
p r o b a b i l i t y o f b e i n g r e l e v a n t . T h e d i s a d v a n t a g e s i n c l u d e :
( 1 ) t o g u e s s t h e i n i t i a l s e p a r a t i o n o f d o c u m e n t s i n t o r e l e v a n t a n d n o n r e l e v a n t
s e t s
( 2 ) t h e m e t h o d d o e s n o t t a k e i n t o a c c o u n t t h e f r e q u e n c y i n w h i c h a n i n d e x
t e r m a p p e a r s w i t h i n a d o c u m e n t
A t h o r o u g h d e s c r i p t i o n o f t h e P r o b a b i l i s t i c m o d e l c a n b e f o u n d i n [ 1 2 ] .
5 . 4 A l t e r n a t i v e S e t T h e o r e t i c M o d e l s
A l t e r n a t i v e s e t t h e o r e t i c a l m o d e l s i n c l u d e t h e f u z z y s e t m o d e l a n d t h e e x -
t e n d e d s e t m o d e l .
9
8/6/2019 Doc Man Methodology
10/24
5 . 4 . 1 F u z z y S e t M o d e l
S e v e r a l m o d e l s t h a t m a k e u s e o f t h e F u z z y S e t t h e o r y h a v e b e e n p r o p o s e d . T h e
m o d e l f r o m O g a w a , M o r i t a a n d K o b a y a s h i [ 1 1 ] d e s e r v e s a p a r t i c u l a r a t t e n t i o n
i n t h a t a t h e s a u r u s i s b e i n g u s e d i n c o n j u n c t i o n w i t h t h e F u z z y S e t t h e o r y t o
e x p a n d t h e s e t o f i n d e x t e r m s i n a q u e r y a n d e x t e n d t h e r e t r i e v e d d o c u m e n t
s e t .
5 . 4 . 2 E x t e n d e d B o o l e a n M o d e l
T h e p r i n c i p l e b e h i n d t h e e x t e n d e d B o o l e a n m o d e l i s t o o v e r c o m e t h e b i n a r y
l i m i t a t i o n s o f t h e B o o l e a n m o d e l b y e x t e n d i n g t h e l a t t e r a n d e n h a n c i n g i t
w i t h p a r t i a l m a t c h i n g a n d t e r m w e i g h t i n g f r o m t h e v e c t o r m o d e l . T h i s m o d e l
h a s b e e n i n t r o d u c e d b y S a l t o n , F o x a n d W u [ 1 4 ] . M o r e t h o r o u g h d e s c r i p t i o n
c a n b e f o u n d i n [ 1 4 , 1 ] .
5 . 5 A l t e r n a t i v e A l g e b r a i c M o d e l s
A l t e r n a t i v e A l g e b r a i c m o d e l s i n c l u d e t h e G e n e r a l i z e d V e c t o r S p a c e M o d e l , t h e
L a t e n t S e m a n t i c I n d e x i n g M o d e l , a n d t h e N e u r a l N e t w o r k M o d e l .
5 . 5 . 1 G e n e r a l i z e d V e c t o r S p a c e M o d e l
T h e G e n e r a l i z e d V e c t o r S p a c e m o d e l a s s u m e s t h a t t w o i n d e x t e r m v e c t o r s
m i g h t b e n o n - o r t h o g o n a l w h i c h m e a n s t h a t t h e r e i s a p o s s i b i l i t y f o r t w o i n d e x
t e r m s t o b e c o r r e l a t e d . T h i s t e r m c o r r e l a t i o n i s u s e d a s a b a s i s f o r i m p r o v i n g
r e t r i e v a l p e r f o r m a n c e [ 2 2 ] .
5 . 5 . 2 L a t e n t S e m a n t i c I n d e x i n g M o d e l
T h e p r i n c i p l e b e h i n d t h e l a t e n t s e m a n t i c i n d e x i n g m o d e l i s t h a t i d e a s i n a
t e x t a r e m o r e r e l a t e d t o t h e c o n c e p t s t h a t a r e c o n v e y e d w i t h i n i t a s o p p o s e d
t o i n d e x t e r m s . B y u s i n g t h i s a p p r o a c h , a d o c u m e n t m a y b e r e t r i e v e d o n l y b y
t h e v i r t u e t h a t i t s h a r e s c o n c e p t s w i t h a n o t h e r d o c u m e n t t h a t i s r e l e v a n t t o a
g i v e n q u e r y . A s i n d i c a t e d i n [ 8 ] , t h e i n t e n t b e h i n d t h e l a t e n t s e m a n t i c i n d e x i n g
m o d e l i s t o m a p e a c h d o c u m e n t a n d q u e r y v e c t o r i n t o a l o w e r d i m e n s i o n a l
s p a c e w h i c h i s a s s o c i a t e d w i t h c o n c e p t s . T h i s i s a c h i e v e d b y m a p p i n g t h e
i n d e x t e r m v e c t o r i n t o t h e l o w e r d i m e n s i o n a l s p a c e [ 1 ] .
1 0
8/6/2019 Doc Man Methodology
11/24
5 . 5 . 3 N e u r a l N e t w o r k M o d e l
T h e N e u r a l N e t w o r k m o d e l i s b a s e d o n r e s e a r c h c a r r i e d o u t i n t h e a r e a o f
N e u r a l N e t w o r k s . T h e p r i n c i p l e b e h i n d r a n k i n g d o c u m e n t s t h a t a r e r e t r i e v e d
a g a i n s t a g i v e n q u e r y i s t o m a t c h t h e q u e r y i n d e x t e r m s a g a i n s t t h e D o c u m e n t
i n d e x t e r m s . S i n c e N e u r a l N e t w o r k s h a v e b e e n e x t e n s i v e l y u s e d f o r p a t t e r n
m a t c h i n g p u r p o s e s , t h e y h a v e b e e n u s e d n a t u r a l l y a s a n a l t e r n a t i v e m o d e l f o r
i n f o r m a t i o n r e t r i e v a l [ 1 ] . D e t a i l e d d e s c r i p t i o n o f t h i s m o d e l c a n b e f o u n d i n
[ 2 1 ] .
5 . 6 A l t e r n a t i v e P r o b a b i l i s t i c M o d e l s
T h e u s e o f p r o b a b i l i t y t h e o r y f o r q u a n t i f y i n g d o c u m e n t r e l e v a n c e h a s a l w a y s
b e e n a e l d o f r e s e a r c h i n I n f o r m a t i o n R e t r i e v a l s c i e n c e s . T w o e x a m p l e s o f
I R m o d e l s b a s e d o n p r o b a b i l i t y t h e o r y a r e t h e I n f e r e n c e N e t w o r k m o d e l a n d
t h e B e l i e f N e t w o r k . B o t h m o d e l s a r e b a s e d o n t h e B a y e s i a n B e l i e f N e t w o r k s
t h a t p r o v i d e s a f o r m a l i s m c o m b i n i n g d i s t i n c t s o u r c e s o f e v i d e n c e , i n c l u d i n g
p a s t q u e r i e s a n d p a s t f e e d b a c k c y c l e s . T h i s c o m b i n a t i o n i s u s e d t o i m p r o v e
r e t r i e v a l p e r f o r m a n c e o f d o c u m e n t s [ 1 8 ] .
5 . 6 . 1 I n f e r e n c e N e t w o r k M o d e l
T h e I n f e r e n c e N e t w o r k m o d e l t a k e s a n e p i s t e m o l o g i c a l a s o p p o s e d t o f r e q u e n -
t i s t v i e w o f t h e i n f o r m a t i o n r e t r i e v a l p r o b l e m [ 1 7 ] . I t p r o c e e d s , a s d e s c r i b e d i n
[ 1 ] b y a s s o c i a t i n g r a n d o m v a r i a b l e s w i t h t h e i n d e x t e r m s , t h e d o c u m e n t s , a n d
t h e u s e r q u e r i e s . A r a n d o m v a r i a b l e a s s o c i a t e d w i t h a u s e r d o c u m e n t d e n o t e s
t h e e v e n t o f o b s e r v i n g t h a t d o c u m e n t . T h i s d o c u m e n t o b s e r v a t i o n a s s e r t s a
b e l i e f u p o n t h e r a n d o m v a r i a b l e s a s s o c i a t e d w i t h i t s i n d e x t e r m s . B o t h i n -
d e x t e r m s a n d d o c u m e n t s a r e r e p r e s e n t e d a s n o d e s i n t h e n e t w o r k . E d g e s a r e
d r a w n f r o m a n o d e d e s c r i b i n g a d o c u m e n t t o i t s t e r m n o d e s t o i n d i c a t e t h a t
t h e o b s e r v a t i o n o f t h e d o c u m e n t y i e l d s i m p r o v e d b e l i e f o n i t s t e r m n o d e s . T h e
r a n d o m n u m b e r a s s o c i a t e d w i t h t h e u s e r q u e r y m o d e l s t h e f a c t t h a t t h e i n -
f o r m a t i o n r e q u e s t s p e c i e d i n t h e q u e r y h a s b e e n m e t . T h i s r a n d o m n u m b e r
i s a l s o r e p r e s e n t e d b y a n o d e i n t h e n e t w o r k . T h e b e l i e f i n t h e q u e r y n o d e i s
t h e n e x p r e s s e d a s a f u n c t i o n o f t h e b e l i e f s o f t h e n o d e s a s s o c i a t e d w i t h t h e
q u e r y t e r m s . A m o r e d e s c r i p t i o n o f t h i s m o d e l c a n b e f o u n d i n [ 1 7 , 1 8 ] .
5 . 6 . 2 B e l i e f N e t w o r k M o d e l
T h e b e l i e f n e t w o r k g e n e r a l i z e s t h e i n f e r e n c e n e t w o r k m o d e l . I t w a s i n t r o d u c e d
b y B e r t h i e e t a l . [ 3 ] . I t i s a l s o b a s e d o n a n e p i s t e m o l o g i c a l i n t e r p r e t a t i o n o f
p r o b a b i l i t i e s . I t d i e r s f r o m t h e i n f e r e n c e n e t w o r k m o d e l i n t h a t i t a d o p t s
1 1
8/6/2019 Doc Man Methodology
12/24
a c l e a r l y d e n e d s a m p l e s p a c e . I t t h e r e f o r e p r o v i d e s a s e p a r a t i o n b e t w e e n
t h e d o c u m e n t a n d q u e r y p o r t i o n s o f t h e n e t w o r k . T h i s h a s t h e a d v a n t a g e
o f f a c i l i t a t i n g t h e m o d e l l i n g o f a d d i t i o n a l e v i d e n t i a l s o u r c e s , i n c l u d i n g p a s t
q u e r i e s a n d p a s t r e l e v a n c e i n f o r m a t i o n .
5 . 7 S t r u c t u r e d M o d e l s
T h e s e r e f e r t o m o d e l s t h a t c o m b i n e i n f o r m a t i o n o n t e x t c o n t e n t w i t h i n f o r -
m a t i o n o n t h e p h y s i c a l s t r u c t u r e o f t h e d o c u m e n t . A c o m p r e h e n s i v e s u r v e y o f
s t r u c t u r e d m o d e l s c a n b e f o u n d i n [ 1 ] .
B a s e d o n t h i s s u r v e y o n d o c u m e n t c h a r a c t e r i z a t i o n m o d e l s a n d t h e n a t u r e o f
t h e d o c u m e n t s t o b e u s e d i n o u r s y s t e m , w e h a v e c h o s e n t h e v e c t o r m o d e l .
6 S y s t e m D e s c r i p t i o n
T h e g e n e r a l f r a m e w o r k o f t h e m e t h o d o l o g y , a s s h o w n i n F i g u r e 1 , i s f o r p o o r l y
s t r u c t u r e d d o c u m e n t s . T h e m e t h o d o l o g y i s c o m p o s e d o f 7 s t e p s a n d t h e s e
a r e d e s c r i b e d i n t h e f o l l o w i n g s u b s e c t i o n s . S t e p 0 i s t h e e n t r y p o i n t t o t h e
s y s t e m . I t c a n b e t h e s u b m i s s i o n o f a n e w d o c u m e n t o r t h e r e - s u b m i s s i o n o f
a m o d i e d d o c u m e n t . B o t h i n s t a n c e s w i l l g o t h r o u g h t h e s a m e p r o c e s s . A
l o g i c a l d o c u m e n t i s u s e d f o r s e a r c h i n g a n d o t h e r d o c u m e n t r e l a t e d o p e r a t i o n s .
A P h y s i c a l d o c u m e n t i s o n l y r e t r i e v e d o n u s e r s r e q u e s t s .
6 . 1 D o c u m e n t C l e a n s i n g M o d u l e
T h i s s t e p a i m s a t r e d u c i n g t h e d o c u m e n t t o a t e x t u a l d e s c r i p t i o n b y e l i m -
i n a t i n g n o n - d i s c r i m i n a t i n g w o r d s . T h e r e s u l t i n g d o c u m e n t c o n t a i n s m a i n l y
n o u n s a n d a s s o c i a t i o n o f n o u n s t h a t c a r r y m o s t o f t h e d o c u m e n t s s e m a n t i c s .
A c l e a n s e d d o c u m e n t r e d u c e s d r a s t i c a l l y t e x t c o m p l e x i t y a l l o w i n g b e t t e r p e r -
f o r m a n c e i n d o c u m e n t r e t r i e v a l a n d p r o c e s s i n g . T h i s i n v o l v e s t h e f o l l o w i n g
t a s k s :
L e x i c a l a n a l y s i s o f t h e t e x t i n o r d e r t o t r e a t d i g i t s , h y p h e n s , p u n c t u a t i o n m a r k s , a n d t h e c a s e o f l e t t e r s . T h i s r e d u c e s t h e i n i t i a l d o c u m e n t i n t o a
s u b s e t o f w o r d s t h a t a r e p o t e n t i a l c a n d i d a t e s f o r i n d e x t e r m s .
E l i m i n a t i o n o f s t o p w o r d s t o l t e r o u t w o r d s w i t h v e r y l o w d i s c r i m i n a t i o n v a l u e s f o r r e t r i e v a l p u r p o s e s .
1 2
8/6/2019 Doc Man Methodology
13/24
F i g . 1 . S y s t e m O v e r v i e w f o r P o o r l y S t r u c t u r e d D o c u m e n t s
S t e m m i n g t h e r e m a i n i n g w o r d s w i t h t h e o b j e c t i v e o f r e m o v i n g a x e s ( p r e - x e s a n d s u x e s ) a n d p r e v e n t i n g t h e r e t r i e v a l o f d o c u m e n t s c o n t a i n i n g
s y n t a c t i c v a r i a t i o n s o f q u e r y t e r m s , e . g . u s e , u s i n g , u s e d , u s a g e , e t c .
I n d e x t e r m s s e l e c t i o n w h e r e b y a l l i n d e x t e r m s a r e r e d u c e d t o t h e i r m i n i m a l n u m b e r b y o n l y r e t a i n i n g n o u n s a s n o u n s a r e e x p e c t e d t o c a r r y m o s t o f t h e
s e m a n t i c s o f t h e t e x t [ 1 ] .
6 . 2 D o c u m e n t I n d e x i n g
T h i s s t e p a i m s a t p r o v i d i n g a l o g i c a l v i e w o f a d o c u m e n t t h r o u g h s u m m a -
r i z a t i o n v i a a s e t o f s e m a n t i c a l l y r e l e v a n t k e y w o r d s . T h e s e a r e r e f e r r e d t o , i n
t h i s s t a g e , a s i n d e x t e r m s . T h e p u r p o s e i s t o g r a d u a l l y m o v e f r o m a f u l l t e x t
r e p r e s e n t a t i o n o f t h e d o c u m e n t t o a h i g h e r - l e v e l r e p r e s e n t a t i o n . T h i s m o d u l e
i s c o m p o s e d o f t h e f o l l o w i n g t a s k s :
6 . 2 . 1 I n d e x T e r m s E x t r a c t i o n
I n o r d e r t o r e d u c e t h e c o m p l e x i t y o f t h e t e x t , a s w e l l a s t h e r e s u l t i n g c o m p u -
t a t i o n a l c o s t s , t h e i n d e x t e r m s t o b e r e t a i n e d a r e :
A l l t h e n o u n s f r o m t h e c l e a n s e d t e x t . I t i s i n f a c t a r g u e d t h a t m o s t , i f n o t a l l , o f t h e s e m a n t i c s o f a t e x t d o c u m e n t i s c a r r i e d o u t b y n o u n s a s o p p o s e d
t o v e r b s , a d j e c t i v e s , a n d a d v e r b s [ 1 ] .
1 3
8/6/2019 Doc Man Methodology
14/24
N o u n g r o u p s ( n o n - e l e m e n t a r y i n d e x t e r m s ) c o - o c c u r r i n g w i t h a n u l l s y n t a c - t i c d i s t a n c e ( n u m b e r o f w o r d s b e t w e e n t h e t w o n o u n s i s n u l l ) .
6 . 2 . 2 E x t r a c t i n g t h e S t r u c t u r e o f t h e D o c u m e n t
T h i s s t a g e w i l l o n l y b e p o s s i b l e i f t h e d o c u m e n t h a s b e e n p r o d u c e d u s i n g
a d o c u m e n t f o r m a t t i n g l a n g u a g e , i n c l u d i n g R T F , S G M L , H T M L a n d X M L .
E a c h n o d e o f t h e r e s u l t i n g h i e r a r c h i c a l s t r u c t u r e w i l l h a v e a n i d e n t i e r t h a t w i l l
b e u s e d t o t r a c k n o d e s , t h e i r p a r e n t s a n d c h i l d r e n . A n o d e m i g h t c o n t a i n o t h e r
e l e m e n t s i n c l u d i n g r e f e r e n c e s w i t h i n o r o u t s i d e t h e s c o p e o f t h e d o c u m e n t ,
g u r e s , t a b l e s , f o r m u l a s , e t c .
6 . 2 . 3 E s t a b l i s h i n g t h e I n v e r t e d F i l e S t r u c t u r e o f t h e T e x t
T h e p u r p o s e o f a n i n v e r t e d l e s t r u c t u r e i s t o t r a c k t h e p o s i t i o n o f e a c h i n d e x
t e r m o c c u r r e n c e i n t h e t e x t . T h e p o s i t i o n s o f i n d e x t e r m o c c u r r e n c e s c a n b e
t r a c k e d e i t h e r o n a w o r d o r c h a r a c t e r b a s i s , o r o n a p h y s i c a l p o s i t i o n b a s i s ( b y
p o i n t i n g t o n o d e i d e n t i e r s f o r e x a m p l e ) . T h e l a t t e r t e c h n i q u e , r e f e r r e d t o a s
B l o c k A d d r e s s i n g , c a n o n l y b e u s e d w h e r e a p h y s i c a l s t r u c t u r e o f a d o c u m e n t
i s a v a i l a b l e . I t p r e s e n t s t h e a d v a n t a g e o f r e d u c i n g s p a c e s t o r a g e r e q u i r e m e n t s .
D o c u m e n t s w i t h n o c l e a r l y d e n e d p h y s i c a l s t r u c t u r e w i l l m a k e u s e o f w o r d
a d d r e s s i n g . T w o a c t i v i t i e s a r e i n v o l v e d i n t h i s s t a g e :
D e t e r m i n i n g t h e r a w f r e q u e n c y o f e a c h i n d e x t e r m i n t h e t e x t ; T h i s i s r e - f e r r e d t o a s i n t r a - c l u s t e r i n g s i m i l a r i t y i n t h e V e c t o r M o d e l [ 1 , 1 5 , 1 6 ] . T h i s
a i m s a t d e t e r m i n i n g t h e n u m b e r o f t i m e s a t e r m i s m e n t i o n e d i n a d o c u m e n t ,
a s w e l l a s t h e l o c a t i o n i n t h e d o c u m e n t o f t h e t e r m o c c u r r e n c e .
D e t e r m i n i n g t h e n u m b e r o f d o c u m e n t s i n w h i c h e a c h i n d e x t e r m a p p e a r s . T h i s a i m s a t c o u n t i n g t h e n u m b e r o f d o c u m e n t s o f t h e D o c u m e n t K n o w l e d g e
B a s e ( P r o j e c t K n o w l e d g e B a s e a n d / o r C o r p o r a t e K n o w l e d g e b a s e ) i n w h i c h
t h e t e r m a p p e a r s .
6 . 2 . 4 C a l c u l a t i n g t h e I n d e x T e r m W e i g h t f o r t h e D o c u m e n t
T h e p u r p o s e h e r e i s t o q u a n t i f y t h e d e g r e e o f i m p o r t a n c e i n t e r m s o f s e m a n t i c s
t h e i n d e x t e r m h a s o v e r t h e d o c u m e n t . T h e f o l l o w i n g f o r m u l a f r o m t h e V e c t o r
M o d e l i s u s e d :
wi,j = fi,j idfi ( 1 )
w h e r e
wi,j r e p r e s e n t s t h e q u a n t i e d w e i g h t t h a t a t e r m ki h a s o v e r t h e d o c u m e n t dj .
1 4
8/6/2019 Doc Man Methodology
15/24
fi,j r e p r e s e n t s t h e n o r m a l i s e d f r e q u e n c y o f a t e r m ki i n a d o c u m e n t dj a n d i s
c a l c u l a t e d u s i n g e q u a t i o n 2 :
fi,j =freqi,j
maxlfreql,j( 2 )
W h e r e
freqi,j r e p r e s e n t s t h e n u m b e r o f t i m e s t h e t e r m ki i s m e n t i o n e d i n d o c u m e n t
dj
maxlfreql,j c o m p u t e s t h e m a x i m u m o v e r a l l t e r m s w h i c h a r e m e n t i o n e d i n
t h e t e x t o f d o c u m e n t dj
idfi r e p r e s e n t s t h e i n v e r s e o f t h e f r e q u e n c y o f a t e r m ki a m o n g t h e d o c u m e n t s
i n t h e e n t i r e k n o w l e d g e b a s e , a n d i s e x p r e s s e d a s s h o w n b y e q u a t i o n 3 :
idfi = logN
ni( 3 )
W h e r e
N i s t h e t o t a l n u m b e r o f d o c u m e n t s i n t h e k n o w l e d g e b a s e a n d ni i s t h e
n u m b e r o f d o c u m e n t s i n w h i c h t h e t e r m ki a p p e a r s .
6 . 3 I n d e x T e r m s E x p a n s i o n a n d N o r m a l i z a t i o n U s i n g a C o n s t r u c t i o n T h e -
s a u r u s a n d O n t o l o g y
T h i s s t e p a i m s a t n o r m a l i z i n g t h e i n d e x t e r m s o b t a i n e d f r o m t h e p r e v i o u s
s t a g e b y u s i n g e i t h e r d i r e c t o n t o l o g y c o n c e p t m a p p i n g w h e r e v e r p o s s i b l e , o r
i n d i r e c t o n t o l o g y m a p p i n g b y u s i n g a t h e s a u r u s a s d e s c r i b e d i n F i g u r e 2 . I f n o
d i r e c t m a p p i n g e x i s t b e t w e e n t h e i n i t i a l i n d e x t e r m a n d t h e l i s t o f o n t o l o g y
c o n c e p t s t h e n t h e t h e s a u r u s i s u s e d t o p r o v i d e s y n o n y m s f o r e a c h t e r m . T h e
s y n o n y m s a r e u s e d f o r i n d i r e c t m a p p i n g . I t i s i m p o r t a n t t o e m p h a s i s e t h a t
t h e o n t o l o g y i s t h e s t r u c t u r e t h a t i s u s e d t o c o n v e y s e m a n t i c s a n d m a i n t a i n
k n o w l e d g e c o n s i s t e n c y a c r o s s t h e p r o j e c t , c o r p o r a t e a n d d o m a i n l a y e r s . A s
s u c h , t h e c o n c e p t s o f t h e o n t o l o g y a r e t h e u n i q u e r e f e r e n c e f o r t h e E - C o g n o s
p l a t f o r m .
T h e E - C o g n o s p l a t f o r m p r o v i d e s a s e t o f k n o w l e d g e m a n a g e m e n t s e r v i c e s ,
i n c l u d i n g a n o n t o l o g y - r e l a t e d s e r v i c e . T h i s i m p l e m e n t s a d e d i c a t e d A P I ( A p -
p l i c a t i o n P r o g r a m m i n g I n t e r f a c e ) t h a t s u p p o r t s o n t o l o g y c r e a t i o n a n d m a i n t e -
n a n c e ( i n c l u d i n g c o n c e p t c r e a t i o n ) . T h e o n t o l o g y s e r v i c e i s a v a i l a b l e t h r o u g h
a W e b S e r v i c e M o d e l i m p l e m e n t a t i o n , f u r t h e r d e t a i l s c a n b e f o u n d i n [ 1 0 ] .
1 5
8/6/2019 Doc Man Methodology
16/24
T o i l l u s t r a t e t h e c o n c e p t s m a p p i n g , l e t s u p p o s e t h a t t h e f o l l o w i n g s e n t e n c e i s
t o b e s u m m a r i z e d : T h e s e p a r a t i o n e l e m e n t b e t w e e n t h e k i t c h e n a n d d i n n i n g
a r e a i s m a d e o f r e r e s i s t a n t b r i c k s . N o w , t h e k e y i n d e x t e r m s t o b e e x t r a c t e d
f r o m t h e s e n t e n c e a r e : S e p a r a t i o n E l e m e n t , K i t c h e n , D i n n i n g A r e a , F i r e R e -
s i s t a n t B r i c k s . L e t c o n s i d e r t h e r s t i n d e x t e r m , S e p a r a t i o n E l e m e n t . I t i s
h i g h l y p o s s i b l e t h a t a g i v e n C o n s t r u c t i o n O n t o l o g y w o u l d n o t c o n t a i n s u c h
c o n c e p t . A n i n d i r e c t m a p p i n g w o u l d h a v e t o b e e s t a b l i s h e d v i a a d e d i c a t e d
C o n s t r u c t i o n T h e s a u r u s . T h e l a t t e r w o u l d b e u s e d t o n d c o n c e p t s t h a t a r e
s e m a n t i c a l l y c l o s e t o t h e o n e o f S e p a r a t i o n E l e m e n t . T h e t h e s a u r u s w o u l d
r e t u r n a s e t o f c o n c e p t s s u c h a s W a l l , w h i c h h a v e a n o c c u r r e n c e i n t h e C o n -
s t r u c t i o n O n t o l o g y , a n d w h i c h w i l l t h e r e f o r e b e u s e d t o e s t a b l i s h a n i n d i r e c t
m a p p i n g b e t w e e n t h e S e p a r a t i o n E l e m e n t i n d e x t e r m a n d t h e O n t o l o g y v i a
t h e c o n c e p t o f W a l l . L e t t a k e t h e s e c o n d i n d e x t e r m W a l l . L e t s u p p o s e t h a t
t h e t e r m e x i s t s a s s u c h i n t h e C o n s t r u c t i o n O n t o l o g y . W e h a v e t h e n a d i r e c t
m a p p i n g b e t w e e n t h e i n d e x t e r m a n d t h e O n t o l o g y .
F i g . 2 . I n d e x T e r m s M a p p i n g A g a i n s t t h e O n t o l o g y
6 . 3 . 1 O n t o l o g y C o n c e p t E x p a n s i o n B a s e d o n C o n c e p t t o C o n c e p t R e l a t i o n -
s h i p
I t i s p r o p o s e d i n t h i s m e t h o d o l o g y t h a t t h e r e t a i n e d c o n c e p t s b e e x p a n d e d
b a s e d o n t h e i r o n t o l o g i c a l d i r e c t r e l a t i o n s h i p s . W e d i s t i n g u i s h t h r e e m a i n t y p e s
o f r e l a t i o n s h i p s :
G e n e r a l i s a t i o n / S p e c i a l i s a t i o n R e l a t i o n s h i p s ( e . g . W a l l c a n b e s p e c i a l i z e d i n t o S e p a r a t i o n W a l l , S t r u c t u r a l W a l l a n d L o a d b e a r i n g S e p a r a t i o n W a l l )
1 6
8/6/2019 Doc Man Methodology
17/24
C o m p o s i t i o n / A g g r e g a t i o n R e l a t i o n s h i p ( e . g . D o o r i s a n a g g r e g a t i o n o f o f a F r a m e , a H a n d l e
. . e t c )
C o n c e p t a s s o c i a t i o n w i t h v a r y i n g s e m a n t i c s ( e . g . a B e a m s u p p o r t s a S l a b a n d a B e i s s u p p o r t e d b y a C o l u m n )
6 . 3 . 2 O n t o l o g y C o n c e p t s W e i g h t i n g
T h e o n t o l o g y c o n c e p t s r e s u l t i n g f r o m a d i r e c t d o c u m e n t i n d e x t e r m m a p p i n g ,
i n d i r e c t i n d e x t e r m m a p p i n g , o r o n t o l o g y c o n c e p t e x p a n s i o n n e e d r e - w e i g h t i n g .
T h e f o l l o w i n g a p p r o a c h i s p r o p o s e d :
( 1 ) I n c a s e o f a d i r e c t m a p p i n g t h e w e i g h t o f t h e d o c u m e n t i n d e x t e r m i s
a p p l i e d a s s u c h t o t h e o n t o l o g y c o n c e p t .
( 2 ) I n c a s e o f i n d i r e c t m a p p i n g o r c o n c e p t e x p a n s i o n , i t i s p r o p o s e d t h a t a
c o r r e l a t i o n f a c t o r b e a p p l i e d t o t h e i n i t i a l d o c u m e n t i n d e x t e r m w e i g h t i n g .
T h e c o r r e l a t i o n f a c t o r i s o b t a i n e d b y t h e c o s i n e o f t h e a n g l e b e t w e e n t h e
I n d e x T e r m V e c t o r a n d t h e O n t o l o g y C o n c e p t V e c t o r . T h i s i s b a s e d o n a
t e c h n i q u e u s e d i n Q u e r y E x p a n s i o n B a s e d o n S i m i l a r i t y T h e s a u r u s [ 2 3 ] .
F u r t h e r m o r e , t o e a c h i n d e x t e r m i s a s s o c i a t e d a V e c t o r e x p r e s s e d a s f o l l o w s :
k i = (wi,1, wi,2, . . . , wi,N)
W h e r e wi,j i s a w e i g h t a s s o c i a t e d t o t h e [ i n d e x t e r m , d o c u m e n t ] p a i r a n d i s
e x p r e s s e d a s s h o w n i n e q u a t i o n 4 :
wi,j =(0.5 + 0.5
fi,j
maxj(fi,j))itfjNl=1(0.5 + 0.5
fi,lmaxj(fi,l)
)2itf2j
( 4 )
W h e r e
ti s t h e n u m b e r o f t e r m s i n t h e k n o w l e d g e b a s e ,
Ni s t h e n u m b e r o f d o c u m e n t s
i n t h e k n o w l e d g e b a s e , fi.j i s t h e f r e q u e n c y o f o c c u r r e n c e o f t h e t e r m ki i n t h e
d o c u m e n t dj , tj i s t h e n u m b e r o f i n d e x t e r m s i n t h e d o c u m e n t dj a n d itfj t h e
i n v e r s e t e r m f r e q u e n c y f o r d o c u m e n t dj a n d e x p r e s s e d a s f o l l o w s :
itfj = logt
tj( 5 )
T h e r e f o r e t h e c o r r e l a t i o n f a c t o r i s e x p r e s s e d a s s h o w n o n e q u a t i o n 6 :
sim(ki, kj) =
ki
kj
|ki | |
kj |
=
tq=1wq,i wq,jt
q=1w2q,i
tq=1w
2q,j
( 6 )
1 7
8/6/2019 Doc Man Methodology
18/24
T h e n e w w e i g h t i n g f a c t o r o f t h e n e w l y a d o p t e d o n t o l o g y c o n c e p t w i l l b e :
wj,d = wi,d sim(ki, kj)
6 . 4 D o c u m e n t S i m i l a r i t y E v a l u a t i o n
T h e p u r p o s e o f t h i s s t e p i s t o c o m p a r e t h e s i m i l a r i t y b e t w e e n a n e w l y u p -
l o a d e d / p r o c e s s e d d o c u m e n t w i t h t h e r e m a i n i n g d o c u m e n t s ( o r k n o w l e d g e i t e m s )
s t o r e d i n t h e v a r i o u s k n o w l e d g e r e p o s i t o r i e s .
6 . 4 . 1 D o c u m e n t S i m i l a r i t y C a l c u l a t i o n A g a i n s t a l l t h e D o c u m e n t S e t
T h e p u r p o s e h e r e i s t o p r o v i d e a f u n c t i o n t h a t e v a l u a t e s t h e s i m i l a r i t y b e t w e e n
t w o d o c u m e n t s . W e a d o p t t h e f o l l o w i n g a p p r o a c h :
L e t t b e t h e n u m b e r o f i n d e x t e r m s i n t h e s y s t e m a n d ki a g e n e r i c i n d e x t e r m .
k = {k1, k2, . . . , ki} i s t h e s e t o f a l l i n d e x t e r m s . A w e i g h t wi,j > 0 i s a s s o c i a t e d w i t h e a c h i n d e x t e r m ki o f a d o c u m e n t dj . I f a n i n d e x t e r m d o e s n o t a p p e a r
i n t h e d o c u m e n t t e x t t h e n wi,j = 0 . T h e r e f o r e , w i t h a d o c u m e n t i s a s s o c i a t e d a n i n d e x t e r m v e c t o r :
d j = (w1,j, w2,j, . . . , wt,j)
B a s e d o n t h e d o c u m e n t i n d e x t e r m v e c t o r a b o v e , t w o d o c u m e n t s di a n d dja r e r e p r e s e n t e d a s t - d i m e n s i o n a l v e c t o r s . T h e a p p r o a c h a d o p t e d b y t h e V e c t o r
M o d e l t o e v a l u a t e t h e s i m i l a r i t y b e t w e e n a q u e r y a n d a d o c u m e n t b y m e a s u r -
i n g t h e c o r r e l a t i o n b e t w e e n t h e i r i n d e x t e r m v e c t o r s i s u s e d . F u r t h e r m o r e , t h e
s i m i l a r i t y b e t w e e n t w o g i v e n d o c u m e n t s w i l l b e m e a s u r e d b y t h e c o r r e l a t i o n
b e t w e e n t h e i r i n d e x t e r m v e c t o r s . T h i s c o r r e l a t i o n c a n b e q u a n t i e d b y t h e
c o s i n e b e t w e e n t h e s e t w o v e c t o r s a s s h o w n i n e q u a t i o n 7 . sim(di, dj) v a r i e s b e t w e e n 0 a n d 1 . A n e x a m p l e o f a n i l l u s t r a t i o n o f t h e m a t r i x i s g i v e n i n T a b l e
1 .
sim(di, dj) = cos (di, dj) =
di
dj
|di| |
dj
|=
tq=1wq,i wq,j
tq=1
w2q,i
tq=1
w2q,j
( 7 )
6 . 4 . 2 E s t a b l i s h i n g D o c u m e n t C l u s t e r s B a s e d o n t h e S i m i l a r i t y T a b l e
T h e p u r p o s e h e r e i s t o p r o p o s e c l u s t e r s o f d o c u m e n t s b a s e d o n t h e i r d e g r e e
o f s i m i l a r i t y . T h e s e c l u s t e r s c a n d i r e c t l y b e g e n e r a t e d f r o m t h e D o c u m e n t
S i m i l a r i t y M a t r i x p r o p o s e d i n t h e p r e v i o u s s e c t i o n .
1 8
8/6/2019 Doc Man Methodology
19/24
T a b l e 1
A n e x a m p l e o f a D o c u m e n t S i m i l a r i t y M a t r i x
d 1 d 2 d 3 d 4 d 5 d 6
d 1 1 s i m ( d 2 , d 1 ) s i m ( d 3 , d 1 ) s i m ( d 4 , d 1 ) s i m ( d 5 , d 1 ) s i m ( d 6 , d 1 )
d 2 s i m ( d 1 , d 2 ) 1 s i m ( d 3 , d 2 ) s i m ( d 4 , d 2 ) s i m ( d 5 , d 2 ) s i m ( d 6 , d 2 )
d 3 s i m ( d 1 , d 3 ) s i m ( d 2 , d 3 ) 1 s i m ( d 4 , d 3 ) s i m ( d 5 , d 3 ) s i m ( d 6 , d 3 )
d 4 s i m ( d 1 , d 4 ) s i m ( d 2 , d 4 ) s i m ( d 3 , d 4 ) 1 s i m ( d 5 , d 4 ) s i m ( d 6 , d 4 )
d 5 s i m ( d 1 , d 5 ) s i m ( d 2 , d 5 ) s i m ( d 3 , d 5 ) s i m ( d 4 , d 5 ) 1 s i m ( d 6 , d 5 )
d 6 s i m ( d 1 , d 6 ) s i m ( d 2 , d 6 ) s i m ( d 3 , d 6 ) s i m ( d 4 , d 6 ) s i m ( d 5 , d 6 ) 1
6 . 5 N o t i f y i n g t h e C o n s t i t u e n t s o f t h e D o c u m e n t B a s e
T h e p u r p o s e o f t h i s s t e p i s t o n o t i f y r e l e v a n t d o c u m e n t s o f t h e k n o w l e d g e
b a s e , b a s e d o n t h e n e a r e s t c l u s t e r ( s ) , t h e p o t e n t i a l r i s k o f i n c o n s i s t e n c y t h a t
m i g h t e x i s t a s a r e s u l t o f a n e w e v e n t ( u p l o a d o f a n e w d o c u m e n t , a m e n d m e n t
t o a n e x i s t i n g d o c u m e n t , e t c . ) .
6 . 6 N o t i f y i n g R e l e v a n t A c t o r s
T h e p u r p o s e o f t h i s s t a g e i s f o r e a c h p o t e n t i a l l y i n c o n s i s t e n t d o c u m e n t t o
n o t i f y a c t o r s w h o h a v e s u b s c r i b e d a n i n t e r e s t i n t o t h e d o c u m e n t ( i n c l u d i n g
a u t h o r s ) a b o u t t h i s l a s t e v e n t , a n d i t s p o t e n t i a l d e g r e e o f i n c o n s i s t e n c y . T h i s
n o t i c a t i o n w i l l b e m a t e r i a l i s e d b y t h e s e n d i n g o f a n X M L - b a s e d d e s c r i p t i o n o f
t h e m e t a - d a t a o f t h e n e w l y c r e a t e d o r a m e n d e d d o c u m e n t t o a l l t h e c o n c e r n e d
a c t o r s .
7 M a i n t a i n i n g D o c u m e n t C o n s i s t e n c y B a s e d o n D o c u m e n t E x -
p l i c i t R e l a t i o n s h i p s
T h i s c a s e a p p l i e s t o d o c u m e n t s t h a t h a v e a c l e a r p h y s i c a l s t r u c t u r e a n d m a k e
u s e o f h y p e r t e x t n a v i g a t i o n a l a n d c r o s s - r e f e r e n c i n g l i n k s . H y p e r t e x t a l l o w s
n o n - s e q u e n t i a l b r o w s i n g a n d e d i t i n g o f t e x t . I t c a n b e r e p r e s e n t e d a s a n e t w o r k
o f n o d e s t h a t a r e c o r r e l a t e d b y d i r e c t l i n k s i n a g r a p h s t r u c t u r e . E a c h n o d e
i s a s s o c i a t e d w i t h a b l o c k o f t e x t t h a t c a n r e p r e s e n t a p a r a g r a p h , c h a p t e r ,
s e c t i o n , o r e v e n a w e b p a g e . T w o r e l a t e d n o d e s a r e c o n n e c t e d o n e t o t h e o t h e r
b y a d i r e c t l i n k , w h i c h c o r r e l a t e s t h e t e x t a s s o c i a t e d w i t h t h e s e t w o n o d e s .
T h i s i s e x p l i c i t l y d e s c r i b e d i n t h e t e x t b y a s p e c i a l t a g , o r a h i g h l i g h t e d p o r t i o n
1 9
8/6/2019 Doc Man Methodology
20/24
o f t h e t e x t . F i g u r e 3 d e s c r i b e s t h e a p p l i c a t i o n o f t h e m e t h o d f o r t h i s t y p e o f
d o c u m e n t s . T h e p r o p o s e d r u l e s t o a p p l y a r e a s f o l l o w s :
R u l e 1 : i f a n o d e i s a m e n d e d t h e n t h e n o d e i n q u e s t i o n a s w e l l a s t h e r e -
c u r s i v e p a r e n t s s h o u l d b e a g g e d a s p o t e n t i a l l y i n c o n s i s t e n t . F o r i n s t a n c e ,
i f p a r a g r a p h P 4 o f d o c u m e n t B i n F i g u r e 3 i s a m e n d e d t h e n c h a p t e r b 4 o f
d o c u m e n t B ( C o n t a i n m e n t R e l a t i o n s h i p ) a n d c h a p t e r C 3 o f d o c u m e n t A ( R e f -
e r e n c i n g R e l a t i o n s h i p ) a r e p o t e n t i a l l y i n c o n s i s t e n t , a n d s h o u l d b e a g g e d a s
s u c h .
R u l e 2 : i f a n o d e i s a m e n d e d t h e n t h e e x t e r n a l n o d e s t h a t a r e r e f e r e n c i n g i t
m i g h t b e p o t e n t i a l l y i n c o n s i s t e n t . T h e s e e x t e r n a l n o d e s s h o u l d b e a g g e d a s
p o t e n t i a l l y i n c o n s i s t e n t a s t h e y d o r e f e r e n c e a n a m e n d e d n o d e . W e c o n s i d e r
t h a t i t i s u p t o t h e a u t h o r t o l o o k a f t e r t h e c o n s i s t e n c y o f t h e i n t e r n a l r e f e r e n c e s
o f t h e n o d e b e i n g m o d i e d .
F i g . 3 . R e l a t i o n s h i p T y p e s i n a S t r u c t u r e d H y p e r t e x t D o c u m e n t
8 M a i n t a i n i n g C o n s i s t e n c y o f H i g h l y S t r u c t u r e d D o c u m e n t s
H i g h l y s t r u c t u r e d d o c u m e n t s a r e b e s t r e p r e s e n t e d b y X M L D T D c o m p l i a n t
d o c u m e n t s . X M L d o c u m e n t s a l l o w h u m a n a n d m a c h i n e - r e a d a b l e s e m a n t i c s
m a r k - u p . X M L a l l o w s u s e r s t o d e n e n e w t a g s a n d i m p o s e d a t a v a l i d a t i o n o n
t h e m . T h i s r a i s e s t h e p r o b l e m o f h a v i n g u n i e d a n d s t a n d a r d i s e d d e n i t i o n s
o f t a g s u s e d a c r o s s d o c u m e n t s . I n t h a t r e s p e c t , i t i s h i g h l y r e c o m m e n d a b l e t o
u s e a s t a n d a r d i s e d D T D f o r a u t h o r i n g X M L d o c u m e n t s . T h i s i s a l r e a d y a n
a r e a o f i n t e n s e a c t i v i t y ( A E C X M L , b c X M L , e t c . ) . I t i s r e c o m m e n d e d i n t h i s
a p p r o a c h t h a t t h e e l e m e n t s o f a g i v e n X M L D T D b e i n t e r p r e t e d s e m a n t i c a l l y
2 0
8/6/2019 Doc Man Methodology
21/24
b y i n d e x i n g t h e m , b y t h e a u t h o r o f t h e D T D , t o t h e c o n c e p t s o f t h e o n t o l o g y .
C o n c e p t s t h a t h i g h l y d e s c r i b e t h e s e m a n t i c s o f t h e c o n t e n t s o f t h e i n s t a n c e o f
t h e D T D e l e m e n t a r e s e l e c t e d a n d r e t a i n e d b y t h e D T D a u t h o r ( s ) a s t h i s i s a
k n o w l e d g e i n t e n s i v e a c t i v i t y . T h e r e f o r e , e a c h D T D e l e m e n t w i l l b e a s s o c i a t e d
a n d i n d e x e d t o a s e t o f o n t o l o g y c o n c e p t s , a s d e s c r i b e d i n F i g u r e 4 .
I n t h e s a m e w a y , e a c h o n t o l o g y c o n c e p t w i l l b e a s s o c i a t e d w i t h a s e t o f i n d e x i n g
D T D e l e m e n t s . L e t u s t a k e a n e x a m p l e :
D T D _ E l e m e n t _ A 1 h a s o n t o l o g y i n d e x e s :
( O n t _ C o n _ 1 , O n t _ C o n _ 3 , O n t _ C o n _ 4 )
D T D _ E l e m e n t _ A 2 h a s o n t o l o g y i n d e x e s : ( O n t _ C o n _ 2 , O n t _ C o n _ 4 , O n t _ C o n _ 6 )
D T D _ E l e m e n t _ A 3 h a s o n t o l o g y i n d e x e s : ( O n t _ C o n _ 4 , O n t _ C o n _ 6 , O n t _ C o n _ 8 )
I f a n i n s t a n c e o f a D T D _ E l e m e n t i s a m e n d e d , t h e n t h e o n t o l o g y c o n c e p t s
t h a t i n d e x t h i s e l e m e n t w i l l b e u s e d t o c h a r a c t e r i z e t h i s a m e n d m e n t . A s i m -
p l e b u t n o t v e r y e e c t i v e a p p r o a c h i s t o a g a l l d o c u m e n t s t h a t i n d e x t h e
s a m e o n t o l o g y c o n c e p t s o f a d o c u m e n t / o r D T D E l e m e n t i n s t a n c e t h a t h a s
b e e n a m e n d e d a s p o t e n t i a l l y i n c o n s i s t e n t . U s i n g t h i s a p p r o a c h , i n s t a n c e s o f
D T D _ E l e m e n t _ A 2 a n d D T D _ E l e m e n t _ A 3 w i l l b e a g g e d a s p o t e n t i a l l y i n c o n -
s i s t e n t f o l l o w i n g a n a m e n d m e n t t o D T D _ E l e m e n t _ A 1 .
A f u r t h e r s t e p , w h i c h m a k e s u s e o f a m o r e s o p h i s t i c a t e d a p p r o a c h , w i l l a t t e m p t
t o r e t a i n o n l y t h e i n s t a n c e s f r o m t h e a g g e d D T D e l e m e n t s t h a t c o n t a i n o r
r e f e r e n c e t h e s a m e o n t o l o g y c o n c e p t i n s t a n c e . T h i s i m p l i e s t h a t t h e E - C o g n o s
p l a t f o r m m a i n t a i n s i n s t a n c e s o f o n t o l o g y c o n c e p t s t h r o u g h o u t t h e s y s t e m .
F i g . 4 . X M L E l e m e n t s I n d e x i n g t o t h e C o n s t r u c t i o n O n t o l o g y
2 1
8/6/2019 Doc Man Methodology
22/24
9 C o n c l u s i o n
T h e w o r k p r e s e n t e d i n t h i s p a p e r i s t h e d e s c r i p t i o n o f a m e t h o d o l o g y f o r
m a i n t a i n i n g d o c u m e n t c o n s i s t e n c y a c r o s s t h e k n o w l e d g e r e p o s i t o r i e s o f t h e
c o n s t r u c t i o n d o m a i n . T h e m e t h o d o l o g y u s e s g e n e r i c p r i n c i p l e s r e l a t e d t o i n f o r -
m a t i o n r e t r i e v a l a n d k n o w l e d g e m a n a g e m e n t t h a t c a n b e i n c o r p o r a t e d i n t o a n
a p p r o a c h t h a t s u p p o r t s c o n s i s t e n c y a c r o s s l a r g e k n o w l e d g e r e p o s i t o r i e s m a i n -
t a i n e d i n a h e t e r o g e n e o u s a n d d i s t r i b u t e d c o l l a b o r a t i v e b u s i n e s s e n v i r o n m e n t .
E - C o g n o s a i m s a t e x p l o i t i n g t h o s e p r i n c i p l e s t o d e v e l o p s u c h a n a p p r o a c h
b a s e d o n a s o l i d t h e o r e t i c a l f o u n d a t i o n , a n d t o d e p l o y i t i n a r e a l b u s i n e s s
e n v i r o n m e n t i n t h e c o n t e x t o f t h e p r o j e c t p a r t n e r s . T h e m e t h o d o l o g y w i l l b e
u s e d i n t h e c o n s t r u c t i o n d o m a i n . H o w e v e r , t h e m o d e l i s g e n e r i c a n d s h o u l d b e
a p p l i c a b l e t o a n y o t h e r d o m a i n . F e w c h a n g e s m i g h t b e n e c e s s a r y t o t a k e i n t o
a c c o u n t t h e n a t u r e o f t h e d o c u m e n t o f t h e n e w d o m a i n a n d t h e u s e o f a n o t h e r
o n t o l o g y w h i c h s t r u c t u r e m a y i n u e n c e s o m e p r o c e s s e s o f t h e p r o p o s e d m o d e l .
A w e b - b a s e d i m p l e m e n t a t i o n w i l l b e u s e d f o r t h e E - C o g n o s p r o j e c t a n d t h i s
m e t h o d o l o g y w i l l b e i m p l e m e n t e d u s i n g J a v a a n d r e l a t e d t e c h n o l o g i e s . I t i s
a l s o w o r t h m e n t i o n i n g t h a t t h e p r o p o s e d m e t h o d s a s s u m e t h a t a l l d o c u m e n t s
h a v e b e e n a u t h o r e d u s i n g a c o m m o n n a t u r a l l a n g u a g e . M o r e o v e r , t h e m u l t i -
l i n g u a l a s p e c t o f d o c u m e n t s h a s n o t b e e n a d d r e s s e d a t t h e m o m e n t b u t w i l l
b e a d d r e s s e d a t a l a t e r s t a g e .
A c k n o w l e d g e m e n t s
T h e a u t h o r s a s w e l l a s t h e E - C o g n o s C o n s o r t i u m w o u l d l i k e t o a c k n o w l e d g e
t h e n a n c i a l s u p p o r t o f t h e E u r o p e a n C o m m i s s i o n u n d e r t h e I S T p r o g r a m m e .
R e f e r e n c e s
[ 1 ] R . B a e z a - Y a t e s a n d B . R i b e i r o - N e t o . M o d e r n I n f o r m a t i o n R e t r i e v a l . A d d i s o n
W e s l e y , 1 9 9 9 .
[ 2 ] A . B c k e r a n d U . B u s b a c h . D o c M a n : A d o c u m e n t m a n a g e m e n t s y s t e m f o r
c o o p e r a t i o n s u p p o r t . I n P r o c e e d i n g s o f t h e H a w a i i I n t e r n a t i o n a l C o n f e r e n c e o n
S y s t e m S c i e n c e s ( H I C S S - 2 9 ) , p a g e s 8 2 9 1 , 1 9 9 6 .
[ 3 ] A . B e r t h i e , B . R i b e i r o - N e t o , a n d R . M u n t z . A b e l i e f n e t w o r k m o d e l f o r
i r . I n P r o c e e d i n g s o f t h e 1 9 t h A n n u a l I n t e r n a t i o n a l C o n f e r e n c e A C M S I G I R
C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p m e n t i n I n f o r m a t i o n R e t r i e v a l , p a g e s 2 5 3
2 6 0 , 1 9 9 6 .
2 2
8/6/2019 Doc Man Methodology
23/24
[ 4 ] A . C e l e n t a n o , S . P o z z i , a n d D . T o p p e t a . A m u l t i p l e p r e s e n t a t i o n d o c u m e n t
m a n a g e m e n t s y s t e m . I n P r o c e e d i n g s o f t h e 1 0 t h A n n u a l C o n f e r e n c e o n S y s t e m s
D o c u m e n t a t i o n , p a g e s 6 3 7 1 , 1 9 9 2 .
[ 5 ] P . D o u r i s h , W . K . E d w a r d s , A . L a M a r c a , J . L a m p i n g , K . P e t e r s o n , M . S a l i s b u r y
D . B . T e r r y , a n d J . T h o r n t o n . E x t e n d i n g d o c u m e n t m a n a g e m e n t s y s t e m s
w i t h u s e r - s p e c i c a c t i v e p r o p e r t i e s . A C M T r a n s a c t i o n o n I n f o r m a t i o n S y s t e m s ,
1 8 ( 2 ) : 1 4 0 1 7 0 , 2 0 0 0 .
[ 6 ] P . D o u r i s h , W . K . E d w a r d s , A . L a M a r c a , a n d M . S a l i s b u r y . P r e s t o :
A n e x p e r i m e n t a l a r c h i t e c t u r e f o r u i d i n t e r a c t i v e d o c u m e n t s p a c e . A C M
T r a n s a c t i o n s o n C o m p u t e r - H u m a n I n t e r a c t i o n , 6 ( 2 ) : 1 3 3 1 6 1 , 1 9 9 9 .
[ 7 ] P . F l y n n . T h e X M L F A Q , v e r s i o n 3 . 0 1 . W W W , h t t p : / / w w w . u c c . i e : 8 0 8 0 /
c o c o o n / x m l f a q # d o c t y p e , 2 0 0 3 .
[ 8 ] G . W . F u r n a s , S . D e e r w e s t e r , S . T . D u m a i s , T . K . L a n d a u e r , R . A . H a r s h m a n ,
L . A . S t r e e t e r , a n d K . E . L o c h b a u m . I n f o r m a t i o n r e t r i e v a l u s i n g a s i n g u l a r v a l u e
d e c o m p o s i t i o n m o d e l o f l a t e n t s e m a n t i c s t r u c t u r e . I n P r o c e e d i n g s o f t h e 1 1 t h
A n n u a l I n t e r n a t i o n a l C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p m e n t i n I n f o r m a t i o n
R e t r i e v a l ( A C M S I G I R ) , p a g e s 4 6 5 4 8 0 , 1 9 8 8 .
[ 9 ] V . G u d i v a d a , V . R a g h a v a n , W . G r o s k y , a n d R . K a s a n a g o t t u . I n f o r m a t i o n
r e t r i e v a l o n t h e w o r l d w i d e w e b . I E E E I n t e r n e t C o m p u t i n g , p a g e s 5 8 6 8 ,
O c t o b e r N o v e m b e r 1 9 9 7 .
[ 1 0 ] C . L i m a , B . F i e s , A . Z a r l i , M . B o u r d e a u , M . W e t h e r i l l , a n d Y . R e z g u i . T o w a r d s
a n I F C - b a s e d o n t o l o g y f o r t h e b u i l d i n g a n d c o n s t r u c t i o n i n d u s t r y : t h e e - c o g n o s
a p p r o a c h . I n p r o c e e d i n g s o f t h e e S M @ R T E u r o p e a n C o n f e r e n c e o n I n f o r m a t i o n
a n d C o m m u n i c a t i o n T e c h n o l o g y A d v a n c e s a n d I n n o v a t i o n i n t h e K n o w l e d g e
S o c i e t y , p a g e s 2 5 4 2 6 4 .
[ 1 1 ] Y . O g a w a , T . M o r i t a , a n d K . K o b a y a s h i . A f u z z y d o c u m e n t r e t r i e v a l s y s t e m
u s i n g t h e k e y w o r d c o n n e c t i o n m a t r i x a n d a l e a r n i n g m e t h o d . F u z z y S e t s a n d
S y s t e m s , ( 3 9 ) : 1 6 3 1 7 9 , 1 9 9 1 .
[ 1 2 ] C . J . R i j s b e r g e n . I n f o r m a t i o n R e t r i e v a l . B u t t e r w o r t h s , 1 9 7 9 .
[ 1 3 ] S . R o b e r t s o n a n d K . S p a r c k J o n e s . R e l e v a n c e w e i g h t i n g o f s e a r c h t e r m s . J o u r n a l
o f t h e A m e r i c a n S o c i e t y o f I n f o r m a t i o n S c i e n c e s , 2 7 ( 3 ) : 1 2 9 1 4 5 , 1 9 7 6 .
[ 1 4 ] G . S a l t o n , E . F o x , a n d H . W u . E x t e n d e d b o o l e a n i n f o r m a t i o n r e t r i e v a l . C A C M ,
2 6 ( 1 1 ) : 1 0 2 2 1 0 3 6 , 1 9 8 3 .
[ 1 5 ] G . S a l t o n a n d M . L e s k . C o m p u t e r e v a l u a t i o n o f i n d e x i n g a n d t e x t p r o c e s s i n g .
J o u r n a l o f t h e A C M , 1 5 ( 1 ) : 8 3 6 , 1 9 6 8 .
[ 1 6 ] G . S a l t o n a n d C . Y a n g . O n t h e s p e c i c a t i o n o f t e r m v a l u e s i n a u t o m a t i c
i n d e x i n g . J o u r n a l o f D o c u m e n t a t i o n , ( 2 9 ) : 3 5 1 3 7 2 , 1 9 7 3 .
[ 1 7 ] H . T u r t l e a n d W . B . C r o f t . I n f e r e n c e n e t w o r k s f o r d o c u m e n t r e t r i e v a l .
I n P r o c e e d i n g s o f t h e 1 3 t h A n n u a l I n t e r n a t i o n a l C o n f e r e n c e A C M S I G I R
C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p m e n t i n I n f o r m a t i o n R e t r i e v a l , p a g e s 1
2 4 , 1 9 9 0 .
2 3
8/6/2019 Doc Man Methodology
24/24
[ 1 8 ] H . T u r t l e a n d W . B . C r o f t . E v a l u a t i o n o f a n i n f e r e n c e n e t w o r k - b a s e d r e t r i e v a l
m o d e l . A C M T r a n s a c t i o n s o n I n f o r m a t i o n S y s t e m s , 9 ( 3 ) : 1 8 7 2 2 2 , 1 9 9 1 .
[ 1 9 ] J . V e r h o e , W . G o m a n n , a n d J . B e l z e r . I n e c i e n c y o f t h e u s e o f b o o l e a n
f u n c t i o n s f o r i n f o r m a t i o n r e t r i e v a l s y s t e m s . C A C M , 4 ( 1 2 ) : 5 5 7 5 5 8 , 1 9 6 1 .
[ 2 0 ] S . W a r t i c k . B o o l e a n O p e r a t i o n s , p a g e s 2 6 4 2 9 2 . 1 9 9 2 .
[ 2 1 ] R . W i l k i n s o n a n d P . H i n g s t o n . U s i n g t h e c o s i n e m e a s u r e i n a n e u r a l n e t w o r k f o r
d o c u m e n t r e t r i e v a l . I n P r o c e e d i n g s o f t h e 1 4 t h A n n u a l I n t e r n a t i o n a l C o n f e r e n c e
A C M S I G I R C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p m e n t i n I n f o r m a t i o n R e t r i e v a l ,
p a g e s 2 0 2 2 1 0 , 1 9 9 1 .
[ 2 2 ] S . K . M . W o n g , W . Z i a r k o , a n d P . C . N . W o n g . G e n e r a l i z e d v e c t o r s p a c e m o d e l i n
i n f o r m a t i o n r e t r i e v a l . I n P r o c e e d i n g s o f t h e 8 t h A n n u a l I n t e r n a t i o n a l C o n f e r e n c e
A C M S I G I R C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p m e n t i n I n f o r m a t i o n R e t r i e v a l ,
p a g e s 1 8 2 5 , 1 9 8 5 .
[ 2 3 ] Q . Y o n g g a n g a n d H . F r e i . C o n c e p t b a s e d q u e r y e x p a n s i o n . I n P r o c e e d i n g s o f
t h e 1 6 t h A n n u a l I n t e r n a t i o n a l C o n f e r e n c e A C M S I G I R C o n f e r e n c e o n R e s e a r c h
a n d D e v e l o p m e n t i n I n f o r m a t i o n R e t r i e v a l , p a g e s 1 6 0 1 6 9 , 1 9 9 3 .