95
LOGO An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects Jose Antonio Olvera Cañizares and Josep Lluís de la Rosa Esteva TECNIO – Centre EASY Universitat de Girona

An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

Embed Size (px)

DESCRIPTION

An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

Citation preview

Page 1: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

LOGO

An Outline of the Application of Agents to Digital Preservation and an Introduction to Self

Preservation Aware Digital Objects

Jose Antonio Olvera Cañizares and Josep Lluís de la Rosa Esteva

TECNIO – Centre EASYUniversitat de Girona

Page 2: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

2

CONTENTS

AGENTIFICATION OF DIGITAL OBJECTS

AGENTIFICATION

INTRODUCTION

AGENTIFICATION OF DP SOCIAL NETWORKS

AGENTIFICATION OF DP SERVICES

REMARKS

PROPOSAL

Page 3: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

3

CONTENTS

AGENTIFICATION OF DIGITAL OBJECTS

AGENTIFICATION

INTRODUCTION

AGENTIFICATION OF DP SOCIAL NETWORKS

AGENTIFICATION OF DP SERVICES

REMARKS

PROPOSAL

Page 4: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

4

INTRODUCTION

The challenge in preserving valuable digital information is real and growing at an exponential pace

2008: 422 Exabytes new digital information was created

x2 every 18 months

http://www.storagenewsletter.com/news/miscellaneous/idc-digital-information-created

Page 5: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

5

OBJECTIVES

The mission of this Research is: Distribute the DP efforts Make Digital Preservation easy enough for

individuals, companies and general institutions Help to reduce the cost and increase the capacity

of memory institutions to preserve digital information for the long-term

As a first attempt, in this paper will lay the foundations for a new object-centric DP paradigm with AGENTS

Page 6: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

6

CONTENTS

AGENTIFICATION OF DIGITAL OBJECTS

AGENTIFICATION

INTRODUCTION

AGENTIFICATION OF DP SOCIAL NETWORKS

AGENTIFICATION OF DP SERVICES

REMARKS

PROPOSAL

Page 7: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

7

We will design agents that suit the needs of DP, introducing agency properties to the DP actors

1st Identify actors

2nd Agentification: Applying agency properties to the actors

AGENTIFICATION (I)

Digital Objects resilience Users expertise Services scalability

Page 8: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

8

AGENTIFICATION (II)

This approaches answer three questions derived from Berman statements: WHEN (preserving a DO and whether is affordable) is

necessary to preserve HOW (the solutions of the Users) to do WHAT (the DP

Services) is necessary to be done

Three approaches might coexist: AOUS (Agentification of Objects, Users and Services)

Page 9: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

9

Characteristic Digital Object(SPADO)

Social network (Users)

Services

Autonomous

Social Competitive Cooperative Coopetitive

Proactive

Mission ? ?

AGENTIFICATION (III)

Page 10: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

10

CONTENTS

AGENTIFICATION OF DIGITAL OBJECTS

AGENTIFICATION

INTRODUCTION

AGENTIFICATION OF DP SOCIAL NETWORKS

AGENTIFICATION OF DP SERVICES

REMARKS

PROPOSAL

Page 11: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

11

BUCKETS

Buckets were designed to imbue information objects with certain responsibilities such: The display Dissemination Protection Maintenance

As SPADOs will do

Nelson M. 2001, Buckets: Smart Objects for Digital Libraries, PhD thesis, Old Dominion Univ.

Page 12: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

12

AGENTIFICATION OF DIGITAL OBJECTS

Agents might encapsulate the versions they migrated to Their mission is to stay alive as long as possible (accessible,

authentic, readable) With their own budget for attracting DP know-how and services: SPADO (Self-Preservation Aware Digital Object) Preservation paradigm with three types of agents

• The digital object has the role of “caring” for itself• The users “pay” for its preservation and provide know-how for “curate” it• The DP services compete to “preserve” it

Object-level preservation budget • The more interest in this DO, the more

budget it will receive and the more

likely it will be preserved

SPADO

Format Redun-dancy

Social

Multi-componentsBudget

Mission

Page 13: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

13

PRELIMINARY RESULTS

Two evolutionary computing approaches are taken, one from swarm intelligence and another one from genetic algorithms.

Swarm Intelligence (SI)

Simulations based on

Genetic Algorithms(GA)

Page 14: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

14

PRELIMINARY RESULTS

Two evolutionary computing approaches are taken, one from swarm intelligence and another one from genetic algorithms.

Swarm Intelligence (SI)

Simulations based on

Genetic Algorithms(GA)

Page 15: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

15

Split the preservation budget for their operations and descendents

Descendents might have a same or different format

Checksum, migration or version charge to the budget and being accessed by users increase it

When a descendant run out of budget, it tries to go back to its ancestors site to get further DP budget

PRELIMINARY RESULTS IN SWARM INTELLIGENCE

Page 16: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

16

Catastrophes consist in a sudden change of a ¼ or 1/3 of the sites, because of an update in their software that provoke massive changes and migrations in the format of the DOs that are there stored.

MEASURE Shannon Entropy: to know whether there is enough diversity of formats

that provide the sufficient resilience to recover back to the former state after each catastrophe.

Being resilient means the capacity of gaining back the lost entropy.

n

iii ppxH

12log)(

PRELIMINARY RESULTS IN SWARM INTELLIGENCE

Page 17: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

17

Ave

rage

ent

ropy

Steps simulation

The red line (execution 2) shows in average 85% of resilience

PRELIMINARY RESULTS IN SWARM INTELLIGENCE

CATASTROPHES

Page 18: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

18

Two evolutionary computing approaches are taken, one from swarm intelligence and another one from genetic algorithms.

Swarm Intelligence (SI)

Simulations based on

Genetic Algorithms(GA)

PRELIMINARY RESULTS

Page 19: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

19

Two evolutionary computing approaches are taken, one from swarm intelligence and another one from genetic algorithms.

Swarm Intelligence (SI)

Simulations based on

Genetic Algorithms(GA)

PRELIMINARY RESULTS

Page 20: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

20

PRELIMINARY RESULTS IN GENETIC ALGORITHMS

DOs genetic code is characterized by their formats

Genetic operations: Mutation (random formatting changes) Cross (encapsulation of DO into other DO)

Page 21: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

21

It shows resilience, but is affected by the execution 1

Ave

rage

fitn

ess

Generation simulation

Instead of entropy, a fitness function is used to measure how adapted is the population of DOs

PRELIMINARY RESULTS IN GENETIC ALGORITHMS

CATASTROPHES

Page 22: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

22

VALIDATION

This is validated with a PROTOTYPE Designed in INGENIAS (methodology) Implemented in Java

Page 23: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

23

CONTENTS

AGENTIFICATION OF DIGITAL OBJECTS

AGENTIFICATION

INTRODUCTION

AGENTIFICATION OF DP SOCIAL NETWORKS

AGENTIFICATION OF DP SERVICES

REMARKS

PROPOSAL

RESILIENCE

Page 24: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

24

AGENTIFICATION OF DP SOCIAL NETWORKS Most of the work that bloggers and Web sites do on the Internet is,

in fact, connecting people with other resources and people. This is a reference function.

Libraries are trying to integrate and assimilate this “social networking” world.

From this level comes the need to assign at least one agent to every contributor or consumer, every user in the social network, to automate a certain amount of knowledge exchange.

Page 25: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

25

AGENTIFICATION OF DP SOCIAL NETWORKS

This is our aim in this approach, to provide tools to help people developing agents and let them create a network of agents that handle DP QAs for SPADOs.

Results are in PROTAGE (PReservation Organizations using Tools in AGent Environments) project

With this approach we obtain the (DP) EXPERTISE

Page 26: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

26

CONTENTS

AGENTIFICATION OF DIGITAL OBJECTS

AGENTIFICATION

INTRODUCTION

AGENTIFICATION OF DP SOCIAL NETWORKS

AGENTIFICATION OF DP SERVICES

REMARKS

PROPOSAL

RESILIENCE

EXPERTISE

Page 27: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

27

AGENTIFICATION OF DP SERVICES

According to the W3C Web Services Architecture note, a Web Service is an abstract notion that can be implemented by a concrete agent

Our approach named "Shout and Act", a type of swarm intelligence for communication and coordination of agents is inspired by rescue robots: the files, all DOs, that need preservation are called the “victims”.

They COMPETE: to be the first at finding a DO with DP needs

They COOPERATE: when they see they cannot handle it.

Page 28: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

28

AGENTIFICATION OF DP SERVICES

The result is a number of agents that search a user's file system, a site for DOs

0

200

400

600

800

1000

1200

1400

Low Medium High

10A+4B

14C

Heterogeneous (varying skills)

Homogeneous (combined super-skilled)

High

Medium

Low

Performance of homogeneous vs. heterogeneous agents vs. an exponential growth of the number of digital objects. Y-axis is the qualitative average processing effort per agent and x-axis is a qualitative order magnitude of the number of digital objects (high = 10 times medium = 100 times low)

Page 29: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

29

CONTENTS

AGENTIFICATION OF DIGITAL OBJECTS

AGENTIFICATION

INTRODUCTION

AGENTIFICATION OF DP SOCIAL NETWORKS

AGENTIFICATION OF DP SERVICES

REMARKS

PROPOSAL

RESILIENCE

EXPERTISE

SCALABILITY

Page 30: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

30

CONTENTS

AGENTIFICATION OF DIGITAL OBJECTS

AGENTIFICATION

INTRODUCTION

AGENTIFICATION OF DP SOCIAL NETWORKS

AGENTIFICATION OF DP SERVICES

REMARKS

PROPOSAL

Page 31: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

31

REMARKS

Comparison ofthe AOUS appr. Objects Users Services

ScalabilityExpected

to be goodImprove the

social networks

Good (if heterogeneous

agents)

Resilience Good ?Expected to be Good

Optimization of the DP budget Proved ? ?

Openness Very Good Good Still a challengeImproves Digital Preservation Awareness Good Very Good ?

Synergy with ? Web 3.0Antivirus and

backup services

The proofs of concept show that resilience under tight DP budgets and scalability are achievable

DP should be taken seriously as a “killer application” of agents

Page 32: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

32

CONTENTS

AGENTIFICATION OF DIGITAL OBJECTS

AGENTIFICATION

INTRODUCTION

AGENTIFICATION OF DP SOCIAL NETWORKS

AGENTIFICATION OF DP SERVICES

REMARKS

PROPOSAL

Page 33: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

33

RESEARCH PROPOSAL

Make Digital Objects more intelligent

Make the environment where they work more intelligent too.

Previous work: Buckets

SPADO

Social networks

Services

Nelson M. 2001, Buckets: Smart Objects for Digital Libraries, PhD thesis, Old Dominion Univ.

Page 34: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

LOGO

An Outline of the Application of Agents to Digital Preservation and an Introduction to Self

Preservation Aware Digital Objects

Jose Antonio Olvera i Cañizares and Josep Lluís de la Rosa i Esteva

TECNIO – Centre EASYUniversitat de Girona

Page 35: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

35

PRELIMINARY RESULTS IN SWARM INTELLIGENCE

CATASTROPHEVideo format: 3 4Image format: 1 2

1

2

3

4

5

The Users

Digital Objectsand differentformats

Users affected by catastrophes

Page 36: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

36

INTRODUCTION (III)

In 2011, looking at what is hot on the Web and in IT development, many scientists wonder Where are all agents?

And we wonder how can they be applied to Digital Preservation?

We will show three approaches to an answer to those questions: Agentification of digital objects and the architecture of the

SPADO (self-preservation aware digital objects) Agentification of the DP social networks Agentification of the preservation web services

Page 37: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

37

AGENTIFICATION OF DP SOCIAL NETWORKS

Most of the work that bloggers and Web sites do on the Internet is, in fact, connecting people with other resources and people. This is a reference function.

Libraries are trying to integrate and assimilate this “social networking” world.

The changing reference world will produce new information agents which is also a very promising and enriching trend, especially from our approach if agents were doing the job.

Page 38: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

38

AGENTIFICATION OF DP SOCIAL NETWORKS

DP questions and answers (QA) provide ways to describe how needs are defined, how people understand them, and how questions are answered

Our aim is to expand social networks through the use of agents that reduce the burden of answering repetitive questions

Agents should link data, agents, and people to find answers.

Agents should encapsulate such linking information as well as content, and they should avoid spamming

Page 39: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

39

AGENTIFICATION OF DP SERVICES

The teams of preservation agents comprise agents of type:

A, whose main goal is to detect files as potential victims that need migration actions

B , that are fewer and slower in detecting victim than the type A agents, though they have superior abilities to appraise and rescue victims. They follow the shouts that type A agents emit.

The shouts are of a magnitude that could be proportional to the severity of the digital injuries of the victim. Shouts disappear time after being emitted, and disperse with distancein a metric created from file systems

Page 40: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

40

SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (IV)

RESULTATS S’han fet també cinc execucions sobre dues configuracions

diferents:

Els resultats són avaluats segons la mitjana del fitness de tots els individus

Formats de moda

Mida població

Generacions límit

Configuració 1 5;4;3;2 20 100

Configuració 2 3;5;1;4 50 500

1 2 3 4 5

Valor aleatori

1

0

1 2 3 4 5

Valor aleatori

1

0

1 2 3 4 5

Valor aleatori

1

0

1 2 3 4 5

1

0

1 2 3 4 5

Valor aleatori

1

0

Format de moda 5Format de moda 4Format de moda 3Format de moda 2Format de moda 1

Page 41: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

41

PRESERVACIÓ DIGITAL (II)

Page 42: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

42

SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (III)

Només es tenen en compte els canvis de format i, per tant, les catàstrofes en aquest model seran els canvis del format de moda

Els cromosomes, que representaran els objectes digitals, tenen la següent estructura:

La llibreria emprada per dur a terme la simulació ha estat JENES

Page 43: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

43

REMARKS (I)

DP should be taken seriously as a killer application of agents.

If all the three agentification approaches were combined, there will result the smart DP environment necessary to support the SPADOs activities

Page 44: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

LOGO

ANÀLISI, DISSENY I PROTOTIPATGE DE NOUS PARADIGMES DE PRESERVACIÓ

DIGITAL

Jose Antonio Olvera Cañizares Director projecte: Josep Lluís de la Rosa Esteva

PFC EINFDepartament d’Enginyeria Elèctrica, Electrònica i Automàtica

Page 45: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

45

CONTINGUTS

Disseny i implementació del prototipus de preservació digital

Anàlisi del sistema

Introducció

Validació i resultats

Conclusions i treballs futurs

Page 46: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

46

CONTINGUTS

Disseny i implementació del prototipus de preservació digital

Anàlisi del sistema

Introducció

Validació i resultats

Conclusions i treballs futurs

Page 47: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

47

MOTIVACIONS

Està emmarcat en el projecte PRESERVA TIN-2010-17903 (Comparative approaches to the implementation of intelligent agents in digital preservation from a perspective of the automation of social networks)

L’objectiu és implementar aproximacions de preservació digital mitjançant agents que treballen sobre una xarxa social

Page 48: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

48

PRESERVACIÓ DIGITAL (I)

La preservació digital combina les polítiques, estratègies i accions que garanteixin l'accés als continguts digitals al llarg del temps

Els fitxers poden ser fàcilment destruïts o emmagatzemats en un format o suport que es torna obsolet

Page 49: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

49

PRESERVACIÓ DIGITAL (II)

Page 50: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

50

OBJECTIU

L’objectiu principal és desenvolupar un prototipus de preservació digital que:

Permeti emular la preservació digital d’agents que representen fitxers del nostre ordinador

Els agents interactuïn amb un entorn simulat que representa una xarxa social on succeeixen catàstrofes

Page 51: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

51

ABAST

Una anàlisi del sistema basat en algorismes d'intel·ligència d'eixam i algorismes genètics

Un prototipus en mode emulació

Una proposta de transferència tecnològica

La memòria d'aquest projecte

Els resultats que es pretenen obtenir són:

Page 52: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

52

CONTINGUTS

Disseny i implementació del prototipus de preservació digital

Anàlisi del sistema

Introducció

Validació i resultats

Conclusions i treballs futurs

Page 53: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

53

ANÀLISI DEL SISTEMA

Les estratègies de preservació es classifiquen en dues aproximacions: La preservació de l’entorn tecnològic (emulació) La superació de l’obsolescència dels formats de fitxers

(migració)

El projecte PRESERVA necessita la implementació d’algorismes de computació evolutiva

Simularem les migracions de format amb tècniques d'intel·ligència d’eixam i algorismes genètics per la seva aplicació en la preservació digital

Muñoz, A. M., Lopez, J. A. & Caicedo, E. F., Inteligencia de enjambres: sociedades para la solución de problemas (una revisión). Ingeniería e Investigación, 2008. 28: p. 119-130.

Page 54: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

54

SIMULACIONS REALITZADES

Intel·ligència d’eixam (Swarm Intelligence)

Simulacions basades en

Algorismes genètics (Genetic Algorithms)

Page 55: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

55

SIMULACIONS REALITZADES

Intel·ligència d’eixam (Swarm Intelligence)

Simulacions basades en

Algorismes genètics (Genetic Algorithms)

Page 56: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

56

SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (I)

L’analogia emprada és la següent: Objectes digitals (vídeo o imatge) ≡ formigues Usuaris xarxa (servei de preservació)≡ aliment Ordinadors xarxa ≡ hàbitats

El programa emprat ha estat Repast-Simphony

Page 57: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

57

SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (II)

format={ }

CATÀSTROFEFormat vídeo: 3 4Format imatge: 1 2

1 2 3 4 5

1

2

3

4

5

Agents usuari

Objectes Digitals i els seus possibles formats

Usuaris afectatsper catàstrofe

Page 58: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

58

SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (III)

RESULTATS Entropia de Shannon: Com més alt és el valor d’entropia

preveiem millor preservabilitat major resistència i recuperació davant catàstrofes

n

iii ppxH

12log)(

n

i jjiji ppxH

1

5

1,2, log)(

5

1,

,,

kki

jiji

f

fp

On: n és el total d'objectes digitals originals j són els diferents formats que hi ha, que són 5 pi,j és el percentatge que suposen les còpies de format j respecte el total de

còpies que té un objecte digital original i k són els diferents formats que hi ha

Adaptat als models simulats

Page 59: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

59

RESULTATS

Durada:15 anys on succeeix una catàstrofe cada 5 anys Suposant que 3 steps ≡ 1mes, hi haurà una catàstrofe cada 180

steps i la simulació tindrà una duració de 540 steps S’ha executat un total de 5 vegades (estabilitat estadística)

SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (IV)

Paràmetres Model 1 Model 2

Canvis de format 0,5,4;1,4,3;0,3,2 1,4,3;0,5,3;1,3,1

OD associats a un usuari inicialment entre 1 i 5 entre 1 i 5

Cost moure’s per la xarxa 2 2

Cost quedar-se quiet 1 1

Límit superior pressupost 60 60

Límit inferior pressupost 20 20

Cost allotjament en un usuari entre 1 i 10 entre 1 i 10

Servei de preservació d’un usuari 100 100

Percentatge esborrat d’usuaris 25% i 33% 25% i 33%

Page 60: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

60

SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (V)

RESULTATS Model 1

Esborrat del 25% d’usuaris Execució 2 mostra

resilence

Esborrat del 33% d’usuaris Execució 4, després de

la primera catàstrofe mostra resilence

Mitj

ana

ent

ropi

aM

itja

na e

ntro

pia

Steps simulació

Steps simulació

Page 61: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

61

SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (VI)

RESULTATS Model 2

Esborrat del 25% d’usuaris Resilence interessant

després de la segona catàstrofe

Esborrat del 33% d’usuaris No es mostra gaire

resilence

Mitj

ana

ent

ropi

a

Steps simulació

Mitj

ana

ent

ropi

a

Steps simulació

Page 62: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

62

SIMULACIONS REALITZADES

Intel·ligència d’eixam (Swarm Intelligence)

Simulacions basades en

Algorismes genètics (Genetic Algorithms)

Page 63: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

63

SIMULACIONS REALITZADES

Intel·ligència d’eixam (Swarm Intelligence)

Simulacions basades en

Algorismes genètics (Genetic Algorithms)

Page 64: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

64

SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (I)

La població serà de mida fixa i cada individu és un objecte digital (format imatge, vídeo, Word, PowerPoint)

Operacions genètiques: Mutacions (modificacions aleatòries de format) Creuament (encapsular objectes digitals dins d’altres)

Page 65: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

65

SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (II)

La població serà de mida fixa i cada individu és un objecte digital (format imatge, vídeo, Word, PowerPoint)

Operacions genètiques: Mutacions (modificacions aleatòries de format) Creuament (encapsular objectes digitals dins d’altres)

Page 66: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

66

SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (II)

La població serà de mida fixa i cada individu és un objecte digital (format imatge, vídeo, Word, PowerPoint)

Operacions genètiques: Mutacions (modificacions aleatòries de format) Creuament (encapsular objectes digitals dins d’altres)

Page 67: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

67

SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (II)

Selecció

Creuament

Mutació

Inserció

La població serà de mida fixa i cada individu és un objecte digital (format imatge, vídeo, Word, PowerPoint)

Operacions genètiques: Mutacions (modificacions aleatòries de format) Creuament (encapsular objectes digitals dins d’altres)

Page 68: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

68

SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (III)

Només es tenen en compte els canvis de format i, per tant, les catàstrofes en aquest model seran els canvis del format de moda

Els cromosomes, que representaran els objectes digitals, tenen la següent estructura:

La llibreria emprada per dur a terme la simulació ha estat JENES

Page 69: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

69

SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (IV)

RESULTATS S’han fet també cinc execucions sobre dues configuracions

diferents:

Els resultats són avaluats segons la mitjana del fitness de tots els individus

Formats de moda

Mida població

Generacions límit

Configuració 1 5;4;3;2 20 100

Configuració 2 3;5;1;4 50 500

1 2 3 4 5

Valor aleatori

1

0

1 2 3 4 5

Valor aleatori

1

0

1 2 3 4 5

Valor aleatori

1

0

1 2 3 4 5

1

0

1 2 3 4 5

Valor aleatori

1

0

Format de moda 5Format de moda 4Format de moda 3Format de moda 2Format de moda 1

Page 70: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

70

SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (V)

RESULTATS Configuració 1:

Mostra resilence Afectat per l’execució 1

Mitj

ana

fitn

ess

Generacions simulació

Page 71: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

71

SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (VI)

RESULTATS Configuració 2:

Millor resilence Mitjançant l'evolució, els objectes digitals

s'adapten als canvis de format

Mitj

ana

fitn

ess

Generacions simulació

Page 72: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

72

CONCLUSIONS ANÀLISI DEL SISTEMA

A aquests models evolutius implementats hem trobat uns primers indicis que corroboren la bondat per la preservació digital de: La còpia i la migració de format L'intercanvi entre amics El pressupost digital L'encapsulament d'objectes

El model que hem estudiat de genètics és poc realitzable : Població fixa L’estructura rígida del cromosoma L’encapsulament limitat

La mutació té força similitud a la còpia i migració en swarm descartem implementar-ho al prototipus

Page 73: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

73

CONTINGUTS

Disseny i implementació del prototipus de preservació digital

Anàlisi del sistema

Introducció

Validació i resultats

Conclusions i treballs futurs

Page 74: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

74

METODOLOGIA (I)

S’ha seguit la metodologia INGENIAS

S’ha integrat amb la metodologia RUP (Rational Unified Process) en les fases d’anàlisi i disseny

L’eina emprada ha sigut INGENIAS Development Kit (IDK)

Page 75: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

75

METODOLOGIA (II)

1

2

3

4

5

6

7 8

9

J. J. Gómez-Sanz. Modelado de Sistemas Multi-Agente. PhD thesis, Departamento de Sistemas Informáticos y Programación, Universidad Complutense Madrid, 2002.

Page 76: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

76

El sistema desenvolupat es divideix en dues parts ben diferenciades:

La interfície d’usuari, que s’ha dissenyat orientada a objectes

El sistema d’emulació de preservació digital, que es concep com un Sistema Multiagent que es basa en gestionar un ecosistema d'SPADO (Self Preservation Aware Digital Objects)

DISSENY (I)

Page 77: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

77

DISSENY (II)

Page 78: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

78

Les pantalles principals del prototipus són: Selecció de fitxers

IMPLEMENTACIÓ (I)

Page 79: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

79

Les pantalles principals del prototipus són: Configuració de la xarxa social

IMPLEMENTACIÓ (II)

Page 80: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

80

Les pantalles principals del prototipus són: Configuració de paràmetres

IMPLEMENTACIÓ (III)

Page 81: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

81

Les pantalles principals del prototipus són: Inicialització de l'emulació

IMPLEMENTACIÓ (IV)

Page 82: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

82

CONTINGUTS

Disseny i implementació del prototipus de preservació digital

Anàlisi del sistema

Introducció

Validació i resultats

Conclusions i treballs futurs

Page 83: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

83

VALIDACIÓ (I)

Es comparen els resultats obtinguts amb la simulació basada en la intel·ligència d'eixam

S’han executat els mateixos models emprats en la simulació basada en intel·ligència d'eixam

Paràmetres Model 1 Model 2

Canvis de format 0,5,4;1,4,3;0,3,2

1,4,3;0,5,3;1,3,1

OD associats a un usuari inicialment entre 1 i 5 entre 1 i 5

Cost moure’s per la xarxa 2 2

Cost quedar-se quiet 1 1

Límit superior pressupost 60 60

Límit inferior pressupost 20 20

Cost allotjament en un usuari entre 1 i 10 entre 1 i 10

Servei de preservació d’un usuari 100 100

Percentatge esborrat d’usuaris 25% i 33% 25% i 33%

Page 84: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

84

VALIDACIÓ (II)

Model 1

Esborrat del 33% d’usuaris El prototipus es torna a

comportar molt millor que la simulació d'intel·ligència d'eixam.

Resilence del prototipus amb més “força”(16 punts més forta)

Esborrat del 25% d’usuaris Amb el prototip: més

còpies i amb mes diversitat de formats del previst en les primeres simulacions

Resilence en les dues primeres catàstrofes (4,9 punts més intensa)

Mitj

ana

ent

ropi

a

Steps simulació

Mitj

ana

ent

ropi

a

Steps simulació

Page 85: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

85

VALIDACIÓ (III)

Model 2

Esborrat del 25% d’usuaris El prototip es comporta

millor, però no mostra gaire resilence

Catàstrofes afecten més al prototip

Esborrat del 33% d’usuaris El prototip es comporta

millor, però no mostra gaire resilence

Mitj

ana

ent

ropi

a

Steps simulació

Mitj

ana

ent

ropi

a

Steps simulació

Page 86: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

86

Requeriments Validació

Còpia i migració de format

Intercanvi entre amics

Pressupost digital

OD amb tipus (imatge, vídeo, Word, PowerPoint)

OD amb tipus concret (ex: Word 2003, 2007, etc)

Xarxa social basada en amics

OD amb referència al site “propietari”

Succeeixen catàstrofes

Valoració resultats amb entropia

Validació amb•25% d’esborrats•33% d’esborrats

DISCUSSIÓ SOBRE EL GRAU D’ASSOLIMENT DEL PROTOTIPUS

Page 87: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

87

Requeriments Validació Bonus

Còpia i migració de format

Intercanvi entre amics

Pressupost digital

OD amb tipus (imatge, vídeo, Word, PowerPoint)

OD amb tipus concret (ex: Word 2003, 2007, etc)

Xarxa social basada en amics

OD amb referència al site “propietari”

Succeeixen catàstrofes

Valoració resultats amb entropia

Validació amb•25% d’esborrats•33% d’esborrats

Càlcul entropia a cada step

Recompte del número d’objectes a cada step

Càlcul de nous percentatges per fer experimentació

DISCUSSIÓ SOBRE EL GRAU D’ASSOLIMENT DEL PROTOTIPUS

Page 88: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

88

VÍDEO DEMO PROTOTIPUS

Page 89: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

89

NOUS EXPERIMENTS AMB EL PROTOTIPUS (I)

ESTADÍSTICS Percentatge d’objectes digitals salvats. Entre el 81.91% i el

96.79% d’objectes salvats

Page 90: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

90

NOUS EXPERIMENTS AMB EL PROTOTIPUS (II)

ESTADÍSTICS Percentatge d’objectes digitals que tenen una còpia compatible

al site que corresponen. Entre el 63.59% i el 77.35%

Page 91: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

91

CONTINGUTS

Disseny i implementació del prototipus de preservació digital

Anàlisi del sistema

Introducció

Validació i resultats

Conclusions i treballs futurs

Page 92: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

92

CONCLUSIONS (I) S'ha estudiat i realitzat un prototipus de preservació digital

basat en agents que treballen sobre una xarxa social

En l'anàlisi s’ha fet una incursió en el món de la recerca implementant algorismes d'intel·ligència d'eixam i algorismes genètics aplicats a la preservació digital

Amb els coneixements adquirits en l'anàlisi i de la metodologia INGENIAS s’ha fet el disseny del sistema

S’ha implementat el prototipus, un software multithread, que redueix l'obsolescència i la desaparició dels objectes que tenim en l'ordinador, i dóna feedback a l'usuari via interfície gràfica

S'ha validat el prototipus i podem dir que la nostra solució proporciona noves i interessants prestacions de preservació mostrades amb l'entropia i comprovades per l'alt percentatge d'objectes salvats en les emulacions realitzades

50%

15%

35%

Page 93: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

93

CONCLUSIONS (II) Del treball desenvolupat en l'anàlisi s'ha enviat a:

Olvera, J. A.(2011). An Outline of The Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (acceptat). 13th European Agent Systems Summer School (EASSS 2011)

Olvera, J. A. , and de la Rosa, J. L. (2011). Preliminary Study on Swarm Intelligence and Genetic Algorithms Applied to Digital Preservation (enviat). 14è Congrés Internacional de l'Associació Catalana d'Intel·ligència Artificial (CCIA 2011)

S’ha realitzat una proposta de transferència dels algorismes desenvolupats en el prototipus (conclusions i treballs futurs memòria)

Page 94: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

94

TREBALL FUTUR Transferència a Pyramid

Fer més experiments i comprovacions addicionals del prototipus

Desenvolupar els algorismes, millorant-los en robustesa i escalabilitat

Implementar dos versions alfa i una beta, i proves amb usuaris beta-testers

Validació del software

S’ha obert una línia de recerca on hi ha nombroses millores en la modelització i l’experimentació Simulació basada en la intel·ligència d’eixam Simulació basada en algorismes genètics

Page 95: An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

LOGO

ANÀLISI, DISSENY I PROTOTIPATGE DE NOUS PARADIGMES DE PRESERVACIÓ

DIGITAL

Jose Antonio Olvera Cañizares Director projecte: Josep Lluis de la Rosa Esteva

PFC EINFDepartament d’Enginyeria Elèctrica, Electrònica i Automàtica