Rede sem fios de Rede sem fios de Sensores Multimídia Sensores Multimídia

(WMSN) (WMSN)

Wesley Seidel Carvalho

Computação MóvelProf. Dr. Alfredo Goldman

A survey on wireless multimedia sensor

networks

►AutoresIan F. Akyildiz Tommaso MelodiaKaushik R. Chowdhury

IntroduçãoIntrodução

MotivaçãoMotivação

► Riqueza de conteúdo para ensino Riqueza de conteúdo para ensino teórico;teórico;

► Desafios Práticos.Desafios Práticos.

Diferenças entre WMSN e Diferenças entre WMSN e WSN:WSN:

- WSNs (Redes de sensores sem fio)WSNs (Redes de sensores sem fio)- Medidas escalares de fenomenos fisicos: Temperatura, Medidas escalares de fenomenos fisicos: Temperatura,

pressão, umidade, localização de objetos...pressão, umidade, localização de objetos...- Necessitam de baixa largura de banda para transmissão Necessitam de baixa largura de banda para transmissão - Tolerantes a atrasos.Tolerantes a atrasos.

- WMSNs (Redes de sensores multimídia sem fio)WMSNs (Redes de sensores multimídia sem fio)- Recuperar informações do ambiente: Recuperar informações do ambiente:

- Os mesmo das WMSNs Os mesmo das WMSNs - + + - audio, video e imagens estáticas.audio, video e imagens estáticas.

- Armazenar dados, processamento real-time, unir dados Armazenar dados, processamento real-time, unir dados multimedias obtidos de fontes diferentes...multimedias obtidos de fontes diferentes...

Aplicações das WMSNAplicações das WMSN► A idéia da WMSN's não é apenas reforçar as WSN's A idéia da WMSN's não é apenas reforçar as WSN's

existentes, mas também permitir novas aplicações:existentes, mas também permitir novas aplicações:

Redes de sensores multimidia de vigilancias.Redes de sensores multimidia de vigilancias. Armazenamento de atividades potencialmente relevantes.Armazenamento de atividades potencialmente relevantes. Evitar o trafego(transito), sistema de controle e execução.Evitar o trafego(transito), sistema de controle e execução. Prestação de cuidados médicos avançados.Prestação de cuidados médicos avançados. Assistencia automatizada para idosos e familias que Assistencia automatizada para idosos e familias que

necessitam de monitoramente.necessitam de monitoramente. Monitoramento ambiental.Monitoramento ambiental. Serviços de localização de pessoas:Serviços de localização de pessoas: Controle de processos industriais:Controle de processos industriais:

Mais para entender...Mais para entender...

► As WMSNs prometem aumentar o horizonte dos As WMSNs prometem aumentar o horizonte dos monitoramentos tradicionais e sistemas de monitoramentos tradicionais e sistemas de vigilâncias:vigilâncias:

Ampliar o campo de visão.Ampliar o campo de visão.►Através de sistema de cameras e sensores distribuidos.Através de sistema de cameras e sensores distribuidos.

Reforçar a visão.Reforçar a visão.►Através de sobreposição de cameras em um mesmo ponto de Através de sobreposição de cameras em um mesmo ponto de

visão.visão.►Eliminar a ambiquidade através da junção de audio, video Eliminar a ambiquidade através da junção de audio, video

e/ou sensores infra-vermelhos;e/ou sensores infra-vermelhos;

Disponibilizar visualizações de multi-resoluções:Disponibilizar visualizações de multi-resoluções:► Imagens obtidas de um mesmo ponto de visão, com Imagens obtidas de um mesmo ponto de visão, com

resoluções diferentes.resoluções diferentes.

Tá ok !Tá ok !

Tudo bem...Tudo bem...

Mas cadê os desafios Mas cadê os desafios prometidos ?prometidos ?

Desafios...Desafios...(Agora vem a necessidade de estudo...)(Agora vem a necessidade de estudo...)

► Ultimos 20 anos:Ultimos 20 anos: Algoritmos, protocolos e técnicas de entrega de Algoritmos, protocolos e técnicas de entrega de

conteúdo multimedia para rede de LARGA ESCALA.conteúdo multimedia para rede de LARGA ESCALA. Depois, readaptação dos mesmo para a internet... :P~Depois, readaptação dos mesmo para a internet... :P~

►Mas nas WMSNs, as exigencias são maiores e Mas nas WMSNs, as exigencias são maiores e muito pouco exploradas. Por exemplo:muito pouco exploradas. Por exemplo:

Limitações de recursos:Limitações de recursos:►Tudo é pequeno: bateria, memoria, capacidade de Tudo é pequeno: bateria, memoria, capacidade de

processamentoprocessamento

Capacidade de canal variável: Capacidade de canal variável: ►Existe muita interferencia do meio, então é necessário técnicas Existe muita interferencia do meio, então é necessário técnicas

de tratamento... Roteamento, controle de energia, rate de tratamento... Roteamento, controle de energia, rate policies...policies...

Não queriam Desafios ??Não queriam Desafios ??(Tem mais ae embaixo...)(Tem mais ae embaixo...)

► Acoplamento de funcionalidades entre camadas Acoplamento de funcionalidades entre camadas (Cross-layer):(Cross-layer): Casamento de funcionalidades de camadas Casamento de funcionalidades de camadas

diferentes.diferentes.

► Processamento multimedia na rede:Processamento multimedia na rede: Mesclagem de counteúdo multimedia, compressão, Mesclagem de counteúdo multimedia, compressão,

eliminação de redundancias...eliminação de redundancias...

► Pelas caracteristicas mostradas, percebemos Pelas caracteristicas mostradas, percebemos então que é necessário repensar alguns então que é necessário repensar alguns paradigmas tradicionais:paradigmas tradicionais: Qualidade de serviço (QoS)Qualidade de serviço (QoS) O consumo de energia O consumo de energia ( impulsionou a maioria dos estudos ( impulsionou a maioria dos estudos

de WSN até agora )de WSN até agora )

Fatores que influenciam o Fatores que influenciam o desenvolvimento das redes desenvolvimento das redes

de sensores multimediade sensores multimedia..

Fatores que influenciam o Fatores que influenciam o desenvolvimento das redes de desenvolvimento das redes de

sensores multimediasensores multimedia::

1.1. QoS específico por aplicação. QoS específico por aplicação.

2.2. Busca por maior largura de banda.Busca por maior largura de banda.

3.3. Técnicas de codificação de fontes multimedias.Técnicas de codificação de fontes multimedias.

4.4. Processamento multimedia em redeProcessamento multimedia em rede

5.5. Consumo de energiaConsumo de energia

6.6. Arquiteturas flexiveis para suportar diferentes Arquiteturas flexiveis para suportar diferentes aplicações.aplicações.

7.7. Cobertura Multimedia.Cobertura Multimedia.

8.8. Integração com arquiteturas IP ( Internet )Integração com arquiteturas IP ( Internet )

9.9. Integração com outras tecnologias sem fios.Integração com outras tecnologias sem fios.

Vamos começar...Vamos começar...

Arquitetura de Redes.Arquitetura de Redes.

► Preocupação inicial: Escalabilildade.Preocupação inicial: Escalabilildade.

► As WNS´s são baseadas em As WNS´s são baseadas em arquiteturas planasarquiteturas planas : : Todos os sensores são "iguais".Todos os sensores são "iguais". Podem interagir apenas com sensores vizinhos.Podem interagir apenas com sensores vizinhos.

► A Topologia plana não serve para WMSN´s pois a A Topologia plana não serve para WMSN´s pois a capacidade de processamento, transmissão e capacidade de processamento, transmissão e energia necessária, podem não estar disponível em energia necessária, podem não estar disponível em cada nodo. cada nodo.

Uma Proposta de arquitetura.Uma Proposta de arquitetura.

► Single-tier flatSingle-tier flat Sensores identicosSensores identicos Processamento distribuido Processamento distribuido Armazenamento centralizadoArmazenamento centralizado

► Single-tier clusteredSingle-tier clustered Diferentes sensores Diferentes sensores Processamento centralizadoProcessamento centralizado Armazenamento centralizadoArmazenamento centralizado

► Multi-tier Multi-tier Diferentes sensores Diferentes sensores Processamento distribuidoProcessamento distribuido Armazenamento distribuidoArmazenamento distribuido

Uma Proposta de arquitetura.Uma Proposta de arquitetura.

Uma Proposta de arquitetura.Uma Proposta de arquitetura.

► Single-tier flatSingle-tier flat Aplicações em que Aplicações em que

todos os sensores todos os sensores podem ser iguais em podem ser iguais em suas capacidades.suas capacidades.

Uma Proposta de arquitetura.Uma Proposta de arquitetura.► Single-tier clusteredSingle-tier clustered

Sensores com menos Sensores com menos recursos: executam as recursos: executam as tarefas mais simplestarefas mais simples

Sensores com mais Sensores com mais recursos: executam as recursos: executam as tarefas mais tarefas mais complexascomplexas

Por exemplo, em Por exemplo, em sistemas de sistemas de vigilancia, as cameras vigilancia, as cameras de baixa-resolução de baixa-resolução podem detectar podem detectar movimentos de movimentos de possiveis intrusos, e possiveis intrusos, e essas acionam por essas acionam por demanda as cameras demanda as cameras para alta-resolução para alta-resolução para reconhecimento para reconhecimento de objetos e de objetos e monitoramento. monitoramento.

Uma Proposta de arquitetura.Uma Proposta de arquitetura.► Multi-tierMulti-tier

Um exemplo também Um exemplo também em sistemas de em sistemas de vigilancia.vigilancia.

Camada baixa: Camada baixa: sensores de baixa sensores de baixa resoluçãoresolução

Camada alta : Camada alta : sensores com zoom, sensores com zoom, alta definição.alta definição.

Existe um trabalho Existe um trabalho que mostra que mostra consideraveis consideraveis vantagens em relação vantagens em relação a single-tier, em a single-tier, em termos de termos de escalabilidade, baixo escalabilidade, baixo custo, cobertura, custo, cobertura, funcionalidade e funcionalidade e maior alcance.maior alcance.

SensEyeSensEye► Camada 3Camada 3

wakeupwakeup

► Camada 2Camada 2

► Camada 1Camada 1

Webcam + StargateWebcam + Stargate

Cameras de baixa resoluçãoCameras de baixa resolução

Sensores Escalares + MoteSensores Escalares + Mote

wakeupwakeup

Streaming de videoStreaming de video

Para que tudo isso Para que tudo isso funcione, precisamos de funcione, precisamos de

sensores...sensores...

Então vamos falar de...Então vamos falar de...

...sensores.......sensores....

Sensores (Hardwares)...Sensores (Hardwares)...(Sensores de imagem de baixa resolução)(Sensores de imagem de baixa resolução)

► CCD (charged-coupled)CCD (charged-coupled)►Chips separados (captura e processamento);Chips separados (captura e processamento);►Tecnologia dos dispositivos tradicionais;Tecnologia dos dispositivos tradicionais;►Alta definição;Alta definição;►Alto custo;Alto custo;

► Uso: Para casos que se é exigido alta qualidade de Uso: Para casos que se é exigido alta qualidade de imagem: imagens de satélites, equipamentos médico-imagem: imagens de satélites, equipamentos médico-hospitalares...hospitalares...

► CMOS ( complementary metal-oxide semiconductor )CMOS ( complementary metal-oxide semiconductor )►Chip integrado (captura e processamento)Chip integrado (captura e processamento)►Custo reduzidoCusto reduzido►Menores, mais leves, e... ... consomem menos energia. :DMenores, mais leves, e... ... consomem menos energia. :D

► Uso: Webcams, PDA´s, cameras "digitais" de consumo. Uso: Webcams, PDA´s, cameras "digitais" de consumo. ( São interfaceadas com dispositivos ricos ( São interfaceadas com dispositivos ricos computacionalmente )computacionalmente )

Sensores (Hardwares)...Sensores (Hardwares)...(Cyclops)(Cyclops)

► Sensores de imagem de baixa resolução ( Low-resolution imaging Sensores de imagem de baixa resolução ( Low-resolution imaging motes )motes )

► Cyclops ( Interface eletrônica), é composto por:Cyclops ( Interface eletrônica), é composto por: câmera ( CMOS Agilent ADCM-1700 CIF camera), câmera ( CMOS Agilent ADCM-1700 CIF camera), micro controlador de 8-bits ( ATMEL ATmega128L microcontroler- MCU), micro controlador de 8-bits ( ATMEL ATmega128L microcontroler- MCU), controla a imagem, controla a imagem, configura seus parâmetros, e configura seus parâmetros, e executa processamentos locais na imagem para produzir uma executa processamentos locais na imagem para produzir uma

inferencia.inferencia.

► PossuiPossui dispositivo programável de lógica complexa ( CPLD ), dispositivo programável de lógica complexa ( CPLD ), SRAM externaSRAM externa Flash externa.Flash externa.

► FirmwareFirmware linguagem nesC[48], linguagem nesC[48], baseado nas bibliotecas do TinyOS.baseado nas bibliotecas do TinyOS.

► Está conectado a um modulo remoto que fornece um interface de Está conectado a um modulo remoto que fornece um interface de alto nivel que esconde a complexidade do dispositivo de imagem alto nivel que esconde a complexidade do dispositivo de imagem para o host remoto.para o host remoto.

Sensores (Hardwares)...Sensores (Hardwares)...

► CMUcam 3 (Universidade CMUcam 3 (Universidade Carnegie Mellon)Carnegie Mellon)

É uma câmera embutida.É uma câmera embutida. resolução de 352x288 pixels RGBresolução de 352x288 pixels RGB carrega até 26 fps na memória.carrega até 26 fps na memória. compressão JPEGcompressão JPEG Biblioteca de manipulação de Biblioteca de manipulação de

imagensimagens Pode ser ligada com um motes Pode ser ligada com um motes

TelosB compatível com 802.15.4TelosB compatível com 802.15.4

► Plataformas de processamento de alta performance Plataformas de processamento de alta performance para sensores.para sensores.

► Alto Consumo de energiaAlto Consumo de energia

► Stargate da Intel ( processador PXA-255 XScale 400 Stargate da Intel ( processador PXA-255 XScale 400 MHz )MHz ) permite a conectividade da rede de sensores sem fio, com o permite a conectividade da rede de sensores sem fio, com o

mundo real, através de várias interfaces:mundo real, através de várias interfaces: Rede Wifi ( através do cartão wifi )Rede Wifi ( através do cartão wifi ) Serial RS-232Serial RS-232 10/100 Ethernet10/100 Ethernet USB HostUSB Host

Sensores (Hardwares)...Sensores (Hardwares)...(Sensores de imagem de média resolução)(Sensores de imagem de média resolução)

► Quando conectado a uma webcam, pode funcionar como um Quando conectado a uma webcam, pode funcionar como um sensor multimédia de media-resolução.sensor multimédia de media-resolução.

► Imote Imote processador ARM7 8bits, 12 processador ARM7 8bits, 12

MHzMHz BluetoothBluetooth Memória flash de 32KbyteMemória flash de 32Kbyte Memória RAM de 63 KbyteMemória RAM de 63 Kbyte

► Imote 2Imote 2 PXA271 XScale, 320/416/520 PXA271 XScale, 320/416/520

MHzMHz 256 KB de memória SRAM, 256 KB de memória SRAM, 32 MB de memória Flash32 MB de memória Flash 32 MB de SDRAM32 MB de SDRAM Suporte a BluetoothSuporte a Bluetooth Varias portas de E/S para Varias portas de E/S para

sensores digitais ou sensores digitais ou cameras... :Dcameras... :D

Está sendo usada para nova Está sendo usada para nova plataforma Stargate 2plataforma Stargate 2

Suporta Linux & JavaSuporta Linux & Java

Sensores (Hardwares)...Sensores (Hardwares)...(Sensores de imagem de média resolução)(Sensores de imagem de média resolução)

Sensores (Hardwares)...Sensores (Hardwares)...(Captação de energia)(Captação de energia)

► Esse assunto é foco em muitas pesquisasEsse assunto é foco em muitas pesquisas

► Técnicas utilizadas ( Economia ):Técnicas utilizadas ( Economia ): Otimizações de hardwaresOtimizações de hardwares Otimização dinâmica de voltagemOtimização dinâmica de voltagem clock rateclock rate Procedimentos de wake-upProcedimentos de wake-up

► Técnicas de obtenção de energia do próprio ambienteTécnicas de obtenção de energia do próprio ambiente

Sinais de radio ( Muito baixo em comparação a luz solar )Sinais de radio ( Muito baixo em comparação a luz solar ) campos elétrico ( encontrado apenas perto de fortes transmissores)campos elétrico ( encontrado apenas perto de fortes transmissores) energia deliberada em broadcast de RF ( Limitada por leis )energia deliberada em broadcast de RF ( Limitada por leis ) Vibrações magnéticas ( baseada no movimento magnético ou em Vibrações magnéticas ( baseada no movimento magnético ou em

bobinas )bobinas ) São insuficientes se comparado ao consumo dos dispositivos São insuficientes se comparado ao consumo dos dispositivos

multimediamultimedia

► São boas para dispositivos com ciclo de vida curtíssimo.São boas para dispositivos com ciclo de vida curtíssimo.

►Dois outros estudos comparam Dois outros estudos comparam processadores de 8-bits com de 32-bits. E processadores de 8-bits com de 32-bits. E mostram que apesar do consumo de energia mostram que apesar do consumo de energia de 32 bits ser maior, o tempo de execução é de 32 bits ser maior, o tempo de execução é muito menor o que compensa o uso do de muito menor o que compensa o uso do de 32 bits...32 bits...

► Eles mostram que por mais simples que seja Eles mostram que por mais simples que seja o algoritmo, o consumo de energia no de o algoritmo, o consumo de energia no de 8bits é no mínimo de 1 a 2 vezes maior do 8bits é no mínimo de 1 a 2 vezes maior do que no de 32bits...que no de 32bits...

Sensores (Hardwares)...Sensores (Hardwares)...(Sensores de imagem de baixa resolução)(Sensores de imagem de baixa resolução)

Processamento colaborativo Processamento colaborativo em redeem rede

Processamento colaborativo em Processamento colaborativo em rederede

► Alinhamento de dados e registro de imagensAlinhamento de dados e registro de imagens

► Técnicas de “image registration”Técnicas de “image registration” Diferentes pontos de visão (analise de multi-visão)Diferentes pontos de visão (analise de multi-visão) Momentos Diferentes (analise multi-temporal)Momentos Diferentes (analise multi-temporal) Diferentes sensores (analise multi-modal)Diferentes sensores (analise multi-modal)

►WMSNs como sistema de visão computacional WMSNs como sistema de visão computacional distribuídodistribuído Tratamento de imagens na própria redeTratamento de imagens na própria rede Interface de consulta de forma declarativa para o Interface de consulta de forma declarativa para o

usuáriousuário

Processamento colaborativo em Processamento colaborativo em rederede

(Exemplo)(Exemplo)

SELECT Object, LocationSELECT Object, Location

REPORT = 30REPORT = 30

FROM NetworkFROM Network

WHERE Access = RestrictWHERE Access = Restrict

PERIOD = 30PERIOD = 30

Estudos de camadasEstudos de camadas

ConclusãoConclusão

►Necessidade de:Necessidade de:►Otimizações nos algoritmos de Otimizações nos algoritmos de

codificação multimedia.codificação multimedia.►Roteamento com atrasos limitadosRoteamento com atrasos limitados►Protocolos MAC Multi-channelProtocolos MAC Multi-channel

►Ainda existem muitas pesquisas em Ainda existem muitas pesquisas em aberto na área.aberto na área.

FimFim

Copiando alguém...Copiando alguém...

Duvidas desde que não seja do Duvidas desde que não seja do professor ?professor ?