Upload
vuongmien
View
213
Download
0
Embed Size (px)
Citation preview
ActiveIris: Uma solução para comunicação alternativa e autonomia de pessoas com deficiência motora severa
Pamela C. Levy, Nirvana S. Antonio, Thales R. B. Souza, Rogério Caetano, Priscila G. Souza
Núcleo de Tecnologias Assistivas - FPF Tech
Av. Danilo Areosa, 1170, Distrito Industrial, 69075-351, Manaus-AM, Brasil
{pamela.levy, nirvana.silva, thales.souza, rcaetano, pgomes}@fpf.br
ABSTRACT
Eyes movement detection has been broadly explored as an
alternative of computer interaction for people with physical
disabilities to interact with the computer. Nowadays,
accessibility products present a high cost for the user,
becoming impracticable for most of the target audience. In
this work, we present ActiveIris, an accessibility suite that
uses a common webcam to capture eyes movements and
integrates several functionalities. With a differentiated
interface, the suite facilitates the access to social networks,
mobile phone and internet navigation as a way of social and
educational inclusion and furthermore it promotes more
autonomy of the person with disability by enabling
residential environmental control. Initial tests show that
ActiveIris interface turns the tasks easier and faster when
compared to another interfaces.
Keywords
Iris tracking; Cursor controller; Assistive Technology;
Accessibility; Virtual Keyboard; Residential Environmental
Control.
ACM Classification Keywords
H.5.2. Information interfaces and presentation (e.g., HCI):
User Interfaces; H.5.m. Information interfaces and
presentation (e.g., HCI): Miscellaneous; I.4.8. Image
processing and computer vision: Scene Analysis---tracking.
RESUMO
A detecção do movimento dos olhos tem sido amplamente
explorada como uma alternativa para pessoas com
deficiência física interagirem com o computador.
Atualmente, produtos de acessibilidade apresentam um alto
custo para o usuário, tornando-se inviáveis para grande
parte do público alvo. Neste trabalho apresentamos o
ActiveIris, uma suíte de acessibilidade que utiliza uma
webcam comum para captar o movimento dos olhos e
integra diversas funcionalidades. Com uma interface
diferenciada, a suíte facilita o acesso a redes sociais, celular
e navegação na internet como forma de inclusão social e
educacional e, além disso, promove maior autonomia da
pessoa com deficiência ao possibilitar o controle do
ambiente residencial. Testes iniciais mostram que a
interface do ActiveIris torna as tarefas mais fáceis e ágeis
quando comparada com outras interfaces.
Palavras-chave
Rastreamento da íris; Controlador de cursor; Tecnologia
Assistiva; Acessibilidade; Teclado virtual; Controle de
ambiente residencial.
INTRODUÇÃO
Neste mundo mergulhado em profundas e aceleradas
transformações, a chamada Tecnologia Assistiva (TA)
emerge como uma área do conhecimento e de pesquisa que
tem se revelado como um importante horizonte de novas
possibilidades para maior autonomia e inclusão social da
pessoa com deficiência. Por meio da TA, pessoas com
graves limitações físicas são capazes de realizar tarefas que,
até recentemente, lhes eram inalcançáveis. O computador,
uma poderosa ferramenta de trabalho e canal de
comunicação, proporciona novas possibilidades às pessoas
com deficiência física. Para garantir que estas
possibilidades sejam efetivadas, é extremamente importante
a disponibilização de produtos de acessibilidade que
potencializem plenamente as capacidades de cada usuário.
Muitas pessoas com deficiência física não conseguem
utilizar o mouse ou o teclado se estes não forem
modificados ou adaptados. Dar um clique com o botão do
mouse, por exemplo, pode ser uma tarefa muito difícil ou
mesmo impossível para alguns em função de suas
dificuldades de coordenação física fina, ou por causa de
alterações anatômicas em seus membros superiores.
Pessoas com deficiência física severa, como os pacientes
afetados pela Esclerose Lateral Amiotrófica (ELA), cujo
controle muscular voluntário do corpo foi atingido,
geralmente conservam a capacidade intelectual intacta e
vivem literalmente o drama da prisão pessoal, uma vez que
só podem interagir com o mundo através do movimento dos
olhos e das pálpebras [4]. O acesso a recursos tecnológicos,
ao computador e à internet deve deixar de ser percebido
como algo apenas opcional ou secundário. É um direito
fundamental da pessoa com deficiência o uso de
ferramentas que proporcionam a inclusão educacional,
social e produtiva através do aprendizado, comunicação,
trabalho, diversão, entre outros.
Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are
not made or distributed for profit or commercial advantage and that copies
bear this notice and the full citation on the first page. To copy otherwise, or republish, to post on servers or to redistribute to lists, requires prior
specific permission and/or a fee.
A tendência atual é o desenvolvimento de ferramentas
adaptativas altamente tecnológicas para ajudar as pessoas
com deficiência a viver de forma mais independente [7].
Podem ser encontrados diversos trabalhos na área de TA
cujo objetivo é solucionar problemas específicos para
voltados para deficiência física severa [17, 25]. Entre as
soluções propostas, encontram-se aplicativos que facilitam
a navegação na internet [13, 22] e a comunicação
alternativa [2, 10], que muitas vezes são por meio de
teclados virtuais [11, 19, 23] otimizados para o acesso que
utilizam sistemas de rastreamento ocular.
Grande parte das soluções de TA não são adaptados à
realidade do nosso país, pois além do alto custo associado à
importação e ao preço do produto, estes aplicativos não
possuem suporte à língua portuguesa. Este trabalho propõe
a Suíte de Acessibilidade ActiveIris, cujo principal objetivo
é proporcionar às pessoas com os mais diversos graus de
limitação física nos membros superiores um meio de acesso
ao computador através do movimento dos olhos, porém de
maneira não intrusiva, fácil utilização e, principalmente,
baixo custo.
O ActiveIris conta com uma interface centralizada e
unificada, podendo ser usada mesmo por usuários com
pouco conhecimento em informática. A suíte permite maior
autonomia do deficiente físico ao facilitar a utilização de
redes sociais, do celular e o controle de equipamentos
eletrônicos do seu ambiente residencial. O movimento do
cursor é baseado na análise das imagens dos olhos
capturadas por uma webcam e o clique é realizado a partir
dos piscados.
O trabalho está organizado da seguinte maneira:
inicialmente são apresentados os principais conceitos e
trabalhos relacionados a rastreamento da íris e controle de
ambiente residencial. Em seguida, as funcionalidades e
principais características do ActiveIris são explanadas. Os
resultados de testes com alguns usuários são apresentados e
discutidos. Por fim, a conclusão é apresentada com algumas
observações e sugestões de trabalhos futuros.
REVISÃO BIBLIOGRÁFICA
Rastreamento da Íris
O rastreamento dos olhos de forma robusta, precisa e não
intrusiva, é um passo importante para o desenvolvimento de
aplicações de TA baseada em Interfaces Homem-
Computador (IHC). Existem técnicas intrusivas, como as
que utilizam eletrodos na face [15, 21, 25] e técnicas não
intrusivas que evitam contato físico com o usuário [2].
Além disso, a literatura classifica as técnicas de
rastreamento ocular em duas categorias: ativa e passiva
[39]. O método ativo é baseado em iluminação
infravermelho (IR) e o passivo utiliza apenas a imagem da
câmera.
O método de rastreamento ocular ativo consiste em
determinar a posição do olhar por meio da relação entre o
movimento da pupila e a reflexão da luz IR pela córnea [1].
Este método é aplicado na maioria dos produtos comerciais,
pois alcança resultados precisos mesmo com a interferência
da iluminação ambiente. Contudo, é necessário um emissor
de luz IR e a posição da câmera não é flexível, sendo
muitas vezes acoplada à cabeça do usuário (head-mounted)
como um capacete [10, 17].
Em relação aos métodos de rastreamento passivo, existem
alguns propostos na literatura: baseado em modelos
(template matching) [1, 12, 28, 37], baseado em aparência
(padrões) [39, 29], baseado em características (cor,
intensidade, contorno) [24, 27]. Porém, a maior parte dos
métodos passivos não é aplicada em cenas ativas, ou seja,
cenas onde há o movimento da cabeça e da câmera [1].
O método de rastreamento ocular desenvolvido neste
trabalho utiliza uma webcam comum de baixo custo e não
necessita de iluminação IR. Além disso, permite um
movimento livre da cabeça e a câmera não necessita estar
acoplada na mesma.
Controle de Ambiente Residencial
Recentemente, tem-se observado um crescimento
tecnológico de aplicações relacionadas ao controle de
ambiente para aumentar a independência de pessoas com
deficiência. Denominam-se Eletronic Aids for Daily Living
(EADLs) os dispositivos que facilitam a operação de
aplicações elétricas em um dado ambiente para pessoas com
deficiência física severa [14].
Muitos EADLs foram desenvolvidos nas últimas décadas,
como em [6], que utiliza um sistema baseado em sinal IR
para controlar várias funções de uma aplicação. No entanto,
o sinal IR é facilmente bloqueado por obstáculos.
Recentemente, Yang et al [34, 35] desenvolveram um
sistema de controle de ambiente baseado em rádio
frequência (RF) para o ambiente residencial. A
comunicação RF resolve o problema direcional apresentado
pela transmissão IR, contudo o dispositivo controlado deve
ser modificado pela adição de um módulo RF. Observa-se
também que o consumo de energia de um módulo RF é
muito elevado para ser alimentado por bateria.
A definição da tecnologia a ser empregada no ActiveIris
deve levar em consideração o baixo consumo de energia de
forma que os módulos possam ser alimentados por bateria.
Uma tecnologia diferenciada em comunicações sem fio é o
ZigBee. Baseado no padrão Open Systems Interconnection
(OSI) de sete camadas, o ZigBee define um protocolo de
comunicação de uma rede sem fio com baixa taxa de
transferência, baixo consumo e curto alcance [38]. Entre as
tecnologias baseadas em ZigBee, encontram-se as redes de
sensores sem fio [9, 26, 32, 36]. Em [20], foi implementada
uma unidade de controle remoto universal com ZigBee para
controlar vários aplicações eletrônicas residenciais
diferentes.
Em muitas aplicações da tecnologia ZigBee, o tempo total
em que o dispositivo sem fio está em atividade é bem
limitado. O dispositivo passa a maior parte do tempo no
modo de economia de energia, também conhecido como
sleep mode. Podemos ver na Figura 1, um quadro
comparativo entre ZigBee, Bluetooth e WiFi.
Figura 1 – Comparação entre os padrões
ZigBee, Bluetooth e WiFi.
Fonte: Adaptado de Farahani [8].
Na Suíte de Acessibilidade ActiveIris, o sistema de
automação residencial foi desenvolvido utilizando um
método de controle remoto integrado, combinando
comunicação sem fio ZigBee com transmissão IR. Deste
modo, o problema direcional da transmissão IR é resolvido
sem a necessidade de modificar o equipamento controlado.
SUÍTE DE ACESSIBILIDADE ACTIVEIRIS
A Suíte de Acessibilidade ActiveIris é um conjunto de
aplicativos que agrega diversas funcionalidades com o
objetivo de possibilitar a utilização plena do computador
por pessoas com deficiência física. A partir do movimento
dos olhos, que é captado e processado pelo controlador de
cursor, é possível manipular um teclado virtual, navegar na
internet, acessar as redes sociais, controlar o ambiente
residencial e interagir com o celular na tela do computador,
conforme o esquema apresentado na Figura 2.
De maneira geral, as principais funcionalidades
proporcionadas pelo ActiveIris podem ser divididas nas
seguintes categorias:
Interação com o computador através do controlador de
cursor;
Interação com o teclado por meio de um teclado virtual;
Interação com a web proporcionada por acesso rápido ao
navegador padrão, ferramenta de busca, visualização de
feeds de notícias (RSS) e exibição do clima atual e
previsão do tempo;
Interação social ao acessar as redes sociais Twitter e
Facebook;
Interação com o ambiente residencial;
Interação com o celular;
Funcionalidades customizadas como: tamanho
diferenciado dos botões, posicionamento ajustável das
ferramentas e botões na barra, entre outros.
Figura 2 – Principais funcionalidades do ActiveIris.
Figura 3 – Suíte de Acessibilidade ActiveIris
O software da Suíte de Acessibilidade ActiveIris foi
desenvolvido em linguagem de programação Java, podendo
ser executado tanto em ambiente Windows quanto em
ambiente Linux. Um dos principais focos durante o
desenvolvimento do aplicativo foi apresentar ao usuário
uma interface gráfica especialmente elaborada para facilitar
o controle de cursor por meio dos movimentos oculares.
A Figura 3 mostra em detalhe a Suíte de Acessibilidade
ActiveIris, a qual possui a forma de uma barra vertical que
pode ser alocada na lateral esquerda ou direita da tela
(Figura 4), minimizando o espaço ocupado pelo software. O
acesso aos aplicativos é realizado através de botões que
possuem dimensão diferenciada de forma a aumentar a área
de clique sobre eles. Além dos botões representando as
funcionalidades citadas anteriormente, há um espaço
reservado para exibição de feeds de notícias, visualização
do clima e na parte inferior é apresentada a imagem do
usuário capturada pela câmera, fornecendo um feedback
visual sobre o rastreamento da íris.
Figura 4 – ActiveIris em execução no computador
Controlador de cursor
A implementação de um método confiável de rastreamento
da íris é fundamental para a interação dos movimentos dos
olhos com o computador. O algoritmo desenvolvido neste
trabalho compreende as etapas de localização do par de
olhos, detecção da pupila e identificação do centro da
pupila (íris). O código foi desenvolvido em linguagem C++,
utilizando a biblioteca de visão computacional OpenCV (do
inglês Open Source Computer Vision) [18].
Para a localização do par de olhos, foi aplicada a
implementação de [5] integrada ao OpenCV, que estende o
método em cascata proposto por Viola e Jones [30]. Este
método utiliza características simples de Haar (assim
chamadas porque são calculadas de forma similar aos
coeficientes das Transformadas Wavelets de Haar) e um
conjunto de classificadores interligados em cascata. A
Figura 5 ilustra a região com o par de olhos localizado pelo
método empregado. Após a primeira localização dos olhos,
que é realizada na região que envolve todo o quadro
capturado, as demais buscas se realizam em uma nova
região de interesse (ROI – Region of Interest) de tamanho
reduzido, com o objetivo de diminuir o tempo de
processamento, pois a busca em um quadro inteiro é de
aproximadamente 0,3 segundos, enquanto que a detecção
na nova ROI diminui para 0,04 segundos. Esta ROI, como
mostra a Figura 6, assume uma largura e altura um pouco
maior que a região dos olhos localizada no último quadro
processado. Caso não se tenha localizado os olhos no
quadro anterior, a busca é reiniciada na região que
compreende o quadro inteiro até que a posição dos olhos
seja detectada novamente.
Figura 5 – Par de olhos detectado.
Figura 6 – ROI para a localização do par de olhos.
Um algoritmo de limiar adaptativo para a binarização da
imagem foi implementado na etapa de detecção da pupila.
A componente vermelha (R - Red) do espaço de cor RGB
(Red Green Blue – vermelho verde azul) é utilizada como
uma imagem na escala de cinza (greyscale), conforme
mostra a Figura 7a, e um filtro de suavização (blur) é
aplicado para reduzir os ruídos.
Figura 7 - Detecção da pupila e da íris. (a) Imagem do olho em
escala de cinza. (b) Imagem binária do olho. (c) Contorno do
objeto selecionado como pupila em verde e localização do
centro de massa em azul. (d) Localização da íris.
Após aquisição da imagem binária (Figura 7b), filtros
morfológicos e de área são utilizados para remover os
ruídos e objetos pequenos. O objeto, definido como pixels
pretos conectados, que apresentar o valor de circularidade
mais alto é definido como pupila (Figura 7c). Para a
localização da íris, o centro de massa deste objeto é
calculado. Na Figura 7d, o ponto branco na imagem
representa a íris detectada.
Rastreamento da íris para diferentes resoluções
e distancias da câmera
Resolução 30 cm 60 cm 90 cm
640x320 Detecta Detecta com
deficiência Não detecta
800x448 Detecta Detecta com
deficiência Não detecta
1280x800 Detecta Detecta Detecta com
deficiência
Tabela 1 – Planilha de avaliação da detecção da íris em
diferentes resoluções de captura
Para uma detecção mais robusta da íris, a resolução dos
quadros a serem capturados pela webcam foi definida por
meio de uma análise qualitativa de várias imagens da região
do olho obtidas de quadros com três resoluções diferentes
combinadas com três distancias entre o usuário e a câmera.
O algoritmo de rastreamento da íris foi aplicado para cada
combinação, como mostra a Tabela 1. A resolução adotada
neste trabalho foi de 1280x800, pois garante a detecção
para uma distância confortável entre o usuário e a câmera.
A detecção do piscado é realizada simultânea a detecção da
íris, como em [33]. Ao capturar os olhos fechados, o objeto
que representa a pupila na imagem binária assume a forma
apresentada na Figura 8, onde a razão entre altura e largura
é menor que a observada quando o olho está completamente
aberto (Figura 7c). Quando esta razão é menor que um
limiar de 0,35 (estabelecido experimentalmente) e este tipo
de objeto é detectado em quadros consecutivos por um
tempo maior que 1,5 segundos, considera-se que um
piscado foi realizado.
Figura 8 – Captura do piscado e imagem binária resultante.
Para determinar a direção do movimento do cursor, é
necessário mapear um ponto de referência dos olhos em
relação à tela. Esta referência é definida quando o usuário
olha para o centro da tela na etapa de calibração do sistema
e, posteriormente, é utilizada para determinar os possíveis
movimentos do cursor em relação a esta posição central,
assim como em [21]: para cima, para baixo, para a esquerda
e para a direta. Assim, ao olhar para uma destas direções, o
controlador de cursor envia um comando para o sistema
operacional que realiza um movimento contínuo na direção
detectada. Este movimento é interrompido apenas quando
um piscado é detectado ou quando uma mudança de
movimento ocorre. Quando o cursor está parado, a detecção
de um novo piscado realiza o clique correspondente ao
botão esquerdo do mouse.
Teclado Virtual
A interação do usuário com o computador por meio dos
olhos exige um método alternativo de entrada de caracteres
para substituir o teclado convencional. Normalmente, os
sistemas operacionais fornecem seu próprio teclado virtual
como forma de acesso alternativo ao computador. Este
teclado, porém, apresenta a mesma configuração de teclas
que um teclado físico, sendo o QWERTY o exemplo mais
conhecido pelos usuários.
Conforme analisado em [19], teclados virtuais com layouts
projetados inicialmente para teclados convencionais podem
sobrecarregar o usuário na tarefa de “digitar” com os olhos,
pois o processo torna-se mais lento e cansativo devido a
características como disposição, dimensão e espaçamento
entre as teclas.
O ActiveIris propõe um teclado virtual (Figura 9)
adaptando a disposição inicial de teclas de maneira
semelhante à proposta em [19] e aplicando conceitos de
frequência de utilização das teclas, conforme abordado em
[11, 16]. Inicialmente, com o intuito de minimizar o esforço
de deslocamento entre um ponto e outro da tela, a tecla
correspondente ao espaço ficou situada no centro do teclado
de forma a ficar o mais equidistante possível das demais
teclas. Como pode ser visto na Figura 9a, próxima à posição
central, foram colocadas as letras que aparecem com maior
frequência nas palavras da língua portuguesa, como as
vogais e as letras R, S e M. Nas posições mais distantes da
tecla espaço foram colocadas as letras menos acessadas,
como K, W e X. Além do posicionamento por frequência de
utilização, foram dispostas próximas umas das outras as
letras que compõem as terminações onde a vogal é seguida
de R ou S, como “-ar”, “-er”, “-ir”, “-as”, “-es”, etc, e as
teclas M, P e B, obedecendo à regra gramatical, onde o M é
escrito antes de P e B.
Figura 9 – Teclado Virtual do ActiveIris. Em (a) a disposição
geral do teclado alfabético, em (b) os caracteres especiais, em
(c) o teclado numérico e em (d) as teclas de acentuação gráfica.
Complementando as ferramentas necessárias para o usuário
redigir um texto, o teclado também apresenta botões que
exercem as funções de Tab, Capslock, Shift, Apagar (ou
Backspace) e Enter na parte superior e botões de atalho
para caracteres especiais, teclado numérico e acentuação,
conforme podem ser observados na Figura 9b, na Figura 9c
e na Figura 9d, respectivamente.
A Figura 10 ilustra a versão expandida do teclado virtual,
que pode ser acessada através dos botões verticais
localizados nas laterais da interface. Nesta versão, funções
adicionais para manipulação de texto ficam disponíveis nas
abas laterais.
Figura 10 – Teclado Virtual Expandido do ActiveIris.
Na aba esquerda, são exibidas cinco sugestões de palavras
que são atualizadas à medida que o usuário “digita” uma
letra. Ao clicar na sugestão desejada, o teclado insere
automaticamente as letras que faltam para completar a
palavra selecionada. As palavras que compõem as sugestões
são armazenadas em um banco de palavras e possuem um
contador de frequência de uso. Desta forma, palavras mais
usadas pelo usuário aparecem no topo da lista.
Na aba direita, estão disponíveis teclas correspondentes às
setas de navegação e botões que auxiliam nas tarefas de
selecionar, copiar, colar e recortar. Estas ferramentas foram
incluídas no teclado virtual devido à dificuldade de executar
operações como a seleção de trechos de texto com o cursor
e a ativação simultânea de teclas, como é o caso dos
comandos Ctrl + C, Ctrl + V e Ctrl + X.
Redes Sociais Facebook e Twitter
Atualmente, as redes sociais de relacionamento online
tornaram-se populares meios de integração social, porém a
interação com estes sites de relacionamento a partir de um
navegador de internet apresenta-se como uma difícil tarefa
a ser realizada por meio da movimentação dos olhos, pois
exige maior precisão em ações como o clique em links.
Como forma de facilitar a integração social de pessoas com
deficiência física, o ActiveIris proporciona acesso as
principais redes sociais utilizadas no Brasil atualmente:
Facebook e Twitter. Após associar a conta de usuário do
Facebook ou Twitter à Suíte, a pessoa pode ter acesso a
uma interface diferenciada, conforme mostra a Figura 11.
Entre as facilidades proporcionadas pela interface de redes
sociais do ActiveIris, destaca-se o uso de botões com uma
maior área de clique para inclusão de comentários em feeds
de amigos, envio de novas mensagens ou fotos.
Na interface para o Facebook é possível visualizar a linha
do tempo (ou timeline), onde são exibidas atualizações de
status dos amigos, o mural, que contém apenas os
compartilhamentos do usuário, o perfil e a lista de amigos.
Na interface do Twitter, a timeline do usuário é apresentada
de forma semelhante a do Facebook. Ao lado de cada tweet
são exibidos os botões representando as ações de responder
e retweet (RT). Além da timeline, podem ser acessadas as
menções ao usuário, mensagens diretas, trending topics e
lista de amigos.
Figura 11 – Interface para as redes sociais Facebook e Twitter.
Controle de Ambiente Residencial
Controlar o ambiente de forma simples é um dos requisitos
básicos de um sistema de automação residencial. Neste
contexto, o módulo de controle de ambiente do ActiveIris
consegue unir usabilidade à praticidade tanto no controle da
iluminação quanto na interface com equipamentos
eletrônicos.
Uma pessoa com deficiência física severa não consegue
controlar a iluminação do ambiente e manipular a TV ou o
ar condicionado por meio do um controle direcional
tradicional sem a ajuda de terceiros. Para vencer esta
barreira física e tecnológica, é necessária uma solução de
baixo consumo de energia que possibilite não só o
acionamento remoto de cargas, como também resolva o
problema do controle direcional. Conforme visto
anteriormente, o ActiveIris integra a tecnologia ZigBee aos
equipamentos e interruptores no ambiente do usuário. Neste
sentido, o módulo de controle de ambiente foi projetado
para comunicar-se com vários dispositivos através de uma
base central conectada ao computador, conforme mostra o
esquema da Figura 12.
Através de uma comunicação sem fio, a base envia
comandos para os módulos que estão associados a cada
dispositivo que se deseja controlar. Estes receptores podem
atuar de forma direcional, no caso de dispositivos que
utilizam IR, como TV, DVD e ar condicionado, ou não
direcional, para interruptores de iluminação e dispositivos
de acionamento de cargas, como ventilador.
Figura 12 – Solução para controle de ambiente do ActiveIris.
Com a base central conectada ao computador, o usuário do
ActiveIris terá acesso aos dispositivos conectados a ela
através do botão “Controle de Ambiente”, como pode ser
visto na Figura 3. Existem três módulos de controle de
dispositivos: módulo IR, módulo de iluminação e módulo
de acionamento.
Figura 13 – Interface para controle de ambiente residencial
O módulo IR funciona em duas etapas:
Configuração: Nesta etapa, o usuário utiliza o controle
remoto do equipamento específico para configurá-lo. Ao
pressionar a tecla Power, direcionando o controle para
um receptor IR localizado na base central, o sinal é
reconhecido.
Operação: Ao receber o comando do usuário através da
Suíte, a base central comunica-se com o módulo IR
específico que emite o sinal para o equipamento. A
Figura 13 ilustra a interface de controle da TV, onde o
usuário é capaz de ligar/desligar, aumentar/diminuir o
volume ou canal e inserir o número do canal desejado
usando o teclado numérico.
O módulo de iluminação funciona como um interruptor
paralelo, também conhecido como “Three way”, ou seja, a
lâmpada pode ser acionada tanto pela interface de
iluminação do ActiveIris (Figura 13) quanto pelo seu
interruptor físico.
Para o módulo de acionamento, exemplificado pelo
ventilador na Figura 13, é possível realizar a interrupção ou
o fornecimento de energia do equipamento.
Interação com o celular
A interação com o celular é realizada por meio de um
aplicativo instalado no aparelho. Este aplicativo foi
desenvolvido na plataforma Android e se comunica com o
computador através de uma rede sem fio. Através do botão
“Telefone”, que pode ser acessado na Suíte, o usuário pode
buscar todos os aparelhos que estão conectados na mesma
rede sem fio local e possuem o aplicativo instalado. Ao
selecionar o aparelho desejado, é possível acessar as
seguintes funcionalidades (Figura 14):
Enviar, receber e apagar mensagens de texto (SMS);
Acessar a agenda telefônica;
Realizar e receber ligações;
Visualizar listas de chamadas recebidas, discadas e
perdidas;
Outras informações, como nível da bateria do celular,
potência do sinal e status da conexão do celular com o
computador.
Figura 14 – Interface para interação com o celular. (a) Agenda
de contatos. (b) Teclado para discagem. (c) Lista de chamadas.
(d) Visualização de mensagens de texto.
RESULTADOS E DISCUSSÃO
Para avaliar a solução proposta para interface do Facebook
e do Teclado Virtual do ActiveIris, foram realizados testes
iniciais de usabilidade sem o uso das mãos. Os testes foram
executados por oito voluntários divididos em três níveis de
experiência (iniciante, intermediário e avançado) no uso de
teclados virtuais. Após os testes, cada usuário respondeu
um questionário de avaliação.
O primeiro teste consistiu em cronometrar o tempo para
realizar uma atividade no Facebook usando tanto o
navegador de internet quanto a Suíte de Acessibilidade. A
tarefa envolveu curtir e comentar uma postagem presente na
linha do tempo do usuário. A Tabela 2 apresenta os tempos
de execução em segundos para cada pessoa, sendo P1 um
usuário com deficiência física nos membros superiores.
Além destes resultados, no questionário preenchido pelos
voluntários, 75% afirmaram que se sentiram mais
confortáveis ao utilizar o Facebook através da Suíte.
Entre os usuários avaliados, apenas P5 realizou a tarefa
mais rápido no navegador, o que indica que a interface para
Facebook tornou a atividade proposta mais ágil. Todos os
usuários afirmaram que a maior dificuldade encontrada foi
efetuar o posicionamento do cursor sobre o link “Curtir” no
navegador. Por outro lado, o tamanho dos botões e das
áreas clicáveis na interface do ActiveIris facilitou a tarefa.
Usuário
Experiência
com teclados
virtuais
Tempo para curtir e
comentar uma postagem
no Facebook (segundos)
Navegador ActiveIris
P1 Avançado 155 94
P2 Avançado 67 45
P3 Avançado 164 161
P4 Intermediário 130 84
P5 Intermediário 92 98
P6 Iniciante 166 153
P7 Iniciante 227 114
P8 Iniciante 123 93
Tabela 2 – Comparação entre o tempo que o usuário levou
para curtir e comentar uma postagem no Facebook utilizando
o navegador e o ActiveIris.
O segundo teste teve como objetivo avaliar o teclado virtual
do ActiveIris. O desempenho na utilização deste teclado foi
comparado ao desempenho dos usuários ao utilizar outro
teclado virtual com configuração QWERTY. Para este
teste, foi selecionado o teclado VirtualKeyboard [31]
desenvolvido pela Universidade de Lleida (UdL).
Por meio dos teclados virtuais selecionados, cada pessoa
escreveu a frase “A taça é nossa, somos tetracampeões!”, a
qual possui 36 caracteres. O tempo de “digitação” e a
quantidade de botões pressionados foram contabilizados
para cada teclado, como mostra a Tabela 3. A quantidade
mínima de botões para escrever a frase utilizando o teclado
virtual do ActiveIris é de 42 e para o VirtualKeyboard é de
39, ou seja, os usuários que apresentam valores superiores a
estes cometeram erros durante a “digitação”.
De acordo com os dados apresentados na Tabela 3, apesar
de necessitar de mais teclas para formar a frase, grande
parte dos usuários levou menos tempo para completar a
tarefa e cometeu uma quantidade menor de erros utilizando
o teclado do ActiveIris, pois afirmaram que a disposição e o
tamanho das teclas contribuiu para o bom desempenho.
Usuário
Tempo (segundos) Botões pressionados
Virtual
Keyboard ActiveIris
Virtual
Keyboard ActiveIris
P1 249 156 41 42
P2 183 164 45 50
P3 390 312 43 46
P4 309 229 58 52
P5 297 170 44 42
P6 307 330 42 51
P7 393 256 60 44
P8 431 352 44 47
Tabela 3 – Comparação entre o teclado virtual do ActiveIris e
o teclado VirtualKeyboard para escrever uma frase.
Com base no nível de experiência na utilização de teclados
virtuais, foi calculada a média de tempo gasto no segundo
teste, conforme mostra o gráfico da Figura 15. Vale
ressaltar que o usuário P3 não foi considerado nos cálculos,
pois, diferente dos demais usuários, utilizou a função de
clique automático do controlador de cursor, que consistiu
em aguardar 2 segundos para executar cada clique. Para o
ActiveIris, foi verificado que os usuários gastaram em
média 312 segundos no nível iniciante, 199 segundos no
nível intermediário e 160 segundos no nível avançado. Em
relação ao VirtualKeyboard, o tempo médio para realizar a
tarefa foi de 377 segundos para iniciantes, 303 segundos
para intermediários e 216 segundos para avançados.
Figura 15 – Nível de experiência relacionado ao tempo médio
para escrever uma frase com os teclados virtuais testados.
Através do gráfico da Figura 15, pode ser observado que o
teclado do ActiveIris proporcionou uma execução mais
rápida da tarefa quando comparado ao VirtualKeyboard,
independente da experiência do usuário. Outro ponto que
pode ser destacado é a redução do tempo que o usuário leva
para realizar a tarefa à medida que aumenta sua experiência.
CONCLUSÃO
Este trabalho propôs uma solução tecnológica para
amenizar as grandes limitações e dependências enfrentadas
por pessoas com deficiência física severa. Nas últimas
décadas, inúmeras pesquisas na área de TA foram
realizadas com o objetivo de facilitar a comunicação e
interação do usuário com o mundo. Entre as soluções mais
promissoras está o controle por meio do rastreamento dos
olhos. A Suíte de Acessibilidade ActiveIris utiliza-se desta
forma de interação homem-computador para proporcionar à
pessoa com deficiência o acesso à ferramentas de
comunicação social, como as redes sociais de
relacionamento e o celular; educação e trabalho, com um
teclado virtual adaptado para uso através do movimento dos
olhos; controle de ambiente residencial, entre outros.
Comparado a outros tipos de sistemas controlados pelo
movimento dos olhos, o ActiveIris apresenta-se como uma
aplicação não intrusiva e de baixo custo. Além disso, é um
sistema flexível, pois não se limita apenas a usuários com
deficiência física severa, podendo ser utilizado por pessoas
com dificuldade de comunicação ou de acesso ao teclado e
mouse.
Os resultados obtidos nos testes demonstram que as
interfaces do Facebook e do teclado virtual do ActiveIris
tornam as tarefas mais fáceis e ágeis quando comparadas
com uma interface alternativa, como o navegador de
internet e o teclado virtual com configuração QWERTY. A
interface do Facebook facilita o acesso a links como
“Curtir” e “Comentar”, pois possui maior área de clique
para estas opções. No teclado virtual, o tamanho maior das
teclas ameniza os erros do usuário e a disposição das
mesmas torna a “digitação” do texto mais ágil.
Como trabalhos futuros, pretende-se:
Inserir outras funcionalidades do mouse como clique
duplo, clique com o botão direito e “clicar e arrastar”;
Implementar outros tipos de teclados virtuais, como o
teclado por varredura, necessário para pessoas que
possuem movimento limitado dos olhos;
Integrar módulos de consulta a sinais biológicos para
auxiliar no acompanhamento médico;
Implementar ferramentas voltadas para o público infantil;
Consultar os níveis de bateria dos módulos de forma a
alertar quando o mesmo estiver com pouca carga;
Consultar o nível de potência do sinal recebido através do
Received Signal Strength Indicator (RSSI) para decidir a
melhor localização dos módulos de controle, evitando a
perda de pacotes de comunicação;
Coletar variáveis do ambiente para identificar a condição
de conforto térmico do usuário e autoconfigurar o sistema
de ar condicionado.
AGRADECIMENTOS
Os autores gostariam de agradecer à FINEP e ao CNPq pelo
apoio financeiro, ao designer Bruno Lopes pelo
desenvolvimento da interface gráfica do aplicativo e aos
voluntários da FPF Tech por sua ajuda nos testes realizados
para este trabalho.
REFERÊNCIAS
1. Akashi, T., Wakasa, Y. e Tanaka, K. Using Genetic
Algorithm for Eye Detection and Tracking in Video
Sequence. In Systemics, Cybernetics and Informatics,
vol. 5, 2 (2007), 72-79.
2. Bacivarov, I., Ionita, M. e Corcoran, P. Statistical
Models of Appearance for Eye Tracking and Eye-Blink
Detection and Measurement. In IEEE Trans. on
Consumer Electronics, vol. 54, 3 (2008), 1312-1320.
3. Biswas, P. e Samanta, D. Friend: A Communication Aid
for Persons with Desabilities. In IEEE Trans. on Neural
Systems and Rehabilitation Engineering, vol. 16, 2
(2008), 205-209.
4. Cassemiro, C. R. e Arce, C. G. Comunicação visual por
computador na esclerose lateral amiotrófica. In Arquivos
Brasileiros de Oftalmologia, v. 67 (2004), 295-300.
5. Castrillón-Santana, M., Déniz-Suárez, O., Antón-
Canalís, L. e Lorenzo-Navarro, J. Face and Facial
Feature Detection Evaluation: Performance Evaluation
of Public Domain Haar Detectors for Face and Facial
Feature Detection.
6. Ciarcia, S. A. Build a Trainable Infrared Master
Controller. Byte, vol. 12 (1987), 113-123.
7. Cook, A. M. e Polgar, J. M. Cook & Hussey’s Assistive
Technologies: Principles and Practice, (2008).
8. Farahani, S. ZigBee Wireless Networks and
Transceivers, (2008).
9. Figueiredo, M., Nakamura, E., Ribas, A., Souza, T. R.
B. e Barreto, R. S. Assessing the Communication
Performance of Wireless Sensor Networks in
Rainforests. In IFIP Wireless Days, vol. 1 (2009), 1-6.
10. Galante, A. e Menezes, P. A Gaze-based Interaction
System for People with Cerebral Palsy. In Conf. on
Enterprise Information Systems and Technologies/ Intl.
Conf. on Health and Social Care Information Systems
and Technologies, (2012), 895-902.
11. Ghosh, S., Sarcar, S., Sharma, M. K. e Samanta, D.
Effective Virtual Keyboard Design with Size and Space
Adaption. In Proc. IEEE Students’ Technology
Symposium, (2010), 262-267.
12. Katada, T., Kobatake, M., Yoshimura, Y., Mizukami,
Y., Wakasa, Y., Akashi, T. e Tanaka, K. A
Communication System Using Eye Gaze. In Proc. Intl.
Conf. on Instrumentation, Control and Information
Technology, (2005), 3466–3469.
13. Kumar, M. e Winograd, T. Gaze-enhanced Scrolling
Techniques. In Proc. Symposium on User Interface
Software and Technology, (2007).
14. Litte, R. Electronic Aids to Daily Living. In Phys. Med.
Rehabil. Clin. N. Am., vol. 21 (2010), 33-42.
15. Lv, Z., Wu, X., Li, M. e Zhang, D. A Novel Eye
Movement Detection Algorithm for EOG Driven Human
Computer Interface. In Pattern Recognition Letter, vol.
31 (2010) 1041-1047.
16. MacKenzie, I. S. e Zhang, S. X. The Design and
Evaluation of a High Performance Soft Keyboard. In
Proc. Conf. on Human Factors in Computing Systems,
(1999).
17. Mascarenhas, I. C., Oliveira, S. C. e Fontana, E.
Desenvolvimento de Aplicativo Gráfico para uso de
Sistema de Rastreamento Ocular por Portadores de
Deficiência Motora Severa. In Proc. XXIII Congresso
Brasileiro em Eng. Biomédica, (2012), 1536-1540.
18. OpenCV. http://opencv.org/about.html.
19. Panwar, P., Sarcar, S. e Samanta, D. EyeBoard: A fast
and accurate eye gaze-based text entry system. In IEEE
Proc. 4th Intl. Conf. on Intelligent Human Computer
Interaction, (2012), 1-8.
20. Park. W. K., Han, I. e Park, K. R. ZigBee Based
Dynamic Control Scheme for Multiple Legacy IR
Controllable Digital Consumer Devices. In IEEE Trans.
Consumer Electronics, vol. 53 (2007), 172-177.
21. Postelnicu, C., Girbacia, F. e Talaba, D. EOG-based
Visual Navigation Interface Development. In Proc.
Expert Systems with Applications, vol. 39 (2012) 10857-
10866.
22. Porta, M. e Ravelli, A. WeyeB, an Eye-Controlled Web
Browser for Hands Free Navigation. In Proc. 2nd Conf.
on Human Systems Interations, (2009), 210-215.
23. Prabhu, V. e Prasad, G. Designing a Virtual Keyboard
with Multi-Modal Access for People with Disabilities.
In Proc. World Congress on Information and
Communication Technologies, (2011), 1133-1138.
24. Rikert, T. D. e Jones, M. J. Gaze Estimation using
Morphable Models, in Proc. Intl. Conf. on Face &
Gesture Recognition, (1998), 436–441.
25. Rocha, L. A. A., Naves, E. L. M., Soares, A. B., Morere,
Y., Pino, P. e Bourhis, G. Interface Homem Máquina
Aplicada à Comunicação Alternativa de Pessoas com
Deficiências Motoras Graves. In Proc. Congresso
Brasileiro em Eng. Biomédica, (2012), 692-695.
26. Ruiz-Garcia, L., Barreiro, P. e Robla, J. I. Performance
of ZigBee-based wireless sensor nodes for real-time
monitoring of fruit logistics. In Journal of Food
Engineering, vol. 87 (2008), 405-415.
27. Stiefelhagen, R. e Yang, J. Gaze Tracking for
Multimodal Human-Computer Interaction. In Proc.
IEEE Intl. Conf. on Acoustics, Speech, and Signal
Processing, vol. 4, (1997), 2617–2620.
28. Tan, H., Zhang, Y. e Li, R. Robust Eye Extraction using
Deformable Template and Feature Tracking Ability. In
Proc. Intl. Conf. on Information, Communications and
Signal Processing, vol. 3 (2003), 15-18.
29. Valenti, R. e Gevers, T. Accurate Eye Center Location
throught Invariant Isocentric Patterns. In Proc. IEEE
Trans. on Pattern Analysis and Machine Intelligence,
vol. 34, 9 (2012), 1785-1798.
30. Viola, P. e Jones, M. Robust real-time object detection.
In Intl. Journal of Computer Vision, vol. 57, 2 (2004),
137-154.
31. VirtualKeyboard. http://robotica.udl.cat.
32. Wheeler, A. Commercial Applications of Wireless
Sensor Networks using ZigBee. In Proc. IEEE
Communications Magazine, vol. 45, 4 (2007), 70-77.
33. Wu, J., Trivedi, M. M. An Eye Localization, Tracking
and Blink Pattern Recognition System: Algorithm and
Evaluation. In ACM Trans. on Multimedia Computing,
Communications and Applications. Vol. 6, 2 (2010).
34. Yang, C. H., Chuang, L. Y., Yang, C. H. e Luo, C. H.
Environmental Control Aid System for People with
Physical Disabilities. In Proc. IEICE Trans. Inf.
Systems, (2006), 1948-1954.
35. Yang, C. H., Chuang, L. Y., Yang, C. H. e Luo, C. H.
Morse Code Application for Wireless Environmental
Control Systems for Severely Disabled Individuals. In
IEEE Trans. on Neural Systems and Rehabilitation
Engineering, vol. 11, 4 (2003), 463-469.
36. Yick, J., Mukherjee, B. e Ghosal, D. Wireless Sensor
Network Survey. In Computer Network, vol. 52 (2008),
2292-2330.
37. Yuille, A., Hallinan, P. e Cohen, D. Feature Extraction
from Faces Using Deformable templates. In Intl.
Journal of Computer Vision, vol. 8, 2 (1992) 99-111.
38. ZigBee Specification. (2008), www.zigbee.org.
39. Zhu, Z. e Ji, Q. Robust Real-Time Eye Detection and
Tracking under Variable Lighting Conditions and
Various Face Orientations. In Computer Vision and
Image Understanding, vol. 98 (2005), 124–154