UNIVERSIDADE FEDERAL DO SUL E SUDESTE DO PARÁ … · Federal do Sul e Sudeste do Pará, Campus Universitário de Marabá, Instituto de Geociências e Engenharias, Faculdade de Computação

UNIVERSIDADE FEDERAL DO SUL E SUDESTE DO PARÁ

INSTITUTO DE GEOCIÊNCIAS E ENGENHARIAS

Faculdade de Computação e Engenharia Elétrica

Bacharelado em Sistemas de Informação

Trabalho de Conclusão de Curso

PLATAFORMA DE MANIPULAÇÃO TRIDIMENSIONAL

INTERATIVA PARA USO EDUCACIONAL

Abraão Lucas de Jesus Saraiva

Marabá-PA

2018




Trabalho de Conclusão de Curso, apresentado

à Universidade Federal do Sul e Sudeste do

Pará, como parte dos requisitos necessários

para obtenção do Título de Bacharel em

Sistemas de Informação.

Orientador:

Prof. Me. Claudio de Castro Coutinho Filho

Marabá-PA

2018

Dados Internacionais de Catalogação-na-Publicação (CIP) Biblioteca II da UNIFESSPA. CAMAR, Marabá, PA

Saraiva, Abraão Lucas de Jesus Plataforma de manipulação tridimensional interativa para uso

educacional / Abraão Lucas de Jesus Saraiva; orientador, Claudio de Castro Coutinho Filho. — 2018.

Trabalho de Conclusão de Curso (Graduação) - Universidade Federal do Sul e Sudeste do Pará, Campus Universitário de Marabá, Instituto de Geociências e Engenharias, Faculdade de Computação e Engenharia Elétrica, Curso de Bacharelado em Sistemas de Informação, Marabá, 2018.

1. Tecnologia da informação. 2. Inovações tecnológicas. 3.

Software - Desenvolvimento. 4. Métodos orientados a objetos

(Computação). I. Coutinho Filho, Claudio de Castro, orient. II. Universidade Federal do Sul e Sudeste do Pará. III. Título.

CDD: 22. ed.: 303.483

Elaborado por Nádia Lopes Serrão CRB2/575




Trabalho de Conclusão de Curso, apresentado

à Universidade Federal do Sul e Sudeste do

Pará, como parte dos requisitos necessários

para obtenção do Título de Bacharel em

Sistemas de Informação.

Marabá: 12 de Julho de 2018

BANCA QUALIFICADORA:

________________________________________

Prof. Me. Claudio de Castro Coutinho Filho

(Orientador - UNIFESSPA)

________________________________________

Prof. Me. Teófilo Augusto da Silva

(Coorientador - UNIFESSPA)

________________________________________

Prof. Dr. Tarciso Silva de Andrade Filho

(Examinador da Banca - UNIFESSPA)

Marabá-PA

2018

Dedico este trabalho a Deus por ter me dado capacidades mentais de torná-lo possível e aos

meus pais por tudo que fizeram por mim durante todo este tempo.

AGRADECIMENTOS

Em primeiro lugar agradeço a Deus por ter me dado a oportunidade de prestigiar

momentos únicos ao lado de professores e amigos de turma, que se tornaram ao longo dessa

jornada grande amigos para uma vida toda.

Agradeço de todo meu coração aos meus queridos pais, Maria da Silva de Jesus

Saraiva e Antonio Sergio Abdon Fernandes Saraiva, que me ensinaram os valores de uma

vida digna e honesta, e, além disso, foram meu maior suporte e amparo desde o início dos

meus estudos. Agradeço a minha irmã Luana de Jesus Saraiva por toda ajuda que me deu.

Agradeço aos meus amigos, em especial Derek Correia, Matheus Willames, Renato

Sabino e Wellerson Bruno por todo o companheirismo, amizade e confiança durante todo esse

período de graduação.

Por fim agradeço minha namorada Izabelle Catarine, por toda paciência e força que

me passou durante este curso.

“É pelo caráter e não pelo intelecto que o mundo se ganha”

Evelyn Beatrice Hall

RESUMO

O uso das Novas Tecnologias de Informação e Comunicação (NTIC’s) na atualidade está

presente durante a maior parte de nosso cotidiano, seja em nosso ambiente de trabalho, em

nossas casas, ou nos ambientes educativos. Elas são responsáveis por dar suporte à maioria

das atividades que exercemos, e o seu uso na educação está cada vez mais presente, sendo

usadas desde o gerenciamento de atividades acadêmicas por meio da Internet até a maneira

que frequentemente estamos habituados a presenciar: inserida nas salas de aula por meio da

utilização de projetores de imagem atrelados a computadores. A proposta desta pesquisa foi

desenvolver uma ferramenta que seja capaz de receber interações dos seus usuários, utilizando

apenas gestos, caracterizando-se como uma interação mediada por uma NUI (Natural User

Interface). O usuário será capaz de manipular objetos tridimensionais inseridos em um

ambiente digital por meio de gestos. O software foi construído com base na Game Engine

Unity, utilizando a linguagem de programação C#, e o sensor para a captura de gestos Leap

Motion. Diante disso o resultado da pesquisa foi a criação de um protótipo que auxilia no

processo de ensino de disciplinas acadêmicas e apresentações de trabalhos. Atualmente está

em fase de protótipo, entretanto, como trabalhos futuros é proposto a implementação

completa do sistemas e não somente parcial. Além disso plataforma será escalável, a fim de

oferecer suporte a outras áreas do conhecimento, que possuam o objetivo de visualizar e

manipular objetos 3D. Além do resultado por meio do protótipo, outro resultado foi obtido,

não intencional, que se caracteriza por ser uma rápida avaliação do dispositivo Leap Motion e

seu uso em aplicações que buscam interações minuciosas.

Palavras-Chave: NTIC’s, Manipulação Tridimensional, Interface.

ABSTRACT

The use of New Technologies of Information and Communication (NTIC’s) today is present

during most of our daily life, in our work environment, in our homes, or in educational

environments. They are responsible for supporting most of the activities we pursue, and their

use in education is present being used from management of academic activities through the

Internet to a way that is a habit: inserted in classrooms through the use of computer-based

image projectors. The proposal of this research is to develop a tool that is able to receive

interactions from its users, using only gestures, characterizing itself as a mediated interaction

by a natural user interface. The user will be able to manipulate three-dimensional objects

inserted in a digital environment through gestures. The software will be built based on Game

Engine Unity, using the C # programming language, and the sensor of capture of gestures

Leap Motion. The result of the research was the creation of a prototype that assists in the

process of teaching academic subjects and presentations of works. It is currently in the

prototype phase, however, as future works it is proposed the complete implementation of the

systems and not only partial. In addition, the platform will be scalable to support other areas

of knowledge that aim to view and manipulate 3D objects.

Keywords: NTIC's, three-dimensional manipulation, interface.

LISTA DE ILUSTRAÇÕES

Figura 1 - Processo de desenvolvimento no ambiente científico. (KELLY & SANDERS.).

Figura 2 - Captura de movimentos para o filme "Avatar" (2011). (Avatar).

Figura 3 - Visualização dos sensores internos ( a ). Visão esquemática do Leap Motion

Controller ( b ). (WEICHERT et al.).

Figura 4 - Arquitetura do sistema proposto. (Autoria própria).

Figura 5 - Caso de uso (Autoria própria).

Figura 6 - Diagrama de estado. (Autoria própria).

Figura 7 - Diagrama de atividades. (Autoria própria).

Figura 8- Módulo InteractionEngine. (Autoria própria)

Figura 9- Script InteractionBehavior.cs. (Autoria própria)

Figura 10 - Box Collider. (Autoria própria)

Figura 11 - Componente Rigidbody. (Autoria própria)

Figura 12 - Componente Constraints. (Autoria própria)

Figura 13 - Demonstração de Captura de movimentos 1. (Autoria própria)

Figura 14 - Demonstração de Captura de movimentos 2. (Autoria própria)

Figura 15 - Ambiente virtual atual e Leap Motion 1. (Autoria própria)

Figura 16 - Ambiente virtual atual e Leap Motion 2. (Autoria própria)

Figura 17 - Erro detecção de rosto. (Autoria própria)

LISTA DE ABREVIATURAS E SIGLAS

3D Tridimensional;

EaD Educação à Distância;

IHC Interface Homem Máquina;

NTIC’s Novas Tecnologias de Informação e Comunicação;

NUI Natural User Interface;

SDK Software Development Kit;

SIGAA Sistema integrado de gestão de atividades acadêmicas;

CSG Geometria Sólida Construtiva;

IDE Integral Development Environment;

SUMÁRIO

1. INTRODUÇÃO 14

1.1 Motivação 15

1.2 Objetivo Geral 15

1.3 Objetivos específicos 16

1.4 Estrutura do Trabalho 16

2. REFERENCIAL TEÓRICO 16

2.1 Desenvolvimento de um software no ambiente científico 17

2.2 As NTIC’s 18

2.3 Computação Gráfica e a Manipulação 3D 19

2.4 As NTIC’s voltadas à educação com apoio da manipulação 3D 20

2.5 Pesquisa bibliográfica 21

2.6 O Leap Motion 22

3. SOLUÇÕES EXISTENTES E TRABALHOS CORRELATOS 22

3.1 Desenvolvimento de jogos usando a interface NUI Leap Motion 22

3.2 SimQuest - ferramenta de modelagem computacional para o ensino de física 23

24

3.3 Aplicação do sensor Leap Motion como instrumento didático no ensino de crianças

surdas 24

4. SOLUÇÃO PROPOSTA 24

4.1 Especificações (Engenharia de Software) 25

4.1.1 Requisitos Funcionais 25

4.1.2 Requisitos não funcionais 26

4.2 Arquitetura da Solução 27

4.3 Diagrama de Caso de Uso 27

4.4 Diagrama de Estado 29

4.5 Diagrama de atividades 30

5. METODOLOGIA 33

5.1 Ambiente de desenvolvimento 34

5.1.1 A IDE Unity 35

5.1.2 SDK Orion Beta 35

5.1.3 Unity Core Assets 35

5.1.4 Leap Motion Interaction Engine 36

5.1.5 Hand Module 36

5.2 Tecnologias utilizadas 36

5.2.1 Unity 36

5.1.2 Leap Motion 37

6. DESENVOLVIMENTO 37

6.1 Desenvolvimento do protótipo 37

6.1.1 Descrição do protótipo 37

6.1.2 Módulos, Prefabs e componentes utilizados 38

7. RESULTADOS ALCANÇADOS 41

7.1 Resultados intencionais 41

7.2 Resultados não intencionais 45

7.3 Trabalhos futuros 48

8. CONSIDERAÇÕES FINAIS 48

9. REFERÊNCIAS 50

1. INTRODUÇÃO

O desenvolvimento deste projeto objetiva aplicar as NTIC’s (Novas Tecnologias de

Informação e Comunicação) no contexto educacional, com o propósito de obter como

resultado um software que auxilie os processos de manipulação de objetos 3D virtualmente,

por meio de interfaces computacionais naturais, as denominadas NUI (Natural User

Interface). O objeto de estudo proposto é a produção de um software que dê suporte a

visualizações de objetos 3D aplicados nos contextos educacionais e científicos,

especificamente no campo da física molecular.

O projeto consiste no desenvolvimento de uma ferramenta capaz de manipular objetos

3D virtualmente, ou seja, independentemente da área de aplicação, o usuário tem a capacidade

manusear os objetos conforme as suas necessidades. Desta forma, o projeto demonstra a

possibilidade de escalabilidade, visto que diversas áreas do conhecimento podem usá-lo, da

forma que achar necessário, inserindo seus próprios objetos 3D e manipulando-os, com

objetivo de apenas expô-los, de demonstrar a interação entre eles, ou de gerar informações

conforme os modelos 3D percorrem o ambiente virtual e interagem com seu meio, o ambiente

3D é definido conforme a área de aplicação.

Nós temos a motivação de disseminar novos usos de interfaces computacionais, que

são responsáveis por fazer a mediação da interação homem-máquina. O dispositivo

responsável pela interação é o Leap Motion, constituído por um conjunto de sensores que

permitem a captura de movimentos realizados com as mãos.

A ambientação 3D e os objetos que constituem todo o meio foram criados conforme o

objeto de estudo específica. Sua construção foi realizada por meio da Unity, a qual se

apresenta como um ambiente de desenvolvimento de games, modelos tridimensionais, e

motor de jogos. Esta ferramenta foi escolhida pois dá suporte ao sensor Leap Motion e possui

uma vasta documentação e quantidade de fóruns online.

O primeiro objeto de estudo deste projeto foi o desenvolvimento do protótipo de uma

ferramenta de manipulação 3D, que possibilita a manipulação de estruturas moleculares, a

nível atômico, a fim de ter-se uma visualização aprofundada e detalhada das estruturas

moleculares dispostas para visualização. Esta visualização fornece ao usuário, seja ele um

pesquisador, professor ou até um aluno, uma maneira mais interativa de observar as moléculas

e as ligações que estas estejam realizando.

14

1.1 Motivação

Pierre Lévy descreve no livro de sua autoria, “O que é virtual?” (2014), que o

“desengate” virtual do mundo físico-sensorial, separa uma pessoa, um ato, uma coletividade,

uma informação, do espaço físico ou geográfico, assim como os separa da temporalidade do

relógio e do calendário. Entretanto não são totalmente independentes do espaço-tempo, visto

que sempre devem estar inseridos em suportes físicos e se atualizarem a medida que for

necessário.

Diante disso, o desenvolvimento de aplicações que dão suporte a experimentos ou

simulações computadorizadas possuem uma grande importância, ao observar-se na

perspectiva das limitações que não serão inseridas nelas, ou seja, por meio da simulação

computadorizada experimentos podem ser mantidos intactos por anos e simulados inúmeras

vezes de acordo com a necessidade, sem nenhuma alteração nos valores e resultados finais

que são obtidos através dos mesmos. A importância do uso de softwares é revelada quando as

simulações físicas e computadorizadas são colocadas lado a lado, com o uso de softwares os

experimentos podem ser delimitados especificamente por meio de suas variáveis para obter os

mesmos resultados ou resultados aproximados, e se necessário for, os resultados podem se

repetir entre as simulações, com exatidão e eficiência.

Entretanto os resultados obtidos fisicamente estão condicionados a pequenos desvios

de valores, visto que as variáveis não podem ser controladas de forma a delimitar exatamente

os seus resultados, podendo ocasionar experimentos com resultados diferentes e fora de um

padrão exato, diferente do que ocorre em simulações computadorizadas.

1.2 Objetivo Geral

Esta pesquisa aplica especificamente os recursos tridimensionais e as novas formas de

interação usuário-máquina, os quais estão inseridos no contexto das NTIC’s, voltadas para ao

ambiente acadêmico, fornecendo uma aplicação que além de ser um simulador, seja uma nova

forma de interação do usuário com um sistema, a partir da manipulação de objetos 3D por

meio de gestos. A pesquisa tem por finalidade resultar em uma aplicação desktop capaz de

receber a interação de usuários por meio de gestos, onde terá a possibilidade de manipular

objetos 3D digitalmente.

15

1.3 Objetivos específicos

● Desenvolver uma aplicação desktop que seja capaz de receber interações por meio de

gestos;

● Oferecer um ambiente de simulações e experimentos científicos, virtuais.

● Evidenciar a importância das NTIC’s e sua influência no mundo;

● Disseminar o uso das novas formas de interação homem-máquina.

1.4 Estrutura do Trabalho

Este Projeto está estruturado em cinco capítulos que estão organizados da seguinte forma:

● Capítulo 2: Apresenta a revisão de literatura acerca dos principais conceitos que

fundamentam o projeto proposto;

● Capítulo 3: Contém os trabalhos correlatos e soluções existentes;

● Capítulo 4: Descreve a solução proposta e toda a análise de requisitos para

desenvolvimento do software;

● Capítulo 5: Descreve a metodologia que será aplicada no desenvolvimento do projeto,

aliada às ferramentas que serão utilizadas e todo o seu planejamento;

● Capítulo 6: Referente ao desenvolvimento da aplicação;

● Capítulo 7: Apresenta todos os resultados alcançados, dividido em resultados

intencionais e não intencionais;

● Capítulo 8: Apresenta as considerações finais deste trabalho;

2. REFERENCIAL TEÓRICO

Esta seção é responsável por abordar os referenciais teóricos e conceitos referentes

ao desenvolvimento da pesquisa. Os subtópicos irão abordar respectivamente os seguintes

assuntos: Desenvolvimento de um software no ambiente científico, as NTIC’s, Computação

Gráfica e a Manipulação 3D, e as NTIC’s voltadas à educação com apoio da manipulação 3D.

Além disso apresenta alguns trabalhos correlatos à pesquisa.

16

2.1 Desenvolvimento de um software no ambiente científico

Para Pressman (2006), os softwares científicos ou de engenharias, utilizados nas

diversas áreas do conhecimento, tais como os que auxiliam a análise automotiva à biologia

molecular, da manufatura automatizada à vulcanologia, e assim por diante, eram

desenvolvidos sobre algoritmos “number crunching”, que se apoiam no processamento de

números. Porém, atualmente as aplicações estão se distanciando dos algoritmos que

processam apenas números e começam a adquirir manipulações com mais interatividade e

características como o tempo real, bem como ser usado nas diversas áreas do conhecimento.

Diante disso, pode-se evidenciar o avanço das tecnologias e a complexidade que ela

vem adquirindo conforme as aplicações buscam ser mais usuais e eficientes. Ou seja, os

avanços tecnológicos são rodeados pela necessidade de inovar e oferecer mais aos seus

usuários, porém o custo desse avanço é justamente o desenvolvimento de softwares que

possuam tais capacidades, o resultado é sempre softwares mais robustos, entretanto com mais

dependências e complexidades de algoritmo.

Esta pesquisa tem como objetivo o desenvolvimento de uma plataforma de

manipulação 3D voltada para o uso científico, que será utilizada em sala de aula, ou em

apresentações que possuam o objetivo de demonstrar estruturas moleculares detalhadamente.

KELLY & SANDERS, demonstram um modelo utilizado para o desenvolvimento de

software em ambiente científico, conforme a Figura 1.

Figura 1: Processo de desenvolvimento no ambiente científico.

17

Fonte: KELLY & SANDERS.

O processo de desenvolvimento abordado será utilizado durante a implementação do

projeto proposto. Para o desenvolvimento de softwares é sugerido o uso de técnicas de

engenharia de software, que auxiliam o desenvolvedor desde a análise de requisitos a até a

escolha da plataforma em que o software irá ser executado, além de prever falhas durante

codificação dos algoritmos. O processo se caracteriza como um planejamento e

acompanhamento voltado especificamente ao desenvolvimento de aplicações.

2.2 As NTIC’s

A tecnologia trouxe suportes à rotina do homem, trazendo novas formas de trabalho e,

até mesmo, novas formas de aprendizagem, acrescentando à educação novas maneiras de

absorção de conhecimento. Com isso, surgiram então as NTIC’s, que possuem o objetivo de

facilitar e maximizar a comunicação de inúmeras formas, sendo elas por meio de textos,

imagens, vídeos, sistemas interativos, dentre outras. Além disso, adotam novas formas de

comunicação e transmissão de conteúdos.

As NTIC’s adentraram na maioria das atividades do nosso cotidiano. Em decorrência

disso, as formas de aprendizagem também obtiveram avanços. É comum notar o uso de

18

projetores em salas de aula atrelados a computadores, oferecendo aos alunos algo além de

apenas a presença do professor. Em instituições de ensino onde a atenção às NTIC’s é maior,

é corrente a utilização de sistemas como o SIGAA (Sistema integrado de gestão de atividades

acadêmicas), que são sistemas de atividades acadêmicas. Por meio deles, turmas virtuais são

criadas, fóruns para debate sobre atividades, tarefas são lançadas, deadline de trabalhos e

outras inúmeras funções que os mesmos oferecem.

Altoé e Silva (2005) afirmam que em meados de 1940, nos Estados Unidos, a

tecnologia foi usada como suporte para a formação de militares durante a Segunda Guerra

Mundial, utilizando ferramentas audiovisuais. Seu uso massivo para educação se deu somente

na década de 1970.

Desde então o uso das NTIC’s na educação obtiveram avanços de acordo com os

avanços da própria tecnologia e a disponibilidade da mesma. Visto que a criação de uma nova

tecnologia, mesmo que voltada para o uso educacional, não está atrelada à sua rápida

disseminação, pois os custos de implantação e a manuseabilidade por conta dos usuários, são

fatores que dificultam o processo de propagação de uma nova tecnologia. Desta forma o uso

de novas tecnologias não é algo instantâneo, devido a fatores que atrasam este processo.

2.3 Computação Gráfica e a Manipulação 3D

A Computação Gráfica tem auxiliado diversos processos no contexto do mundo

moderno, por meio dela diversas atividades são realizadas, tais como projeções habitacionais

(Apartamentos, Casas, Conjuntos habitacionais, etc), produções cinematográficas que

utilizam dos recursos 3D para criar cenários e personagens virtuais, a educação que recebe o

apoio por meio dos softwares de simulação e experimentação, dentre outras áreas que aplicam

a computação gráfica.

Mansour e Cohen (2006) descrevem que os objetos construídos com a computação

gráfica possuem o objetivo de representar entidades e fenômenos do mundo físico sensorial

através de um computador. Além disso ressaltam que existem métodos de construção de

objetos tridimensionais, cada um com suas vantagens e desvantagens, adaptando-se melhor

para cada tipo de aplicação.

Watt descreve que existem quatro formas de representação, descritas de acordo com a

importância e frequência de uso: Malha de polígonos; Superfícies paramétricas; Geometria

Sólida Construtiva (CSG); Enumeração de ocupação espacial. As representações por Malha

de polígonos e Enumeração de ocupação espacial se caracterizam por uma aproximação da

19

forma do objeto que está sendo modelado. Os métodos de Superfícies paramétricas e

Geometria Sólida Construtiva, por sua vez, são representações exatas. Por outro lado, Malha

de polígonos e Superfícies paramétricas representam apenas a superfície do objeto, sendo o

volume inteiro representado pela Geometria Sólida Construtiva e pela Enumeração de

ocupação espacial.

2.4 As NTIC’s voltadas à educação com apoio da manipulação 3D

A partir do uso das NTIC’s na educação, as formas de se ter conhecimento sobre algo

ampliaram-se drasticamente, caracterizando-se por um grande salto comparado a poucos anos

atrás. Novas modalidades de ensino foram empregadas, como, por exemplo, a EaD (Educação

à Distância), que são aulas semipresenciais ou que utilizam somente a transmissão pela

Internet. O gerenciamento das atividades acadêmicas passou a ser online, alunos e professores

interagem virtualmente, ampliando a sala de aula para a internet e, além disso, experimentos

científicos podem ser demonstrados por meio da computação gráfica em 3D, que dão aos

alunos uma forma de interação digital, onde podem visualizar como seria a forma “física” de

cálculos ou de interações dos objetos que estão sendo estudados, por meio de simulações

computadorizadas.

A manipulação 3D também está presente no Brasil no ramo dos negócios quando se

trata da construção civil. Os esquemas em 3D são utilizados para simular como serão prédios,

casas, cidades, ambientes internos e outras inúmeras aplicações. Deste modo, o cliente pode

pré-visualizar como será o apartamento que está adquirindo e simular até mesmo cores e

revestimentos que o mesmo poderá ter, por meio de modelos em 3D.

Outra área que recorre à manipulação 3D é o entretenimento, especificamente o

cinema e os jogos. No cinema, personagens e cenários são criados a partir da computação

gráfica. Os benefícios estão em descartar a utilização de atores, que podem cobrar um alto

cachê, ou até mesmo a utilização de dublês em cenas de ação que envolvem um perigo

eminente. Produções como Deadpool da produtora 20th Century Fox, e Avatar produzido pela

Lightstorm Entertainment, utilizaram massivamente recursos tridimensionais, no que diz

respeito à criação de personagens, efeitos cinematográficos e cenários. A Figura 2 mostra a

captura dos movimentos para animação de um personagem 3D no filme Avatar. A indústria

de jogos, em algumas de suas vertentes, busca a mimetização do mundo real para os games, e

isso é possível por meio da manipulação de objetos em 3D, Assim como no cinema, são

criados personagens, efeitos gráficos e cenários.

20

Figura 2 - Captura de movimentos para o filme "Avatar"

Fonte: Site do 20th Century Fox. (2011)

Podemos concluir que, por meio da manipulação 3D, temos acesso a novas maneiras

de reprodução de objetos e cenários do mundo real. O uso dos objetos e cenários criados

podem ser manipulados de qualquer forma, com isso oferecendo novas formas de interação,

simulações, experimentos e análises.

Desta forma, o uso da manipulação 3D é favorável no que diz respeito a sua aplicação

no ambiente de pesquisa científica e de ensino, especificamente em simulações e

experimentos científicos, pois ocorre um desengate do que é físico e do que é virtual. Com

isso, as formas de aplicações de simulações e experimentos se tornam mais vastas e barreiras

físicas antes impostas são descartadas.

2.5 Pesquisa bibliográfica

“A pesquisa bibliográfica é feita a partir do levantamento de referências

te ricas já analisadas, e publicadas por meios escritos e eletr nicos, como

livros, artigos científicos, páginas de web sites. Qualquer trabalho científico

inicia-se com uma pesquisa bibliográfica, que permite ao pesquisador

conhecer o que já se estudou sobre o assunto. Existem porém pesquisas

científicas que se baseiam unicamente na pesquisa bibliográfi- ca,

procurando referências te ricas publicadas com o objetivo de reco- lher

informações ou conhecimentos prévios sobre o problema a respeito do qual

se procura a resposta.” (FONSECA, 2002, p. 32).

O autor afirma que todo trabalho científico deve possuir como premissa uma pesquisa

bibliográfica, com o intuito de gerar mais conhecimento acerca do assunto que o autor está

21

estudando. Neste projeto a pesquisa bibliográfica tem a mesma função, além de fundamentar

conceitos abordados durante o trabalho.

2.6 O Leap Motion

O sensor de movimentos Leap Motion é um novo sensor desenvolvido pela Leap

Motion (Leap Motion, 2017). É projetado principalmente para detecção da posição de dedos e

gestos obtidos por movimentos realizados com as mãos, em aplicativos e software interativos.

A precisão indicada pela fabricante do sensor na detecção da posição dos dedos é de

aproximadamente 0,01 mm. (WEICHERT et al., 2013). O sensor é composto por emissores e

receptores de luz infravermelha, além de câmeras. Desta forma a percepção dos movimentos é

capturada por meio da interrupção, interferência, reflexão parcial ou completa da luz. Após o

processamento destas informações, é realizada uma simulação pela saída do sistema

FELIPPSEN (2017).

Figura 3. Visualização dos sensores internos ( a ). Visão esquemática do Leap Motion Controller ( b ).

Fonte: WEICHERT et al., 2013.

A ferramenta é bastante utilizada em pesquisas cujo o objetivo é demonstrar novas

formas de interação usuário-máquina, bem como pesquisas que abrangem a área dos games,

das tecnologias assistivas e o uso de interfaces NUI.

3. SOLUÇÕES EXISTENTES E TRABALHOS CORRELATOS

3.1 Desenvolvimento de jogos usando a interface NUI Leap Motion

22

Esta pesquisa tem como objetivo o uso de uma NUI para games digitais. Apresenta um

estudo teórico sobre a tecnologia utilizada e quatro protótipos de jogos voltados para o ensino

de matemática. Após realizar o estudo teórico acerca da interface NUI Leap Motion,

demonstrando desde os princípios da IHC (Interface Homem Máquina) até o funcionamento

do dispositivo Leap Motion, o autor justifica a escolha do sensor Leap Motion e o compara

com o Kinect fabricado pela Microsoft.

Posteriormente o autor aborda os games desenvolvidos através da pesquisa,

descrevendo suas características e objetivos. “Para o desenvolvimento, adotou-se como norma

que os protótipos fossem customizáveis, podendo, desta forma, abranger diferentes conteúdos

e anos escolares, sem a necessidade de alterar o código-fonte.” (LIPP; MOUSSMANN; BEZ;

2015).

Os jogos desenvolvidos foram:

● Jogo do Maior e Menor, com objetivo de que a criança identifique o maior entre dois

números e imite com as mãos os símbolos de maior e menor como foram de resposta;

● Jogo da ordenação de valores, possui o objetivo de o jogador ordene os elementos

apresentados graficamente, segurando e arrastando os itens até colocá-los em ordem;

● Trabalhando com medidas, consiste em que seja, extraídas medidas de objetos

dispostos na tela, e posteriormente o aluno resolve problemas matemáticos

relacionados;

● Jogo de Classificação, o jogador deve lançar elementos em seus alvos

correspondentes. Utilizando como ponto referencial números pares ou ímpares.

3.2 SimQuest - ferramenta de modelagem computacional para o ensino de física

O objetivo deste trabalho é demonstrar a plataforma de modelagem computacional

SimQuest, e discutir seu uso como ferramenta auxiliar no ensino de física. O autor faz um

levantamento das transformações atuais do mundo em decorrência das possibilidades do uso

do computador como plataforma de suporte ao ensino. Posteriormente aborda e explica o que

é a ferramenta SimQuest, descrevendo que o foco principal da aplicação é ser utilizada pelo

aluno na forma de atividades expressivas, onde o aluno crie seu modelo desde o embasamento

matemático até as análise dos resultados (SILVA; GERMANO; MARIANO; 2011). Os

autores seguem explicando o funcionamento da ferramenta e seus elementos de auxílio.

Finaliza a pesquisa relatando que o SimQuest possui muitos recursos, entretanto, alguns

23

aspectos necessitam de melhorias em relação à outras ferramentas de modelagem

computacional.

3.3 Aplicação do sensor Leap Motion como instrumento didático no ensino de

crianças surdas

Esta dissertação utiliza da pesquisa qualitativa com metodologia de pesquisa-ação, o

uso da Interface de Interação Gestual Leap Motion em aulas para crianças com deficiência

auditiva. Inicialmente foi realizado um estudo para escolha de softwares em conjunto com

professores do Centro de Capacitação dos Profissionais da Educação e Atendimento às

Pessoas com Surdez, especificamente na elaboração de planos de aula, onde foi constatado

que a medicação do professor é um fator-chave no processo de interpretação e compreensão

do ambiente de interação, assim como a tarefa que se espera seja realizada. Isto ocorre pois o

aluno está no processo de aprendizagem da Linguagem Brasileira de Sinais (Libras), porém

não possui conhecimento da Língua portuguesa escrita. Desta forma é necessário que o

professor realize a tradução para Libras da interface do software utilizando elementos que

resultem na compreensão por parte da criança. Os resultados da pesquisa demonstraram que,

em cenários de uso bem planejados, houve contribuição do uso do Leap Motion no

aprendizado, além de uma contribuição significativa na interação social dos alunos

(FELIPPSEN, 2017).

4. SOLUÇÃO PROPOSTA

Este trabalho propõe o desenvolvimento de uma aplicação para visualização de

estruturas moleculares com os seguintes objetivos:

● Ser uma ferramenta de uso educacional;

● Demonstrar a interação entre estruturas moleculares;

● Oferecer o uso de recursos computacionais para visualização de estruturas

moleculares;

A aplicação será offline. As estruturas disponíveis para demonstração serão

selecionadas no computador que será usado para visualização.

Além disso, as estruturas terão que atender a alguns requisitos:

24

● Somente estruturas em 3D serão aceitas, visto que a aplicação é para

visualização de objetos 3D. As estruturas além de necessariamente terem a

obrigatoriedade de serem 3D, devem estar nos formatos: FBX e OBJ. Haja

vista que são os formatos de objetos que a Unity possui maior facilidade em

manipular. Posteriormente algo como um conversor de formatos pode ser

acrescentado para dar suporte a outros tipos.

● O sistema operacional suportado será o Windows, pois o desenvolvimento com

a ferramenta Leap Motion é exclusivo para Windows, testes serão realizados

para compilação em Linux, porém o foco é a compilação para Windows.

● A aplicação terá uma interface rápida onde o usuário terá as opções de seleção

de modelos 3D, interações que deseja realizar e opções padronizadas, tais

como sair e voltar.

● O protótipo será uma aplicação capaz de redimensionar e movimentar uma

estrutura molecular da forma que o usuário achar necessário, utilizando apenas

as mãos como interface de interação com o sistema. Deste modo o usuário

poderá demonstrar pontos específicos das estruturas, apontando ligações das

moléculas ou demonstrando pontos da partes da estrutura que são pouco

compreensíveis em imagens estáticas.

4.1 Especificações (Engenharia de Software)

Para Falbo (2005), a Engenharia de Software possui o objetivo de melhorar a

qualidade de software e aumentar a eficiência no processo de desenvolvimento. A Engenharia

de Software tem o foco em tratar aspectos relacionados à manutenção e execução de

processos, métodos, técnicas, ferramentas e ambientes de suporte ao desenvolvimento de

software.

Tendo em vista a importância da Engenharia de Software, a mesma foi adotada neste

projeto de software com o objetivo de controlar os processos de desenvolvimento do software,

bem como validar e assegurar os processos de modelagem e especificação do produto.

4.1.1 Requisitos Funcionais

25

Falbo (2005) descreve que os requisitos funcionais, como o próprio nome diz, indicam

as funções que o sistema deve implementar e como o sistema deve agir em determinadas

situações.

RF1: Receber interações naturais

RF1: Como a principal diferença da aplicação é a capacidade de receber interações naturais,

por meio de gestos, esse é o requisito primordial da aplicação.

RF2: Selecionar as estruturas moleculares a serem visualizadas

RF2: O usuário terá a possibilidade de selecionar as estruturas moleculares que desejar

visualizar e manipular, com base nas especificações descritas no tópico de solução proposta.

O protótipo da aplicação não está previsto com essa especificação, porém testes serão feitos

para adicionar tal funcionalidade no protótipo.

RF3: Interação de redimensionar e movimentar objetos

RF3: Para fins demonstrativos a aplicação deve dar suporte a possibilidades de

redimensionamento no objeto que está sendo visualizado, para maior detalhamento durante

visualização do mesmo, algo próximo a dar um zoom em uma imagem. Além disso a

possibilidade do usuário movimentar todo o objeto no ambiente virtual, rotacionando e

girando.

4.1.2 Requisitos não funcionais

Falbo (2005) caracteriza os requisitos não funcionais por indicarem restrições sobre as

funções oferecidas, tais como restrições de tempo, de uso de recursos etc.

RNF 1: A interface do sistema deve ser autoexplicativa

RNF 1: A interface de interação do sistema para com usuário deve ser simples e fornecer

informações rápida, objetivas e claras sobre as funcionalidades do sistema.

26

RNF 2: O software deve atender a ao menos dois sistemas operacionais diferentes

RNF 2: O software final deve ser compilado para dois sistemas operacionais diferentes,

especificamente, Windows e Linux.

4.2 Arquitetura da Solução

Este tópico é responsável por descrever o desenvolvimento e a esquematização dos

componentes presentes na solução proposta.

A figura 4 ilustra a interação entre os componentes do sistema proposto. O usuário

como ator principal do processo é responsável por realizar as interações para com o sistema,

estas interações serão realizadas com as próprias mãos e capturadas por meio do conjunto de

sensores que compõem o Leap Motion, posteriormente todos os dados obtidos através dos

gestos realizados pelo usuário serão tratados e realizarão ações no software que está sendo

executado.

Figura 4 - Arquitetura do sistema proposto.

Fonte: Autoria própria.

4.3 Diagrama de Caso de Uso

Júnior (2011), descreve que como parte da especificação do software e modelagem o

desenvolvimento de diagramas de caso de uso tem o objetivo de ilustrar as ações do usuário

no sistema e suas interações com outras ações.

27

Figura 5 - Caso de uso


Primeiramente o usuário deverá iniciar o software através do sistema operacional

suportado, como já especificado anteriormente Windows ou Linux. Os próximos Casos de

Uso ligados à ação de iniciar o software são os de “Encerrar o software”, que possui a função

de finalizar o software, e o Caso de Uso “Escolher modelo 3D” que possibilita a escolha do

objeto a ser visualizado na pr xima ação, descrita como “Visualizar e manipular objeto” que

possui o objetivo de realizar a interação do usuário com o sistema proposto e estendendo esta

função mais uma vez a ação de “Encerrar o software”, conforme ilustra a Figura 5.

Descrição:

● Iniciar software

Ator: Usuário.

Pré-Condições: O Software deve estar instalado no computador.

Curso Normal: O software será iniciado.

28

● Escolher modelo 3D

Ator: Usuário.

Pré-Condições: O Software deve ter sido iniciado anteriormente.

Curso Normal: Opções de modelos 3D serão disponibilizadas.

● Visualizar e manipular objeto

Ator: Usuário.

Pré-Condições: O objeto a ser visualizado deve ter sido escolhido anteriormente.

Curso Normal: Ações como: Redimensionamento, movimentação e interações

poderão ser realizadas

4.4 Diagrama de Estado

Figura 6 - Diagrama de estado.


Segundo Vargas (2010) o Diagrama de Estados ou também chamado Diagrama de

Máquina de Estados tem como elementos principais o estado, que modela uma situação em

que o elemento modelado pode estar ao longo de sua existência, e a transição, que leva o

elemento modelado de um estado para o outro. O diagrama de máquina de estados vê os

29

objetos como máquinas de estados que poderão estar em um estado pertencente a uma lista de

estados finita e que poderão mudar o seu estado através de um estímulo pertencente a um

conjunto finito de estímulos.

O presente diagrama é estruturado em 4 estágios, ilustrado na Figura 6, que compõem

o ambiente da aplicação, o primeiro estágio é caracterizado por aguardar a inicialização do

software, ou seja, espera o início da aplicação para executar os serviços ela inclui. O segundo

estágio se caracteriza por aguardar o processo de escolha do modelo 3D pelo usuário, neste

estágio alguns modelos 3D serão exibidos para que o usuário selecione o de sua preferência.

O terceiro estágio oferece ao usuário a opção da manipulação do objeto 3D anteriormente

selecionado, este é o estágio principal, onde o usuário irá realizar a função principal da

aplicação. O quarto estágio é a finalização do software, neste estágio o usuário já realizou as

operações disponíveis no software.

4.5 Diagrama de atividades

Figura 7 - Diagrama de atividades.

30


Segundo Almeida (2008), o diagrama de atividades é um diagrama de estado especial

onde a maioria dos estados é estado de ação e a maioria das transições é ativada por conclusão

das ações nos estados precedentes, demonstrando o fluxo de uma atividade para outra. Este

diagrama é importante quando se pretende descrever um comportamento paralelo, pois nem

sempre os procedimentos se caracterizam por uma seqüência mecânica de passos.

31

O diagrama de atividades neste projeto tem o objetivo de esclarecer as ações que serão

realizadas na aplicação. Desta forma oferecendo uma melhor compreensão sobre o que cada

componente irá realizar e como irá realizar, conforme ilustra a Figura 7.

O diagrama segue um fluxo, que corresponde a como a aplicação irá responder às

interações do usuário e o que irá ocorrer em cada passo. O diagrama é composto pelos

respectivos itens:

● Início: Responsável por sinalizar o primeiro item que será executado;

● Executar aplicação: Responsável por dar início à aplicação e suas

ferramentas;

● Exibir objetos: Responsável por demonstrar graficamente os objetos

disponíveis para manipulação;

● Escolher objeto para visualização: Após visualizar os objetos o usuário irá

selecionar o objeto que deseja manipular e visualizar detalhadamente;

● Leap Motion Ativo: Corresponde ao estado do sensor em relação ao

computador, este estado define a execução do próximo item. Caso o sensor

esteja ativo a aplicação irá para o estágio de “Detecção de mãos”, caso o

sensor não esteja ativo a aplicação volta ao estágio atual “Leap Motion

Ativo”;

● Detectar mãos: Responsável por realizar o processo de mapeamento das mãos

do usuário para a interação;

● Exibir objeto para manipulação: Item responsável por exibir o objeto pronto

para interação;

● Permitir interação com o usuário: Este estágio é responsável por adicionar

os elementos que tornam os objetos escolhidos anteriormente em objetos

sensíveis à interação do usuário;

32

● Permitir reação dos objetos em relação a interação do usuário: Este item é

responsável por tornar a interação entre o mapeamento da mão do usuário e os

objetos 3D possíveis;

● Finalizar aplicação: Item responsável por finalizar a execução da aplicação;

● Fim: Responsável por sinalizar o fim da aplicação;

5. METODOLOGIA

Inicialmente foi desenvolvida uma pesquisa bibliográfica acerca das principais

temáticas abordadas, dentre elas o desenvolvimento de softwares que utilizem o Leap Motion

e as NUI’s, a Manipulação 3D e a influência das NTIC’s na atualidade e na educação.

Esta pesquisa bibliográfica está sendo utilizada para fundamentar os conceitos que são

discutidos neste trabalho e também como forma de agregar mais conhecimento acerca dos

conceitos abordados, além de auxiliar nos processos futuros de desenvolvimento da aplicação

final.

A proposta inicial deste projeto é desenvolver uma aplicação que seja capaz de

relacionar a manipulação 3D e as interações por meio de uma NUI. Tal objetivo será

alcançado com auxílio da plataforma de desenvolvimento e engine de games, Unity. A Unity

será o middleware de todo o software durante a fase de desenvolvimento, será responsável por

realizar a integração entre o sensor Leap Motion e objetos tridimensionais disponíveis para

manipulação.

Todo conhecimento adquirido acerca do desenvolvimento de uma aplicação

controlada por uma NUI foi obtida através da documentação que a própria desenvolvedora do

dispositivo fornece em seu website e por meio de fóruns online.

Para desenvolver aplicações que utilizem o Leap Motion como interface é necessário

utilizar alguma linguagem de programação, as suportadas são: Leap C, C++, C#, Objective-C,

Java, Python e JavaScript, e também pode ser usadas duas Game Engines: Unreal Engine e

Unity. Na pesquisa, é usada a linguagem de programação C# e a Engine Unity, a Unity é uma

plataforma de desenvolvimento de jogos, os jogos também estão atrelados à pesquisa, já que

fazem parte do mesmo ambiente de manipulação 3D e novas interfaces.

Para utilizar o Leap Motion em conjunto com a Unity é necessária a instalação do

SDK do dispositivo, que é um pacote de desenvolvimento específico da desenvolvedora desta

33

tecnologia NUI. A partir da instalação o dispositivo está pronto para ser utilizado pela Engine,

e então o desenvolvimento é dado início.

O desenvolvimento de um software deve ser realizado somente após a estruturação de

algumas etapas que são vitais para alcançar o objetivo final da aplicação em desenvolvimento,

essa estruturação é denominada Engenharia de Software. A Engenharia de Software foi

aplicada neste projeto visando que os requisitos iniciais sejam atendidos e que todo o projeto

seja desenvolvido conforme o prazo estipulado. Além disso atendo-se ao planejamento e

controle dos riscos que o desenvolvimento pode ocorrer, desta forma assegurando que o

software proposto irá contemplar as especificações previstas no início do desenvolvimento.

Após o desenvolvimento da análise referente a Engenharia de Software foi dado então

início à construção da aplicação proposta. O primeiro passo foi a configuração do ambiente

de desenvolvimento, a denominada Integral Development Environment (IDE), a configuração

é composta por adicionar as dependências do desenvolvimento do software, tais como o SDK

do Leap Motion e outros conjuntos de ferramentas de desenvolvimento da desenvolvedora

deste sensor. Após a etapa de configuração do ambiente foi dado início à construção do

referido software, nesta fase foram necessárias pesquisas referentes a como desenvolver uma

aplicação utilizando o Leap Motion, os melhores resultados referentes ao desenvolvimento da

aplicação foram concebidos por meio da leitura e estudo da documentação da desenvolvedora

do sensor, e por meio de pesquisas em fóruns que a fabricante disponibiliza. Após isso o

desenvolvimento da aplicação foi mantido de forma estável, porém com alguns empecilhos

por conta da atualização das tecnologias utilizadas, visto que algumas adotam novos métodos

de desenvolvimento o que leva a um novo estudo, ou até mesmo a descontinuação de suporte.

Por fim testes foram realizados com o protótipo obtido, estes testes foram responsáveis

por demonstrar alguns resultados que a pesquisa alcançou e o que pode ser feito além do

proposto.

Referente ainda sobre os resultados alcançados, outro resultado que não era esperado

foi obtido, que diz respeito a usabilidade do sensor Leap Motion e o quão o sensor é

realmente eficaz em softwares que possuem como entrada gestos do usuário.

5.1 Ambiente de desenvolvimento

Esta seção aborda os princípios da implementação do sistema proposto, qualificando e

assinalando as ferramentas e procedimentos utilizados para configurar o ambiente de

implementação.

34

5.1.1 A IDE Unity

A IDE utilizada para desenvolver a aplicação foi a Unity, caracterizada por ser uma

aplicação que pode ser utilizada como engine de games e desenvolvedora, não se limitando

somente a games, mas abrindo espaço para criação de aplicações gráficas, tal como esta aqui

descrita. A Unity é disponibilizada no site da sua desenvolvedora e possui versão gratuita.

Neste site são disponibilizadas documentações referentes à IDE, bem como os módulos

padrão que possui, as documentações fornecidas no repositório da Unity favoreceram o

desenvolvimento dessa aplicação. Além disso dá suporte a um serviço de comunidade de

desenvolvedores, que possui fóruns de dúvidas, debates e feedback, este serviço de

comunidade também foi usado para sanar dúvidas que ocorreram durante o processo de

desenvolvimento.

5.1.2 SDK Orion Beta

Diante do ambiente de desenvolvimento instalado, houve a necessidade de adição do

Software Development Kit (SDK) do sensor utilizado para capturar os gestos produzidos

pelas mãos do usuário, denominado Leap Motion. Inicialmente fez-se o download e instalação

do SDK Orion Beta disponibilizado pelo site da própria desenvolvedora. Este SDK além de

oferecer os módulos de desenvolvimento de aplicações, oferece três aplicações. O Leap

Motion App Home que é um repositório de aplicações desenvolvidas com base neste

dispositivo, onde o usuário possui acesso a executar tais aplicações. O Leap Motion Control

Panel, que é uma aplicação de configuração dos sensores presentes no dispositivo. E a

aplicação Leap Motion Visualizer que a aplicação de teste do sensor, a aplicação é executada

e demonstra a visão das câmeras presentes no dispositivos e a execução gráfica de forma

bastante superficial, não é possível nenhuma interação dos movimentos das mãos com o

sistema, nem por meio de cliques, é somente para teste do sensor.

5.1.3 Unity Core Assets

Além do SDK Orion Beta outro SDK foi necessário para configurar o ambiente de

desenvolvimento. O SDK desta vez é o Unity Core Assets, que se caracteriza por possuir

35

módulos e extensões pré-fabricadas, relacionadas à implementação baseada no Leap Motion

para Unity.

Este Kit de Desenvolvimento foi usado inicialmente para testes com o ambiente de

implementação, bem como para realizar operações similares às que o produto final é

responsável por realizar. Além disso ele possui projetos de exemplo que foram usados como

fundamentação para mais testes com a ferramenta.

Tendo em vista estes Kits de Desenvolvimento para o Leap Motion na Unity, ademais

kits foram utilizados, com o propósito de tornar o produto final mais próximo do que foi

previsto nas fases iniciais.

5.1.4 Leap Motion Interaction Engine

Este pacote de ferramentas possui o objetivo de criar uma camada personalizável entre

o mecanismo de jogos da Unity e a física das mãos presentes no mundo real. Além de

disponibilizar scripts prefabs para realização de testes. Este módulos é o essencial, tendo em

vista que é o principal componente de software relacionado à interação do usuário e o

computador.

5.1.5 Hand Module

Este pacote de desenvolvimento oferece uma série de modelos de mãos manipuladas

otimizadas, oferecendo mais realismo à aplicação e fidelidade aos movimentos. Foi usado

neste projeto principalmente para tornar as mãos virtuais do usuário mais fidedignas a sua

concepção real no mundo físico real.

5.2 Tecnologias utilizadas

Este tópico é responsável por abordar as ferramentas que serão responsáveis por

desenvolver o projeto proposto, indicando as características de cada uma delas e suas

contribuições para o trabalho.

5.2.1 Unity

36

Caracterizada por se um motor de jogo, ou game engine, está inserida em um nicho de

softwares de computador que são responsáveis por o desenvolvimento de jogos e além disso

aplicações gráficas. As funcionalidades que a Unity oferece são: uma engine gráfica para

renderizar gráficos, toda a parte relacionada à vídeo; um motor de física responsável por

mimetizar a física que é aplicada sobre a terra; ambiente para a criação de animações; além de

suporte à linguagens de script, como JavaScript e C#.

A Unity é a principal ferramenta presente neste projeto, ela será encarregada por

adicionar a ambientação de todo o cenário. Responsável por ser o middleware entre as

interações recebidas pelo sensor de movimentos e a manipulação dos objetos 3D, além da

possibilidade de criar objetos 3D para o projeto, caso seja necessário.

5.1.2 Leap Motion

O sensor Leap Motion é a ferramenta responsável por realizar a captura dos gestos de

interação do usuário com o sistema. Por meio dela o usuário poderá manipular os objetos 3D

no ambiente virtual.

6. DESENVOLVIMENTO

6.1 Desenvolvimento do protótipo

Após os passos iniciais de configuração da IDE com os SDKs e todas as dependências

que possui, foi dado início a fase de desenvolvimento do protótipo que será abordada nesta

subseção.

6.1.1 Descrição do protótipo

Este protótipo possui objetivo bastante similar ao produto final, entretanto com

funções mais restringidas. Busca ser uma ferramenta que possibilite a visualização de objetos

3D em um ambiente virtual e além disso oferecer ao seu usuário a possibilidade de

manipulação e interação por meio de gestos capturados pelo sensor Leap Motion.

37

As aplicações se estendem desde a apresentação de composições 3D à visualização

detalhada de estruturas 3D. Como o produto final deste trabalho objetiva ser uma aplicação

que dê suporte ao estudo e visualização de moléculas e estruturas moleculares, estes requisitos

também buscam ser atendidos por este protótipo.

6.1.2 Módulos, Prefabs e componentes utilizados

Como já supracitado no t pico “5.1.1 Ambiente de desenvolvimento”, alguns m dulos

disponibilizados pela desenvolvedora do Leap Motion foram utilizados para dar suporte à

implementação, neste protótipo também foram usados com o mesmo propósito.

O principal componente dos módulos utilizados foi um componente de Script

denominado InteractionBehavior.cs observado nas Figuras 9 e 10, que se caracteriza por

adicionar interatividade a objetos 3D. Esta interatividade ocorre entre o objeto e a mãos

virtualizada do seu usuário.

A implementação do Script em um objeto é simples, apenas é necessário que o Script

seja arrastado para o objeto para que possa se tornar um objeto interagível.

Figura 8- Módulo InteractionEngine.


Figura 9- Script InteractionBehavior.cs.

38


Entretanto o objeto necessita de alguns elementos para ter física e condição de colisão,

elementos que ajudam o objeto a se tornar algo mais próximo da realidade, colocam o objeto

em uma condição mais natural. Os elementos que agregam estas características são:

● Box Collider: É um elemento que agrega a um objeto 3D a condição de ser

colidível, ou seja de reagir a toques e movimentações de outros objetos ou

elementos que possuam a intenção de simular a física presente no mundo real.

Representado na Unity conforme a figura 11.

Figura 10 - Box Collider.


● Rigid Body: Elemento responsável por usar os controles de movimento do

mecanismo de física da Unity. Por padrão mesmo sem adicionar nenhum script

um objeto Rigid Body terá em si adicionado a força da gravidade que age da

mesma maneira no mundo real. A opção de gravidade está desmarcada pois a

não tem-se a intenção de que os objetos sofram influência da gravidade.

Demonstrado na Figura 12.

● Constraints: Faz parte do Rigidbody, é um dos componentes mais relevantes

para o desenvolvimento da aplicação, possui a finalidade de restringir eixos de

39

rotação ou de posicionamento, é composto por duas opções: Freeze Position,

que restringe a movimentação nos eixos marcados nos checkbox, analisando a

Figura 13 pode ser observado que os eixos X e Z foram restringidos/fixados, e

o objeto pode mover-se apenas no eixos Y, ou seja a movimentação somente

ocorrerá na orientação vertical. O componente Freeze Rotation refere-se aos

eixos em que o objeto pode ser rotacionado, conforme a Figura 13 todos os

checkbox da opção foram selecionados, restringindo a rotação em quaisquer

eixo. O componente Constraints é vital para a aplicação pois ele oferece a

possibilidade de tornar as movimentações dos objetos mais estáveis do que o

padrão oferecido pela desenvolvedora do sensor, a julgar pela inconsistência da

captura de movimentos, onde muitas das vezes por conta dessa inconsistência,

a aplicação pode rotacionar o objeto 3D ou mudá-lo de posição de forma

desordenada e ocasionar um resultado bastante distante do esperado para a

aplicação.

● Mass, Drag e Angular Drag: A variável Mass como o próprio nome sugere,

refere-se à massa do objeto, quanto mais massa, maior a força para arrastá-lo,

além disso a colisão dele com outros objetos de massas diferentes ocorre como

no mundo real. O objeto com mais massa empurra o objeto com menos massa

com mais facilidade. Drag diz respeito ao arrasto do objeto, quanto maior o

valor adicionado a esta variável maior a necessidade de força para arrastar o

objeto em questão, a sua física também busca se simular a física do mundo

real. Angular Drag pode ser usado para diminuir a rotação de um objeto.

Quanto maior o arrasto, mais a rotação diminui. Bem como o componente

Constraints tem por finalidade neste projeto tornar a manipulação de objetos

mais estável, os componentes Mass, Drag e Angular Drag também buscam

auxiliar na busca por mais estabilidade, seja adicionando mais massa a um

objeto ou acrescentando mais quantidade de força para arrasto. Por meio destas

ações os objetos estão mais restringidos a movimentos lentos e precisos. Esta

adição de massa não possui relação nenhuma com o ambiente que o software

será desenvolvido, ou seja, com a massa real dos átomos. A massa aqui

discutida refere-se a física dentro da Unity, desconsiderando qualquer relação

com o que os objetos 3D representam.

Figura 11 - Componente Rigidbody.

40

Fonte: Autoria Própria.

Figura 12 - Componente Constraints.


Por fim a adoção destes componentes é resultado de uma tentativa de possibilitar uma

manipulação estável, mesmo com a especificação do fabricante Leap Motion afirmando que a

precisão do sensor chega a ser de 1mm na detecção dos movimentos das mãos.

7. RESULTADOS ALCANÇADOS

Esta seção abordará os resultados alcançados diante do desenvolvimento desta

pesquisa, irá ser dividida em dois tópicos, devido a necessidade de demonstrar os resultados

que eram intencionais e resultados obtidos de forma não intencional.

7.1 Resultados intencionais

Estes resultados foram obtidos com a determinação da pesquisa, são resultados que

eram objetivados desde o início e que foram concretizados ao término do desenvolvimento do

produto final. Trata-se principalmente do protótipo desenvolvido, que possui as principais

características descritas na fase de planejamento e engenharia de software. Ou seja o protótipo

41

tem a intenção de demonstrar superficialmente os objetivos que espera-se que seja alcançado

no produto final.

O desenvolvimento de um protótipo foi idealizado com o objetivo de ter algo que

possa ser demonstrado como resultado da pesquisa, que seja menos custoso para desenvolver

e ainda possua similaridades com o produto final, que faça com que os usuários possam ter

uma idéia mais clara e concreta sobre o conceito do produto.

Este protótipo como já se espera, não possui todas as funcionalidades do produto final

implementadas, entretanto, possui as principais funcionalidades descritas no escopo do

projeto de software. Que são estas:

● Interação do usuário por meio de gestos: Por meio do protótipo o usuário tem a

capacidade interagir com o sistema por meio de gestos com as mãos,

necessariamente todos os gestos realizados pelas mãos dos usuários são

transformados em ações dentro do sistemas, em sua maioria essas ações são

similares às ações que ocorrem no mundo físico-sensorial;

● Manipulação de um objeto 3D: Por meio de gestos o usuário pode realizar a

manipulação de objetos 3D, quer seja rotacionando-os ou fazendo movimentos

com as mãos de agarrar os objetos e posicionar no cenário;

● Possibilidade de movimentação dos objetos: Os usuários do sistema possuem a

possibilidade mover os objetos pelo cenário, dessa forma o usuário possui uma

interação mais ampla e livre;

As figuras 13, 14, 15 e 16 demonstram o protótipo em uso com as funcionalidades

descritas acima.

42

Figura 13 - Demonstração de Captura de movimentos 1.


43

Figura 14 - Demonstração de Captura de movimentos 2.


Figura 15 - Ambiente virtual atual e Leap Motion.

44


Figura 16 - Ambiente virtual atual e Leap Motion 2.


Diante das figuras dispostas acima é possível perceber os resultados que o software

pode atingir com a aplicação de protótipo. Com o uso da aplicação é notória a eficiência no

que diz respeito à visualização e manipulação de objetos 3D. Ou seja, com base nas

funcionalidades agregadas ao software pode-se alcançar os objetivos principais da pesquisa.

Entretanto outros resultados também foram obtidos com o desenvolvimento da aplicação

protótipo, tais estão relacionados mais ao questionamento da ferramenta Leap Motion em

relação a uma manipulação sensível de objetos.

7.2 Resultados não intencionais

Diante do desenvolvimento da pesquisa já eram esperados alguns resultados referentes

ao comportamento da aplicação, tais como, que pontos o protótipo da aplicação poderia

atingir, quais as principais funções que o protótipo poderia demonstrar, dentre outros.

Entretanto não era esperado uma avaliação pertinente sobre o dispositivo de interação por

gestos Leap Motion, visto que é uma ferramenta bem conhecida nesta área de atuação e a

princípio, com base nas pesquisas bibliográficas, tudo indicava que o desenvolvimento de

45

uma aplicação que utiliza-se deste dispositivo como provedor de interação, seria de certa

forma impassível a imprevistos.

Durante a implementação do protótipo foi notado uma certa instabilidade no sensor de

captura de gestos, que resultou em constituir o princípio de algo próximo a inviabilidade ou

não adequação da qualidade de captura dos gestos do sensor para utilização na aplicação.

As principais falhas que foram encontradas durante o desenvolvimento e fase de

testes:

● Perda da captura dos movimento por instantes: O que não ocasiona

travamentos ou engasgos durante a execução, mas faz com que movimentos

sejam perdidos e até mesmo quando encontrados novamente estejam em uma

posição diferente da esperada criando um certo descontrole do ambiente e dos

objetos 3D, visto que algumas vezes teve-se a ocorrência da perda de captura e

quando a captura era então retornada arremessava os objetos 3D para posições

distantes da esperada ou até fora do alcance no ambiente virtual.

● Detecção de rostos como mãos: Este evento ocorreu algumas vezes durante o

teste da aplicação e fazia com que o rosto do interator fosse capturado como

uma mão, esta ocorrência também foi presenciada por outros desenvolvedores.

O problema gerado com este evento era a perda da captura de uma das mãos do

usuário que ocasionava um certo descontrole devido a captura do rosto do

usuário que não era capturado de forma estável, bugs na malha do 3D ocorriam

e tornavam a experiência frustrante. Vale ressaltar que em nenhum momento a

fabricante do sensor teve a intenção de capturar o rosto dos usuários e o que

ocorre é um evento errôneo. O evento foi capturado e pode ser visualizado na

Figura 17. Ap s a visualização da Figura 17 é perceptível o “bug” ocorrido,

haja vista que projeção do que seria a mão do usuário está ao contrário,

justamente pois o sensor não consegue distinguir corretamente o que está

sendo capturado.

46

Figura 17 - Erro detecção de rosto.


● Indisponibilidade do sensor: Durante testes ocorreram também

indisponibilidades do sensor, onde não era notória a causa de tal e nem existia

algo a ser feito. A única solução era retirar o dispositivo e recolocá-lo repetidas

vezes até voltar a estar disponível, ou até mesmo reiniciar o computador. Esta é

uma falha considerável tendo em vista que esta situação pode ocorrer durante o

uso real do dispositivo, o que compromete totalmente a interação e experiência

do usuário.

● Física da Unity e a física do dispositivo: A Unity possui inserida em si uma

física padrão que busca mimetizar o mundo real em jogos e aplicações

gráficas. Desta forma a física pode ser aplicada aos objetos que compõem o

ambiente 3D, tais como gravidade, força de arrasto e outros, todos esses

componentes possuem um padrão, porém podem ser alterados pelo

desenvolvedor. Similar à física da Unity a física do Leap Motion também

busca mimetizar a física do mundo real em seu uso. Entretanto há bastantes

diferenças entre os componentes e a principal é que a física presente no Leap

47

Motion prevalece sobre a aplicada aos objetos por meio da Unity, o que

ocasiona instabilidade, visto que desta forma mesmo o usuário acaba tendo a

experiência prejudicada, pois ações podem divergir devido a esta diferença.

Conforme já supracitado no item “6.3.2 Módulos, Prefabs e componentes

utilizados”, algumas tentativas de minimizar os problemas encontrados durante a fase de

implementação do software foram realizadas. Devido a isso é demonstrada uma certa

instabilidade ao utilizar o dispositivo Leap Motion em aplicações que necessitem de uma

manipulação minuciosa que busca a demonstração de detalhes em objetos 3D, pois esta tarefa

pode se tornar bastante complicada em vista da instabilidade que o sensor apresenta.

Entretanto é importante ressaltar que o dispositivo cumpre o que diz, realmente consegue

capturar todos os movimentos das mãos, porém por estar em uma única perspectiva de captura

é considerável que falhas ocorram, e somente a adoção de mais sensores em outras

perspectivas poderiam auxiliar neste processo de minimização de falhas.

7.3 Trabalhos futuros

Diante da implementação de apenas um protótipo da aplicação, é necessária a

implementação completa do sistemas proposto, atendendo a todos os requisitos de engenharia

de software citados no escopo do texto, este é o principal trabalho futuro da pesquisa.

Além disso a pesquisa busca atender a outras áreas do conhecimento, que também

possuam a necessidade de demonstrar e visualizar elementos 3D. Visto que é algo bem

simples à aplicação final, pois permite que objetos 3D sejam selecionados no computador

para exibição na plataforma de manipulação.

Após isso espera-se que sejam realizados testes com os usuários finais que utilizarão o

software desenvolvido, a fim de ter um feedback dos reais usuários da aplicação e ter noção

do quanto a aplicação foi aceitada neste meio.

8. CONSIDERAÇÕES FINAIS

A aplicação das NTIC’s no contexto educacional é de grande relevância, visto que

desta maneira avanços podem ser realizados e novas didáticas podem ser inseridas, cada vez

mais interessantes e motivantes para alunos e professores. Corroborando com esta revolução

telemática surge as novas formas de interação homem-máquina, que buscam auxiliar cada vez

48

mais os usuário, atendo-se ao seu uso de maneira mais intuitiva e natural, o que propicia

avanços em questões como facilidade de uso e de aprendizagem.

Esta pesquisa direcionou-se a solução de uma problemática encontrada no ramo da

Física Atômica. Desta forma buscando solucionar a necessidade de demonstrar os resultados

de estruturas moleculares 3D, ou seja, uma nova maneira de dispor aos alunos e professores

formas de estruturas moleculares, oferecendo formas de interação mais intuitivas, com

capacidades de exibir detalhes de tais estruturas, contribuindo desta forma no ensino e na

aprendizagem em disciplinas que são necessárias práticas de visualização de tais estruturas.

Além disso a pesquisa adentra o campo da filosofia onde utiliza de afirmações para

basear a motivação do desenvolvimento de uma aplicação voltada à Física e quais são as

vantagens de ter-se algo do gênero implementado.

Diante de todas as considerações ainda foi realizada uma avaliação acerca do

dispositivo Leap Motion de interação natural utilizado para capturar os gestos do usuário. Que

teve como objetivo demonstrar as incapacidades ao utilizá-lo em aplicações sensíveis a gestos

precisos. Porém demonstrando falhas presentes na construção do dispositivo.

O desenvolvimento deste estudo possibilitará um avanço no uso das NTIC’s,

especificamente no âmbito educacional. E atrelado a isso, de modo geral, contribui para a

disseminação do uso de novas interfaces de comunicação homem-máquina, e ainda é um

software que auxiliará dentro das salas de aula, por meio de simulações e de experimentos

científicos. Não estando intrinsecamente ligado somente ao ensino da física, porém, estando

disponível para ser aplicado em outras áreas do conhecimento, de acordo com o ambiente de

aplicação. Além disso a pesquisa possui potencial para estudos mais aprofundados, ampliando

sua aplicação à outras vertentes, tornando-se uma ferramenta base para o desenvolvimento de

possíveis novas pesquisas.

49

9. REFERÊNCIAS

ALMEIDA, R.G. Análise de processos de negócios usando o diagrama de atividades da

uml: Um estudo de caso. XXVII Encontro Nacional de Engenharia de Produção. Rio de

Janeiro, 2008.

ALTOÉ A, SILVA H. O Desenvolvimento Histórico das Novas Tecnologias e seu

Emprego na Educação. Educação e Novas Tecnologias. 2005.

Cohen, M.; Manssour, I.H. OpenGL - Uma Abordagem Prática e Objetiva. São Paulo:

Novatec, 2006. 486 p.

FALBO, R. A. Engenharia de Software. Universidade Federal do Espírito Santo, 2005.

FELIPPSEN, E. A. Aplicação do sensor Leap Motion como instrumento didático no

ensino de crianças surdas. Universidade Estadual do Oeste do Paraná, 2017.

FONSECA, J. J. S. Metodologia da pesquisa científica. Fortaleza: UEC, 2002.

JAMES CAMERON. Avatar. 20th Century Fox. 2009. DVD (145 min).

KELLY, D.; SANDERS, R. Assessing the quality of scientific software. First International

Workshop on Software Engineering for Computational Science & Engineering, 2008.

LEAP MOTION. (2017) Leap Motion Documentation. Disponível em:

<https://developer.leapmotion.com/documentation/java/index.html>. Acesso em: dezembro

de 2017.

LIPP, M. K.; MOSSMANN J. B.; BEZ, M. R.; Desenvolvimento de jogos usando a

interface NUI Leap Motion. Fortaleza. Game Pad VIII. 2015.

PRESSMAN, R. Engenharia de Software. McGraw-Hill, 2006.

50

SILVA, J. R.; GERMANO, J. S. E.; MARIANO, R. S.; SimQuest - ferramenta de

modelagem computacional para o ensino de física. Revista Brasileira de Ensino de Física.

2011.

WATT. A. 3D Computer Graphics. 3rd Edition. Harlow: Addison-Wesley, 2000.

WEICHERT, F.; BACHMANN, D.; RUDAK, B.; FISSELER, D. Analysis of the Accuracy

and Robustness of the Leap Motion Controller. Sensors (Basel, Switzerland), 2013.

51

Documents

UNIVERSIDADE FEDERAL DO SUL E SUDESTE DO PARÁ … · Federal do Sul e Sudeste do Pará, Campus Universitário de Marabá, Instituto de Geociências e Engenharias, Faculdade de Computação