Publication
Interações gestuais para plataformas de streaming de vídeo
| datacite.subject.fos | Engenharia e Tecnologia | pt_PT |
| dc.contributor.advisor | Campos, Pedro Filipe Pereira | |
| dc.contributor.advisor | Cabral, Diogo Nuno Crespo Ribeiro | |
| dc.contributor.author | Teixeira, Francisco João Mendonça | |
| dc.date.accessioned | 2021-11-23T11:57:09Z | |
| dc.date.available | 2021-11-23T11:57:09Z | |
| dc.date.issued | 2021-07-27 | |
| dc.description.abstract | A popularidade do rato de computador como modo preferencial de interação com aplicações de computador é inigualável. Mesmo no tempo dos smartphones e tablets, que trouxeram ao público em geral inovações como o modo de controlo através do toque, não existe uma grande variedade nos modos de interação com os diversos dispositivos que usamos no quotidiano. Este trabalho propõe uma nova abordagem para controlo, à distância, de aplicações de streaming de vídeo. A aplicação desenvolvida nesta dissertação procura um meio mais natural de interação com este tipo de plataformas usando interações gestuais, captadas pela câmara de profundidade RealSense D435. Câmaras de profundidade, ao contrário de câmaras de vídeo comuns, utilizam um fluxo de luz infravermelha para determinar a distância dos objetos relativamente à câmara. A câmara utilizada neste projeto possui capacidades de captura tanto neste modo, como no modo comum RGB. Foi criada de raiz uma interface gráfica inspirada pela plataforma Netflix, para permitir o controlo dos seus botões e os vídeos reproduzidos, programaticamente. Foram desenvolvidos dois protótipos com tecnologias distintas para interagir com a interface. O primeiro, utiliza métodos de tratamento de imagem para retirar a informação pretendida, e um modelo pré-treinado de reconhecimento de gestos para identificar o gesto realizado. O segundo, integra um modelo de deteção e classificação de objetos otimizado para deteção e rastreamento de mãos entre frames. Foram feitas análises experimentais entre ambos e selecionado o segundo protótipo para prosseguir a testes com utilizadores. A aplicação foi testada por 11 participantes, num estudo que comparou os seus tempos de utilização da aplicação por meio de interações gestuais com os tempos de utilização com o rato de computador. O sistema mereceu, por parte dos participantes, uma pontuação SUS “aceitável”. Conclui-se que o sistema alcançou as expectativas iniciais, ainda que possua limitações aparentes que poderão ser mitigadas em iterações futuras. | pt_PT |
| dc.description.abstract | The popularity of the computer mouse as the preferred interaction method with computer applications is unrivalled. Even in the age of smartphones and tablets, which have introduced touch screens to the masses, there seems to be a lack of variety regarding interaction methods with devices that we use every day. This work proposes a new approach to interacting with video streaming applications from afar. The program developed for this dissertation looks for a more natural way of controlling these services by using gestural interactions, which are captured by the depth camera RealSense D435. Depth cameras, unlike regular video cameras, use an infrared feed to determine the distance of objects in frame, relative to the camera. The camera used in this project offers both infrared and RGB capturing modes. A graphical interface, inspired by streaming platform Netflix, was created from scratch to allow control over its buttons and the video displayed programmatically. Two prototypes to interact with the GUI were developed using distinct technologies. The first one only uses image treatment methods to get the desired data and a pre-trained model for gesture recognitions to identify the gesture performed. The second one integrates an object detection and classification model optimized for hand detection and tracking between frames. Experimental analyses were run to compare both prototypes, resulting on the second being selected to proceed to the user tests stage. The application was tested by 11 participants, in a study that tracked their times using the application via gestural interactions as well as with a computer mouse. The system merited an “acceptable” usability score by the participant. We can conclude the system met the initial expectations despite its apparent limitations, which can be mitigated in future iterations. | pt_PT |
| dc.identifier.tid | 202792765 | pt_PT |
| dc.identifier.uri | http://hdl.handle.net/10400.13/3845 | |
| dc.language.iso | por | pt_PT |
| dc.subject | Interação gestual | pt_PT |
| dc.subject | Deteção de objetos | pt_PT |
| dc.subject | Subtração do plano de fundo | pt_PT |
| dc.subject | Segmentação do primeiro plano | pt_PT |
| dc.subject | Rastreamento gestual | pt_PT |
| dc.subject | MediaPipe | pt_PT |
| dc.subject | Gestural interactions | pt_PT |
| dc.subject | Object detection | pt_PT |
| dc.subject | Background subtraction | pt_PT |
| dc.subject | Foreground segmentation | pt_PT |
| dc.subject | Hand tracking | pt_PT |
| dc.subject | Engenharia Informática | pt_PT |
| dc.subject | . | pt_PT |
| dc.subject | Faculdade de Ciências Exatas e da Engenharia | pt_PT |
| dc.title | Interações gestuais para plataformas de streaming de vídeo | pt_PT |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| rcaap.rights | openAccess | pt_PT |
| rcaap.type | masterThesis | pt_PT |
| thesis.degree.name | Mestrado em Engenharia Informática | pt_PT |
Files
Original bundle
1 - 1 of 1
Loading...
- Name:
- FranciscoTeixeira_dissertacao_final.pdf
- Size:
- 3.49 MB
- Format:
- Adobe Portable Document Format