A carregar...
Publicação
Comparison of computer vision and deep learning techniques for identifying marine mammal individuals
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 9.16 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
This thesis addresses the difficulties of the process for identifying individual marine mammals, as
well as their automation and considerations when working on this specific task. Although it has
been established and evolving for more than 40 years, this process is traditionally performed using
photo identification, a process that is time-consuming and relies on domain expertise for accurate
annotation. This approach poses substantial hurdles, particularly since deep learning methods,
which provide a promising alternative, require a large volume of annotated images to achieve high
model accuracy. However, such data can be cumbersome to acquire for elusive individuals. To ad
dress these limitations and solve the identification of marine mammal individuals, this dissertation
develops and benchmarks diverse algorithms and pipelines to automate and facilitate their classi
f
ication. The first employs computer vision and data science techniques to process images without
relying on manual annotation. The second leverages deep learning models that incorporate anno
tated data for training, as well as image identification and object classification, with the intention
of speeding up this process. Validation of these pipelines is performed by comparing the predic
tions against ground-truth annotations, providing a measure of model performance. Additional
tests assess the efficiency of pipelines in identifying previously unseen individuals, evaluating both
the accuracy and time required to recognize them. These methodologies are thus a link between
manual and automated identification, providing scalable solutions for marine mammal research
and conservation efforts. Every step achieved in this process allows the researchers to reduce the
working time when it comes to the whole process, allowing them to focus on more specific tasks,
such as classifying individuals directly, rather than having to focus on every step of the image pro
cessing. It can also be eventually adapted to become a platform that would allow the entirety of the
process to be automated, leaving the scientist with a process that would be as simple as placing an
image through the program and receiving a highly likely result, making their work exponentially
easier over the course of hundreds of images.
Esta tese aborda as dificuldades relacionadas com o processo de identificação de mamíferos mar inhos individuais, bem como a sua automação e considerações a ter em conta ao trabalhar nesta tarefa específica. Embora este processo tenha sido estabelecido e evoluído há mais de 40 anos, tradicionalmente é realizado através da identificação por fotografia, um método que é demorado e que depende de conhecimentos especializados para uma anotação precisa. Esta abordagem ap resenta obstáculos substanciais, especialmente porque os métodos de aprendizagem profunda, que proporcionam uma alternativa promissora, requerem um grande volume de imagens anotadas para alcançar um elevado desempenho. No entanto, esses dados podem ser difíceis de obter para indiví duos evasivos. Para superar estas limitações e resolver a identificação de mamíferos marinhos, esta dissertação desenvolve e avalia diversos algoritmos e pipelines com o objetivo de automatizar e facil itar a sua classificação. O primeiro utiliza visão por computador e técnicas de ciência de dados para processar imagens sem depender de anotações manuais. O segundo aproveita modelos de apren dizagem profunda que incorporam dados anotados para treino, bem como identificação de imagens e classificação de objetos, com a intenção de acelerar este processo. A validação destes pipelines é realizada através da comparação entre as anotações previstas e as anotações de referência, pro porcionando uma medida do desempenho do modelo. Testes adicionais avaliaram a eficiência dos pipelines na identificação de indivíduos previamente não vistos, avaliando tanto a precisão como o tempo necessário para reconhecê-los. Estas metodologias visam assim ser uma ligação entre a identificação manual e a automatizada, proporcionando soluções escaláveis para a investigação e conservação de mamíferos marinhos. Cada passo alcançado neste processo permite aos investi gadores reduzir o tempo de trabalho, especialmente no que diz respeito a todo o procedimento, possibilitando-lhes focar tarefas mais específicas, como a classificação direta dos indivíduos, em vez de se concentrarem em cada etapa do processamento de imagens. Eventualmente, este sistema pode ser adaptado para se transformar numa plataforma que permita automatizar toda a cadeia de processos, deixando ao cientista uma tarefa tão simples quanto colocar uma imagem no programa e receber um resultado altamente provável, tornando o seu trabalho exponencialmente mais fácil ao lidar com centenas de imagens.
Esta tese aborda as dificuldades relacionadas com o processo de identificação de mamíferos mar inhos individuais, bem como a sua automação e considerações a ter em conta ao trabalhar nesta tarefa específica. Embora este processo tenha sido estabelecido e evoluído há mais de 40 anos, tradicionalmente é realizado através da identificação por fotografia, um método que é demorado e que depende de conhecimentos especializados para uma anotação precisa. Esta abordagem ap resenta obstáculos substanciais, especialmente porque os métodos de aprendizagem profunda, que proporcionam uma alternativa promissora, requerem um grande volume de imagens anotadas para alcançar um elevado desempenho. No entanto, esses dados podem ser difíceis de obter para indiví duos evasivos. Para superar estas limitações e resolver a identificação de mamíferos marinhos, esta dissertação desenvolve e avalia diversos algoritmos e pipelines com o objetivo de automatizar e facil itar a sua classificação. O primeiro utiliza visão por computador e técnicas de ciência de dados para processar imagens sem depender de anotações manuais. O segundo aproveita modelos de apren dizagem profunda que incorporam dados anotados para treino, bem como identificação de imagens e classificação de objetos, com a intenção de acelerar este processo. A validação destes pipelines é realizada através da comparação entre as anotações previstas e as anotações de referência, pro porcionando uma medida do desempenho do modelo. Testes adicionais avaliaram a eficiência dos pipelines na identificação de indivíduos previamente não vistos, avaliando tanto a precisão como o tempo necessário para reconhecê-los. Estas metodologias visam assim ser uma ligação entre a identificação manual e a automatizada, proporcionando soluções escaláveis para a investigação e conservação de mamíferos marinhos. Cada passo alcançado neste processo permite aos investi gadores reduzir o tempo de trabalho, especialmente no que diz respeito a todo o procedimento, possibilitando-lhes focar tarefas mais específicas, como a classificação direta dos indivíduos, em vez de se concentrarem em cada etapa do processamento de imagens. Eventualmente, este sistema pode ser adaptado para se transformar numa plataforma que permita automatizar toda a cadeia de processos, deixando ao cientista uma tarefa tão simples quanto colocar uma imagem no programa e receber um resultado altamente provável, tornando o seu trabalho exponencialmente mais fácil ao lidar com centenas de imagens.
Descrição
Palavras-chave
Identificação por fotografia Visão de computador Classificação de imagens Aprendizagem automática Cetáceos Computer vision Photo identification Image classification Cetaceans Informatics Engineering . Faculdade de Ciências Exatas e da Engenharia