Loading...
Publication
Deep Learning for Sentiment Analysis: a case study about Portuguese Restaurant Reviews
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 6.02 MB | Adobe PDF |
Authors
Abstract(s)
This work investigates the usage of deep learning algorithms to perform sentiment analysis
over restaurant reviews from the Zomato application, making use of natural language processing
techniques to handle text data and taking advantage of the rating given by consumers to perform
supervised training. This work presents two models developed from scratch to address the case
study problem using recurrent neural networks and self-attention: Recurrent Encoder Classifier
and Attentive Recurrent Encoder Classifier. These models were subject to two heuristic-based
optimization procedures: a discrete genetic algorithm to select an optimal set of hyperparameters
and optimal architecture and a grid search algorithm to optimize the text preprocessing steps. The
usage of deep learning models with Portuguese data is limited; hence, the gain in performance was
evaluated against classical machine learning models trained on Zomato’s dataset, verifying an
improvement of 3% in F1-score. The genetic algorithm yielded a relative obtainable improvement
score of 4.4% and 8.3% on the recurrent and attentive recurrent encoders architectures,
respectively, against their baseline configuration, with the possibility of further optimization by
increasing the number of generations. The grid search algorithm slightly improved the
performance of each architecture. Both had comparable results, where the Attentive Recurrent
Encoder Classifier presented the best performance with 76% of F1-score, 92.5% of ROC-AUC,
and 82.7% of accuracy. Tests on a Raspberry Pi application to use the model for inference
demonstrated the feasibility of the proposed approach for sentiment analysis in real-world,
resource-constrained environments. The results of the study demonstrate that deep learning
algorithms can effectively analyze sentiment and show superior results to the traditional ML
algorithms and supports the need of exploring smaller, single-task Deep Learning models in the
transition of businesses to solutions based on artificial intelligence.
Esta dissertação investiga a utilização de algoritmos de aprendizagem profunda para realizar análise de sentimentos em avaliações de restaurantes da aplicação Zomato, fazendo uso de técnicas de processamento de linguagem natural para lidar com dados de texto e aproveitando a classificação atribuída pelos consumidores para realizar o treino supervisionado. Este trabalho apresenta dois modelos desenvolvidos de raiz usando redes neurais recorrentes e mecanismos de atenção: Recurrent Encoder Classifier e Attentive Recurrent Encoder Classifier; para abordar o caso de estudo. Estes modelos foram submetidos a dois processos de otimização baseados em heurísticas, um algoritmo genético discreto para selecionar um conjunto ótimo de híper-parâmetros e configurações arquiteturais, e um algoritmo de pesquisa de grade para otimizar as etapas de pré processamento de texto. Dada a limitada utilização de modelos de aprendizagem profunda com dados em português, o seu desempenho foi comparado com modelos clássicos treinados nos dados da Zomato, revelando uma melhoria de 3% no F1. O algoritmo genético resultou num valor da métrica relative obtainable improvement de 4,4% e 8,3% para as arquiteturas com codificadores recursivos e recursivos com atenção, respetivamente, em comparação com suas configurações de referência, com a possibilidade de estender o processo de otimização aumentando o número de gerações. A pesquisa em grade melhorou ligeiramente o desempenho de cada arquitetura. Ambas as arquiteturas apresentaram resultados comparáveis, com a Attentive Recurrent Encoder obtendo o melhor desempenho, com 76% de pontuação F1, 92,5% de ROC-AUC e 82,7% de precisão. Testes numa aplicação com Raspberry Pi utilizando o modelo para inferência demonstraram a viabilidade da abordagem proposta para análise de sentimentos em cenários do mundo real, com recursos limitados. Os resultados indicam que os algoritmos de aprendizagem profunda podem analisar sentimentos de forma eficaz e mostrar resultados superiores aos algoritmos tradicionais, e apoiam a necessidade de explorar modelos de aprendizagem profunda pequenos e de uma única tarefa na transição das empresas para soluções baseadas em inteligência artificial.
Esta dissertação investiga a utilização de algoritmos de aprendizagem profunda para realizar análise de sentimentos em avaliações de restaurantes da aplicação Zomato, fazendo uso de técnicas de processamento de linguagem natural para lidar com dados de texto e aproveitando a classificação atribuída pelos consumidores para realizar o treino supervisionado. Este trabalho apresenta dois modelos desenvolvidos de raiz usando redes neurais recorrentes e mecanismos de atenção: Recurrent Encoder Classifier e Attentive Recurrent Encoder Classifier; para abordar o caso de estudo. Estes modelos foram submetidos a dois processos de otimização baseados em heurísticas, um algoritmo genético discreto para selecionar um conjunto ótimo de híper-parâmetros e configurações arquiteturais, e um algoritmo de pesquisa de grade para otimizar as etapas de pré processamento de texto. Dada a limitada utilização de modelos de aprendizagem profunda com dados em português, o seu desempenho foi comparado com modelos clássicos treinados nos dados da Zomato, revelando uma melhoria de 3% no F1. O algoritmo genético resultou num valor da métrica relative obtainable improvement de 4,4% e 8,3% para as arquiteturas com codificadores recursivos e recursivos com atenção, respetivamente, em comparação com suas configurações de referência, com a possibilidade de estender o processo de otimização aumentando o número de gerações. A pesquisa em grade melhorou ligeiramente o desempenho de cada arquitetura. Ambas as arquiteturas apresentaram resultados comparáveis, com a Attentive Recurrent Encoder obtendo o melhor desempenho, com 76% de pontuação F1, 92,5% de ROC-AUC e 82,7% de precisão. Testes numa aplicação com Raspberry Pi utilizando o modelo para inferência demonstraram a viabilidade da abordagem proposta para análise de sentimentos em cenários do mundo real, com recursos limitados. Os resultados indicam que os algoritmos de aprendizagem profunda podem analisar sentimentos de forma eficaz e mostrar resultados superiores aos algoritmos tradicionais, e apoiam a necessidade de explorar modelos de aprendizagem profunda pequenos e de uma única tarefa na transição das empresas para soluções baseadas em inteligência artificial.
Description
Keywords
Processamento de linguagem natural Análise de sentimentos Língua portuguesa Aprendizagem profunda Algoritmo genético Dispositivo de borda Natural language processing Sentiment analysis Portuguese language Deep learning Genetic algorithm Edge computing Electrical Engineering – Telecommunications . Faculdade de Ciências Exatas e da Engenharia