Publication
Development of a centralized log management system
| datacite.subject.fos | Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática | pt_PT |
| dc.contributor.advisor | Quintal, Filipe Magno de Gouveia | |
| dc.contributor.advisor | Viúla, Sérgio Miguel Rodrigues | |
| dc.contributor.author | Abreu, Joaquim Tomás Almada | |
| dc.date.accessioned | 2020-11-18T11:49:24Z | |
| dc.date.available | 2020-11-18T11:49:24Z | |
| dc.date.issued | 2020-07-10 | |
| dc.description.abstract | Os registos de um sistema são uma peça crucial de qualquer sistema e fornecem uma visão útil daquilo que este está fazendo e do que acontenceu em caso de falha. Qualquer processo executado num sistema gera registos em algum formato. Normalmente, estes registos ficam armazenados em memória local. À medida que os sistemas evoluiram, o número de registos a analisar também aumentou, e, como consequência desta evolução, surgiu a necessidade de produzir um formato de registos uniforme, minimizando assim dependências e facilitando o processo de análise. A ams é uma empresa que desenvolve e cria soluções no mercado dos sensores. Com vinte e dois centros de design e três locais de fabrico, a empresa fornece os seus serviços a mais de oito mil clientes em todo o mundo. Um centro de design está localizado no Funchal, no qual está incluida uma equipa de engenheiros de aplicação que planeiam e desenvolvem applicações de software para clientes internos. O processo de desenvolvimento destes engenheiros envolve várias aplicações e programas, cada um com o seu próprio sistema de registos. Os registos gerados por cada aplicação são mantido em sistemas de armazenamento distintos. Se um desenvolvedor ou administrador quiser solucionar um problema que abrange várias aplicações, será necessário percorrer as várias localizações onde os registos estão armazenados, colecionando-os e correlacionando-os de forma a melhor entender o problema. Este processo é cansativo e, se o ambiente for dimensionado automaticamente, a solução de problemas semelhantes torna-se inconcebível. Este projeto teve como principal objetivo resolver estes problemas, criando assim um Sistema de Gestão de Registos Centralizado capaz de lidar com registos de várias fontes, como também fornecer serviços que irão ajudar os desenvolvedores e administradores a melhor entender os diferentes ambientes afetados. A solução final foi desenvolvida utilizando um conjunto de diferentes tecnologias de código aberto, tais como a Elastic Stack (Elasticsearch, Logstash e Kibana), Node.js, GraphQL e Cassandra. O presente documento descreve o processo e as decisões tomadas para chegar à solução apresentada. | pt_PT |
| dc.description.abstract | Logs are a crucial piece of any system and give a helpful insight into what it is doing as well as what happened in case of failure. Every process running on a system generates logs in some format. Generally, these logs are written to local storage resources. As systems evolved, the number of logs to analyze increased, and, as a consequence of this progress, there was the need of having a standardized log format, minimizing dependencies and making the analysis process easier. ams is a company that develops and creates sensor solutions. With twenty-two design centers and three manufacturing locations, the company serves to over eight thousand clients worldwide. One design center is located in Funchal, which includes a team of application engineers that design and develop software applications to clients inside the company. The application engineer’s development process is comprised of several applications and programs, each having its own logging system. Log entries generated by different applications are kept in separate storage systems. If a developer or administrator wants to troubleshoot an issue that includes several applications, he/she would have to go to different database systems or locations to collect the logs and correlate them across the several requests. This is a tiresome process and if the environment is auto-scaled, then troubleshooting an issue is inconceivable. This project aimed to solve these problems by creating a Centralized Log Management System that was capable of handling logs from a variety of sources, as well as to provide services that will help developers and administrators better understand the different affected environments. The deployed solution was developed using a set of different open-source technologies, such as the Elastic Stack (Elasticsearch, Logstash and Kibana), Node.js, GraphQL and Cassandra. The present document describes the process and decisions taken to achieve the solution. | pt_PT |
| dc.identifier.tid | 202536890 | pt_PT |
| dc.identifier.uri | http://hdl.handle.net/10400.13/2989 | |
| dc.language.iso | eng | pt_PT |
| dc.subject | Registo | pt_PT |
| dc.subject | Gestão de registos | pt_PT |
| dc.subject | Sistemas centralizado | pt_PT |
| dc.subject | API | pt_PT |
| dc.subject | Log | pt_PT |
| dc.subject | Log management | pt_PT |
| dc.subject | Centralized system | pt_PT |
| dc.subject | Elasticsearch | pt_PT |
| dc.subject | Node.js | pt_PT |
| dc.subject | Computer Engineering | pt_PT |
| dc.subject | . | pt_PT |
| dc.subject | Faculdade de Ciências Exatas e da Engenharia | pt_PT |
| dc.title | Development of a centralized log management system | pt_PT |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| rcaap.rights | openAccess | pt_PT |
| rcaap.type | masterThesis | pt_PT |
| thesis.degree.name | Master in Computer Engineering | pt_PT |
Files
Original bundle
1 - 1 of 1
Loading...
- Name:
- CentralizedLogManagementSystem_JoaquimTomasAlmadaAbreu_2038713.pdf
- Size:
- 2.54 MB
- Format:
- Adobe Portable Document Format