Loading...
Publication
Emotional regulation assessment via multi-biosignal processing in a VR environment for neurorehabilitation
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 44.86 MB | Adobe PDF |
Authors
Abstract(s)
Emerging immersive technologies and physiological computing capabilities are opening
promising pathways for emotion recognition and regulation, with growing relevance in
fields such as affective computing, neurorehabilitation, and human-computer interaction.
Through four exploratory studies, this thesis investigates how virtual reality, biofeed back, and machine learning can be combined to recognize and regulate users’ emotional
states in real time.
First, a machine learning pipeline was developed to classify emotional states using
physiological signals collected in immersive and non-immersive virtual reality conditions.
Results showed that immersion had a limited impact on subjective emotional ratings, while
user-dependent models significantly outperformed user-independent ones, highlighting
the importance of personalization in emotion recognition.
The second study validated this pipeline in individuals with Alzheimer’s, revealing
that emotional reactivity is partially preserved across severity levels. Classification models
successfully distinguished between emotional states, healthy and Alzheimer’s participants,
and even Alzheimer’s severity levels, underscoring the pipeline’s clinical relevance and
generalization.
The third study introduced a nature-based virtual reality environment, the Virtual Lev ada, which used real-time adaptation to users’ physiological stress levels via a biofeedback
mechanism. This study also implemented and evaluated real-time retraining strategies
for the stress classification model, addressing temporal drift and improving model robust ness. Although biofeedback effects were not statistically significant, both adaptive and
non-adaptive groups reported reduced physiological arousal and anxiety, supporting the
environment’s calming and restorative potential.
Finally, the fourth study improved the adaptive virtual reality system by integrating
online stress predictions and online model retraining. Results demonstrated improved
prediction stability over time and significant reductions in state anxiety, particularly in
individuals with elevated stress levels.
In conclusion, these findings validate the feasibility and effectiveness of progressively
adaptive, personalized virtual reality systems for emotion recognition and regulation.
This work contributes with novel insights into how online physiological monitoring and
ML adaptation can enhance emotional self-regulation, offering promising directions for
affective technologies development and mental health interventions.
Tecnologias imersivas e computação fisiológica são cada vez mais emergentes e estão a abrir caminhos promissores para o reconhecimento e regulação das emoções, com uma importância crescente em áreas como a computação afetiva, neuroreabilitação e interação humano-computador. Esta tese investiga como a realidade virtual, o biofeedback e o machine learning podem ser combinados para reconhecer e regular os estados emocionais dos utilizadores em tempo real, através de quatro estudos exploratórios. Primeiro, foi desenvolvida uma pipeline de machine learning para classificar estados emocionais usando sinais fisiológicos recolhidos em condições de realidade virtual imer siva e não imersiva. Os resultados mostraram que a imersão teve um impacto limitado nas respostas subjetivas às emoções, enquanto modelos personalizados ao utilizador su peraram significativamente os modelos generalizados para toda a população, destacando a importância da personalização no reconhecimento emocional. O segundo estudo validou esta pipeline em indivíduos com doença de Alzheimer, mostrando que a reatividade emocional se encontra parcialmente preservada em vários níveis de severidade da doença. Os modelos de classificação distinguiram com sucesso entre estados emocionais, participantes saudáveis e com Alzheimer, e até entre os vários níveis de severidade da doença, evidenciando a relevância clínica e a generalização da pipeline. O terceiro estudo introduziu um ambiente de realidade virtual baseado na natureza, as Levadas Virtuais, que se adaptavam em tempo real aos níveis fisiológicos de stress dos utilizadores através de um mecanismo de biofeedback. Este estudo também implementou e avaliou estratégias de retreino online dos modelos de classificação de stress, abordando o problema da deriva temporal dos sinais fisiológicos e melhorando a robustez dos modelos. Embora os efeitos do biofeedback na regulação do stress não tenham sido estatisticamente significativos, ambos os grupos, adaptativo e não adaptativo, apresentaram reduções nos níveis de stress fisiológico e ansiedade, apoiando o potencial relaxante e restaurador do ambiente virtual. Finalmente, o quarto estudo melhorou o sistema de realidade virtual adaptativo ao integrar previsões de stress e retreino dos modelos em tempo real. Os resultados demonstraram uma personalização eficaz ao longo do tempo, aumento da precisão das previsões dos modelos e reduções significativas na ansiedade, especialmente em indivíduos com níveis mais elevados de stress. Em conclusão, estes resultados validam a viabilidade e eficácia de sistemas personali zados e adaptativos de realidade virtual para reconhecimento e regulação emocional. Esta tese oferece novos contributos sobre como a monitorização fisiológica em tempo real e a adaptação automática de modelos podem potenciar a autorregulação emocional, abrindo caminhos promissores para tecnologias afetivas e intervenções em saúde mental.
Tecnologias imersivas e computação fisiológica são cada vez mais emergentes e estão a abrir caminhos promissores para o reconhecimento e regulação das emoções, com uma importância crescente em áreas como a computação afetiva, neuroreabilitação e interação humano-computador. Esta tese investiga como a realidade virtual, o biofeedback e o machine learning podem ser combinados para reconhecer e regular os estados emocionais dos utilizadores em tempo real, através de quatro estudos exploratórios. Primeiro, foi desenvolvida uma pipeline de machine learning para classificar estados emocionais usando sinais fisiológicos recolhidos em condições de realidade virtual imer siva e não imersiva. Os resultados mostraram que a imersão teve um impacto limitado nas respostas subjetivas às emoções, enquanto modelos personalizados ao utilizador su peraram significativamente os modelos generalizados para toda a população, destacando a importância da personalização no reconhecimento emocional. O segundo estudo validou esta pipeline em indivíduos com doença de Alzheimer, mostrando que a reatividade emocional se encontra parcialmente preservada em vários níveis de severidade da doença. Os modelos de classificação distinguiram com sucesso entre estados emocionais, participantes saudáveis e com Alzheimer, e até entre os vários níveis de severidade da doença, evidenciando a relevância clínica e a generalização da pipeline. O terceiro estudo introduziu um ambiente de realidade virtual baseado na natureza, as Levadas Virtuais, que se adaptavam em tempo real aos níveis fisiológicos de stress dos utilizadores através de um mecanismo de biofeedback. Este estudo também implementou e avaliou estratégias de retreino online dos modelos de classificação de stress, abordando o problema da deriva temporal dos sinais fisiológicos e melhorando a robustez dos modelos. Embora os efeitos do biofeedback na regulação do stress não tenham sido estatisticamente significativos, ambos os grupos, adaptativo e não adaptativo, apresentaram reduções nos níveis de stress fisiológico e ansiedade, apoiando o potencial relaxante e restaurador do ambiente virtual. Finalmente, o quarto estudo melhorou o sistema de realidade virtual adaptativo ao integrar previsões de stress e retreino dos modelos em tempo real. Os resultados demonstraram uma personalização eficaz ao longo do tempo, aumento da precisão das previsões dos modelos e reduções significativas na ansiedade, especialmente em indivíduos com níveis mais elevados de stress. Em conclusão, estes resultados validam a viabilidade e eficácia de sistemas personali zados e adaptativos de realidade virtual para reconhecimento e regulação emocional. Esta tese oferece novos contributos sobre como a monitorização fisiológica em tempo real e a adaptação automática de modelos podem potenciar a autorregulação emocional, abrindo caminhos promissores para tecnologias afetivas e intervenções em saúde mental.
Description
Keywords
Affective computing Adaptive Anxiety Biofeedback Depressive symptomatology Emotion regulation Human-computer interaction Machine learning Neurorehabilitation Physiological signals Stress Virtual reality Adaptação Ansiedade Computação afetiva Interação humano-computador Neurorehabilitação Realidade virtual Regulação emocional Sinais fisiológicos Sintomas depressivos Informatics Engineering specialization: Human-Computer Interaction . Faculdade de Ciências Exatas e da Engenharia