Skip to content Skip to footer

SERENADE

Sensor-based explainable detection of cognitive decline

Introduzione al pilot

Contesto: Il Mild Cognitive Impairment (MCI), o Lieve Compromissione Cognitiva, può progredire fino alla demenza, causando un deterioramento delle funzioni cognitive e una riduzione delle capacità lavorative, sociali e relazionali.

Problema: Le visite sporadiche con gli specialisti non permettono di valutare accuratamente il declino cognitivo, che spesso si manifesta attraverso cambiamenti comportamentali sottili.

Soluzione: Stiamo sviluppando una soluzione per il monitoraggio comportamentale continuo da remoto, direttamente a casa, al fine di identificare biomarcatori digitali per la rilevazione precoce del declino cognitivo.

Obiettivo: Consentire ai clinici di esaminare potenziali indicatori di declino cognitivo e migliorare la diagnosi.

Senior Man on a bridge using Smart Watch measuring heart rate

Obiettivi

600000
Pazienti con MCI in Italia
0
Milioni di persone affette da demenza in tutto il mondo
0
Milioni di nuovi casi di demenza ogni anno
0
Milioni di euro: costo annuale della demenza

Timeline

Kick-off meeting
Settembre 2022
Avviato il progetto SERENADE

Il team multidisciplinare (composto da neurologi, neuropsicologi e informatici) si riunisce per definire il programma e gli obiettivi specifici. Il team inizia ad analizzare gli indicatori di declino cognitivo richiesti dai medici e come catturarli con tecnologie di rilevamento non invasive.

Design and test
Inverno 2023
Progettazione e test dell'infrastruttura di raccolta dati

Abbiamo progettato una robusta infrastruttura di rilevamento in grado di catturare le attività e gli indicatori di declino cognitivo richiesti dal medico. Questa infrastruttura è stata ampiamente testata in laboratorio.

Approvazione del comitato etico
Primavera 2023
Proposta di progetto approvata dal Comitato etico

La nostra soluzione di rilevamento non intrusivo per individuare gli indicatori precoci del declino cognitivo è stata approvata dal comitato etico.

Esperimenti preliminari
Primavera 2023
Esperimenti preliminari con un assistente conversazionale

La nostra infrastruttura di rilevamento comprende un assistente cognitivo intelligente (cioè un'applicazione per tablet) per valutare lo stato cognitivo del paziente con test specificamente progettati. Abbiamo eseguito un esperimento preliminare con pazienti MCI reali in ospedale.

Distribuzione e inizio della raccolta dei dati
Estate 2023
Raccolta dati SERENADE a casa dei pazienti

Iniziamo a installare l'infrastruttura di rilevamento nelle case dei pazienti arruolati e iniziamo ad acquisire i dati.

Monitoraggio Intelligente della Vita Quotidiana
Giugno 2024 - In corso
Data analysis
Analizziamo continuamente i dati provenienti dalle 20 abitazioni da cui stiamo raccogliendo informazioni. Questo lavoro include anche la progettazione e il perfezionamento di algoritmi per individuare cambiamenti comportamentali significativi da molteplici dimensioni (ad esempio, sonno, alimentazione, attività della vita quotidiana).
Prototipo per il Monitoraggio Clinico
Giugno 2024 - In corso
Dashboard per i medici
Analizziamo continuamente i dati provenienti dalle 20 abitazioni da cui stiamo raccogliendo informazioni. Ciò include anche la progettazione e il perfezionamento di algoritmi per individuare cambiamenti comportamentali significativi su molteplici dimensioni (ad esempio, sonno, alimentazione, attività della vita quotidiana).
Integrazione con il sistema di telemedicina
Convalida e perfezionamento

System components

Ogni brevetto sarà monitorato grazie a una combinazione di sensori ambientali non invasivi (installati nell’infrastruttura domestica), dispositivi mobili e indossabili. Questa infrastruttura di rilevamento genera un flusso continuo di dati dei sensori che viene memorizzato in un gateway all’interno della casa.

Gli algoritmi di intelligenza artificiale analizzeranno i dati raccolti dai sensori per identificare e monitorare le attività umane, i modelli di sonno e di movimento considerati come indicatori rilevanti di cambiamenti comportamentali.

SERENADE includerà un’interfaccia grafica per i medici, che mostrerà i risultati del nostro algoritmo AI in modo chiaro e spiegabile come strumento di supporto alle decisioni per la diagnosi.

L’obiettivo del pilota è integrare il sistema di supporto alle decisioni in una piattaforma di telemedicina. Ciò faciliterà l’archiviazione e la gestione dei dati sensibili, la loro analisi in forma anonima e l’interazione con il servizio sanitario regionale, comprese la prenotazione e la contabilizzazione del servizio proposto.

Team

Claudio Bettini

Pilot Co-Leader
Dept. of Computer Science

Daniela Galimberti

Pilot Co-Leader
Dept. of of Biomedical, Surgical and Dental Sciences

Gabriele Civitarese

Pilot co-Leader - AI Specialist
Dept. of Computer Science

Andrea Arighi

Neurologist - Study Coordinator
Fondazione IRCCS Ca' Granda Ospedale Maggiore Policlinico

Emanuela Rotondo

Neuro-Psychologist
Fondazione IRCCS Ca' Granda Ospedale Maggiore Policlinico

Vittoria Borracci

Neuro-Psychologist
Fondazione IRCCS Ca' Granda Ospedale Maggiore Policlinico

Pubblicazioni

Comparing self-supervised learning techniques for wearable human activity recognition, Sannara Ek, Riccardo Presotto, Gabriele Civitarese, François Portet, Philippe Lalanda & Claudio Bettini , CCF Trans. Pervasive Comp. Interact, 2025 Publication

Large Language Models are Zero-Shot Recognizers for Activities of Daily Living, Gabriele Civitarese, Michele Fiori, Priyankar Choudhary and Claudio Bettini, ACM Transactions on Intelligent Systems and Technology, 2025 Publication

Multi-subject human activities: A survey of recognition and evaluation methods based on a formal framework, L. Arrotta, G. Civitarese, X. Chen, J. Cumin, C. Bettini. , In: EXPERT SYSTEMS WITH APPLICATIONS. - ISSN 0957-4174. - 267:(2025 Apr), pp. 12617, 2025 Publication

ContextGPT: Infusing LLMs Knowledge into Neuro-Symbolic Activity Recognition Models, L. Arrotta, C. Bettini, G. Civitarese, M. Fiori, In: 2024 IEEE International Conference on Smart Computing (SMARTCOMP)[s.l] : IEEE, 2024. - ISBN 979-8-3503-4994-8. - pp. 55-62, 2024 Publication

Semantic Loss: A New Neuro-Symbolic Approach for Context-Aware Human Activity Recognition, Luca Arrotta, Gabriele Civitarese & Claudio Bettini, Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, Volume 7, Issue 4 Article No.: 147, Pages 1 - 29, 2024 Publication

Using Large Language Models to Compare Explainable Models for Smart Home Human Activity Recognition, M. Fiori, G. Civitarese, C. Bettini, In: UbiComp '24 / [a cura di] V. Kostakos, J. Kay, T. Hoang. - [s.l] : ACM, 2024 Oct 05. - ISBN 979-8-4007-1058-2. - pp. 881-884 (( convegno International Joint Conference on Pervasive and Ubiquitous Computing tenutosi a Melbourne nel 2024 [10.1145/3675094.3679000]., 2024 Publication

Is Querying Users Acceptable for Human Activity Recognition Based on Active Learning?, R. Presotto, G. Civitarese, C. Bettini, In: 2023 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops)[s.l] - ISBN 978-1-6654-5381-3. - pp. 521-526 , 2023 Publication

SelfAct: Personalized Activity Recognition based on Self-Supervised and Active Learning, Luca Arrotta, Gabriele Civitarese, Samuele Valente, Claudio Bettini, 20th EAI International Conference on Mobile and Ubiquitous Systems: Computing, Networking and Services, November 14-17, 2023 Melbourne, Australia., 2023 Publication

DOMINO: A Dataset for Context-Aware Human Activity Recognition using Mobile Devices, Arrotta, Luca; Civitarese, Gabriele; Presotto, Riccardo; Bettini, Claudio, UNIMI Dataverse, V3, 2023 Dataset

DOMINO: A Dataset for Context-Aware Human Activity Recognition using Mobile Devices, Luca Arrotta, Gabriele Civitarese, Riccardo Presotto, Claudio Bettini, In Proceedings of the 24th International Conference on Mobile Data Management (MDM), IEEE Computer Society, 2023 Publication