DISSEMINAZIONE
DICONO DI NOI
WORKSHOP
PUBBLICAZIONI
Multimodal Interaction for Persons with Autism: the 5A Case Study
Persons with Autism Spectrum Disorder (ASD) experience, in general, cognitive rigidity and behavioral and communication problems. These issues dramatically affect their everyday life abilities, such as interacting with others or being autonomous in most daily tasks. 5A project aims at supporting ASD individuals by exploiting the combination of Virtual Reality (VR), Augmented Reality (AR), and Conversational Agents (CA). Using low-cost headsets and smartphones, 5A offers a unique intervention for ASD people. The VR training allows the user to learn how to perform daily tasks in a safe and controlled environment. The AR experience enables the generalization of the acquired skills in real-world settings. Finally, the customizable CA assists and prompts the user at every step in both experiences. As a first use case for 5A applications, we report its use in urban mobility with trains. A case study evaluation was conducted, measuring the effect of 5A apps on 5 ASD users. Our preliminary results showed that users had improved their autonomy level (perceived and measured by external caregivers). The first lessons learned by this study are also reported as a set of guidelines about technology usage, design, and experimentation for immersive technologies in support of persons with ASD.
Mattia Gianotti, Alberto Patti, Francesco Vona, Francesca Pentimalli, Jessica Barbieri, and Franca Garzotto. 2023. Multimodal Interaction for Persons with Autism: the 5A Case Study. To be appear in Proceedings of the 25TH INTERNATIONAL CONFERENCE ON HUMAN-COMPUTER INTERACTION (HCI INTERNATIONAL 2023)
Combining Virtual and Augmented Reality to improve daily autonomy for people with Autism Spectrum Disorder
Cognitive rigidity and behavioral and communication problems are the most common symptoms that characterize Autism Spectrum Disorder (ASD). In fact, people with ASD face complications in everyday life, from interacting with other persons to being autonomous in the most ordinary daily tasks. To overcome these limitations and improve their quality of life, we developed 5A. 5A exploits cutting-edge technologies such as Virtual Reality (VR), Augmented Reality (AR), and Conversational Agents (CA), combining smartphones and wearable headsets to offer new forms of intervention to persons with ASD. Virtual reality experiences enable learning common tasks, such as using public transport, through simulation in a safe environment. When people are in similar real-life situations, AR can help them generalize the skills they have learned in VR by overlaying interactive media assets on top of the view of the physical world around them. A customizable conversational assistant provides individualized prompts and feedback in both VR and AR to provide maximum user support.
Francesco Vona, Mattia Gianotti, Alberto Patti, Jessica Barbieri, Lukasz Moskwa, Francesco Riccardo Di Gioia, and Franca Garzotto. 2022. Combining Virtual and Augmented Reality to improve daily autonomy for people with Autism Spectrum Disorder. In Proceedings of the 2022 International Conference on Advanced Visual Interfaces (AVI 2022). Association for Computing Machinery, New York, NY, USA, Article 74, 1–3. https://doi.org/10.1145/3531073.3534499
Improving the daily autonomy of people with Autism Spectrum Disorder through Virtual and Augmented Reality
Autism Spectrum Disorder is a developmental disability characterised by cognitive rigidity and communication and behavioural deficits. These deficits negatively impact the lives of people with ASD by making them unable to complete daily activities and even communicate with others. In order to support persons with ASD in their everyday life, facilitate their social inclusion, and improve their quality of life, we developed 5A. 5A provides innovative tools based on smartphones and wearable headsets that integrate Virtual Reality (VR), Augmented Reality (AR), and Conversational Agents (CA). These applications help persons with ASD understand the environmental and socio-organizational characteristics of everyday life scenarios and correctly perform related activities. Experiences in VR allow simulating typical tasks of such scenarios, e.g., taking the subway. When people find themselves in similar situations in real life, AR helps them generalise the skills acquired in VR by superimposing interactive multimedia elements on the view of the surrounding physical world. In both VR and AR, a personalised Conversational Assistant provides prompts and personalised feedback.
EVENTI e PREMI
SAVE THE DATE!! – EVENTO FINALE PROGETTO 5A
Al termine di due anni di intenso e appassionante lavoro che ha visti coinvolti i ricercatori dell’I3lab e due centri partner terapeutici, l’evento finale del progetto 5A ha lo scopo di presentare e discutere i risultati raggiunti delle sperimentazioni e dimostrare le applicazioni 5A permettendo ai partecipanti di utilizzarle.
L’evento ha una natura divulgativa ed è rivolto a chiunque sia interessato al tema dell’autismo e alle potenzialità che le tecnologie interattive possono offrire in questo campo: specialisti in Disturbi del Neuro-sviluppo e Disturbi dello Spettro Autistico, operatori sanitari dei centri di cura e riabilitazione, persone con autismo e loro famiglie.
Saranno presenti all’evento psicologi dei due centri partner, specializzati nei Disturbi del Neuro-sviluppo: IRCCS E. Medea Associazione La Nostra Famiglia e Fondazione Sacra Famiglia Onlus.
Data e ora
Località
Politecnico di Milano – Campus Leonardo – Aula Rogers Edificio 11 – Via Andrea Maria Ampère 10 20133 Milano Italy
Guarda qui il programma dell'evento
14:30 – Benvenuto
Speaker: F. Garzotto – Politecnico di Milano
14:40 – Il processo di lavoro e i risultati tecnologici del progetto 5A
Speaker: F. Garzotto e M. Gianotti-Politecnico di Milano
15:05 – Il processo di Co-Design: insieme per una soluzione migliore
Speaker: M.L. Lorusso – Associazione Nostra Famiglia
15:15 – La sperimentazione dello scenario treno: documentario sulla realizzazione dello studio
Speaker: G. Genovese – Associazione Nostra Famiglia
15:25 – La sperimentazione dello scenario metropolitano: racconto del design e realizzazione dello studio.
Speaker: M. Tedoldi, P. Lotti e S. Tantillo – Fondazione Sacra Famiglia)
15:35 –I risultati dello studio
Speaker: F. Garzotto e M. Gianotti-Politecnico di Milano)
15:45 – Tavola Rotonda “5A: Aspetti positivi e negativi, e prospettive future)
Moderatore: M. Mores – Fraternita’ ed Amicizia Onlus;
Partecipanti: F. Garzotto-Politecnico di Milano, M. Tedoldi, P. Lotti, S. Tantillo e M.Conti – Fondazione Sacra Famiglia, M.L. Lorusso – Associazione Nostra Famiglia
16:30 – Dimostrazione delle applicazioni 5A
18:00 Conclusione
Vincitori del Premo “Nuove Guglie Carlo Tognoli”
La tesi di laurea di Giacomo Bacchini, Andrea Panizzi e Davide Perugini, intitolata “Virtual and Augmented Reality & Conversational Agents for Persons with Autism: A Case Study”, ha ricevuto il Premio “Nuove Guglie Carlo Tognoli”.
Il Premio “Nuove Guglie Carlo Tognoli” è un riconoscimento destinato alle tesi di laurea dedicate al futuro di Milano di studenti meritevoli delle università Politecnico e Bocconi, cuore del progetto più ampio dedicato all’ex sindaco di Milano Carlo Tognoli dal titolo “Amare Milano come te”. La cerimonia di premiazione si è tenuta martedì 31 maggio 2022 a Palazzo Marino.
https://www.deib.polimi.it/ita/notizie/dettagli/1106
La giornata di premiazione è stata pubblicata sul giornale “Il Giorno”.
https://www.ilgiorno.it/milano/cronaca/la-milano-futura-nelle-tesi-di-laurea-tra-musei-sotterranei-e-monopattini-1.7736819
TESI MAGISTRALI
IMPROVING THE DAILY AUTONOMY OF AUTISTIC PERSONS IN URBAN MOBILITY THROUGH AUGMENTED REALITY AND CONVERSATIONAL AGENTS
La tesi si focalizza sullo sviluppo di un’applicazione di Realtà Aumentata (AR) per offrire supporto agli utenti con Autismo durante l’utilizzo dei mezzi pubblici. In questo caso lo scenario scelto è stato la metropolitana. Nell’esperienza AR, l’utente deve portare a termine tutti i task necessari a prendere la metropolitana così come accade nella vita reale, ovvero trovare la biglietteria automatica, comprare il biglietto, trovare il tornello e superarlo, trovare la direzione corretta da seguire per raggiungere la destinazione scelta, raggiungere il binario, salire sul treno ed infine, confermare di essere arrivato a destinazione. Il tutto avviene come sempre con la guida di Pan, l’agente conversazionale, e con l’aiuto dei contenuti digitali sovraimposti grazie all’uso dell’AR.
VIRTUAL AND AUGMENTED REALITY + CONVERSATIONAL AGENTS FOR PERSONS WITH AUTISM: A CASE STUDY
La tesi è incentrata sullo sviluppo di applicazioni di Realtà Virtuale (VR) e Realtà Aumentata (AR) nel contesto di un museo di Storia Naturale, ambiente ispirato al Museo di Storia Naturale di Porta Venezia, Milano. In tale scenario all’utente viene chiesto di svolgere dei task di ricerca visiva ed esplorazione guidati, col supporto di un assistente virtuale.
ENHANCING AUTONOMY OF PERSONS WITH AUTISM THROUGH VIRTUAL REALITY
La tesi descrive lo sviluppo di un’applicazione 5A con scenario il supermercato. L’applicazione ha l’obiettivo di fornire all’utente un’esperienza di familiarizzazione con tutte le attività previste all’interno di un supermercato, dalla scelta dei prodotti, all’acquisto finale. L’applicazione 5A Supermarket è stata sviluppata per due diversi dispositivi di Realtà Virtuale, Google Cardboard e Oculus Quest1; in questa tesi vengono inoltre discusse le differenze tra le due versioni dell’applicazione sia da un punto di vista funzionale (usabilità) che tecnico.
TRAINING IN CONVERSATIONAL VIRTUAL REALITY FOR PERSONS WITH AUTISM SPECTRUM DISORDERS
La tesi consiste nella progettazione ed implementazione della versione in Realtà Virtuale dell’applicazione 5A ambientata nella metropolitana. Essa consente all’utente di apprendere tutti tasks necessari per essere autonomi in questo scenario, dall’acquisto del biglietto, individuazione della direzione del treno, superamento del tornello fino al raggiungimento della stazione di arrivo. Particolare attenzione è stata data anche al design dell’agente virtuale conversazionale, in grado di fornire supporto in qualsiasi momento all’utente.