• UABDivulga
26/11/2020

Jocomunico: un sistema de comunicació que transforma els pictogrames a llenguatge natural

jocomunico

Actualment, es poden mitigar els problemes greus de la parla amb sistemes de comunicació augmentativa i alternativa (CAA) que substitueixen o complement aquesta funció transformant-la, segons el sistema, en diferents tipus de missatge, molts dels quals en llenguatge telegràfic. Així i tot, la qualitat de la interacció és, sovint, frustrant per als usuaris. Aquesta recerca duta a terme per Joan Pahisa durant el seu doctorat en el Departament d'Enginyeria de la Informació i les Comunicacions (DEIC) a la UAB, es va centrar a crear un nou sistema de CAA, Jocomunico, basat en pictogrames que ajudés a millorar la qualitat de la interacció i amb això, la qualitat de vida de les persones.

Fotograma de l'app de CAA Jocomunico.

Jocomunico es un sistema de comunicació augmentativa i alternativa (CAA) únic si es compara amb la resta. La CAA és el conjunt d’eines i d’estratègies que donen suport o que substitueixen la parla. En concret, Jocomunico és un comunicador basat en pictogrames que poden utilitzar persones amb problemes greus a la parla que creen frases mitjançant panells de pictogrames.

El que fa únic el sistema és que transforma el llenguatge telegràfic que resulta de l’ús dels pictogrames a llenguatge natural, en català i castellà. Per exemple, traduiria la frase “escola voler jo anar” a “Vull anar a l’escola”. 

En general, la comunicació a través d’eines de CAA és lenta i, quan les frases produïdes són d’estil telegràfic, redueix la qualitat de la interacció i frustra als usuaris. Millorar aquests aspectes i, en conseqüència, la qualitat de vida de les persones, era la motivació principal del projecte.

Al llarg del doctorat*, del qual surt Jocomunico, es va dur a terme una recerca multidisciplinària en els camps de la CAA, la traducció automàtica, la lingüística i l’accessibilitat del software per tal de desenvolupar el sistema i de provar-lo posteriorment en un entorn real. Els tests es van realitzar a un centre de dia per persones amb paràlisi cerebral severa durant 3 mesos. Els 4 participants, a part de paràlisi cerebral, tenien diferents graus de competència lingüística i de discapacitat cognitiva. De totes maneres, com que tots ells tenien més de 30 anys d’experiència en l’ús de sistemes de CAA basats en pictogrames, les seves habilitats lingüístiques eren estables. Això era molt important per tal de poder assegurar que els canvis que s’observessin a les proves serien conseqüència del nou sistema.

Durant els tests, es va demanar als participants que reproduïssin frases preparades i també que participessin en converses amb un altre interlocutor adaptades a les seves capacitats. Després de l’última sessió, els participants havien adquirit noves competències lingüístiques, com per exemple l’ús bàsic de temps verbals (passat, present i futur), i la seva ràtio de comunicació (nombre de paraules per minut) s’havia incrementat lleugerament.

Així mateix, i encara més important, l’ús del sistema d’expansió va ser una font de motivació per a tots ells i, segons la reatrolimentació rebuda, també per als seus cuidadors i logopedes del centre, ja que la producció de frases, ara més naturals, va millorar l’experiència comunicativa.

Finalment, és important ressaltar que el sistema es va adaptar a la competència lingüística de cada un dels participants i, quan no s’utilitzava, fora de l’expansió del llenguatge, cap de les seves funcions especials (com els modificadors de gènere, nombre, de temps verbals o de tipus de frase, que no estan disponibles en molts comunicadors), va presentar corba d’aprenentatge. Així doncs, les proves suggereixen que el sistema es pot introduir amb facilitat a nous usuaris que estiguin familiaritzats amb sistemes de comunicació basats en pictogrames.

Els resultats de la investigació s’han vist reforçats pel fet que, des de la seva presentació, actualment més de 1000 persones de tot Espanya estan utilitzant Jocomunico. 

*La tesi va ser dirigida per Jordi Herrera Joancomartí.

Joan Pahisa-Solé

Departament d'Enginyeria de la Informació i les Comunicacions.
Universitat Autònoma de Barcelona.

Referències

Pahisa-Solé J, Herrera-Joancomartí J. Testing an AAC system that transforms pictograms into natural language with persons with cerebral palsy. Assist Technol. 2019;31(3):117-125. doi:10.1080/10400435.2017.1393844. Article extret de la tesi doctoral de Joan Pahisa (UAB), 2017.

 
View low-bandwidth version