WIXLIB

Sistemi Multimodali:scenari, architetture, tecnologieStefano tRoma, 01/06/2005Università di Roma Tre – Dipartimento di Informatica ed AutomazioneSommario Motivazioni– cosa, perché ed in quali contesti Multicanalità– caratteristiche e limiti Multimodalità– architetture, sincronizzazione e scenari Tecnologie per la multimodalità– linguaggiSistemi Multimodali – Seminario DIA – 01/06/0521

Un obiettivo dichiarato ([MMI] )“Multimodal applications should be able toadapt to changing device capabilities, userpreferences and environmentalconditions.”W3C – MMI (MultiModal Interaction Activity Group)3Sistemi Multimodali – Seminario DIA – 01/06/05Da uno scenario tradizionale HTMLHTTPPCTCP /IPEthernet /TokenRingESC 1FF21F32TabQF43F54WSDXCF65EAZF76RFVT8F2Alt1 0F8 PL. F1;/I n s e r t2OK,Alt0IJM1 1F9UHN9F7YGBShift1: -Delete"[ShiftScrollPrint {'?]}\Enter DataNetworkSistemi Multimodali – Seminario DIA – 01/06/05Application(Web)Server42

ad uno più evoluto!Mobile,PDAPCESCFF1F2F3F4F5F6F7F8F9F1 0F1 1124W5ER67T8Y9U0IOZAltSDXCFVGBHNJKM, L. ; :/? {'}] \"E n t e rS h i f tAltSMSGatewayVoice SMS DataPSTN SS7/GSM/GPRS/CDMA/WCDMATelephoneP r i n t -P[ATelephoneNetwork3QTab2I n s e r Dt e l e tSecroll1 2 S h i f t1VoiceServerDataGatewayxMLHTTPTCP /IPEthernet /Token RingDataNetworkApplication(Web)ServerSistemi Multimodali – Seminario DIA – 01/06/055Alcune nuove necessità Ampliare i contesti d’uso (supportando lacrescente richiesta di accesso fisso e mobile, indiversi “ambienti d’uso”- vedi anche [DI]) Garantire una continuità d’interazione (senzadover riprendere dall’inizio nella migrazione daun dispositivo – modo – ad un altro) Ed inoltre:– Ampliare il parco d’utenza (in relazione alle abilità,alle competenze fisico-cognitive, al livello diesperienza)– Incrementare la “robustezza” dell’interazione(maggiore “fault tolerance” attraverso ridondanze ecomplementarietà)– Indirizzare questioni di privatezza e sicurezza(combinando più forme sensoriali d’interazione)Sistemi Multimodali – Seminario DIA – 01/06/0563

Alcuni contesti d’impiego Applicazioni desktop avanzate (es. sistemi didettatura, interfacce multisensoriali audiovisuali-tattili) Pervasive and ubiquitous mobile computing Sistemi di sicurezza (es. sistemi M3 –Multibiometric, Multimodal, Multisensor) Sistemi “assistivi” di supporto all’accessibilitàed all’autonomia di utenti disabili e di categoriedeboli o svantaggiate ([ETSI], [WAI])Sistemi Multimodali – Seminario DIA – 01/06/057Tre definizioni Modo interattivo (Modo): canale hw/sw associato adun senso umano per interagire con sistemi automaticie/o applicazioni software (es. dialogo audio-vocale,interfaccia visuale, dispositivo di puntamento e tattile,gesto manuale, sguardo, movimento del corpo) Sistema multicanale (SMC): sistema hw/sw checonsente la ricezione, l’interpretazione, il processamento(in input) e la generazione (in output) di due o più modiinterattivi in maniera indipendente Sistema multimodale (SMM): sistema hw/sw checonsente la ricezione, l’interpretazione, il processamento(in input) e la generazione (in output) di due o più modiinterattivi in maniera integrata e coordinataSistemi Multimodali – Seminario DIA – 01/06/0584

La multicanalitàUn altro obiettivo ([MWI] )“Making Web access from a mobile deviceas simple, easy and convenient as Webaccess from a desktop device.”W3C – MWI (Mobile Web Initiative)Sistemi Multimodali – Seminario DIA – 01/06/05105

Architettura multicanale (1/3) [MAS]User.MultichannelEngineBusinessApplications Utente usa più modidi interazione, unoalla volta Motore diadattamentomulticanale tra utentee logica applicativa(dati, processi,servizi) Logica applicativatradizionaleSistemi Multimodali – Seminario DIA – 01/06/0511Architettura multicanale (2/3)UserSignalsMarkupLanguagesBusinessMeaning Segnali: incorrispondenza ai sensi.associati ai modi Linguaggi di markup:Input/Outputrappresentazione Webbased dell’IN/OUT.(HTML, WML, VoiceXML,cHTML, XHTML, InkML)Interaction Dati di business: ilMultichannelsignificato per la specificaEnginelogica applicativaBusinessApplicationsSistemi Multimodali – Seminario DIA – 01/06/05126

Architettura multicanale phingInteractionMultichannelEngineBusiness Applications Riconoscimentodel modo (es.CC/PP [CCPP],UAProf [UAProf]) Parsing edestrazione dei datidi INPUT Adattamento deidati di OUTPUT(es. XSLT [XSLT]) PresentazioneesternaSistemi Multimodali – Seminario DIA – 01/06/0513Pregi Singoli linguaggi di markup noti e supportati daambienti di sviluppo adeguati Sviluppo di applicazioni ormai consolidato e diffuso Ampia disponibilità di prodotti commerciali ad hoc([MAS]):––––––Apache CocoonVolantis MarinerMobileAware EverixOracle 9iAS MobileSybase Mobile Application Studio@Hand Mobile Application ServerSistemi Multimodali – Seminario DIA – 01/06/05147

e limiti Ogni modo ha i suoi problemi:– Inserimento ed accesso visuale ai dati difficoltoso sudispositivi mobili (schermi e tastiere piccoli) eprogressivamente miniaturizzati– Riconoscimento vocale ancora potenzialmente incerto e,quindi, bloccante– Output vocale potenzialmente ingestibile se lungo Inadeguatezza di un “canale alla volta” per tutte lecircostanze di vita umana Impossibilità di un’interazione continuata(“seamless”) con applicazioni e serviziSistemi Multimodali – Seminario DIA – 01/06/0515La multimodalità8

Principali necessità Integrazione dei modi (in input)– A livello di segnale (es. sistemi vocali conriconoscimento del labiale)– A livello semantico (es. sistemi vocali conriconoscimento di gesti manuali) Frame-based (pattern-matching) Unification-based (programmazione logica) Time-stamping o temporal-cascading (in input) “Mutual disambiguation” dei modi (in input)– Es. effetto di un input modale su altri ed in relazioneal contesto Scheduling temporale (in output)– Coordinamento degli output modaliSistemi Multimodali – Seminario DIA – 01/06/0517Architettura multimodale (1/3)User.MultimodalEngineBusinessApplications Utente usa più modidi interazione, inmaniera integrata ecoordinata Motore diadattamentomultimodale trautente e logicaapplicativa (dati,processi, servizi) Logica applicativatradizionaleSistemi Multimodali – Seminario DIA – 01/06/05189

Architettura multimodale inationand plications Segnali: incorrispondenza ai sensiassociati ai modi Linguaggi di markup:rappresentazione Webbased dell’IN/OUT Dati di business: ilsignificato per laspecifica logicaapplicativaSistemi Multimodali – Seminario DIA – 01/06/0519Architettura multimodale onCoordinationand ations Quale linguaggioper larappresentazione el’interpretazionedei modi ? Come daresignificato ad unacombinazioneinterattiva ? Come“sincronizzare”ilfunzionamento delmotore?Sistemi Multimodali – Seminario DIA – 01/06/052010

Sincronizzazione [Oviatt], [MMI] SMM in Input SMM in Output– Sequenziale:– Sequenziale: interpretazione del passointerattivo dipendente da unsolo modo (può essercialternanza)– Sincronizzato tempoindipendente (raro): interpretazione del passointerattivo dipendente dadue o più modi (può essercisimultaneità) un solo modo dipresentazione all’utenteper volta– Sincronizzato: più modi di presentazionealla volta, simultanei omeno– Sincronizzato tempodipendente: interpretazione del passointerattivo dipendente dadue o più modi; dipendenza semanticatemporale stretta dei modiSistemi Multimodali – Seminario DIA – 01/06/0521Livello della sincronizzazione Event-level: Input in un modo sono recepiti a livello di eventiDOM ed immediatamente propagati ad un altro modo Field-level: Input in un modo sono propagati ad un altromodo dopo che l’utente cambia “fuoco” (es. movimento daun campo d’input ad un altro) or completa l’interazione conun campo (es. completa la selezione in un menu) Form-level: Input in un modo sono propagati ad un altromodo solo dopo che un particolare punto dell’interazione èstato raggiunto (es. dopo che un certo numero di campi diuna form è stato completato) Session-level: Input in un modo sono propagati ad un altromodo solo dopo un passaggio esplicito di modoSistemi Multimodali – Seminario DIA – 01/06/052211

Multimodal Engine – Una possibileimplementazione (1/2) Adozione del paradigmaMVC (Model-ViewController) Componenti software:– Modality Components(views)– Service Components(controller)– Data Components (model) Interazione tracomponenti:– via eventi asincroni– secondo modellopublish/subscribeSistemi Multimodali – Seminario DIA – 01/06/0523Multimodal Engine – Una possibileimplementazione (2/2) Esempio:– Runtime Framework ospitato a bordo di un browsermultimodale integrato– EMMA usato come linguaggio di markup semanticodell’Interaction Manager del browser multimodale– XHTML può essere usato come linguaggio di markupper un Modality Component– VoiceXML può essere usato come linguaggio di markupper un Modality Component– SVG (Scalable Vectorial Graphics) può essere usatocome linguaggio di markup per un Modality ComponentSistemi Multimodali – Seminario DIA – 01/06/052412

Visuale vs. Multimodale Sequenzialità strettadegli eventi visuali Certezza simbolicadell’input e dell’output Permanenza delgestore dipresentazione visualesul client (bassofootprint) Parallelismo deglieventi multimodali Ambiguità edincertezza in input edoutput (es.comprensione audiovocale) Distribuzione deicomponentiarchitetturali Architetture “timesensitive”Sistemi Multimodali – Seminario DIA – 01/06/0525Scenari architetturali Server-based o Thin Client– Distribuzione dei componenti del Multimodal Engine“across the network”– Riuso dei linguaggi standard di markup “tradizionali”(HTML, XHTML, WML, cHTML, VoiceXML) e dei rispettivibrowser già esistenti– Necessità di sviluppo separato dei componenti delMultimodal Engine Device-based o Fat Client– Possibilità di pensare ad un unico browser multimodale incui “collassare”le componenti del Multimodal Engine– Sviluppo “naturale” di nuovi linguaggi di markup per lamultimodalità (utilizzabili peraltro anche nel caso sopra):XHTML Voice (X V), SALT, EMMASistemi Multimodali – Seminario DIA – 01/06/052613

Linguaggi per la multimodalità XHTML Voice (W3C Submission by IBM,Motorola and Opera Software)– [X V] SALT (CISCO, Intel, Microsoft et al.)– [SALT] EMMA (W3C Extensible MultiModal Annotationmarkup language)– [EMMA]Sistemi Multimodali – Seminario DIA – 01/06/0527XHTML Voice ?xml version "1.0"? !DOCTYPE html PUBLIC "-//W3C//DTD XHTML Voice//EN""xhtml voice10.dtd" html xmlns http://www.w3.org/1999/xhtmlxmlns:vxml "http://www.w3.org/2001/voicexml20"xmlns:ev "http://www.w3.org/2001/xml-events" head title Skeleton XHTML Voice Document /title !-- voice handlers -- vxml:form id "sayHello" vxml:block Hello World /vxml:block /vxml:form /head body h1 Skeleton XHTML Voice Document /h1 p ev:event "onclick" ev:handler "#sayHello" Clicking anywhere on this paragraph results in awelcome message being spoken on account ofattaching code vxml:form /code handler to thisparagraph. /p /body /html Sistemi Multimodali – Seminario DIA – 01/06/052814