Mind, hands, face and body. A goal and belief view of multimodal communication

Il testo presenta un modello della comunicazione multimodale in termini delle nozioni di credenza e scopo. La I parte illustra un modello della comunicazione in generale, dei concetti di Mittente e Destinatario, Segnale e Significato, Sistema di Comunicazione, e Modalità recettive e produttive. La II e la III parte analizzano, rispettivamente, la comunicazione gestuale e facciale, sostenendo la necessità e la possibilità di costruire, per i sistemi di comunicazione non verbale, dei lessici, ossia repertori dei segnali e significati nelle varie modalità. Particolare attenzione è posta alla distinzione fra sistemi lessicali e non lessicali nella gestualità (ad es., i gesti simbolici degli italiani contrapposti ai gesti iconici inventati estemporaneamente dai soggetti), al lessico del toccare, e al lessico dello sguardo. Per i gesti, gli atti di contatto fisico e lo sguardo vengono proposte analisi dei rispettivi sistemi "fonologici": la cherologia per i gesti, l'aptologia per il contatto fisico, l'optologia per lo sguardo. Vengono anche condotte analisi lessicali di gesti e sguardi specifici, ad esempio per la "mano a tulipano" e per l'aggrottamento e l'innalzamento delle sopracciglia. La IV parte mostra propone uno schema per l'annotazione della comunicazione multimodale, chiamato "partitura", e mostra come tale schema permetta di analizzare in tutta la loro complessità discorsi multimodali, figure retoriche, atti comunicativi nello spettacolo, nella musica, nella politica, nei colloqui di selezione, nella vita quotidiana. -

Communication is multimodal. In everyday interaction we do not communicate only by words, but by our whole body. We talk by gestures, facial expression, gaze, body movements, posture, and these communicative modalities interact with each other in subtle and complex ways. But can we disentangle the different sounds in a symphony, the different pieces in a mosaic? This book claims that the communication scholar can write down the musical score of the communicative symphony by attributing a specific meaning to each single signal – to each gesture, gaze, facial expression – and by finding out lexicons of all communicative modalities. If Linguists have been writing dictionaries of verbal languages for millennia, why not start compiling a new type of dictionaries, and discover the lexicons and the alphabets of gestures, gaze, or touch? Part I of this book (Mind) presents a cognitive model of communication in terms of the notions of goal and belief; Parts II (Hands) and III (Face) analyse gestural and facial communication in detail, by distinguishing universal and cultural aspects in gesture and gaze, showing the differences between gestures that are codified in our mind and gestures that we create on the spot, and teaching how to make a dictionary of touch or how to find the meanings conveyed by the eyebrows. Part IV (Body) presents an annotation scheme to transcribe and analyse signals in all modalities and to capture the meaning of their interaction, that has proved useful for empirical research on multimodality and for its simulation in Embodied Conversational Agents; to illustrate the potentialities of this tool, multimodal discourses are analysed, taken from TV talk shows, political discourse, classroom interaction, speech-therapy sessions, judicial debates, university examinations and comic movies. The subtleties of multimodality are dissected, showing how the whole body can be a tool for indirect and contradictory messages, deception, joke, irony and other sophisticated uses of communication. -