Scienze cognitive, digital storytelling e arte: un processo di cross-fertilization. Nuove frontiere di ricerca

di Annalisa Banzi, Raffaella Folgieri, Diletta Grella.

 

 

LEGGI ANCHE: LEARNING BY LOOKING. THE CASE FOR VISUAL PERCEPTUAL REPETITION PRIMING

Il lavoro è suddiviso in tre parti: la prima, introduttiva, descrive le possibilità offerte dal digital storytelling per migliorare la fruizione del pubblico museale coniugando e innescando i processi mnemonici legati al priming attraverso il potente mezzo della narrazione.

La seconda sezione entra nel merito del priming, presentando modi e mezzi adottabili per misurare e comprendere al meglio il suo effetto in presenza di stimoli artistici.

Infine, la terza parte conclude la presentazione, portando l’attenzione sui nuovi mezzi che possono definirsi dall’incontro dell’Intelligenza Artificiale (AI) con il digital storytelling e il priming per dar vita a esperienze in cui il dialogo attivo e rispettoso con il nostro Patrimonio sia accompagnato da una evoluzione proficua della persona.

 

Narrazione e tecnologia

Una delle nuove frontiere nella comunicazione dell’arte e della cultura è il digital storytelling, o racconto multimediale: gli spazi espositivi, i musei e le gallerie possono cioè presentare allestimenti e installazioni che, attraverso la multimedialità (parole, suoni, luci, fotografie, immagini in movimento, video), raccontano opere d’arte, ma anche oggetti, ambienti, luoghi, aspetti del territorio…

Racconto multimediale è però una definizione molto ampia, che raccoglie differenti e numerose modalità di utilizzo delle nuove tecnologie all’interno degli spazi espositivi.

In alcuni musei, per esempio, ci sono attori che raccontano al pubblico una storia, mentre attorno a loro, grazie all’utilizzo della multimedialità, viene ricreato un ambiente.

In altri luoghi, a raccontare una storia può essere una proiezione olografica.

E, ancora, ci sono casi in cui su grandi schermi vengono proiettati video che raccontano storie attinenti all’esposizione in corso…

Un luogo o un argomento, infine, possono venire interamente pensati e raccontati con l’utilizzo delle tecniche digitali. Il percorso espositivo si trasforma cioè in un racconto che -dall’inizio alla fine- si sviluppa grazie a immagini in movimento, suoni, schermi tattili, dispositivi….

Quest’ultima è la modalità più completa e complessa dell’utilizzo del digital storytelling, con una valenza artistica più forte.

I vantaggi dell’utilizzo del racconto multimediale nel campo dell’arte e della cultura sono diversi.

Innanzitutto, è possibile fare una ricostruzione del contesto in cui l’opera è stata creata. Intorno ad un affresco, per esempio, si possono ricostruire in digitale gli interni della Chiesa dove si trovava. Una voce può raccontare chi l’ha dipinto, il suo significato, la vita dell’autore…

Un altro vantaggio consiste nella possibilità dell’interazione diretta con l’opera. In musei e spazi espositivi tradizionali, infatti, quando ci si trova di fronte ad un quadro, non si ha modo di interagire con esso; si può al massimo modificare l’angolo dal quale lo si osserva, ci si può avvicinare o allontanare, ma nulla di più. Chi fruisce di un’opera o di uno spazio artistico attraverso il racconto digitale è invece portato spesso a partecipare con l’opera stessa, per esempio scegliendo di attivare un dispositivo piuttosto che un altro, e intraprendendo in questo modo un viaggio virtuale che prevede alcune tappe piuttosto che altre.

Le storie digitali, dunque, molte volte sono partecipate: il pubblico contribuisce alla loro creazione. Da fruitore passivo, lo spettatore si trasforma in co-autore.

Interessanti anche gli effetti che l’utilizzo della multimedialità ha sulla fruizione dell’opera.

La ricerca conferma che, in generale, l’utilizzo di più codici di comunicazione:

-tipico del racconto multimediale-, permette di creare un contatto emotivo più forte tra l’opera e il suo spettatore, cioè un maggior feeling.

Sul piano emozionale, dunque, la dimensione narrativo-digitale facilita la fruizione dell’oggetto, e questo si osserva soprattutto nel caso di un pubblico non esperto, lontano dall’oggetto stesso per interesse, curiosità, conoscenza.

Questo tipo di multimedialità, inoltre, non nuocerebbe alla capacità attentiva dello spettatore, al contrario favorirebbe la flessibilità dei suoi modelli mentali e stimolerebbe il suo pensiero creativo e quello logico.

Il racconto multimediale, in conclusione, è certamente una grande opportunità per la divulgazione e l’apprendimento dell’arte e della cultura.

Chi lo utilizza, però, deve avere ben chiaro che il suo scopo non è un virtuosismo tecnologico fine a sé stesso. Al contrario, la finalità dovrà sempre essere quella di coinvolgere il pubblico e di aiutarlo a comprendere aspetti di un’opera d’arte, di un oggetto, di un argomento, di un luogo… che altrimenti resterebbero difficilmente comprensibili.

Un museo cognitivo

Gli studi condotti sul pubblico museale suggeriscono alcune vie per rendere il museo più accessibile ai visitatori che non dispongono di una adeguata formazione storico-artistica. Idealmente il museo dovrebbe rivolgersi a tutti senza escludere le persone che hanno un ridotto grado di istruzione. Sfortunatamente non sempre questo obiettivo è raggiunto, basti pensare alle didascalie che molto spesso presuppongono una conoscenza pregressa. L’obiettivo per gli operatori dovrebbe concentrarsi sul potenziamento progressivo dell’autonomia del visitatore nel dialogo razionale con un manufatto artistico, incentivandone spirito critico e desiderio di conoscenza.

Le scoperte degli ultimi decenni nei campi della Psicologia e delle Neuroscienze spiegano alcuni meccanismi cognitivi che possono essere quindi agevolati favorendo e migliorando la fruizione museale. Nel 1971 gli psicologi Meyer e Schvaneveldt scoprono il priming: una forma di memoria di fondamentale importanza che innesca diversi aspetti dell’apprendimento come l’attenzione, la memoria e la percezione. In via preliminare, il fenomeno può essere definito come l’influenza che un stimolo precedente determina sulla percezione o memorizzazione di uno stimolo successivo. Lo stimolo innescante è detto prime, quello successivo è chiamato target. Presentando, per esempio, come stimolo innescante la parola ciliegia, si riducono i tempi di risposta del soggetto a domande relative a concetti correlati come rosso, tondo, torta e frutto. Una persona impiegherà qualche decina di millesimi di secondo in meno per rispondere a domande come «Il rosso è un colore?» se in precedenza ha ricevuto come prime la parola ciliegia anziché banana.

Il priming è il miglioramento di una prestazione – misurato nella velocità e accuratezza di risposta a uno stimolo presentato – in un compito percettivo o cognitivo prodotto dal contesto o da una precedente esperienza (McNamara 1992, 2005). Questo tipo di memoria è comune a tutti gli individui, rimane relativamente stabile per tutto l’arco della vita, si attiva automaticamente e trattiene le informazioni per lunghi periodi di tempo. Caratteristiche che lo rendono potenzialmente idoneo a diventare uno strumento attivo e un aiuto per il pubblico che non è avvezzo a relazionarsi con il mondo artistico.

La tesi che viene suffragata è che il visitatore possa più facilmente entrare in contatto con le parti costitutive delle opere d’arte attraverso l’impiego del priming nelle logiche museografiche. Si tratta di piccoli interventi che incidono limitatamente sui costi di gestione e sul tessuto museografico preesistente. Tra le diverse tipologie di priming si pensa che quelle che possono maggiormente favorire la fruizione museale siano il priming ripetuto visivo-percettivo e il priming ripetuto semantico basati sulla uguaglianza tra stimoli prime e target.

Questo fenomeno psicologico può quindi facilitare il ricordo di stimoli visivi (come colori, linee, composizione, etc.) e semantici (tema iconografico, significato del dipinto in relazione al contesto storico o al committente, etc.) insiti nell’opera d’arte: la presa di coscienza degli aspetti che compongono l’oggetto dovrebbe aiutare, inoltre, a sviluppare un proprio metodo di approccio critico da mettere in atto ogni volta che si presenti l’occasione di confrontarsi con i beni culturali.

L’approccio basato sul priming può aiutare a definire un nuovo modello di museo che chiameremo cognitivo per l’attenzione posta alle esigenze del cervello in relazione all’apprendimento dei contenuti artistici (non venendo meno al rispetto per l’identità dei Beni culturali).

Questa metodologia può essere adattata a tutto il Patrimonio, nelle sue diverse espressioni, e può divenire uno strumento per abbattere le barriere culturali, venendo incontro anche al pubblico straniero di ogni provenienza, in quanto sfrutta meccanismi che contraddistinguono tutti gli esseri umani.

Intelligenza e tecnologia

I progressi nel campo delle Neuroscienze, ed in particolare nel Brain Imaging, consentono oggi di indagare i meccanismi di risposta individuali a stimoli di priming rendendoli misurabili e quindi confrontabili quantitativamente. Corrispondentemente, le Scienze Cognitive e, tra queste, in particolare, l’Intelligenza Artificiale, forniscono potenti modelli e strumenti di indagine per registrare i rapporti tra Arte e Cervello, analizzabili più agevolmente grazie a strumenti tecnologici recenti quali i dispositivi B.C.I. (Brain Computer Interface).

I progressi nel Brain Imaging (sistemi di diagnostica per immagini delle aree e delle funzioni cerebrali, quali la Tomografia Computerizzata, T.C., la Risonanza Magnetica funzionale, fMRI, la Position Emission Tomography, P.E.T. e l’Elettroencefalografia, E.E.G.) consentono oggi di osservare il cosiddetto “living brain”, ovvero il cervello in azione, permettendo la valutazione in tempo reale delle reazioni di individui sottoposti a determinati stimoli. Tra tutte le tecniche, l’EEG si presenta come la più adatta, per il costo minore e per l’alta risoluzione temporale, importante per valutare i tempi di risposta a determinati stimoli. I nuovi dispositivi BCI (Brain Computer Interface), nati in seno alla branca dell’Informatica che studia modelli, modalità e strumenti per l’interazione tra uomo e macchina, basati su EEG, offrono non solo la possibilità di interagire con un elaboratore attraverso l’interpretazione dei ritmi cerebrali, ma soprattutto, grazie ai software di registrazione e agli algoritmi AI di interpretazione dei ritmi, forniscono la possibilità di rilevare la risposta degli individui a stimoli specifici in tempo reale. Un dispositivo BCI (Allison, 2007) è una semplificazione dell’EEG medico, ovvero un sistema hardware/software che legge segnali elettrici o altre manifestazioni dell’attività cerebrale e li trasforma in forme digitali che un elaboratore può comprendere, processare e convertire in azioni ed eventi o mettere a disposizione per la successiva analisi. I vantaggi risiedono, oltre che nel basso costo dei dispositivi, anche nella connessione wi-fi, che consente agli individui di sentirsi rilassati, di ridurre l’ansia e di muoversi liberamente in un ambiente sperimentale. Le frequenze cerebrali registrate sono raggruppate nei ritmi alfa, beta, gamma, delta e theta, come per l’EEG tradizionale.

I dispositivi BCI consentono di indagare i rapporti tra arte e cervello sia dal punto di vista dell’artista, durante il processo di creazione di un’opera, sia dal punto di vista degli spettatori, nel mentre vivono l’esperienza dell’arte. In particolare è possibile indagare le attività neurali durante la percezione dei colori (Shapley et. Al., 2002), i processi decisionali e le funzioni mnemoniche (Vanrullen e Thorpe, 2001; Barbas, 2000) e analizzare la risposta cerebrale di un individuo durante l’esperienza estetica, le cui reazioni sono osservabili nell’area della corteccia prefrontale e in quella orbito-frontale (Cela et Al., 2004; Kawabata, Hideaki e Semir Zeki, 2004) in cui i sensori di un BCI sono posti.

Negli studi condotti sul priming, alcuni soggetti sono stati esposti a stimoli visivo-percettivi, semantici o concettuali per valutare la risposta emotiva e cognitiva successiva nel contesto di musei di Arti Visive (Banzi e Folgieri, 2012). A tale scopo alcuni soggetti, prima di effettuare un tour museale, sono stati sottoposti ad uno stimolo di priming, mediante un video e sotto la supervisione del ricercatore, e, successivamente, è stata misurata l’efficacia del priming mediante analisi elettroencefalografica. I risultati ottenuti sono stati incoraggianti. Infatti, rispetto ai gruppi di controllo (stimolo neutro e assenza di stimolo), i partecipanti sottoposti a stimolo hanno mostrato un incremento dei livelli di attenzione in corrispondenza alle domande relative allo stimolo somministrato, rivelando un rinforzo dei meccanismi di memoria. Gli studi descritti sono parte di una ricerca interdisciplinare più ampia (Banzi e Folgieri 2012; Calore, Folgieri et Al., 2012; Folgieri et Al., 2013; Folgieri e Zichella, 2012) che mira a valutare la risposta degli individui a stimoli visivi, uditivi e percettivi, misurati con metodi classici della Psicologia e delle Scienze Cognitive e con metodologie innovative di Brain Imaging quali l’EEG.

Al momento la ricerca è rivolta alla comprensione dei meccanismi cognitivi di base della creatività, dell’esperienza estetica e dell’educazione all’Arte. Già dagli studi condotti è, comunque, evidente l’enorme potenzialità degli strumenti tecnologici a disposizione oggi, che danno, inoltre, la possibilità di verificare, riprendendo il concetto espresso da Vygotskij (1925), quanto l’ontogenesi umana sia determinata anche dal contributo degli strumenti culturali a disposizione nel contesto storico e sociale.

Oltre a tutte le possibilità appena descritte per misurare e comprendere al meglio l’effetto del priming in presenza di stimoli artistici, la tecnologia oggi offre anche strumenti che possono migliorare la fruizione del pubblico museale coniugando e innescando questi processi mnemonici legati al priming attraverso il potente mezzo della narrazione.

Inoltre, in questa sede si desidera portare l’attenzione sui nuovi mezzi che possono definirsi dall’incontro dell’intelligenza artificiale con il digital storytelling e il priming per dar vita a esperienze in cui il dialogo attivo e rispettoso con il nostro Patrimonio sia accompagnato da una evoluzione proficua della persona.

LEGGI ANCHE:

ARTE – SCIENZE COGNITIVE – NEUROSCIENZE

LEGGI ANCHE: LEARNING BY LOOKING. THE CASE FOR VISUAL PERCEPTUAL REPETITION PRIMING

 

BIBLIOGRAFIA:

• Allison, B. Z., Wolpaw, E. W., & Wolpaw, J. R. (2007).  Brain-computer interface systems: progress and prospects. Expert review of medical devices, 4(4), 463-474.
• Antonietti A. (2003), Il computer come strumento interattivo di apprendimento, L’integrazione scolastica e sociale 2(4), 2003, pp. 332-338.
• Antonietti A., Cantoia M., Media e processi di apprendimento. Che cosa offre la psicologia cognitiva all’educazione multimediale?, Ricerche su Educazione e Media, I, pp. 49-65.
• Balzola A., Rosa P., L’arte fuori di sé. Un manifesto per l’età post-tecnologica, Feltrinelli 2011.
• Banzi, A., & Folgieri, R. (2012). Preliminary Results on Priming Based Tools to Enhance Learning in Museums of Fine Arts. In Proceedings of EVA (pp. 142-147).
• Barbas, H. (2000). Connections underlying the synthesis of cognition, memory, and emotion in primate prefrontal cortices. Brain research bulletin, 52(5), 319-330.
• Calore, E., Folgieri, R., Gadia, D., & Marini, D. (2012, February). Analysis of brain activity and response during monoscopic and stereoscopic visualization. InIS&T/SPIE Electronic Imaging (pp. 82880M-82880M). International Society for Optics and Photonics.
• Cataldo L., Dal Museum Theatre al Digital Storytelling. Nuove forme della comunicazione museale fra teatro, multimedialità e narrazione, Franco Angeli 2011.
• Cela-Conde, C. J., Marty, G., Maestú, F., Ortiz, T., Munar, E., Fernández, A., … & Quesney, F. (2004). Activation of the prefrontal cortex in the human visual aesthetic perception. Proceedings of the National Academy of Sciences of the United States of America, 101(16), 6321-6325.
• Folgieri, R., Lucchiari, C., & Marini, D. (2013, February). Analysis of brain activity and response to colour stimuli during learning tasks: an EEG study. InIS&T/SPIE Electronic Imaging (pp. 86520I-86520I). International Society for Optics and Photonics.
• Folgieri, R., & Zichella, M. (2012). A BCI-based application in music: Conscious playing of single notes by brainwaves. Computers in Entertainment (CIE), 10(3), 1.
• Kawabata, H., & Zeki, S. (2004). Neural correlates of beauty. Journal of neurophysiology, 91(4), 1699-1705.
• Lambert J., Digital storytelling. Capturing lives, creating community, Routledge 2013.
• Lambert J., Digital storytellling cookbook, Center for digital storytelling 2010.
• McNamara, T. P. (1992). Priming and constraint it places on theories of memory and retrieval. Psychological Review, 99, 650-662.
• McNamara, T. P. (2005).  Semantic Priming: Perspectives from Memory and Word Recognition. New York: Psychology Press.
• Meyer, D. E., Schvaneveldt, R. W. (1971). Facilitation in Recognizing Pairs of Words: Evidence of a Dependence Between Retrieval Operations, in Journal of Experimental Psychology, 90 (2), pp. 227-234.
• Salmon C., Storytelling. La fabbrica delle storie, Fazi Editore 2008.
• Sasson J., Storie virali. Come creare racconti di marca capaci di diffondersi in modo esplosivo nel web, Lupetti 2012.
• Sasson J., Web storytelling. Costruire storie di marca nei social media, Franco Angeli 2012.
• Shapley, R., & Hawken, M. (2002). Neural mechanisms for color perception in the primary visual cortex. Current Opinion in Neurobiology, 12(4), 426-432.
• Simon N., The Participatory Museum, Santa Cruz: Museum 2.0 2010.
• Studio Azzurro, Musei di narrazione. Percorsi interattivi e affreschi multimediali, Silvana Editoriale 2011.
• Vanrullen, R., & Thorpe, S. J. (2001). The time course of visual processing: from early perception to decision-making. Journal of cognitive neuroscience, 13(4), 454-461.