Laboratorio di multimedia II M3/2006-2007

Lezioni cancellate/spostate

-

Appelli

Compitino tenutosi 10/05/2007

Domande e commenti inseribili qui. Il compitino ha avuto una struttura aperta, consisteva in 15 domande di cui una parte sulla comprensione di codice Processing e Puredata, una parte su conoscenze teoriche relative alla percezione visiva. Dettagli sui voti: da aggiornare. Per chi avesse perso o non superato il compitino, i Tutor hanno affermato che un costante ed assiduo impegno nella realizzazione della Installazione teatrale avrà come immediato riscontro l'incremento della propria valutazione.

Informazioni generali

Docenti

Professor Stefano Roveda email: <stf [at] studioazzurro [dot] com>

Corsi di laurea

Comunicazione Digitale

Modalità d'esame

Progetto e relazione sugli argomenti trattati nel corso (non-frequentanti)

Realizzazione progetto hardware-software realizzato durante lo svolgimento del corso

Prerequisiti al corso

• Laboratorio di multimedia I
• Informatica grafica, Realtà virtuali (consigliati)

Orari e luogo delle lezioni

• Giovedì dalle 8:30 alle 12:30
  Aula 309 Settore Didattico
  via Celoria (città studi, metro piola) info sulle aule

La frequenza non è obbligatoria ma molto consigliata (è un laboratorio!)

Orario di ricevimento studenti

Per il momento non confermati, per comunicazioni urgenti negli orari di lezione.

Informazioni specifiche

Siti del corso

• Sito del Coordinamento Didattico di Scienze e Tecnologie Informatiche (ex-portale d.i.c.o. e d.s.i.)
• Forum: http://dsy.it/forum/forumdisplay.php?s=&daysprune=1000&forumid=426

Materiale didattico

Ma che cavolo avete combinato!!!

Glossario

• Threshold

Filtro per la binarizzazione di un'immagine. Si tratta di una soglia che riduce la profondità colore (tipicamente a 24 o 32 bit) a 1 bit solo. Se il pixel ha un valore superiore alla soglia (threshold) vale 1 altrimenti 0. Un'immagine trattata in questo modo permette calcoli come computo, localizzazione e vettorializzazione delle sagome.

• Ambiente sensibile

Spazio fisico che tramite l'utilizzo di videoproiettori, sistemi multimediali e sensori reagisce alle sollecitazioni pubblico. Oggetti comuni acquisiscono la capacità di raccontare e reagire instaurando una sorta di dialogo con il gruppo di visitatori.

• Interattività

Interazione mediata dall'uso di tecnologie informatiche che simulano una relazione fra esseri e fra esseri e oggetti.

• Normalizzazione

Un valore variabile fra un minimo e un massimo arbitrario viene scalato per essere compreso fra 0.0 e 1.0. Ad es. 0 < X < 1024 diventa 0.0 < X < 1.0. Valori relativi a range diversi fra loro (ad es le coordinate del mouse (-640 < 640) rispetto la luminosità di un'immagine (0 < Luma < 255)) dopo essere stati normalizzati diventano omogenei fra loro. Se tutti i sensori disponibili in un sistema vengono normalizzati sarà possibile sostituire l'utilizzo di un sensore con un altro di diversa natura senza correggere i parametri (fattore di moltiplica e offset)

Diario del corso

Lezione del 08/03/2007

• Inizio lezioni.

(teoria)

• Introduzione ai concetti di

Ambiente Sensibile, Interfaccia Naturale, Videoserver in cluster.

• Primi esempi di problematiche riguardanti i fruitori dell'informatica dell'entertainment.
• Visione in classe di video esemplificativi delle installazioni interattive Tavoli e Cori di Studio Azzurro ( http://www.studioazzurro.com/)

(laboratorio)

• Concetti di base come potenziometro
• Data Glove, guanti e fibre ottiche
• Motion Capture - implementazioni ottiche e meccaniche (telecamere ad infrarossi ed esoscheletro)
• Spunti di riflessione sulle possibili interpretazioni dei dati nel processo di digitalizzazione movimento reale

Lezione del 15/03/2007

• Sviluppo del concetto di framework di gestione per installazioni interattive (server come macchina collo-di-bottiglia che raccoglie i dati di tutti i sensori, problematiche di lag da ridurre al minimo fino a scontrarsi coi limiti dati dal sistema operativo, problemi derivati dalla compressione dei vari formati multimediali - che non sempre conviene)
• Mappatura dei keyframe, accenni sulla gestione dei "salti" operando su derivate e gestione di offset
• Metodi sicuri e univochi per gestione di dati senzaperdita di coerenza

• In classe sono stati visti i seguenti programmi:

Sensori:

EyesWeb ( http://www.infomus.dist.unige.it/eywindex.html - analisi dei segnali video e riconoscimento del movimento - piattaforma windows - freeware)

R etina

Signal Processing:

Processing ( http://processing.org/ - linguaggio di programmazione java-oriented ottimizato per la gestione di dati multimediali - multipiattaforma winows linux mac osx - freeware)

Max/MPS + jitter ( http://www.cycling74.com/ - linguaggio visuale modulare ad oggetti basato per gestione la del suono e del video - windows mac osx - private software)

PureData ( http://puredata.info/ - versione freeware di maxmsp scritta in c, piattaforma grafica per la sintesi di suono e video - multipiattaforma windows linux mac osx - freeware )

Render:

Ogre ( http://www.ogre3d.org/ - motore 3d scene-oriented sviluppato in c++ - multipiattaforma windows linux mac osx - freeware)

Neoclide

Modul8 ( http://www.garagecube.com/ - programma di vjing per la gestione realtime di video - mac osx - private software )

Arkaos ( https://www.arkaos.net/ - programma di vjing per la gestione realtime interattiva di video - windows mac osx - provate software )

Suono:

CSound ( http://csounds.com/ - programma per la sintesi sonora realtime - multipiattaforma windows linux mac osx - freeware )

Protocolli:

OSC ( http://www.cnmat.berkeley.edu/OpenSoundControl/ - OSC, OpenSoundControl, è un protocollo molto flessibile che serve per trasmettere dati tra software differenti, hardware->software, software->hardware )

DMX ( http://it.wikipedia.org/wiki/Digital_MultipleX - Digital MultipleX, sviluppato nel 1986 su commissione della USITT (Istituto Americano delle Tecnologie Teatrali) per creare uno standard efficiente per la comunicazione tra console e dimmer, è un protocollo di trasmissione dati che si avvale dello standard internazionale EIA RS485 )

ed è stato espressamente consigliato un approfondimento da parte di ogni singolo studente

Lezione del 22/03/2007

esperimenti in classe con neoclide e eyesweb

considerazioni sulla comunicazione fruitore-sensore-macchina-feedback come linguaggio post-simbolico (usare simboli che non hanno significati ovvi, codificati ma non simbolici per un ipotetico fruitore qualunque, processo di feedback come processo non deliberato, senza motivo strategico; es. l'attore munito di guanti dataglove che muovendo un dito controlla elementi scenografici, lo spostamento volontario delle dita è un'atto di comunicazione con il pubblico codificato ma privo di significato simbolico fuori dal palco)

interfaccia naturale come interaccia non arbitraria (situata "prima" di sovrastrutture preconcette culturali e tecnlogiche; es. movimento paritetico come la semplice deambulazione in uno spazio)

Lezione del 29/03/2007

Lezione base su Processing, struttura generale, setup() e draw(), prime funzioni geometriche line() rect() e variabili di interazione mouseX,mouseY

Si ricordano le seguenti buone attitudini di programmazione:

se non capisci perchè non disperare, il manuale di riferimento ha sempre ragione.

indentare può salvare la vita

Link

http://www.biologie.uni-hamburg.de/b-online/e28_3/lsys.html#OVR http://pages.cpsc.ucalgary.ca/~pwp/bmv/vlab-for-linux/html-docs/environment.html#NEW

particle show: super nova (robert hodgin) grass (barbarian group)

multimonitor: run, mpe (shiffman) kaleido (suzung kim)

image processing: shadow monster (philip worthington) manual input session, messa di voce (levin / lieberman)

hardware: piexel roller (rAndom International) suddenMotion (Shiffman student)

Lezione del 12/04/2007

Protocolli di trasmissione

Porta seriale: uno per volta, uno dietro l'altro. se si parla di trasmissione dati seriale allora l'informazione viene inviata in forma di impulsi elettromagnetici in fila indiana. ciascun impulso puo' rappresentare uno o piu' bit. il computer per comunicare con gli altri computer dispone delle porte di comunicazione. la piu' diffusa porta seriale nei PC e' quella che corrisponde alle specifiche di uno standard internazionale denominato RS232-c, comunemente abbreviato con RS232. In altri termini e' uno standard del livello fisico. tale interfaccia prevede 25 fili e quindi 25 pin (piedini) che realizzano specifiche mansioni ove ognuna di queste e' numerata da 1 a 25. RTS: segnale Request To Send. Es: il DTE del provider chiede al modem se può trasmettere. CTS: Clear To Send, segnale che il ricevente invia al mittente per avvertirlo che può iniziare l'invio dei bit.

Midi v.s. Seriale MIDI: Musical Instruments Digital Interface: standard per lo scambio dati di strumenti musicali elettronici. I file midi sono costituiti da una serie di comandi "Seleziona strumento 4", "Nota A on", "Nota A off" ecc. Il suono viene prodotto dal generatore (sintetizzatore) sonoro, in altri termini dalla scheda audio installata nel PC. Sara' proprio la scheda audio a determinarne la qualita'. I file midi sono disponibili anche in Internet ed hanno dimensioni ridottissime proprio per il fatto che contengono solo comandi e non musica (cfr. mp3). http://it.wikipedia.org/wiki/Musical_Instrument_Digital_Interface

Nozioni di DSP pitch bander, controller, control changer, frame rate

pic: circuito integrato a semiconduttore con funzioni di microcontrollore. si rimanda a http://it.wikipedia.org/wiki/PIC_(microcontrollore)

arduino: http://www.arduino.cc/ piattaforma hardware opensurce per controllare i/o fra diversi switch o sensori

controllo ttl: cicruito integrato a transistor (http://www.decision-computer.de/)

interruttori e relè sensori audio differenziali analisi di zero-crossing pc-com

formati video, compressione temporale, mpeg2. gop e predicted frame, forte compressione ma difficoltà nello slowmotion e nel reverse standard mpeg programmabile codifica a constant bit-rate v.s. variable bit rate stanrd dvd, blueray decadimento della qualità nella compressione: artefatti di compressione compressione distruttiva e non.

interfacce aptiche: etimologia: deriva dal greco "apto", che significa tocco: con questo attributo si intende quindi qualcosa che ha a che fare con il tatto. sistemi robotici che permettono una comunicazione di stimoli attraverso il senso del tatto, possono essere usati per la navigazione di ambienti virtuali (joystick per spostarsi dentro un videogioco). viene a crearsi quindi un canale di comunicazione bidirezionale - cioè gli stimoli generati sono intimamente indipendenti dalle azioni del corpo umano.

introduzione a puredata

• • • per cortesia sarebbe possibile avere un riassunto (anche brevissimo, a punti) di ciò che è stato visto con puredata?

Sono stati visti Object, Message, Number, Symbol, Comment? Sono stati provati esempi in classe?

Aggiornamento del 7/05/2007

www.interfaccenaturali.it
Questo sito tiene traccia di quanto prodotto con il Professor Roveda e con i Tutor Pasteris e Pecoraro.
La mappa del sito si compone di:
- File Sharing : applicativi provati e file di esempio
- Compitino : riassunto del materiale per la preparazione
- Interactive Video Installations : pagina da costruire successivamente
- Wiki : un iFrame contenente la wiki che stai leggendo

l'hosting del sito è a cura di Doc. La costruzione è a cura di Dany.
Per qualsiasi commento lasciare qui scritta una indicazione. Se necessario si può abilitare una pagina interattiva sul sito.

Prima discussione per l'Installazione 10/05/2007

- aggiornato il sito www.interfaccenaturali.it con il materiale da testare/studiare/preparare

- creato il Social Network dal nome interfaccenaturali.ning.com FONDAMENTALE è che tutto il gruppo utilizzi questo strumento. In questo modo sarà possibile raccogliere tutte le informazioni in modo semplice e veloce. Sono stati creati appositi thread al forum principale con le relative descrizioni per tutte le categorie previste per il progetto. Le si riassume qui: - Programmatore - Sistemista HW/SW - Organizzatore - Esperto Audio - Esperto 3D Neoclide