Laboratorio di multimedia II M3/2006-2007

News

• 8 marzo giovedì - prima lezione

Lezioni cancellate/spostate

-

Appelli

Saranno comunicati il prima possibile.

Indicativamente giugno 2007.

Informazioni generali

Docenti

Professor Stefano Roveda email: <stf [at] studioazzurro [dot] com>

Corsi di laurea

Comunicazione Digitale

Modalità d'esame

Progetto e relazione sugli argomenti trattati nel corso (non-frequentanti)

Realizzazione progetto hardware-software realizzato durante lo svolgimento del corso

Prerequisiti al corso

• Laboratorio di multimedia I
• Informatica grafica, Realtà virtuali (consigliati)

Orari e luogo delle lezioni

• Giovedì dalle 8:30 alle 12:30
  Aula 309 Settore Didattico
  via Celoria (città studi, metro piola) info sulle aule

La frequenza non è obbligatoria ma molto consigliata (è un laboratorio!)

Orario di ricevimento studenti

Per il momento non confermati, per comunicazioni urgenti negli orari di lezione.

Informazioni specifiche

Siti del corso

• Sito del Coordinamento Didattico di Scienze e Tecnologie Informatiche (ex-portale d.i.c.o. e d.s.i.)
• Forum: http://dsy.it/forum/forumdisplay.php?s=&daysprune=1000&forumid=426

Glossario

• threshold

filtro per la binarizzazione di un'immagine

Diario del corso

Lezione del 08/03/2007

• Inizio lezioni.

(teoria)

• Introduzione ai concetti di

Ambiente Sensibile, Interfaccia Naturale, Videoserver in cluster.

• Primi esempi di problematiche riguardanti i fruitori dell'informatica dell'entertainment.
• Visione in classe di video esemplificativi delle installazioni interattive Tavoli e Cori di Studio Azzurro ( http://www.studioazzurro.com/)

(laboratorio)

• Concetti di base come potenziometro
• Data Glove, guanti e fibre ottiche
• Motion Capture - implementazioni ottiche e meccaniche (telecamere ad infrarossi ed esoscheletro)
• Spunti di riflessione sulle possibili interpretazioni dei dati nel processo di digitalizzazione movimento reale

Lezione del 15/03/2007

• Sviluppo del concetto di framework di gestione per installazioni interattive (server come macchina collo-di-bottiglia che raccoglie i dati di tutti i sensori, problematiche di lag da ridurre al minimo fino a scontrarsi coi limiti dati dal sistema operativo, problemi derivati dalla compressione dei vari formati multimediali - che non sempre conviene)
• Mappatura dei keyframe, accenni sulla gestione dei "salti" operando su derivate e gestione di offset
• Metodi sicuri e univochi per gestione di dati senzaperdita di coerenza

• In classe sono stati visti i seguenti programmi:

Sensori:

EyesWeb ( http://www.infomus.dist.unige.it/eywindex.html - analisi dei segnali video e riconoscimento del movimento - piattaforma windows - freeware)

R etina

Signal Processing:

Processing ( http://processing.org/ - linguaggio di programmazione java-oriented ottimizato per la gestione di dati multimediali - multipiattaforma winows linux mac osx - freeware)

Max/MPS + jitter ( http://www.cycling74.com/ - linguaggio visuale modulare ad oggetti basato per gestione la del suono e del video - windows mac osx - private software)

PureData ( http://puredata.info/ - versione freeware di maxmsp scritta in c, piattaforma grafica per la sintesi di suono e video - multipiattaforma windows linux mac osx - freeware )

Render:

Ogre ( http://www.ogre3d.org/ - motore 3d scene-oriented sviluppato in c++ - multipiattaforma windows linux mac osx - freeware)

Neoclide

Modul8 ( http://www.garagecube.com/ - programma di vjing per la gestione realtime di video - mac osx - private software )

Arkaos ( https://www.arkaos.net/ - programma di vjing per la gestione realtime interattiva di video - windows mac osx - provate software )

Suono:

CSound ( http://csounds.com/ - programma per la sintesi sonora realtime - multipiattaforma windows linux mac osx - freeware )

Protocolli:

OSC ( http://www.cnmat.berkeley.edu/OpenSoundControl/ - OSC, OpenSoundControl, è un protocollo molto flessibile che serve per trasmettere dati tra software differenti, hardware->software, software->hardware )

DMX ( http://it.wikipedia.org/wiki/Digital_MultipleX - Digital MultipleX, sviluppato nel 1986 su commissione della USITT (Istituto Americano delle Tecnologie Teatrali) per creare uno standard efficiente per la comunicazione tra console e dimmer, è un protocollo di trasmissione dati che si avvale dello standard internazionale EIA RS485 )

ed è stato espressamente consigliato un approfondimento da parte di ogni singolo studente

Lezione del 22/03/2007

esperimenti in classe con neoclide e eyesweb

considerazioni sulla comunicazione fruitore-sensore-macchina-feedback come linguaggio post-simbolico (usare simboli che non hanno significati ovvi, codificati ma non simbolici per un ipotetico fruitore qualunque, processo di feedback come processo non deliberato, senza motivo strategico; es. l'attore munito di guanti dataglove che muovendo un dito controlla elementi scenografici, lo spostamento volontario delle dita è un'atto di comunicazione con il pubblico codificato ma privo di significato simbolico fuori dal palco)

interfaccia naturale come interaccia non arbitraria (situata "prima" di sovrastrutture preconcette culturali e tecnlogiche; es. movimento paritetico come la semplice deambulazione in uno spazio)

Lezione del 29/03/2007

Lezione base su Processing, struttura generale, setup() e draw(), prime funzioni geometriche line() rect() e variabili di interazione mouseX,mouseY

Si ricordano le seguenti buone attitudini di programmazione:

se non capisci perchè non disperare, il manuale di riferimento ha sempre ragione.

indentare può salvare la vita

Link

http://www.biologie.uni-hamburg.de/b-online/e28_3/lsys.html#OVR http://pages.cpsc.ucalgary.ca/~pwp/bmv/vlab-for-linux/html-docs/environment.html#NEW

particle show: super nova (robert hodgin) grass (barbarian group)

multimonitor: run, mpe (shiffman) kaleido (suzung kim)

image processing: shadow monster (philip worthington) manual input session, messa di voce (levin / lieberman)

hardware: piexel roller (rAndom International) suddenMotion (Shiffman student)

Lezione del 12/04/2007

Protocolli di trasmissione

Porta seriale: uno per volta, uno dietro l'altro. se si parla di trasmissione dati seriale allora l'informazione viene inviata in forma di impulsi elettromagnetici in fila indiana. ciascun impulso puo' rappresentare uno o piu' bit. il computer per comunicare con gli altri computer dispone delle porte di comunicazione. la piu' diffusa porta seriale nei PC e' quella che corrisponde alle specifiche di uno standard internazionale denominato RS232-c, comunemente abbreviato con RS232. In altri termini e' uno standard del livello fisico. tale interfaccia prevede 25 fili e quindi 25 pin (piedini) che realizzano specifiche mansioni ove ognuna di queste e' numerata da 1 a 25. RTS: segnale Request To Send. Es: il DTE del provider chiede al modem se può trasmettere. CTS: Clear To Send, segnale che il ricevente invia al mittente per avvertirlo che può iniziare l'invio dei bit.

Midi v.s. Seriale MIDI: Musical Instruments Digital Interface: standard per lo scambio dati di strumenti musicali elettronici. I file midi sono costituiti da una serie di comandi "Seleziona strumento 4", "Nota A on", "Nota A off" ecc. Il suono viene prodotto dal generatore (sintetizzatore) sonoro, in altri termini dalla scheda audio installata nel PC. Sara' proprio la scheda audio a determinarne la qualita'. I file midi sono disponibili anche in Internet ed hanno dimensioni ridottissime proprio per il fatto che contengono solo comandi e non musica (cfr. mp3). http://it.wikipedia.org/wiki/Musical_Instrument_Digital_Interface

Nozioni di DSP pitch bander, controller, control changer, frame rate

pic: circuito integrato a semiconduttore con funzioni di microcontrollore. si rimanda a http://it.wikipedia.org/wiki/PIC_(microcontrollore)

arduino: http://www.arduino.cc/ piattaforma hardware opensurce per controllare i/o fra diversi switch o sensori

controllo ttl: cicruito integrato a transistor (http://www.decision-computer.de/)

interruttori e relè sensori audio differenziali analisi di zero-crossing pc-com

formati video, compressione temporale, mpeg2. gop e predicted frame, forte compressione ma difficoltà nello slowmotion e nel reverse standard mpeg programmabile codifica a constant bit-rate v.s. variable bit rate stanrd dvd, blueray decadimento della qualità nella compressione: artefatti di compressione compressione distruttiva e non.

interfacce aptiche: etimologia: deriva dal greco "apto", che significa tocco: con questo attributo si intende quindi qualcosa che ha a che fare con il tatto. sistemi robotici che permettono una comunicazione di stimoli attraverso il senso del tatto, possono essere usati per la navigazione di ambienti virtuali (joystick per spostarsi dentro un videogioco). viene a crearsi quindi un canale di comunicazione bidirezionale - cioè gli stimoli generati sono intimamente indipendenti dalle azioni del corpo umano.

introduzione a puredata