Cezary Duchnowski Programowanie obiektowe w multimediach ...

Cezary Duchnowski
Programowanie obiektowe w multimediach. Środowisko MaxMSP firmy Cycling74.
I. Patcher, organizacja pracy w środowisku max/msp.
1. Charakterystyka obszarów max, msp i jitter.
2. Porządkowanie obiektów i połączeń w rama okna patcherach.
3. Subpatchery.
4. Inspektor Patchera.
II. Obiekty, system połączeń.
1. Argumenty, atrubuty obiektów.
2. Połączenia bezkablowe.
III. Operacje abstrakcyjne.
1. Obiekty automatycznych akcji, kontrola czasu.
2. Kontrola muzycznego czasu, tempo, transport.
3. Delay, timer, clocker.
IV. Interfejsy numeryczne.
V. Struktury danych i prawdopodobieństwa.
VI. MIDI, konfiguracja systemu, porty midi.
VII. MIDI, konfiguracja systemu, porty midi.
VIII. Obiekty i komunikaty midi.
1. Kodowanie i dekodowanie midi.
IX. Komunikacja zewnętrzna.
1. Komunikacja sieciowa – UDP
X. Dystrybucja sygnału audio.
1. Bramkowanie, przesyłanie, krosowanie sygnału audio.
XI. Kontrola audio, techniki syntezy.
1. Sampling.
2. Synteza tablizowa.
3. Reprezentacje klasycznych technik syntezy.
4. Mapowanie midi do audio.
5. Szybka transformata Furiera.
XII. Odtwarzanie klipu video QuickTime.
XIII. Video w czasie rzeczywistym.
XIV. Matrix.
1. Proste przenikanie klipów video jako przykład integracji procesów Jitter z operacjami
maxa.

Niniejszy skrypt omawia ogólne zasady pracy w MaxMSP umoŜliwiające rozpoczęcie
programowania oraz dalszą penetrację moŜliwości tego otwartego środowiska. Praca
zawiera opis podstawowych obiektów. Przykłady są aktywne tylko w skrypcie w formie
aplikacji. Format tekstowy zawiera jedynie poglądowe schematy oraz zrzuty okien.
Programowanie w środowisku max/msp polega na łączeniu tzw. obiektów w
przestrzeni patchera lub między patcherami.
Pasek Narzędzi Patchera:
1. Przełącznik stanu pracy
Patcher przyjmuje 2 podstawowe stany:
- lock (stan pracy)
- unlock (stan edycji)
Stan "Unlock" umoŜliwia umieszczanie oraz łączenie obiektów. Umieścić obiekt w przestrzeni
patchera
2. Przycisk wprowadzania nowego obiektu
3. Przycisk nawigacji zbliŜenia
4 . Przycisk przełączenia się w tryb prezentacji.
Tryb prezentacji umoŜliwia porządkowanie przestrzeni roboczej patchera poprzez
wyświetlanie manipulatorów, elementów interfejsu oraz obiektów monitorujących i ukrywanie
pozostałych obiektów oraz połączeń.
5. Przycisk wywołania inspektora wyselekcjonowanego obiektu.
Stałe lub domyślne ustawienia obiektów a takŜe patcherów moŜna definiować z poziomu
tzw. inspektora. MoŜna wywołać go z poziomu paska narzedzi patchera, menu głównego lu
menu podręcznego.
6., 7. Przyciski nadrzędności wyświetlania obiektów.
8. Przycisk wyświetlania lub ukrywania siatki patchera
9. Włączanie lub wyłączanie wyrównywania elementów patchera do zdefiniowanej siatki.

Charakterystyka obszarów max, msp i jitter.
Max, najstarszy genetycznie obszar środowiska, obejmuje operacje liczbowe,
zorientowanych na format midi.
Msp to zbiór obiektów związanych z przetwarzaniem sygnały audio. Obiekty msp posiadają
w nazwie zawsze znak "~". Połączenie msp równieŜ wyróŜnione jest linią w kolorze Ŝółtym.
Jitter jako zbiór obiektów związanych ze strumieniem video. Obiekty jitter poprzedzone są
zawsze prefixem "jit." Połączenia strumienia video oznaczone jest linią w kolorze zielonym.

Porządkowanie obiektów i połączeń w rama okna patcherach.
Obiekty moŜna wyrównywać w pionie lub w poziomie przy pomocy komendy "align" z menu
"Arrange" lub przy pomocy skrótu cmd+Y.
Obiekty moŜna zagnieŜdŜać w oknie zgodnie z siatką patchera przywoływaną z paska
narzędzi lub menu "Viev". Aktywowanie automatycznego wyrównywania do siatki odbywa się
przy pomocy funkcji "snap to grid"
[pasek narzędzi lub menu "View"]. Obie funkcje są aktywne tylko z poziomu patchera w
stanie edycji.

Patchery w patcherach.
Jednym ze sposobów na zredukowanie ilości obiektów i kabli w oknie patchera jest
organizowanie grup obiektów w subpatchery czyli patchery w patcherze. Subpatcher jest
obiektem, który po otwarciu jest niezaleŜnym oknem.
Przy pomocy obiektów "inlet", "in", "outlet","out" moŜliwe jest zdefiniowanie dowolne ilości
wejść i wyjść w celu komunikacji z patcherem nadrzędnym.
Aby zdefiniować wejścia i wyjścia naleŜy z palety obiektów wybrać odpowiednio obiekty
"inlet" i "outlet" lub "in" i "out"

Inspektor Patchera
Ustawienia domyśle oraz wygląd okna patchera moŜna definiować z poziomu Inspektora
patchera. MoŜemy przywołać go z menu kontekstowego wywołanego w wolnym polu okna
lub z menu "View".
Podstawowymi elementami języka max/msp są obiekty oraz komunikaty.
Aby wprowadzić obiekt naleŜy wejść w stan edycji.
MoŜna wstawić obiekt z poziomu paska narzędzi, menu głównego, kontekstowego lub przez
podwójne kliknięcie w wolnej przestrzeni patchera wywołując paletę obiektów.
Obiekty z interfejsem są opatrzone oryginalnymi ikonami i zgrupowane w palecie.
Obiekt wprowadza się przez wybór ikony z palety obiektów lub wprowadzenie nazwy w polu
obiektu.

Argumenty, atrubuty obiektów.
Obiekt to mały program realizujący określone zadania na podstawie zaimplementowanych
na stałe lub wprowadzanych dynamicznie parametrów.
Większość obiektów umoŜliwia dynamiczną zmianę swoich parametrów (atrybutów) lub
właściwości poprzez wprowadzenie ich za pomocą komunikatów lub wartości do
odpowiednich wejść obiektu.
Argument to parametr umieszczony w polu obiektu po nazwie. Parametry moŜna wprowadzić
specjalnie dedykowanym wejściem lub w postaci komunikatu z poprzedzoną nazwą atrybutu.
Metro to obiekt wysyłający impuls (bang) w określonym interwale czasowym. Interwał
wyznaczony jest przez argument ale moŜna go zmienić wprowadzając nową wartość
bezpośrednio prawym wejściem lub lewym wejściem, w postaci komunikatu z poprzedzoną
nazwą atrybutu w tym wypadku to "interval"
Przy aktywnej opcji "Assistance" [menu "Option"] pojawia się opis wejść i wyjść obiektu.
Atrybuty a takŜe inne właciwości obiektu moŜna definiować w inspektorze obiektu. Inspektor
obiektu moŜna wywołać z menu "Object" lub paska narzędzi. Specjalna pozycja myszki z
lewej strony obiektu ujawnia ikonę wywołującą inspektor.
Obiekty posiadają wejścia u góry i wyjścia u dołu w celu łączenia ich między sobą.

Środowisko umoŜliwia takŜe komunikację bezkablową. Najczęściej odbywa się ona przy
pomocy obiektów "send" i "receive" w przypadku maxa oraz "sed~" i receive~" w przypadku
sygnału msp.
Istnieje grupa obiektów, które zajmują się bezkablowym przesyłanie danych.
System pomocy zorganizwany jest w formie aktywnych patcherów. KaŜdemu obiektowi
dedykowano indywidualny patcher pomocy. MoŜna przywołać go przez kliknięcie na obiekt z
wciśniętym klawiszem "alt" lub z menu kontekstowego.
Obiekty "numbers" i listy danych.

Do odbierania, wysyłania bądź wyświetlainia liczb naturalnuch słuŜy obiekt "number"
Odpowiednikiem pracującym na liczbach rzeczywistych jest "float".
Max często operuje danymi zgrupowanymi w tzw, listy, Do konstruowania, porządkowania i
przetwarzania list słuŜą takie obiekty jak: "pack", "unpack", "pak", "czy "zl".
Grupa obiektów "zl" zajmuje się przetwarzaniem list.
Szczegółowe instrukcje o obiektach zl moŜna odnaleźć w pliku pomocy: zl.maxhelp
przykład:
Przy pomocy obiektu "makenote" moŜemy skonstruować nutę midi o zadanym czasie
trwania. Atrybuty moŜna wprowadzać niezaleŜnie dedykowanymi wejściami lub w postaci
listy.
Proste operacje matematyczne.
Obiekty automatycznych akcji, kontrola czasu.

metro
"Metro" jest obiektem wysyłającym impuls (bang) w określonym interwale czasowym. MoŜna
go zmieniać dynamicznie wprowadzając nową wartość atrybutu "interval" w prawym wejściu.
counter
"Counter" to swoisty licznik z moŜliwością zdefiniowania kierunku, wartości minimalnej i
maksymalnej liczenia.
Kontrola muzycznego czasu, tempo, transport.
tempo
"Transport" jest połączeniem obiektów: "metro" i "counter" operującym wartościami czasowe
charakterystyczne dla terminologii muzycznej.

transport
"Transport" pozwala na globalną kontrolę czasu i raport jednostek metrycznych w ramach
zdefiniowanego tempa BPM i metrum.
delay
"Delay" opóźnia impuls o zdefiniowany interwał czasowy.

clocker
"Clocker" wyświetla upływający czas w milisekundach lub jednostkach metrycznych w
synchronizacji z naczelnym transportem.
Interfejsy numeryczne.
Slider, dial
"Multislider" to obiekt łączący w sobie kilka suwaków. Ich wartości wysyłane są w postaci
listy. "Rslider" pozwala przy pomocy specjalnego interfejsu zdefiniować zakres wartości.
"Nslider" wysyła wysokość wyświetlanej nuty. "Pictslider" pozwala definiować połoŜenie
względem osi x, y

Struktury danych i prawdopodobieństwa.
tablice
"Table" i "itable" to obiekty zapisujące pary liczb umoŜliwiające prostą edycję w polu osi x i y.
Do mapowania, indeksowania oraz innego typu porządkowania danych słuŜą obiekty:
"funbuff" coll, histo.
Obiekt "coll" zajmuje się indeksowaniem danych. W tym przypadku mogą być to zarówno
liczby rzeczywiste jak i symbole. Istnieje moŜliwość edycji danych w podstawowym edytorze

tekstowy po podwójnym kliknięciu obiektu.
MIDI
Max komunikuje się przy pomocy formatu midi poprzez fizyczne porty podłączonych do
komputera interfejsów midi lub przez wirtualne 2 porty "to MaxMSP", "from MaxMSP". Aby
łatwo definiować porty midi przypisuje się im skróty w oknie "MIDI Setup" wywoływanym z
poziomu manu "Option"
Generalnie komunikacja midi odbywa się przy pomocy obiektów "midiin" i "midiout". Istnieją
jednak specjalne obiekty wysyłające i przyjmujące konkretne typy komunikatów midi np.
komunikaty "note on" moŜna przesyłać przy pomocy obiektów "notein", "noteout";
komunikaty "control change"- przy pomocy obiektów "ctlin", "ctlout".
Aby zdefiniować port midi naleŜy przypisany mu skrót lub dokładną systemową nazwę
umieścić jako pierwszy argument. MoŜna takŜe przy pomocy podwójnego kliknięcia w obiekt
wybrać port z menu podręcznego.
Obiekt "midiinfo" pozwala zidentyfikować wszystkie dostępne w systemie porty midi.

Obiekty i komunikaty midi.
Przy pomocy obiektu "notein" max widzi wszystkie komunikaty typu note on/off przychodzące
zdefiniowanym portem, np. z zewnętrznej klawiatury midi.
Analogiczne przy pomocy obiektu "noteout" dwu- lub trzy elementowa lista liczb moŜe być
sformatowana i wysłana jako komunikat "note on/off".
Podobnie działają obiekty "ctlin", "ctlout" przetwarzające komunikaty typu "control change".

Kodowanie i dekodowanie midi.
Format midi moŜna rozkodować przy pomocy obiektu "midiparse".
Wygenerowane w środowisku max dane moŜna zakodować w midi i wysłać zdefiniowanym
portem midi.

Komunikacja zewnętrzna.
Interfejsy midi nie są jedyną formą kontaktu świata zewnętrznego z maxem. Do kontroli
danych moŜna uŜyć klawiatury komputerowej, trackpada a takŜe innych urządzeń
peryferyjnych tzw. human interfaces działających w z systemem operacyjny komputera np.
joystick na USB.
Obiekt "key" wyświetla kod naciśniętego klawisza klawiatury komputera.
Obiekt "keyup" analogicznie wyświetla kod zwolnionego klawisza klawiatury komputera
"hi" pozwala przejąć wartości manipulatorów zewnętrznych.
Komunikacja sieciowa - UDP
Dane moŜna przesyłać trakŜe przy uŜyciu protokołu sieciowego UDP. Zajmują się tym
obiekty: "udpsend" oraz "udpreceive". "udpsend"" wymaga zdefiniowania adresu IP lub
nazwy hosta stacji docelowej oraz numeru portu przesyłu danych. Natomiast "Udpreceive"
wymaga w argumencie numeru portu.

Dystrybucja sygnału audio.
Aby umoŜliwić dystrybucję sygnału audio naleŜy uaktywnić tzw. DSP (Digital signal
processing).
Ustawień systemu audio moŜna dokonać z poziomu okna "DSP Status" wywołanego z menu
"Option".
Tu naleŜy wybrać sterownik interfejsu audio, jego parametry pracy a takŜe mapowanie
wirtualnych i fizycznych wejść oraz wyjść systemu audio.
Wejście sygnału audio moŜliwe jest przez obiekt "adc~" zaś wyjście przez obiekt "dac~".
Uruchomienie systemu audio moŜliwe jest takŜe poprzez podłączony do "dac~" lub "adc~"
włącznika (toogle). Włączenie i wyłączenie systemu audio dotyczy wszystkich patcherów.
Podobnie działają komunikaty "start" i "stop". Przy uŜyciu komunikaty "startwindow" moŜliwe
jest uruchomienie DSP tylko w danym patcherze i jego subpatcherach
Obiekty "ezadc~" i "ezdac~" to dwukanałowe wersje "adcZ" i "dac~". Posiadają interfejs
graficzny w postaci przycisków aktywujących lub dezaktywujących system DSP.

Bramkowanie, przesyłanie, krosowanie sygnału audio.
Argumenty obiektów adc~ i dac~ definiują wirtualne kanały systemu DSP. O tym jakie są im
przypisane fizyczne kanały interfejsu audio decyduje konfiguracja "I/O Mapping" w "DSP
Status".
MoŜliwe jest równieŜ bezkablowe przysałnie sygnału audio przy pomocy obiektów "send~",
"receive~".
Obiekt "matrix~" umoŜliwia dowolne krosowanie sygnałów audio. Argument określa ilość
wejść i wyjść. Obiekt "matrixctrl" pozwala w prosty sposób kontrolować krosowanie.

Kontrola audio, techniki syntezy.
Kontrola poziomu. Aby zmienić poziom sygnały wystarczy go pomnoŜyć przez wartoś
z pzredziału 0 - 1.
Głównym narzędziem do czytania próbki z tablicy jest obiekt "buffer~". Sposobów czytania z
tablicy jest wiele. Są one uzaleŜnione od sposobu i wygody dokonywanych operacji. Do
bufora moŜna wczytać próbkę przy pomocy komunikaty "read" lub wprowadzić jej nazwę w
polu argumentów. Argumentem jest nazwa bufora oraz opcjonalnie nazwa piliku
dźwiękowego, czas w ms i ilość kanałów.
Podwójne kliknięcie w obiekt buffer~ powoduje wyświetlenie obwiedni amplitudy wczytanej
próbki.

Sampling, nagrywanie i odtwarzanie audio.
Do czytania plików dźwiękowych z dysku słuŜy obiekt "sfplay~". Czyta formaty AIFF,
NeXT/SUN(.au), WAVE i Raw - maksymalnie 32-kanałowe.

Synteza tablicowa, play~, record~, groove~.
Podstawowe obiekty pracujące na obiekcie buffer~ to "play~", "groove~" i "record~". "Play~",
"groove~" zajmują się czytaniem z bufora natomiast "record" zapisywaniem do bufora.

Obiekt "record~".

Synteza addytywna.
FM - Modulacja częstotliwości.
AM - Modulacja amplitudy.
Waveshaping - Modulacja kształtowania fali.

Mapowanie midi do audio.
Przy pomocy midi moŜna kontrolować parametry audio.
Kontrola amplitudy przez midi.
Kontrola wysokości przez midi.

Szybka transformata Furiera.
MaxMSP umoŜliwia szybką transformatę Fouriera i operację na zanalizowanym materiale.
W ramach subpatchera "pfft" moŜna dokonywać operacji spektralnych.
"Gizmo~" jest obiektem pracującym w ramach subpatchera pfft.

Odtwarzanie klipu video QuickTime.
Obiekt "jit.qt.movi" umoŜliwia odtworzenie klipu vide w formacie zgodnym z Quick Time.
Video w czasie rzeczywistym.
Zewnętrzny sygnał video moŜna przechwytywać przy pomocy obiektu "jit.qt.grab. Istnieje
moŜliwość zapisania przechwyconego sygnału na dysku.

Matrix
Matrix jest rodzajem wielopoziomowej pamięci, pozwalającej na modyfikacje duŜej ilości
danych poprzez umieszczanie ich w wirtualnej siatce.

Proste przenikanie klipów video jako przykład integracji procesów Jitter z operacjami maxa.
Środowisko MaxMSP/Jitter z łatwą moŜliwością syntezy i resyntezy sygnału midi, audio oraz video
pozwala na praktycznie nieograniczoną kontrolę, organizację a takŜe interakcje parametrów mediów
audialnych i wizualnych.
Więcej przykładów i szczegółowy opis obiektów, ich zastosowań moŜna odnaleźć w precyzyjnie
opracowanym systemie pomocy wraz z pakietem „Tutorials“.