• home
  • O projekcie
  • Miniaturowe know-how
  • Język
    • Polski
    • English
Mi

Tryptyk o ciężarze słów. Część II: Deszcz

fizyczność słów, ciało
Podgląd: EN Podgląd: PL Podgląd: UA
Parametry
gui
pointer
lang
stt
mask
invert
mirror
continuous
interim
txtcol
blktxtcol
blkdur
coldevr
coldevg
coldevb
coldeva
blk
resetitempos
Opis

Litery spadające w dół zatrzymują się na konturach sylwetki, układając się w słowa wychwycone przez system rozpoznawania mowy wbudowany w przeglądarkę.

Praca nawiązuje do instalacji Text Rain Romy’ego Achituva i Camille Utterback, lecz zamiast z góry zapisanego wiersza wykorzystuje język użytkownika – słowa wypowiadane tu i teraz.

Deszcz zamienia język w zmysłowy kontakt – słowa spadają na ciało jak krople, często znikając, zanim zdążą zostać przeczytane.

Czytaj więcej

„Deszcz”

Druga część „Tryptyku o ciężarze słów”, czyli „Deszcz” nawiązuje do instalacji interaktywnej Romy’ego Achituva i Camille Utterback „Text Rain” z 1999 roku. W instalacji Achituva i Utterback litery spadające w dół zatrzymują się na krawędziach ciał osób przebywających w monitorowanej przestrzeni, formując słowa wiersza “Talk, You” Evana Zimrotha i niejako ucieleśniając proces czytania. „Deszcz” podobnie jak w pierwszej części „Tryptyku”, nie korzysta jednak z gotowego tekstu, stawiając na AI i system rozpoznawania mowy wbudowany w przeglądarki i podążający za wypowiedziami osób korzystających z Miniatury. Rudymentarny system detekcji konturów ciał zastosowany w oryginalnej instalacji (bazujący na prostym mechaniźmie zakładającym, że wszystko, co w monitorowanej przez kamerę przestrzeni jest ciemniejsze od jasno oświetlonej ściany w tle jest przeszkodą zatrzymującą opadanie liter) również zastąpiony został przez AI i podstawowy machanizm segmentacji obazu wydobywający z tła kontury ciał, ale nie wymagający specjalnej aranżacji i oświetlania przestrzeni, czy też starannego dobierania tła.

w naszej książce o instalacjach interaktywnych znajduje się mój tekst omawiajacy „Text Rain” — można skorzystać z fragmentów lub „przedrukować” całość

„Tryptyk o ciężarze słów” łączy trzy Miniatury w większą całość rozpatrującą tytułowe zagadnienie i pogrywającą z nim, a bazuje na dwóch źródłach inspiracji.

Pierwsze z nich to (meta?)metaforyka mówienia o języku, a szczególnie o słowach, opowiadajac o których, opisując je, nadaje się im fizyczne właściwości, zwłaszcza ciężar i masę. Tego typu metafory produkują zarówno literatura, jak język potoczny (być może skłonność do rycia słów uważanych za ważne w ciężkich, masywnych obiektach — kamieniach nagrobnych, kolumnach, na cokołach pomników, itp. — i inne podobne aktywności również stanowią emanację tego samego fenomenu). Nadawanie słowom fizycznych atrybutów jest praktyką ponadkulturową i sprawia wrażenie naturalnej ludzkiej predyspozycji niewymagającej specjalnego treningu, przychodząc wraz z navywaniem kompetencji językowych. Siła takiej praktyki wydaje się korespondować z istotnością mózgowego systememu fizyki intuicyjnej, w jaki wyposażyła ludzi ewolucja (i z koncepcjami estetyki ewolucyjnej w ogólności) — w tym przypadku byłaby ona pięknym przykładem kulturotwórczego potencjału ubocznych skutków działania mechanizmów doboru naturalnego. Spadajace i tonące słowa, poddawane działaniu grawitacji i oporowi gęstych ośrodków, w których to spadanie się odbywa lub po prostu natrafiające na twarde przeszkody zakotwiczają proces czytania w parametrach świata fizycznego.

Drugie ze źródeł inspiracji dotyczy fizycznej natury informacji (a więc i „zawartości” języka oraz słów) i hipotezy równoważności masy/energii/informacji (M/E/I). W myśl hipotezy M/E/I informacja jest wielkością fizyczną, którą można powiązać z energią niezbędną do zmiany lub skasowania pojedynczego bitu informacji. W bardzo dużym uproszczeniu hipotezę można wyjaśnić odwołując się do tzw. reguły Landauera (zasady fizycznej mówiącej, że wymazanie pojedynczego bitu informacji wymaga co najmniej pewnej minimalnej energii, która jest proporcjonalna do temperatury układu — wymazywanie informacji pociąga zatem za sobą wzrost entropii, np. w temperaturze pokojowej wymazanie bitu „kosztuje” 3 x 10 do potęgi -21 dżuli). Reguła Landauera wyznacza teoretyczną sprawność każdego wyobrażalnego komputera, ale przede wszystkim wiąże informację z wartościami energii potrzebnymi do jej zmiany. Angażując nieco więcej wzorów z dziedziny termodynamiki, teorii informacji Shannona i pamiętając o regule równoważności materii i energii (E=mc2) można wyliczyć masę bitu informacji w temperaturze pokojowej (300°K, czyli 26,85°C), która wynosi 3.19 × 10 do potęgi -38 Kg. Nie jest to duża masa i eksperymentalne potwierdzenie (lub obalenie) hipotezy równoważności masy/energii/informacji nie jest w tej chwili możliwe na drodze eksperymentalnej. Hipoteza M/E/I jest szeroko dyskutowana wśród badaczek i badaczy eksplorujacych pogranicze fizyki i biologii, np. starających się zdefiniować wyróżniki życia — istnieją koncepcje zwracające uwagę na wyjątkową sprawność energetyczną niektórych procesów życiowych, zbliżających się do bariery wyznaczonej przez Landauera. Słynny myślowy eksperyment Jamesa Clerka Maxwella („demon Maxwella”) we współczesnej wersji również jest rozbudowany o refleksję nad stojącym przed demonem zadaniem związanym ze zdobywaniem i przetwarzaniem informacji o świecie i ponoszonym w związku z tym wydatkiem energetycznym.

Dokumentacja techniczna

Parametry przekazywane przez adres URL

  • gui 0 lub 1; domyślnie 1; chowa/pokazuje panel z interfejsem graficznym
  • famo user | environment (lub env); domyślnie user; [facingMode] pozwala wymusić użycie przedniej (user) lub tylnej (environment) kamery na urządzeniach, które są wyposażone w podwójne kamery/aparaty (większość współczesnych urządzeń mobilnych)
  • pointer 0 lub 1; domyślnie 1; chowa/pokazuje kursor myszy
  • worker 0 lub 1; domyślnie 0; umożliwia zablokowanie wbudowanych w przeglądarkę mechanizmów zatrzymywania pracy programu kiedy okno nie jest widoczne
  • lang en lub pl; domyślnie en; ustawia język interfejsu (istnieje możliwość dodania kolejnych języków)
  • stt 0 lub mnemonic języka w standardzie ISO; wyłącza (0) system detekcji mowy lub ustala język (spośród dostępnych dla użytej przeglądarki) w którym ten system pracuje (mnemonic ISO); więcej informacji: http://www.lingoes.net/en/translator/langcode.htm
  • mask 0 lub 1; domyślnie 0; wyłącza/włącza maskowanie tła (przełącznik „mask”)
  • invert 0 lub 1; domyślnie 0; wyłącza/włącza odwracanie koloru tekstu (przełącznik „invert”)
  • mirror 0 lub 1; domyślnie 0; wyłącza/włącza lustrzane odbicie obrazu z kamery (przełącznik „mirror”)
  • continuous 0 lub 1; domyślnie 1; wyłącza/włącza przetwarzanie ciągłych („continuous”) fraz wychwyconych przez system detekcji mowy
  • interim 0 lub 1; domyślnie 1; wyłącza/włącza przetwarzanie roboczych („interim”) fraz wychwyconych przez system detekcji mowy
  • txtcol kolor tekstu w standardowym zapisie szesnastkowym 0xRRGGBB
  • blktxtcol kolor tekstu w momencie „błysku” w standardowym zapisie szesnastkowym 0xRRGGBB
  • blkdur (ms) ustawia domyślny czas „błysku” litery po wymianie na nową
  • buf domyślnie 70; wielkość bufora przechowującego litery oczekujące na „wstawienie” na ekran
  • coldevr domyślnie 0.2; randomizacja wartości koloru tekstu dla składowej czerwonej (r)
  • coldevg domyślnie 0.2; randomizacja wartości koloru tekstu dla składowej zielonej (g)
  • coldevb domyślnie 0.2; randomizacja wartości koloru tekstu dla składowej błękitnej (b)
  • coldeva domyślnie 0.0; randomizacja wartości koloru tekstu dla transparencji (a)
  • blk 0 lub 1; domyślnie 1; („blink”) wyłącza/włącza „błysk” w momencie wymiany litery
  • font nazwa czcionki użytej do wyświetlania tekstu
  • resetitempos 0 lub 1; domyślnie 0; wyłącza/włącza reset poziomej i pionowej pozycji „strumienia” tekstu przy zamianie jego zawartości na nową
  • emit 0 lub 1; domyślnie 0; wyłącza/włącza nadawanie przez web socket rezultatów pracy silnika STT
  • ws adres; domyślnie wyłączone; włącza i ustala adres (zwykle localhost:9001) dla komunikacji poprzez WebSocket (umożliwia zewnętrzne sterowanie Miniaturą i dostosowanie do własnych potrzeb)
  • xws adres; domyślnie wyłączone; włącza i ustala adres (zwykle ws://localhost:9001) ze wskazaniem protokołu dla komunikacji poprzez WebSocket (umożliwia zewnętrzne sterowanie Miniaturą i dostosowanie do własnych potrzeb)
  • w pozioma rozdzielczość kamery
  • h pionowa rozdzielczość kamery

Komunikaty przekazywane przez WebSocket

Komunikaty, na które reaguje Miniatura

  • str fraza (string) tekstu z zewnętrznego źródła

Komunikaty wysyłane przez Miniaturę

  • rain stt fraza (string) tekstu z wewnętrznego systemu STT miniatury

MIDI

Komunikaty, na które reaguje Miniatura

nie dotyczy

Komunikaty wysyłane przez Miniaturę

nie dotyczy

Komunikacja z MaxMSP

Komunikaty, na które reaguje Miniatura

nie dotyczy

Komunikaty wysyłane przez Miniaturę

nie dotyczy

Kod źródłowy

index.html

sketch.js

device.js

gui.js

p5.stt.js

roi.js

worker.js

ws.js

colorprocessor.frag

colorprocessor.vert

Cgk8ZGl2IGNsYXNzPSJqcy1tYWlubWVudSI+CgkJPGRpdiBjbGFzcz0ibWVudS1tYWlubWVudS1jb250YWluZXIiPjx1bCBpZD0ibWVudS1tYWlubWVudS0xIiBjbGFzcz0ibWVudSI+PGxpIGNsYXNzPSJtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtcG9zdF90eXBlIG1lbnUtaXRlbS1vYmplY3QtcGFnZSBtZW51LWl0ZW0taG9tZSBtZW51LWl0ZW0tMzI3Ij48YSBocmVmPSJodHRwczovL21pLndyb2NlbnRlci5wbC8iPmhvbWU8L2E+PC9saT4KPGxpIGNsYXNzPSJtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtcG9zdF90eXBlIG1lbnUtaXRlbS1vYmplY3QtcGFnZSBtZW51LWl0ZW0tMzI1Ij48YSBocmVmPSJodHRwczovL21pLndyb2NlbnRlci5wbC9vLXByb2pla2NpZS8iPk8gcHJvamVrY2llPC9hPjwvbGk+CjxsaSBjbGFzcz0ibWVudS1pdGVtIG1lbnUtaXRlbS10eXBlLXBvc3RfdHlwZSBtZW51LWl0ZW0tb2JqZWN0LXBhZ2UgbWVudS1pdGVtLTk2NCI+PGEgaHJlZj0iaHR0cHM6Ly9taS53cm9jZW50ZXIucGwvbWFudWFsLyI+TWluaWF0dXJvd2Uga25vdy1ob3c8L2E+PC9saT4KPGxpIGNsYXNzPSJxdHJhbnhzLWxhbmctbWVudSBxdHJhbnhzLWxhbmctbWVudS1wbCBtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtY3VzdG9tIG1lbnUtaXRlbS1vYmplY3QtY3VzdG9tIG1lbnUtaXRlbS1oYXMtY2hpbGRyZW4gbWVudS1pdGVtLTMyOCI+PGEgaHJlZj0iIyIgdGl0bGU9IlBvbHNraSI+SsSZenlrPC9hPgo8dWwgY2xhc3M9InN1Yi1tZW51Ij4KCTxsaSBjbGFzcz0icXRyYW54cy1sYW5nLW1lbnUtaXRlbSBxdHJhbnhzLWxhbmctbWVudS1pdGVtLXBsIG1lbnUtaXRlbSBtZW51LWl0ZW0tdHlwZS1jdXN0b20gbWVudS1pdGVtLW9iamVjdC1jdXN0b20gbWVudS1pdGVtLTk2NSI+PGEgaHJlZj0iaHR0cHM6Ly9taS53cm9jZW50ZXIucGwvcGwvZGVzemN6LyI+UG9sc2tpPC9hPjwvbGk+Cgk8bGkgY2xhc3M9InF0cmFueHMtbGFuZy1tZW51LWl0ZW0gcXRyYW54cy1sYW5nLW1lbnUtaXRlbS1lbiBtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtY3VzdG9tIG1lbnUtaXRlbS1vYmplY3QtY3VzdG9tIG1lbnUtaXRlbS05NjYiPjxhIGhyZWY9Imh0dHBzOi8vbWkud3JvY2VudGVyLnBsL2VuL2Rlc3pjei8iPkVuZ2xpc2g8L2E+PC9saT4KPC91bD4KPC9saT4KPC91bD48L2Rpdj4JPC9kaXY+Cgk8YnV0dG9uIGNsYXNzPSJqcy1hMTF5Ij48aW1nIGFsdD0iV3lzb2tpIGtvbnRyYXN0IiBzcmM9Imh0dHBzOi8vbWkud3JvY2VudGVyLnBsL3dwLWNvbnRlbnQvdGhlbWVzL21pMjAyNi9pbWcva29udHJhc3Quc3ZnIj48L2J1dHRvbj4K
Tryptyk o ciężarze słów. Część II: Deszcz — Mi
KPO Unia Europejska #NextGenerationEU Rzeczpospolita Polska
WRO ART CENTER
  • O projekcie
  • Miniaturowe know-how