• home
  • O projekcie
  • Miniaturowe know-how
  • Język
    • Polski
    • English
Mi

Tryptyk o ciężarze słów. Część I: Toń

fizyczność słów
Podgląd: EN Podgląd: PL Podgląd: UA
Parametry
pointer
stt
bodies
continuous
interim
scale
txtcol
bgcol
dim
blur
fadedur
Opis

Pierwsza część Tryptyku nawiązuje do wideo-instalacji Tombe (avec les mots) Roberta Cahena.

Podobnie jak u Cahena, słowa spadają tu w dół, lecz zamiast gotowego tekstu pojawiają się wypowiedzi rozpoznawane w czasie rzeczywistym przez system sztucznej inteligencji wbudowany w przeglądarkę.

Miniatura przekształca mowę w wizualny proces – rozpoznane słowa „toną” w wirtualnej przestrzeni, poddane działaniu grawitacji i oporu tak, jakby język zyskał fizyczną masę.

Czytaj więcej

„Toń”

Pierwsza część „Tryptyku o ciężarze słów”, czyli „Toń” nawiązuje do video-instalacji Roberta Cahena „Tombe (avec les mots)” z 2000 roku. Cahen eksploruje w pracy podwójne znaczenie francuskiego słowa „tombe” oznaczająego zarówno grób, jak i opadanie, korzysta też z pionowo zorientowanego ekranu wyświetlającego animację powoli (niczym w gęstym ośrodku) opadajacych słów. „Toń” nawiązuje do ogólnej idei pracy Cahena, angażując jednak bazujacy na AI system detekcji mowy wbudowany w przeglądarki WWW do nasłuchiwania tego, co mówią osoby w zasięgu mikrofonu i budując kompozycję wizualną z rozpoznanych słów i zdań, którym nadawane są parametry fizyczne przy wykorzystaniu silnika fizyki stosowanego zwykle w grach komputerowych i różnego rodzaju symulacjach.

„Tryptyk o ciężarze słów” łączy trzy Miniatury w większą całość rozpatrującą tytułowe zagadnienie i pogrywającą z nim, a bazuje na dwóch źródłach inspiracji.

Pierwsze z nich to (meta?)metaforyka mówienia o języku, a szczególnie o słowach, opowiadajac o których, opisując je, nadaje się im fizyczne właściwości, zwłaszcza ciężar i masę. Tego typu metafory produkują zarówno literatura, jak język potoczny (być może skłonność do rycia słów uważanych za ważne w ciężkich, masywnych obiektach — kamieniach nagrobnych, kolumnach, na cokołach pomników, itp. — i inne podobne aktywności również stanowią emanację tego samego fenomenu). Nadawanie słowom fizycznych atrybutów jest praktyką ponadkulturową i sprawia wrażenie naturalnej ludzkiej predyspozycji niewymagającej specjalnego treningu, przychodząc wraz z navywaniem kompetencji językowych. Siła takiej praktyki wydaje się korespondować z istotnością mózgowego systememu fizyki intuicyjnej, w jaki wyposażyła ludzi ewolucja (i z koncepcjami estetyki ewolucyjnej w ogólności) — w tym przypadku byłaby ona pięknym przykładem kulturotwórczego potencjału ubocznych skutków działania mechanizmów doboru naturalnego. Spadajace i tonące słowa, poddawane działaniu grawitacji i oporowi gęstych ośrodków, w których to spadanie się odbywa lub po prostu natrafiające na twarde przeszkody zakotwiczają proces czytania w parametrach świata fizycznego.

Drugie ze źródeł inspiracji dotyczy fizycznej natury informacji (a więc i „zawartości” języka oraz słów) i hipotezy równoważności masy/energii/informacji (M/E/I). W myśl hipotezy M/E/I informacja jest wielkością fizyczną, którą można powiązać z energią niezbędną do zmiany lub skasowania pojedynczego bitu informacji. W bardzo dużym uproszczeniu hipotezę można wyjaśnić odwołując się do tzw. reguły Landauera (zasady fizycznej mówiącej, że wymazanie pojedynczego bitu informacji wymaga co najmniej pewnej minimalnej energii, która jest proporcjonalna do temperatury układu — wymazywanie informacji pociąga zatem za sobą wzrost entropii, np. w temperaturze pokojowej wymazanie bitu „kosztuje” 3 x 10 do potęgi -21 dżuli). Reguła Landauera wyznacza teoretyczną sprawność każdego wyobrażalnego komputera, ale przede wszystkim wiąże informację z wartościami energii potrzebnymi do jej zmiany. Angażując nieco więcej wzorów z dziedziny termodynamiki, teorii informacji Shannona i pamiętając o regule równoważności materii i energii (E=mc2) można wyliczyć masę bitu informacji w temperaturze pokojowej (300°K, czyli 26,85°C), która wynosi 3.19 × 10 do potęgi -38 Kg. Nie jest to duża masa i eksperymentalne potwierdzenie (lub obalenie) hipotezy równoważności masy/energii/informacji nie jest w tej chwili możliwe na drodze eksperymentalnej. Hipoteza M/E/I jest szeroko dyskutowana wśród badaczek i badaczy eksplorujacych pogranicze fizyki i biologii, np. starających się zdefiniować wyróżniki życia — istnieją koncepcje zwracające uwagę na wyjątkową sprawność energetyczną niektórych procesów życiowych, zbliżających się do bariery wyznaczonej przez Landauera. Słynny myślowy eksperyment Jamesa Clerka Maxwella („demon Maxwella”) we współczesnej wersji również jest rozbudowany o refleksję nad stojącym przed demonem zadaniem związanym ze zdobywaniem i przetwarzaniem informacji o świecie i ponoszonym w związku z tym wydatkiem energetycznym.

 

Dokumentacja techniczna

Parametry przekazywane przez adres URL

  • pointer 0 lub 1; domyślnie 1; chowa/pokazuje kursor myszy
  • worker 0 lub 1; domyślnie 0; umożliwia zablokowanie wbudowanych w przeglądarkę mechanizmów zatrzymywania pracy programu kiedy okno nie jest widoczne
  • stt 0 lub mnemonic języka w standardzie ISO; wyłącza (0) system detekcji mowy lub ustala język (spośród dostępnych dla użytej przeglądarki) w którym ten system pracuje (mnemonic ISO); więcej informacji: http://www.lingoes.net/en/translator/langcode.htm
  • bodies maksymalna ilość jednocześnie widocznych fraz
  • continuous 0 lub 1; domyślnie 1; wyłącza/włącza przetwarzanie ciągłych („continuous”) fraz wychwyconych przez system detekcji mowy
  • interim 0 lub 1; domyślnie 1; wyłącza/włącza przetwarzanie roboczych („interim”) fraz wychwyconych przez system detekcji mowy
  • scale domyślnie 1.0; ustala średnią wielkość bloków tekstu z frazami
  • txtcol kolor tekstu w standardowym zapisie szesnastkowym 0xRRGGBB
  • bgcol kolor tła w standardowym zapisie szesnastkowym 0xRRGGBB
  • dim 0.0 … 1.0; domyślnie 0.5; głębokość toni
  • blur 0.0 … 1.0; domyślnie 0.41; zakres rozmycia tekstu postępującego z głębokością zanurzenia
  • font nazwa czcionki użytej do wyświetlania tekstu
  • fadedur domyślnie 40000; wyrażony w milisekundach czas zanikania bloków tekstu
  • emit 0 lub 1; domyślnie 0; wyłącza/włącza nadawanie przez web socket rezultatów pracy silnika STT
  • ws adres; domyślnie wyłączone; włącza i ustala adres (zwykle localhost:9001) dla komunikacji poprzez WebSocket (umożliwia zewnętrzne sterowanie Miniaturą i dostosowanie do własnych potrzeb)
  • xws adres; domyślnie wyłączone; włącza i ustala adres (zwykle ws://localhost:9001) ze wskazaniem protokołu dla komunikacji poprzez WebSocket (umożliwia zewnętrzne sterowanie Miniaturą i dostosowanie do własnych potrzeb)

Komunikaty przekazywane przez WebSocket

Komunikaty, na które reaguje Miniatura

  • str fraza (string) tekstu z zewnętrznego źródła

Komunikaty wysyłane przez Miniaturę

  • depths stt fraza (string) tekstu z wewnętrznego systemu STT miniatury

MIDI

Komunikaty, na które reaguje Miniatura

nie dotyczy

Komunikaty wysyłane przez Miniaturę

nie dotyczy

Komunikacja z MaxMSP

Komunikaty, na które reaguje Miniatura

nie dotyczy

Komunikaty wysyłane przez Miniaturę

nie dotyczy

Kod źródłowy

index.html

sketch.js

device.js

gui.js

p5.stt.js

worker.js

ws.js

colorprocessor.frag

colorprocessor.vert

Cgk8ZGl2IGNsYXNzPSJqcy1tYWlubWVudSI+CgkJPGRpdiBjbGFzcz0ibWVudS1tYWlubWVudS1jb250YWluZXIiPjx1bCBpZD0ibWVudS1tYWlubWVudS0xIiBjbGFzcz0ibWVudSI+PGxpIGNsYXNzPSJtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtcG9zdF90eXBlIG1lbnUtaXRlbS1vYmplY3QtcGFnZSBtZW51LWl0ZW0taG9tZSBtZW51LWl0ZW0tMzI3Ij48YSBocmVmPSJodHRwczovL21pLndyb2NlbnRlci5wbC8iPmhvbWU8L2E+PC9saT4KPGxpIGNsYXNzPSJtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtcG9zdF90eXBlIG1lbnUtaXRlbS1vYmplY3QtcGFnZSBtZW51LWl0ZW0tMzI1Ij48YSBocmVmPSJodHRwczovL21pLndyb2NlbnRlci5wbC9vLXByb2pla2NpZS8iPk8gcHJvamVrY2llPC9hPjwvbGk+CjxsaSBjbGFzcz0ibWVudS1pdGVtIG1lbnUtaXRlbS10eXBlLXBvc3RfdHlwZSBtZW51LWl0ZW0tb2JqZWN0LXBhZ2UgbWVudS1pdGVtLTk2NCI+PGEgaHJlZj0iaHR0cHM6Ly9taS53cm9jZW50ZXIucGwvbWFudWFsLyI+TWluaWF0dXJvd2Uga25vdy1ob3c8L2E+PC9saT4KPGxpIGNsYXNzPSJxdHJhbnhzLWxhbmctbWVudSBxdHJhbnhzLWxhbmctbWVudS1wbCBtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtY3VzdG9tIG1lbnUtaXRlbS1vYmplY3QtY3VzdG9tIG1lbnUtaXRlbS1oYXMtY2hpbGRyZW4gbWVudS1pdGVtLTMyOCI+PGEgaHJlZj0iIyIgdGl0bGU9IlBvbHNraSI+SsSZenlrPC9hPgo8dWwgY2xhc3M9InN1Yi1tZW51Ij4KCTxsaSBjbGFzcz0icXRyYW54cy1sYW5nLW1lbnUtaXRlbSBxdHJhbnhzLWxhbmctbWVudS1pdGVtLXBsIG1lbnUtaXRlbSBtZW51LWl0ZW0tdHlwZS1jdXN0b20gbWVudS1pdGVtLW9iamVjdC1jdXN0b20gbWVudS1pdGVtLTk2NSI+PGEgaHJlZj0iaHR0cHM6Ly9taS53cm9jZW50ZXIucGwvcGwvdG9uLyI+UG9sc2tpPC9hPjwvbGk+Cgk8bGkgY2xhc3M9InF0cmFueHMtbGFuZy1tZW51LWl0ZW0gcXRyYW54cy1sYW5nLW1lbnUtaXRlbS1lbiBtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtY3VzdG9tIG1lbnUtaXRlbS1vYmplY3QtY3VzdG9tIG1lbnUtaXRlbS05NjYiPjxhIGhyZWY9Imh0dHBzOi8vbWkud3JvY2VudGVyLnBsL2VuL3Rvbi8iPkVuZ2xpc2g8L2E+PC9saT4KPC91bD4KPC9saT4KPC91bD48L2Rpdj4JPC9kaXY+Cgk8YnV0dG9uIGNsYXNzPSJqcy1hMTF5Ij48aW1nIGFsdD0iV3lzb2tpIGtvbnRyYXN0IiBzcmM9Imh0dHBzOi8vbWkud3JvY2VudGVyLnBsL3dwLWNvbnRlbnQvdGhlbWVzL21pMjAyNi9pbWcva29udHJhc3Quc3ZnIj48L2J1dHRvbj4K
Tryptyk o ciężarze słów. Część I: Toń — Mi
KPO Unia Europejska #NextGenerationEU Rzeczpospolita Polska
WRO ART CENTER
  • O projekcie
  • Miniaturowe know-how