• home
  • O projekcie
  • Miniaturowe know-how
  • Język
    • Polski
    • English
Mi

Tryptyk o ciężarze słów. Część III: Sushi

czym jest matrix?
Podgląd: EN Podgląd: PL Podgląd: UA
Parametry
pointer
stt
items
repprob
flip
minfontsize
maxfontsize
minspeed
maxspeed
maxrndstrl
continuous
interim
blkdur
blk
cri
resetitempos
Opis

Spadające znaki tworzą strumień tekstu powstający na bieżąco z wypowiedzi użytkownika.

System rozpoznawania mowy przekształca słowa w pulsujący kod, przypominający symboliczny zapis świata znany z filmu Matrix.

Sushi łączy popkulturowy motyw cyfrowego kodu z refleksją nad miejscem ludzkiej mowy w rzeczywistości kształtowanej przez sztuczną inteligencję.

Czytaj więcej

„Sushi”

Najbardziej chyba zakorzenionym popkulturowo „spadajacym” tekstem jest charakterystyczny wzór wykreowany na potrzeby serii filmów „Matrix” sióstr Wachowskich. Wśród Miniatur nie mogło więc zabraknąć odtworzenia tego patternu. Podobnie, jak w przypadku pozostałych części „Tryptyku”, tak i tym razem Miniatura korzysta z wbudowanego w przeglądarki mechanizmu rozpoznawania mowy (może warto w tym miejscu dodać, że wszystkie trzy miniatury w obrębie „Tryptyku” pozwalają na wybór rozpoznawanego języka spośród naprawdę wielu języków i dialektów wbudowanych w większość najpopularniejszych browserów). Podobno oryginalny tekst wyświetlany w filmie pochodził z menu japońskiej restauracji, w której spotykali się filmowcy. „Sushi” stawia jednak na zdolności językowe AI – przecież „Matrix” to historia konfliktu pomiędzy ludźmi i myślącymi, świadomymi maszynami.

„Tryptyk o ciężarze słów” łączy trzy Miniatury w większą całość rozpatrującą tytułowe zagadnienie i pogrywającą z nim, a bazuje na dwóch źródłach inspiracji.

Pierwsze z nich to (meta?)metaforyka mówienia o języku, a szczególnie o słowach, opowiadajac o których, opisując je, nadaje się im fizyczne właściwości, zwłaszcza ciężar i masę. Tego typu metafory produkują zarówno literatura, jak język potoczny (być może skłonność do rycia słów uważanych za ważne w ciężkich, masywnych obiektach — kamieniach nagrobnych, kolumnach, na cokołach pomników, itp. — i inne podobne aktywności również stanowią emanację tego samego fenomenu). Nadawanie słowom fizycznych atrybutów jest praktyką ponadkulturową i sprawia wrażenie naturalnej ludzkiej predyspozycji niewymagającej specjalnego treningu, przychodząc wraz z navywaniem kompetencji językowych. Siła takiej praktyki wydaje się korespondować z istotnością mózgowego systememu fizyki intuicyjnej, w jaki wyposażyła ludzi ewolucja (i z koncepcjami estetyki ewolucyjnej w ogólności) — w tym przypadku byłaby ona pięknym przykładem kulturotwórczego potencjału ubocznych skutków działania mechanizmów doboru naturalnego. Spadajace i tonące słowa, poddawane działaniu grawitacji i oporowi gęstych ośrodków, w których to spadanie się odbywa lub po prostu natrafiające na twarde przeszkody zakotwiczają proces czytania w parametrach świata fizycznego.

Drugie ze źródeł inspiracji dotyczy fizycznej natury informacji (a więc i „zawartości” języka oraz słów) i hipotezy równoważności masy/energii/informacji (M/E/I). W myśl hipotezy M/E/I informacja jest wielkością fizyczną, którą można powiązać z energią niezbędną do zmiany lub skasowania pojedynczego bitu informacji. W bardzo dużym uproszczeniu hipotezę można wyjaśnić odwołując się do tzw. reguły Landauera (zasady fizycznej mówiącej, że wymazanie pojedynczego bitu informacji wymaga co najmniej pewnej minimalnej energii, która jest proporcjonalna do temperatury układu — wymazywanie informacji pociąga zatem za sobą wzrost entropii, np. w temperaturze pokojowej wymazanie bitu „kosztuje” 3 x 10 do potęgi -21 dżuli). Reguła Landauera wyznacza teoretyczną sprawność każdego wyobrażalnego komputera, ale przede wszystkim wiąże informację z wartościami energii potrzebnymi do jej zmiany. Angażując nieco więcej wzorów z dziedziny termodynamiki, teorii informacji Shannona i pamiętając o regule równoważności materii i energii (E=mc2) można wyliczyć masę bitu informacji w temperaturze pokojowej (300°K, czyli 26,85°C), która wynosi 3.19 × 10 do potęgi -38 Kg. Nie jest to duża masa i eksperymentalne potwierdzenie (lub obalenie) hipotezy równoważności masy/energii/informacji nie jest w tej chwili możliwe na drodze eksperymentalnej. Hipoteza M/E/I jest szeroko dyskutowana wśród badaczek i badaczy eksplorujacych pogranicze fizyki i biologii, np. starających się zdefiniować wyróżniki życia — istnieją koncepcje zwracające uwagę na wyjątkową sprawność energetyczną niektórych procesów życiowych, zbliżających się do bariery wyznaczonej przez Landauera. Słynny myślowy eksperyment Jamesa Clerka Maxwella („demon Maxwella”) we współczesnej wersji również jest rozbudowany o refleksję nad stojącym przed demonem zadaniem związanym ze zdobywaniem i przetwarzaniem informacji o świecie i ponoszonym w związku z tym wydatkiem energetycznym.

 

Dokumentacja techniczna

Parametry przekazywane przez adres URL

  • pointer 0 lub 1; domyślnie 1; chowa/pokazuje kursor myszy
  • worker 0 lub 1; domyślnie 0; umożliwia zablokowanie wbudowanych w przeglądarkę mechanizmów zatrzymywania pracy programu kiedy okno nie jest widoczne
  • stt 0 lub mnemonic języka w standardzie ISO; wyłącza (0) system detekcji mowy lub ustala język (spośród dostępnych dla użytej przeglądarki) w którym ten system pracuje (mnemonic ISO); więcej informacji: http://www.lingoes.net/en/translator/langcode.htm
  • items domyślnie 170; ustawia ilość „strug” z frazami tekstu
  • repprob 0.0 … 1.0; domyślnie 0.7; prawdopodobieństwo ponownego użycia frazy tekstu (fraza w takim wypadku jest ponownie przekazywana systemowi do wyświetleniia)
  • dens domyślnie 2; „gęstość” przekazywania nowych fraz
  • flip 0 lub 1; domyślnie 0; przełącza kierunek wyświetlania tekstu (z góry na dół lub z dołu do góry)
  • strings domyślnie 7; maksymalna ilość fraz tekstu w buforze
  • minfontsize 0.0 … 1.0; domyślnie 0.01; minimalna znormalizowana wielkość wyświetlanego tekstu
  • maxfontsize 0.0 … 1.0; domyślnie 0.04; maksymalna znormalizowana wielkość wyświetlanego tekstu
  • minspeed 0.0 … 1.0; domyślnie 0.1; minimalna znormalizowana prędkość opadania frazy
  • maxspeed 0.0 … 1.0; domyślnie 0.3; maksymalna znormalizowana prędkość opadania frazy
  • maxrndstrl domyślnie 15; maksymalna długość losowo generowanych, stylizowanych strumieni tekstu
  • continuous 0 lub 1; domyślnie 1; wyłącza/włącza przetwarzanie ciągłych („continuous”) fraz wychwyconych przez system detekcji mowy
  • interim 0 lub 1; domyślnie 1; wyłącza/włącza przetwarzanie roboczych („interim”) fraz wychwyconych przez system detekcji mowy
  • blkdur (ms) ustawia domyślny czas „błysku” tekstu po zamianie zawartości strumienia na nową
  • blk 0 lub 1; domyślnie 1; („blink”) wyłącza/włącza „błysk” w momencie wymiany zawartości strumineia tekstu na nową
  • cri 0 lub 1; domyślnie 1; („change random item”) wyłącza/włącza tryb, w którym nowa zawartość jest przyporządkowywana do losowych strumieni tekstu
  • blktxtcol kolor tekstu w momencie „błyśnięcia” w standardowym zapisie szesnastkowym 0xRRGGBB
  • txtcol kolor tekstu w standardowym zapisie szesnastkowym 0xRRGGBB
  • font nazwa czcionki użytej do wyświetlania tekstu
  • resetitempos 0 lub 1; domyślnie 0; wyłącza/włącza reset poziomej i pionowej pozycji „strumienia” tekstu przy zamianie jego zawartości na nową
  • emit 0 lub 1; domyślnie 0; wyłącza/włącza nadawanie przez web socket rezultatów pracy silnika STT
  • ws adres; domyślnie wyłączone; włącza i ustala adres (zwykle localhost:9001) dla komunikacji poprzez WebSocket (umożliwia zewnętrzne sterowanie Miniaturą i dostosowanie do własnych potrzeb)
  • xws adres; domyślnie wyłączone; włącza i ustala adres (zwykle ws://localhost:9001) ze wskazaniem protokołu dla komunikacji poprzez WebSocket (umożliwia zewnętrzne sterowanie Miniaturą i dostosowanie do własnych potrzeb)

Komunikaty przekazywane przez WebSocket

Komunikaty, na które reaguje Miniatura

  • str fraza (string) tekstu z zewnętrznego źródła

Komunikaty wysyłane przez Miniaturę

  • sushi stt fraza (string) tekstu z wewnętrznego systemu STT miniatury

MIDI

Komunikaty, na które reaguje Miniatura

nie dotyczy

Komunikaty wysyłane przez Miniaturę

nie dotyczy

Komunikacja z MaxMSP

Komunikaty, na które reaguje Miniatura

nie dotyczy

Komunikaty wysyłane przez Miniaturę

nie dotyczy

Kod źródłowy

index.html

sketch.js

matrix.js

gui.js

p5.stt.js

worker.js

ws.js

Cgk8ZGl2IGNsYXNzPSJqcy1tYWlubWVudSI+CgkJPGRpdiBjbGFzcz0ibWVudS1tYWlubWVudS1jb250YWluZXIiPjx1bCBpZD0ibWVudS1tYWlubWVudS0xIiBjbGFzcz0ibWVudSI+PGxpIGNsYXNzPSJtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtcG9zdF90eXBlIG1lbnUtaXRlbS1vYmplY3QtcGFnZSBtZW51LWl0ZW0taG9tZSBtZW51LWl0ZW0tMzI3Ij48YSBocmVmPSJodHRwczovL21pLndyb2NlbnRlci5wbC8iPmhvbWU8L2E+PC9saT4KPGxpIGNsYXNzPSJtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtcG9zdF90eXBlIG1lbnUtaXRlbS1vYmplY3QtcGFnZSBtZW51LWl0ZW0tMzI1Ij48YSBocmVmPSJodHRwczovL21pLndyb2NlbnRlci5wbC9vLXByb2pla2NpZS8iPk8gcHJvamVrY2llPC9hPjwvbGk+CjxsaSBjbGFzcz0ibWVudS1pdGVtIG1lbnUtaXRlbS10eXBlLXBvc3RfdHlwZSBtZW51LWl0ZW0tb2JqZWN0LXBhZ2UgbWVudS1pdGVtLTk2NCI+PGEgaHJlZj0iaHR0cHM6Ly9taS53cm9jZW50ZXIucGwvbWFudWFsLyI+TWluaWF0dXJvd2Uga25vdy1ob3c8L2E+PC9saT4KPGxpIGNsYXNzPSJxdHJhbnhzLWxhbmctbWVudSBxdHJhbnhzLWxhbmctbWVudS1wbCBtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtY3VzdG9tIG1lbnUtaXRlbS1vYmplY3QtY3VzdG9tIG1lbnUtaXRlbS1oYXMtY2hpbGRyZW4gbWVudS1pdGVtLTMyOCI+PGEgaHJlZj0iIyIgdGl0bGU9IlBvbHNraSI+SsSZenlrPC9hPgo8dWwgY2xhc3M9InN1Yi1tZW51Ij4KCTxsaSBjbGFzcz0icXRyYW54cy1sYW5nLW1lbnUtaXRlbSBxdHJhbnhzLWxhbmctbWVudS1pdGVtLXBsIG1lbnUtaXRlbSBtZW51LWl0ZW0tdHlwZS1jdXN0b20gbWVudS1pdGVtLW9iamVjdC1jdXN0b20gbWVudS1pdGVtLTk2NSI+PGEgaHJlZj0iaHR0cHM6Ly9taS53cm9jZW50ZXIucGwvcGwvc3VzaGkvIj5Qb2xza2k8L2E+PC9saT4KCTxsaSBjbGFzcz0icXRyYW54cy1sYW5nLW1lbnUtaXRlbSBxdHJhbnhzLWxhbmctbWVudS1pdGVtLWVuIG1lbnUtaXRlbSBtZW51LWl0ZW0tdHlwZS1jdXN0b20gbWVudS1pdGVtLW9iamVjdC1jdXN0b20gbWVudS1pdGVtLTk2NiI+PGEgaHJlZj0iaHR0cHM6Ly9taS53cm9jZW50ZXIucGwvZW4vc3VzaGkvIj5FbmdsaXNoPC9hPjwvbGk+CjwvdWw+CjwvbGk+CjwvdWw+PC9kaXY+CTwvZGl2PgoJPGJ1dHRvbiBjbGFzcz0ianMtYTExeSI+PGltZyBhbHQ9Ild5c29raSBrb250cmFzdCIgc3JjPSJodHRwczovL21pLndyb2NlbnRlci5wbC93cC1jb250ZW50L3RoZW1lcy9taTIwMjYvaW1nL2tvbnRyYXN0LnN2ZyI+PC9idXR0b24+Cg==
Tryptyk o ciężarze słów. Część III: Sushi — Mi
KPO Unia Europejska #NextGenerationEU Rzeczpospolita Polska
WRO ART CENTER
  • O projekcie
  • Miniaturowe know-how