• home
  • O projekcie
  • Miniaturowe know-how
  • Język
    • Polski
    • English
Mi

NVED

Detektor Ekspresji Niewerbalnej
Podgląd: domyślna kamera Podgląd: tylna kamera
Parametry
cnf
gui
mirror
pointer
Opis

NVED to jedna z miniatur „narzędzowych”. Jest zbudowana w oparciu o prostą AI — detektor ekspresji emocjonalnej malującej się na twarzach osób wykrytych w monitorowanym przez kamerę polu. NVED wykrywa kombinację 7 stanów emocjonalnych: spokoju (stan „neutralny”), radości, strachu, zdziwienia, wstrętu, gniewu, smutku. Miniatura potrafi wysłać rezultaty działania na zewnątrz i łatwo można ją dostosować do funkcjonowania jako element własnej pracy.

Naturalnie Miniatura „czyta” ekspresję twarzy, a nie wewnętrzne stany emocjonalne — dlatego może być ciekawym narzędziem służącym np. do introspekcyjnego eksperymentowania i badania różnic pomiędzy jednym i drugim. Dwie inne Miniatury korzystające z podobnego (choć nieco zhakowanego) mechanizmu to „MianX” i „Empator”.

Dokumentacja techniczna

Komunikaty wysyłane przez Miniaturę

  • cnf 0.0 … 1.0; „poczucie pewności” modelu wykrywającego ekspresję emocjonalną
  • famo user | environment (lub env); domyślnie user; [facingMode] pozwala wymusić użycie przedniej (user) lub tylnej (environment) kamery na urządzeniach, które są wyposażone w podwójne kamery/aparaty (większość współczesnych urządzeń mobilnych)
  • gui 0 lub 1; domyślnie 1; chowa/pokazuje panel z interfejsem graficznym
  • h pionowa rozdzielczość kamery
  • mirror 0 lub 1; domyślnie 1; wyłącza/włącza lustrzane odbicie obrazu z urządzenia przechwytującego (zwykle kamery)
  • pointer 0 lub 1; domyślnie 1; chowa/pokazuje kursor myszy
  • w pozioma rozdzielczość kamery
  • worker 0 lub 1; domyślnie 0; umożliwia zablokowanie wbudowanych w przeglądarkę mechanizmów zatrzymywania pracy programu kiedy okno nie jest widoczne
  • ws adres; domyślnie wyłączone; włącza i ustala adres (zwykle localhost:9001) dla komunikacji poprzez WebSocket (umożliwia zewnętrzne sterowanie Miniaturą i dostosowanie do własnych potrzeb)
  • xws adres; domyślnie wyłączone; włącza i ustala adres (zwykle ws://localhost:9001) ze wskazaniem protokołu dla komunikacji poprzez WebSocket (umożliwia zewnętrzne sterowanie Miniaturą i dostosowanie do własnych potrzeb)

Komunikaty przekazywane przez WebSocket

Komunikaty, na które reaguje Miniatura

Nie dotyczy

Komunikaty wysyłane przez Miniaturę

  • nved faces raportuje ilość rozpoznanych twarzy
  • nved face parametry twarzy: index, znormalizowane położenie w poziomie, znormalizowane położenie w pionie, znormalizowana szerokość, znormalizowana wysokość, „spokój” (znormalizowana wartość), „szczęście” (znormalizowana wartość), „gniew” (znormalizowana wartość), „smutek” (znormalizowana wartość), „wstręt” (znormalizowana wartość), „zaskoczenie” (znormalizowana wartość), „strach” (znormalizowana wartość)

MIDI

Komunikaty, na które reaguje Miniatura

nie dotyczy

Komunikaty wysyłane przez Miniaturę

nie dotyczy

Komunikacja z MaxMSP

Komunikaty, na które reaguje Miniatura

nie dotyczy

Komunikaty wysyłane przez Miniaturę

nie dotyczy

Kod źródłowy

index.html

sketch.js

gui.js

worker.js

ws.js

Cgk8ZGl2IGNsYXNzPSJqcy1tYWlubWVudSI+CgkJPGRpdiBjbGFzcz0ibWVudS1tYWlubWVudS1jb250YWluZXIiPjx1bCBpZD0ibWVudS1tYWlubWVudS0xIiBjbGFzcz0ibWVudSI+PGxpIGNsYXNzPSJtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtcG9zdF90eXBlIG1lbnUtaXRlbS1vYmplY3QtcGFnZSBtZW51LWl0ZW0taG9tZSBtZW51LWl0ZW0tMzI3Ij48YSBocmVmPSJodHRwczovL21pLndyb2NlbnRlci5wbC8iPmhvbWU8L2E+PC9saT4KPGxpIGNsYXNzPSJtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtcG9zdF90eXBlIG1lbnUtaXRlbS1vYmplY3QtcGFnZSBtZW51LWl0ZW0tMzI1Ij48YSBocmVmPSJodHRwczovL21pLndyb2NlbnRlci5wbC9vLXByb2pla2NpZS8iPk8gcHJvamVrY2llPC9hPjwvbGk+CjxsaSBjbGFzcz0ibWVudS1pdGVtIG1lbnUtaXRlbS10eXBlLXBvc3RfdHlwZSBtZW51LWl0ZW0tb2JqZWN0LXBhZ2UgbWVudS1pdGVtLTk2NCI+PGEgaHJlZj0iaHR0cHM6Ly9taS53cm9jZW50ZXIucGwvbWFudWFsLyI+TWluaWF0dXJvd2Uga25vdy1ob3c8L2E+PC9saT4KPGxpIGNsYXNzPSJxdHJhbnhzLWxhbmctbWVudSBxdHJhbnhzLWxhbmctbWVudS1wbCBtZW51LWl0ZW0gbWVudS1pdGVtLXR5cGUtY3VzdG9tIG1lbnUtaXRlbS1vYmplY3QtY3VzdG9tIG1lbnUtaXRlbS1oYXMtY2hpbGRyZW4gbWVudS1pdGVtLTMyOCI+PGEgaHJlZj0iIyIgdGl0bGU9IlBvbHNraSI+SsSZenlrPC9hPgo8dWwgY2xhc3M9InN1Yi1tZW51Ij4KCTxsaSBjbGFzcz0icXRyYW54cy1sYW5nLW1lbnUtaXRlbSBxdHJhbnhzLWxhbmctbWVudS1pdGVtLXBsIG1lbnUtaXRlbSBtZW51LWl0ZW0tdHlwZS1jdXN0b20gbWVudS1pdGVtLW9iamVjdC1jdXN0b20gbWVudS1pdGVtLTk2NSI+PGEgaHJlZj0iaHR0cHM6Ly9taS53cm9jZW50ZXIucGwvcGwvbnZlZC8iPlBvbHNraTwvYT48L2xpPgoJPGxpIGNsYXNzPSJxdHJhbnhzLWxhbmctbWVudS1pdGVtIHF0cmFueHMtbGFuZy1tZW51LWl0ZW0tZW4gbWVudS1pdGVtIG1lbnUtaXRlbS10eXBlLWN1c3RvbSBtZW51LWl0ZW0tb2JqZWN0LWN1c3RvbSBtZW51LWl0ZW0tOTY2Ij48YSBocmVmPSJodHRwczovL21pLndyb2NlbnRlci5wbC9lbi9udmVkLyI+RW5nbGlzaDwvYT48L2xpPgo8L3VsPgo8L2xpPgo8L3VsPjwvZGl2Pgk8L2Rpdj4KCTxidXR0b24gY2xhc3M9ImpzLWExMXkiPjxpbWcgYWx0PSJXeXNva2kga29udHJhc3QiIHNyYz0iaHR0cHM6Ly9taS53cm9jZW50ZXIucGwvd3AtY29udGVudC90aGVtZXMvbWkyMDI2L2ltZy9rb250cmFzdC5zdmciPjwvYnV0dG9uPgo=
NVED — Mi
KPO Unia Europejska #NextGenerationEU Rzeczpospolita Polska
WRO ART CENTER
  • O projekcie
  • Miniaturowe know-how