View
69
Download
0
Category
Preview:
Citation preview
Harsányi RékaBiofeedback alapú interaktív művészet
MKE Doktori Iskola 2010-2016Új technológiák a képzőművészetben- Fizikai interakció- Biofeedback alapú interakció
harsanyireka.net
kép: http://www.interna-cevnilekar-kladno.cz/var/3443/7216-10347vascular_system.jpg
Human Computer Interaction Ember Számítógép Interakció
A gép és az ember közé ékelődő interfészen keresztül zajló kommu-
nikációt takarja.
“Az interakcióban a résztvevő szándéka, hogy a környezetére
reagálva elérje a célját. A viselkedésére kapott választ kielemzi és összeveti a céllal,
majd annak fényében interaktál a rendszerrel újra.” H.R.
kép: http://hdfreewallpaper.net/new-technology-wallpapers-hd-free-download/new-technology-eroding-real-human-interaction-e1422062639706/ábra: http://www.dubberly.com/wp-content/uploads/2009/01/man_machine_system.png
HUMAN/SYSTEM INTERACTION:TAXONOMY OF INPUTV 0.13
INPUTS
ABSTRACT DATA
visualbodily gesture
facial gesture
kinesics
communicative
single hand gestures
common gestures
sign-languages
two-hand gestures
eye language
muscular
eye contacteye rolling
winkingblinkingstaring
directionpupil dilation
noddingshaking
tiltingturning
facial action
head movement
emotional conveyance
joysurprise
fearanger
disgustsadness
[etc.]
culturalchoice of clothingchoice of hairstylebody modification
[etc.]
piercingstattoos
plastic surgery[etc.]
“a-ok”beckoning
clenched fistthumbs up
wave[etc.]
manual communication
air kissshrug
face-palmbow/ curtsey
hand over heart[etc.]
jaw positiontongue shape/ position
eye-brow shape/ positionnostril flair
lip shapecheek suck/ puff
[etc.]
whole body/ posture
other gestures
air quoteschironomia
hand-rubbingprayer
victory-clasp[[etc.]
mirroringopenness
leaningslouchingtowering
legs spreadshoulders forward
arm crossing
atypical/ performcedancegymansticacrobatic
[etc.]
Deaf sign languagesSigned modes of oral languages
Auxiliary sign systems
scent
pheromonalapocrine glands natural
culturalcleansing/ neutralising natural odorapplication of scents
kinesthetictouching
visualthermal
olfactoryvoice loudness
intimatepersonal
socialpublic
publicinteractional
homebody (immediate)
proxemicscodes
distance
cultural factors
territories
audio
common forms
clicks (dental, palatal etc.)teeth grind
bitewhistle
sighlip smack
trill[etc.]
Clappingtapping
stamping[etc.]
nasalborborygmus
knuckle crackingsphincter vibration
armpit cupping[etc.]
transmission
non-percussive
oralvocal and glottal
mouth (cavity) only
percussivebodily
speechlaughweep
erudicationgargle
cough/ clear throatsneeze
yawn[etc.]
screamshout
whispersing
[etc.]
paralinguisticsperspectival
organicexpressive
prosody
phoneme analysis
linguistics
grammar
meaningsemanticspragmatics
intonationtone
melodyharmony
pitch
morphologysyntax
phonology
phonetics
context
signifiersdenotata
evolutionaryhistorical
socialpsychological
neurologicallanguage acquisition
discourse analysis
articulatoryacousticauditory
prosodic stressvolume (dynamics)
timbre
tempometer
articulation rhythm
haptic
positiveplayfulcontrol
ritualistictask-related
unintentional
to human[oid]
professionalsocial
friendshipsexual/ flirtation
combatativelove
tactile signing
contexts
meaningsstriking
pushingpulling
pinchingkicking
strangling[etc.]
hand-over-handtracking
tactile fingerspellingbraille signing
[etc.]
sculpting
crankhandle
diallever
to object
mark making
writingstyle
contentmedium
emphasis (heirarchy)
graphicaldrawingpaintingetching
engravingdrawn into dirttablet (digital)
[etc.]
media
form
pedal compressionpedal cycle
kick
biting pressureelbow faucet
Finger-nose Stylusknee switches
manual
other
feet
linear
force
grip
binary
dimensions
pinchgrasp
wastingforming
spatial factors1-axis
2-axis
3-axis
radial
compressiontensiontorsion
shearloading
switch flickkey press
button press
plunger/ insertionclip
fader
OBJECT/ ENVIRONMENT
HUMAN
humidity
temperature
air pressure
EM radiation
intensitywavelength
direction/ origin
matertials present
local dimensions
location
altitude (if applic.)latitude/ longitude (if applic.)
proximity
soundvolumepitch
harmonic propertiesdirection/ point of origin
PHYSICAL
COMMUNICATION
NEUROLOGICAL
INHERENTpersonalitybehaviour
level of confidencebackground
culturevalue/beliefs
sexual identityinterests
financial statuslevel of authority
[etc.]
socio-cultural
weightheight
agebody-typeheart-rate
blood pressureblood type
skin toneeye colour
hair colour and stylehealth & fitness
biometrics
bio-data
facial compositionretina appearance
fingerprintsDNA
vocal quality
physical
static
dynamic
actions
locomotion
gait
walkingjoggingrunning
[etc.]
geometry
eatingintercoursedefecation
sleepinguse of tools
[etc.]
uncommon
standing on one leghandstand
head standspreadeagle
crab positionhanging
[etc.]
common
standingsitting
squattinglying
kneelingcrouching
[etc.]
pathspeed
directionacceleration
neural oscillation
structureneural mapping
alphabeta
gammadeltatheta
mu function
hormone release
regulating interactionexpressing intimacyaffect management
evoking emotionfacilitating service and task goals
chronemics
http://panstudio.co.uk/taxonomy-of-interaction/
Az interakció rendszertana
Az ember által végrehajtható vagy a környezetből érkező, gépek által értelmezhető interakciókat osztályozza hierarchikus rendszerben. (PAN Studio)
biofeedback alapú interakcióA szenzoros interakciók speciális fajtája a biofeedback alapú interakció. pl.: Birth, Ego-World, Alpha
fizikai interakció:Fizikai interakcióknak (physical interaction) nevezzük egy rendszer esz-közökön, tárgyakon keresztül történő irányítását. A megvalósítást segí-thetik piaci termékek, mint pl. kamerák, szenzorok, vagy prototípusként gyártott egyedi szerkezetek is.
pl.: Sense, Collective Rug, KÖZtest, ReAct
kép: https://raweb.inria.fr/rapportsactivite/RA2013/potioc/IMG/photo2_xp_stereo.jpg
Biofeedback alapú interakció“A biofeedback biológiai visszacsatolást jelent, bio-szenzor segítségével érzékelhetjük az élő szervezet-ben lezajló biológiai változásokat, és az így ka-pott adatokkal, vagy jelekkel berendezéseket, vagy szoftvereket irányíthatunk. Az ilyen eszközöket fel-használó installációk angol neve a biofeedback-art, ami olyan interaktív alkotásokat takar, amelyekben bioszenzorokat alkalmaznak a résztvevő pszicholó-giai-, viselkedési-, és érzelmi alapú analíziséhez. A biológiai visszacsatolást a résztvevő vizuális, auditív vagy egyszerre minkét csatornán kapja. “ H.R.
Nem-invazív eszközök
elérhető eszközök, hack-ek
-szívverés-izom mozgás-arckifejezés-agyhullám-szem mozgás-légzés-izzadás
http://harsanyireka.net/non-invasive-biosensors-in-artworks/
Alfa, agyhullám alapú videó installáció, 2012
“Az installáció központi eleme az agyszenzor segítségével vezérelt több rétegű mozgókép. A szenzorból jövő adatokat ebben az esetben hat részre osztot-tam (a nyugalmi állapottól a fókuszált figyelem állapotáig), melyet hat előre meghatározott videó-loophoz rendeltem. Az adott sávokban mozgó agyhullámok intenzitása az egymásra úsztatott videó-loopok intenzitását változtatja, tehát az a kép válik kivehetőbbé, ahol nagyobb az agytevékenység.“
Alfa, technológia
agyhullámok: https://hu.wikipedia.org/wiki/Elektroenkefalográfiamindflex: http://www.frontiernerds.com/brain-hack
Alfa - a Felhasználói Élmény c. kiállításonA kiállításokon résztvevő nézők különböző ideig tudtak különböző állapotban maradni, attól függően, hogy mennyire tudták kizárni a kívülről jövő zajokat.(Cyberpunk DIY világok / Csikász Galéria, 2013)
kísérletek: fizikai interakció + táncconnectedbodiesteam.wordpress.com
Én-világbiofeedback alapú performance, 2015
“A performansz alapját a táncosra szerelt pulzus szenzor képezi, ami valós időben méri a szívritmust és az adott karizom mozgásának mértékét. Az így mért adatok absztrakt módon jelennek meg kivetítve, a nézőkkel szemben, az előadó mögött. Mivel a grafika egyszerű, a néző számára részben beazonosítható, hogy milyen kép kapcsolódik a táncos testén mért adatokhoz. A mozgó grafikák mellett, azokkal összhangban, előre rögzített fekete-fehér videóképek keverednek. Ezek olyan, a táncos testéről készült szokatlan képkivágások, melyek megnehezítik a látottak értelmezését vagy gyors beazonosításukat, így nem egyértelmű hogy kezeket, lábakat vagy esetleg ujjakat látunk. Továbbá a videóképek makrofelvételeket is tartalmaznak: az így felnagyított részletek segítségével a néző nem szokványos módon tanulmányozhatják az emberi testet, valamint annak reakcióit. A vetített mixelt mozgóképet a VJ-ként valós időben keverem, miközben a táncos improvizációval is kiegészíti az előre meghatározott koreográfiát.”
https://vimeo.com/148719845
Születésbiofeedback alapú performansz, 2016
“Születés (Birth) című audiovizuális, biofeedback alapú performanszunk a megfoghatatlan, a láthatatlan történetét meséli el. Technológia által megjelenítve és hallhatóvá téve ezen eseményeket, érzéseket, biológiai folyamatokat. A táncosra szerelt pulzus és EKG szenzorok nem csak szívritmusát, hanem bizonyos izmainak mozdulatait is érzékelik. Az így kapott adatok valós időben vezérlik a fényburok pulzálásának intenzitását. Életre kel a benne zajló események által, lakójával összhangban, mindaddig még élőlénye el nem hagyja. Ugyanakkor ahogy egyre jobban megismeri környezetét és önmagát is a benne tevékenykedő emberi lény, egyre inkább új ingerekre vágyik, ezeket provokálva, szervezetének hangjait és testének, illetve a burkának korlátait is megismeri, melyből kitörni készül, hogy kijutva újrakezdhesse a folyamatot a másik oldalon.”
https://vimeo.com/157130716
Recommended