2016년 11월 6일 일요일

VR에서 임장감(presence)과 몰입감(immersion)을 주는 방법

본 글은 'Lauren Kelly'의 'The psychology of virtual reality'을 소개한 것입니다.

훌륭한 VR 환경은 매우 자연스럽게(seamless) 느껴지는데 여기서 자연스럽다는 것은 몰입감(immersion)과 임장감(presence)을 제공한다는 의미를 갖고 있다.

몰입감(immersion): the ‘technological quality of the media’
임장감(presence): the ‘technological quality of the “experience of being there”’

이 두가지 요소는 가상세계의 기본 토대가 되며 신뢰로움을 유지하는 역할을 하게 된다.
이를 효과적으로 적용할 수 있는 방안에 대해 심리학자 Wirth는 아래의 두 가지를 언급하였다.

1. 사용자가 자기 자신의 공간감(sense of self-location)을 느끼도록 하기 위해 현실에서 나타나는 공간적 단서(spatial cues)들을 이용해야만한다.

2. 사용자가 그 공간내에서 움직이고 상호작용함으로써 그 공간에 놓여져 있는 것처럼 느끼게 해야 한다.


What are the cues of presence?
(임장감을 전달하는 단서는?)
* Wirth의 모델: VR세계에서 공간적 단서들(spatial cues)이 갖는 특성을 설명

 < 정적 시각 단서(Static monocular cues) >
    정적 시각 단서는 VR세계에서 깊이 지각을 가능하도록 하는 요소로 원근감(perspective) 형성, 사물의 상대적 크기 판단, 질감(texture) 정보의 활용에 이용된다.
.
   : 선형 조망 혹은 선형 원근감(Linear Perspective)
   : 사물의 중첩(Overlap or Interposition)
   : 플랜이 놓여진 높이(Height in plane)
   : 질감의 점진적 변화 혹은 질감의 그라데이션(Texture Gradient)
   : 사물의 상대적 크기(Relative Size)
   : 명암의 정도(Light and Shadow or Aerial Perspective)



 < 동적 단서(Motion cues) >
    객체가 움직일 때 모션시차(motion parallax)의 계층적 효과와 캐스트 쉐도우 모션(cast shadow motion; 불투과 그림자의 움직임)을 활용함으로써 사물, 환경물 그리고 아바타의 움직임에 임장감을 증가시킬 수 있다.

   * Motion Parallax - 차를 타고 지나갈 때 가까이 있는 것이 빨리 지나쳐간다고 느낌.
   * Cast Shadow Motion : cast shadow는 빛을 통과시키지 못하는 사물 자체의 면에 생기는 그림자이다. cast shadow motion은 그 그림자의 움직임을 뜻한다.

 < 양안시 단서(Binocular cues) >
    양안시에 의한 깊이 지각(depth perception, stereopsis)의 활용

How to create immersion?
(몰입감은 어떻게 생성되는가?)
Slater and Wilbur가 제안한 몰입의 3가지 요소
* High Fidelity: 실제 원음에 대한 충실성
* Multisensory Simulation: 다양한 감각을 활용할 수 있는 환경
* Self-Contained Plots and Narratives in the VR World
  : 현실과 단절될 수 있도록 하는 VR 세상안에서의 자기 주도적인 이야기

What are the technological features of immersion?
(기술적으로 몰입감은 어떤 특징을 갖고 있는가?)
Immersion is determined by a using a balance of 7 features.

 < Tracking level > - 뛰어난 자유도
Tracking level is the degrees of freedom the user is tracked whilst in the VR world. The better the tracking, the better the sense of self-location and feedback.

 < Stereoscopic vision > - 입체시 가능
Use of either monoscopic or stereoscopic visuals. Stereoscopic visuals present two slightly different images to each eye, aiding depth perception in the array. Monoscopic on the other hand presents the same image to both eyes, so doesn’t create as immersive experiences.

 < Image quality > - 뛰어난 그래픽
뛰어난 그래픽 기술
Both the design of the image aesthetics and technological feasibilities affect the image quality. From the realism and detailed features of the display to the technical aspects of flicker rate, lighting types and resolution.

 < Field of view >- 넓은 FOV
How much the user can see in the environment’s visuals.

 < Sound quality > - 현실감 있는 사운드
A world which is devoid of sound is less believable, and a little eerie. Using sound within a VR world increases user feedback and makes the space more believable. There are a number of sound channels and effects that can increase immersion. These include ambient sound of generalised sound effects and sounds that happen within view – for example character voices, footsteps, and specialised sounds.

 < Update rate > - 고속 랜더링
The rate the virtual environment is rendered.

 < User perspective > - 1인칭 싯점에서 3인칭 싯점으로의 이동
Shifting the perspective from 1st person, where a person embodies their avatar, to 3rd person, where a person can view their avatar.

With the dependence on technology as being the main determinant in creating a believable VR world, it leads to the question.

How immersive is enough? (어떤 요소가 몰입에 더 중요한가?)
심리학자 James Cummings and Jeremy Bailenson의 연구에 의하면 이야기적인 요소가 가장 중요한데 여기에 가장 중요한 기술적 요소는 다음의 세 가지이다.
* High Levels of User-Tracking
* The Use of Stereoscopic Visuals
* Wider FOV

Glancing at the list above, it is only natural to assume that the more technology and immersive quality results a higher level of presence.
A study by psychologists James Cummings and Jeremy Bailenson suggests that this is only part of the story. In their study, they tested which elements resulted in higher presence. They found that three main elements produced higher presence. These were high levels of user-tracking, the use of stereoscopic visuals instead of monoscopic and wider fields of view of the visual displays.

Reeves and Nass also found that a ‘high fidelity of visuals have no impact of user attention, recognition or subjective experience.’ What appears to be important are functional graphics. By all accounts, people are still able to extract the spatial cues from the simplest of graphics as they are from the top of the range effects.

How do you determine ‘place’ in a VR space?
(VR공간안에서 장소를 어떻게 결정하는가?)

Balakrishnan and Sundar
* Media Factors(the affordances of the technology)가 공간과 장소를 명확히 하도록 한다.

Since the formation of the industry, Architects have been driven by, and crafted the exchange from ‘space’ to the connotation of ‘place’. In a VR context it is the difference between thinking you are in a VR world, and being in the VR world. When you remove physical walls and buildings, how can the same attribution of ‘place’ be created in VR worlds?

Balakrishnan and Sundar provide the answer. In their study, they show that ‘media factors’ otherwise known as the affordances of the technology affects a person’s ability to define space and place. Both the design of the VR display and the interactive capabilities cause the shift over from simple space creation to the idea of one being in a place.

Virtual touch in a Virtual world

심리학자 Jeremy Bailenson and Nick Yee의 연구에 의하면 가상환경내에서 사람의 터치특성은 다음과 같다.
* 다른 사람의 신체를 터치할 때 가볍게 터치한다.
* 몸통이나 팔을 터치할 때 보다 얼굴을 터치할 때 더 가볍고 정중하게 터치한다.
* 즉, 움직이지 않는 사물을 터치할 때는 강하게 터치한다.
* 남녀모두 남자 아바타일 때가 여자 아바타일 때 보다 강하게 터치한다.

Touching is intrinsic to human happiness. It allows us to physically connect with the world around us and everything within it.
The ability to touch a virtual world not only makes it more immersive, but it is a huge element of creating a believable and enjoyable world. So, understanding how people interact with each other is crucial in designing a virtual world.

The subtleties of how humans interact will have to be mirrored in a virtual world.
We wouldn’t want to be left with the VR equivalent of a limp handshake or indeed a misalignment of the wide array of social touching that people integrate on a daily basis. It could easily become awkward.
Psychologists Jeremy Bailenson and Nick Yee examined touch, both in the physical and virtual reality.
It appears people use a lighter touch when touching different areas of the body. People touch faces with a more gentle touch than the torso or limbs. The same light touch was used when people touched representations of others, with a heavier touch used for inanimate objects.
They also recorded a difference in how male and female avatars were touched. Male avatars were touched with more force than female representations, by both sexes.

Design of a VR avatar

긍정적 효과
* Mr Motivator (동기 유발자)
* The Superman Effect (수퍼맨 효과)
* The Time Travel Effect (시간 여행 효과)

부정적 효과
* 더 폭력적이게 할 가능성
* 잘못 된 기억의 생성

Turning the focus from the VR environment to the design of the avatar bring to light some interesting psychological research.
The avatar is a powerful representation of self. Where it is the equivalent of our VR twin or representation of our choosing, any manipulation in our avatar has psychological impact on our real world selves. Some may argue that we have used a number of avatars in gaming – anyone that created a Mii character can contest to how attached we become to them. The difference being we embody a VR avatar. Being able to both see and feel the cause and effects of our behaviour. Interacting in a VR world and the effect of getting the sensory feedback means we are intrinsically linked to these representations.

This embodiment can have both positive and negative effects on our real world selves. Bailenson’s study into Doppelgangers shows how this psychological bridge can be used for good. (http://formforthought.com/psychology-positive-effects-of-virtual-reality-vr-behaviour/)

< 원본 출처 >
http://formforthought.com/psychology-of-virtual-reality-vr-design/

UX Principles for designing Virtual Reality


1. Everything Should Be Reactive (모든 것이 반응하도록 하라!)
Every interactive object should respond to any casual movement. For example, if something is a button, any casual touch should provoke movement, even if that movement does not result in the button being fully pushed. When this happens, the haptic response of the object coincides with a mental model, allowing people to move their muscles to interact with objects. When designing a button: use a shadow from the hand to indicate where the user’s hand is in relation to button, create a glow from the button that can be reflected on the hand to help understand the relationship, use sound to indicate when the button has been pressed (“click”)

2. Restrict Motions to Interaction (불필요한 동작을 유인하지마라!!)
The display should respond to the user’s movements at all times, without exception. Even in menus, when the game is paused, or during cut scenes, users should be able to look around. Avoiding Simulator Sickness and slowness is the key part of improving the UX in Virtual Reality Applications. Do not instigate any movement without user input. Reduce neck strain with experiences that reward a significant degree of looking around. Try to restrict movement in the periphery.

3. Text and Image Legibility (텍스트와 이미지는 가독성을 좋게하라!)
Bigger, brighter and bold texts should be used to indicate widgets. Images should be realistic and appealing to the user. The mind of the user is going to be entirely mapped into the virtual reality for a prolonged amount of time. Texts should be readable and legible for unstrained viewing of the user. Brighter and vivid the colors are, more involved the users will be.

4. Ergonomics (인체공학적으로 구성하라!)
Designing based on how the human body works is an essential to bringing any new interface to life. Our bodies tend to move in arcs, rather than straight lines, so it’s important to compensate by allowing for arcs in 3D space

5. Sound Effects (소리를 최대한 활용하라!)
Sound is an essential aspect of truly immersive VR. Combined with hand tracking and visual feedback, it can be used to create the “illusion” of tactile sensation. It can also be very effective in communicating the success or failure of interactions.

< 원본출처  >
http://www.uxness.in/2015/08/ux-virtual-reality.html

Google’s Design Guidelines for Virtual Reality


Goolge의 Cardboard Team에서 제시한 VR Design을 위한 가이드라인을 소개한다.

1. Using a Reticle (십자선을 이용하라!)

Without a visual aid it's hard to tell when objects are actually in the center of your view. Overlaying a visual aid or "reticle" makes targeting objects much easier. The best reticles are unobtrusive and react to interactive elements in the environment.
       
2 UI Depth & Eye Strain (UI는 대략 3m 거리에서 최적이 되도록 하라!)

Many things affect text legibility. Font size, contrast, spacing, and more play a role. Virtual reality adds another factor: depth. About 3 meters from the viewer is a good distance for a comfortable UI. It's far enough away to be comfortably legible, but close enough to not interfere with most scenes.
       
3 Using Constant Velocity (일정한 속도를 유지하고 필요시 서서히 변하도록 하라!)

VR can make people feel sick in some situations, such as during acceleration and deceleration. Good motion is smooth, with constant velocity.
       
4 Keeping the User Grounded (사용자의 공간감을 잃지 않도록 하라!)

It's easy to become disoriented in virtual environments. You should always include plenty of reference points so that the user can understand their surroundings.
       
5 Maintaining Head Tracking (머리의 움지임을 계속 추적하라!)

The key to virtual reality is smooth, low-latency head tracking. No matter what, make sure at least one element in the scene always maintains head tracking.
       
6 Guiding with Light (빛의 색상을 이용해 안내하라!)

Designing for VR means designing for 3D spaces. This creates a challenge of drawing the user's attention. A common technique in video game design is to leverage lighting cues. While subtle, users will be drawn to the brightest part of a scene.
       
7 Leveraging Scale (크기에 대한 비교 척도를 잘 활용하라!)

Large differences in scale between user and environment are very effective in virtual reality. Use scale to affect how the user perceives their environment and their physical size in the world.
       
8 Spatial Audio (입체사운드를 활용하라!)

When triggering audio or other events, consider leveraging the user's position and field of view. It's an effective way to engage the user and immerse them in the environment.
       
9 Gaze Cues (사용자의 시선을 활용하여 인터렉션하도록 하라!)

In VR, you always know where the user is looking. The user's gaze can be utilized as a cursor to trigger passive interactions in the environment. This can help you reveal more information about the world.
       
10 Make it Beautiful (최대한 멋지게 꾸며라!)

Virtual reality is a carefully crafted illusion. The better your experience looks, the better the illusion. Take every opportunity to optimize the visuals of your world.

2016년 10월 16일 일요일

07-3. 멀미(Motion Sickness)의 원인과 해결을 위한 노력들

일반적으로 멀미는 자동차나 항공기 그리고 특히 배를 탈경우에 심하게 느끼는 것으로 몸(신체)이 느끼는 것과 눈이 보고 있는 것과의 차이로 인해 뇌가 적절히 대응(해석)할 수 없게 됨으로써 결과적으로 신체가 느끼는 괴로움이다.

조금 더 세세히 살펴보면
사람은 전정기관(Vestibule)을 이용하여 몸의 균형을 잡아가게 된다. 그러나 전정기관만으로 항시 균형을 유지하기는 쉽지 않다. 따라서 뇌는 눈으로 부터 들어오는 시각적 정보까지 통합하여 항상 균형을 유지해간다. 그런데 배를 타게 되면 배의 움직임에 따라 감지되는 전정기관의 정보와 파도가 일렁이는 시각적 정보가 차이가 생기게 되는데 뇌는 이 두가지 정보의 차이에 대해 익숙해져 있지 않기 때문에 몸(신체)를 어떻게 가누어야 할지 모르게 된다. 이러한 정신적 괴리의 상태가 신체적 괴로움을 야기하는 것이다.

결국 VR을 체험할 때 멀미를 느끼는 원인은 인지부조화(Cognitive dissonance)에서 기인한다. 즉, 뇌는 그 동안 살아오면서 지극히 당연하면서 자연스러운 신체적 감각정보와 시각적 정보(Visual Information)의 통합에 익숙해져 있는 상태인데 VR을 경험할때는 현재 눈에서 보고 있는 시각적 정보에 대해 올바로 매칭되는 신체적 균형정보가 들어 오지 않게 됨으로써 자신의 몸의 상태를 어떻게 제어 해야할지 모르게 되는 것이다.

이를 해결하기 위한 노력들은 다음과 같다.

* 고해상도 디스플레이의 사용과 넓은 시야각(FOV)의 제공
   : VR 기기는 대부분 디스플레이가 눈에 근접해 있기 때문에 낮은 해상도의 경우 픽셀이 보일 수도 있다. 저해상도 그래픽은 멀미보다는 눈의 피로를 가중시키는 경향이 있지만 부정확한 그래픽 정보는 현실성을 떨어 트리는 요인이 되기도 한다. 또한 좁은 시야각은 현실과 달리 충분한 시야 정보를 얻을 수 없기 때문에 멀미를 유발할 수도 있다.
  : 오큘러스 - 2160 X 1200 pixel, 90Hz Built-in AMOLED
  : 삼성 기어 VR - 2560 X 1440 pixel, 60Hz Super AMOLED
  : HTC 바이브 - 2160 X 1200 pixel, 90Hz OLED
  : 소니 VR - 1920 X 1080 pixel, 90Hz, 120Hz OLED

* 레이턴시(Motion-to-Photon Latency) 최소화
  : 사용자의 동작과 디스플레이의 그래픽 처리 시간을 최대한 일치시키는 기술을 적용하고 있다. 90Hz의 디스플레이의 경우 약 1/100초정도 밖에 차이가 나지 않는다. 끊임 없이 움직이는 사용자의 동작에 맞춰서 3D 그래픽을 랜더링하여 전달하는 것은 고사양의 GPU를 요구하는 이유가 되기도 한다.

아직 실용적이지는 않지만 아래와 같은 대안도 있다.
* 전정기관에 시각정보에 대응할 만한 자극을 전달하는 "Hacking the inner ear" 기술
  : 현재로써는 약간 전기자극을 전정기관에 흘려 넣는 방식이지만 추후에는 조금더 정교하게 정정기관을 속일 수 있는 기술이 나오지 않을까 싶다.

그리고 가외로 '멀미약'을 먹는 경우도 있는데 VR 멀미에 특효인 전용 멀미약이 등장하지 않을까 예상해 본다.


< 참고링크 >
http://m.post.naver.com/viewer/postView.nhn?volumeNo=3985750&memberNo=29481007&vType=VERTICAL
http://www.bloter.net/archives/265356
http://www.inven.co.kr/webzine/news/?news=152580

전정기관(Vestibule): 머리의 수평, 수직 선형 가속도, 회전 운동을 감지하여 중추평형기관에 전달하여 신체의 균형을 유지하게 하는 기관으로, 세반고리관과 전정을 통틀어 일컫는다.

2016년 10월 9일 일요일

07-2. Motion Tracking System: 6 DoF

6DoF(Six degrees of freedom)는 Oculus rift에서 사용하고 있는 모션 추적 시스템이다.

* 위치 추적
  X = 좌/우
  Y = 상/하
  Z = 전/후

* 방향의 추적
  Pitch = X축으로의 회전 (고개를 끄떡임)
  Yaw  = Y축으로의 회전 (얼굴을 좌/우로 돌림. 도리도리)
  Roll  = Z축으로의 회전 (머리를 좌/우로 까닥거림)

6 DoF는 아래의 센서들을 활용하여 계산하게 된다.

* 자이로 센서(Gyro sensor): 물체의 회전 혹은 기울어진 정도를 감지하는 센서
* 가속도 센서(Acceleration sensor): 움직임의 방향과 그 크기를 감지하는 센서
* 자기장 센서(Magnetic sensor): 지구의 자기장을 감지하여 자신이 놓인 방향을 탐지.
* 키넥트 센서(Kinect sensor): 사용자의 3차원 움직임에 대한 감지

자이로 센서와 가속도 센서로 사용자의 해드 트레킹 및 핸드(컨트롤러) 트레킹이 가능하겠지만 일련의 오차에 대한 보정 그리고 머리와 손 이외의 전체적인 신체의 움직임을 감지여 보다 높은 정확도의 모션 인식을 위해 키텐트 센서를 이용하게 된다.


  Oculus Rift: Constellation tracking sensor


07-1. Motion Tracking System: Lighthouse

1) Lighthouse (2 base stations emitting pulsed IR lasers)

HTC Vive는 '라이트하우스(Lighthouse)라는 방식으로 사용자의 동작(정확히는 해드셋과 컨트롤러)을 인식한다. Lighthouse의 핵심은 Base station(우리말로 번역하면 '기지국'이라고 한다)에 있다. Base Station은 1초에 60회로 회전하면서 적외선 레이저(Infrared Laser: IR Laser)를 수평축과 수직축으로 발사하는 장치를 가지고 있다. 해드셋과 컨트롤러에는 이들 레이저를 인식하는 감지센서(photosensor)를 가지고 있다. 이 센서가 감지한 위치와 위치의 변화량을 가지고 이동 방향을 알게 된다. HTC Vive는 2개의 Base station을 이용함으로써 3차원 공간에서 움직임을 인식할 수 있게 되는 것이다.




싱크케이블(Sync cable)로 연결된 2개의 Base station에 의해 인식가능한 사각의 영역이 룸스케일(room scale)이 되며 이 영역을 사용자가 가상환경 내에서 인식하 수 있도록 해주고 있다.


Base station은 비콘(Beacon)이라고도 한다. 즉, 내가 어디에 위치해 있고 어떻게 움직여 가고 있는지를 펄스 레이저(Pulsed laser)를 이용하여 인식하여 거리와 위치를 측정하는 장치라고 생각하면된다. 이러한 원리를 이용해 2개의 Base station을 가지고 3차원 공간상에서의 거리와 위치 그리고 이동방향(회전을 포함해서)을 추적하는 것이다.