Виртуальная реальность и роботизированная хирургия могут показаться совершенно не связанными областями, но у них есть нечто общее: необходимость поддерживать связь между реальным и виртуальными мирами.
В минимально инвазивной роботизированной хирургии, вы создаете маленькие надрезы, и вводите в них инструменты, вместе с 3D камерой, чтобы выполнить процедуру внутри тела пациента. Хирург смотрит живую 3D трансляцию, идущую из тела и управляет роботизированной системой с тем, чтобы перевести движения своих рук, запястий и пальцев в точные движения инструментов, прикрепленных к рукам робота.
Суть в том, что это более эффективно и менее инвазивно, чем традиционная операция. Как хирург, вы должны быть в состоянии сконцентрироваться на процедуре, в то же время наблюдая за другими людьми в операционной, и состоянием пациента. В этом контексте, связь между виртуальным и реальным миром не просто желательна, а жизненно необходима.
После работы над несколькими проектами с Intuitive Surgical, компанией, которая занимается роботизированной хирургией, мы идентифицировали 4 ключевых принципа, которые помогут справиться с напряжением между средой виртуальной и реальной операционных. После некоторых модификаций, их легко можно будет применить к той виртуальной реальности, к которой все мы привыкли — игры и кино:
1. Создайте нить между реальным и виртуальным мирами
Прежде, чем вы займетесь VR проектом, задайте себе 2 вопроса: 1) Какова цель опыта? 2) Какой механизм помогает устанавливать связь между реальным, и виртуальным миром?
В случае с роботизированной хирургией, вся работа происходит в коллаборационной среде, и цель состоит в сохранении широкого и устойчивого внимания к контексту, поддерживая тем самым связь хирурга с ассистентом, анестезиологом, и другим персоналом операционной. Открытие аудио канала для поддержки осознания окружающих звуков, и обусловливания общения между хирургом и остальной командой — эффективный механизм сохранения связи, не прерывающий выполнение основной задачи.
В случае с VR играми, целью может быть создание опыта максимально возможного погружения. Здесь стоит ограничить все нити, связывающие игрока с реальным миром, оставив только те, что появляются в ключевых моментах игры — это поможет предотвратить получение случайных травм. В этом случае, в роли такого механизма может выступать очерчивание физического пространства комнаты или объектов в ней.
2. Используйте контрасты для создания различий между опытом, и элементами управления
Чем реалистичнее выглядят объекты и окружающий мир, тем важнее становится создание различий между тем, что реально, а что нет. С этим помогут контрасты.
В случае с хирургией, и той средой, которая использует высококачественное 3D видео брюшной полости для погружения хирурга в процедуру, ключом являются базовые графические элементы. Простые формы, основные цвета, и плоские поверхности — всё это отличает окружающую среду (тело, хирургические инструменты) от UI (управление и настройки).
В высококачественной, фотореалистичной виртуальной среде, будь то VR игра или VR сторителлинг, создание различий между геометрически сложной и реалистично отрисованой средой, созданиями, или объектами и примитивными формами — эффективный способ отличить реальное от виртуального. Например, двухмерная сетка или куб могут помочь очертить границы комнаты. Парящие плоскости или сферы, выполненные в несогласующемся с виртуальной средой цвете, могут быть хорошим способом представления компонента UI.
3. Предоставьте нечто, что поможет пользователю справиться с переходом из виртуального в реальный мир
Чем более иммерсивна виртуальная среда, и чем глубже погружен в нее пользователь, тем более резким и интрузивным будет выход из нее. Создание чего-то, что поможет пользователю справиться с переходом из виртуального в реальный мир только улучшит опыт. Медленно, или с постепенно нарастающей интенсивностью появляющиеся подсказки, дадут человеку время прийти в себя.
В хирургии, визуальные подсказки должны появляться на периферии зрения, а не в его центре. Такие подсказки понятны и не интрузивны. Также, поскольку хирург постоянно слышит звук, его изменение может быть эффективным способом перехода между виртуальным и реальным мирами.
Если вы подойдете к человеку, который погружен в виртуальную игру, и постучите его по плечу, то это шокирует и его, и скорее всего, вас. Но этот шок будет гораздо меньшим, если игрок будет понимать, что в комнате есть кто-то еще, и этот кто-то к нему приближается. Схожим образом, постепенно вырисовывающийся контур стены или мебели, вызывает намного менее неприятные эмоции, чем если эти объекты внезапно появятся в последний момент. Для передачи информации о том, где в пространстве находятся объекты или другие люди можно использовать локализованный звук. Также, чтобы сообщить присутствие другого человека можно использовать свет (кто-нибудь открывает дверь в ярко освещенный коридор позади игрока).
4. Сообщайте людям в физическом пространстве о контексте человека в виртуальном.
Как и человеку, погруженному в виртуальную реальность полезно знать о тех, кто находится физическом пространстве, так и людям в физическом мире важно понимать контекст человека, находящегося в виртуальной реальности.
Хирургические команды действуют очень слаженно. Осведомленность о действиях друг друга, и предвосхищение следующих шагов — ключи к безопасной и эффективной процедуре. Отображение на мониторе того, что видит хирург помогает команде оставаться в курсе его действий. Это помогает отличить рутинные части процедуры, от сложных, требующих особого внимания, и избежать несвоевременных перерывов. Если хирург просит заменить инструмент, то вполне естественно, что он захочет либо на него указать, либо сдвинуть. Но его намерения будут не очевидны до тех пор, пока другие члены команды не увидят на мониторе то, что видит сам хирург.
Схожим образом, отображение того, что игрок переживает в VR помогает находящемуся рядом с ним человеком определить, когда и как можно вмешаться. В домашних условиях, игра перед экраном — эффективный способ достижения этой цели. Множество игр имеют режим наблюдателя, позволяющий не игрокам погрузиться в происходящее действие.
В случае с мобильной VR, когда нет доступа к внешнему экрану или колонкам, всё немного сложнее, особенно в публичной среде. Виртуальная реальность еще довольно нова, и под нее не установлены социальные нормы. Немало времени потребовалось на то, чтобы привыкнуть к публичному использованию телефонной гарнитуры, но в том случае у нас было преимущество — зрительный контакт.
Эти проблемы еще больше усложняются, когда мы начинаем думать о дополненной реальности. Человек в шлеме виртуальной реальности, очевидно, переживает что-то в виртуальном мире, и скорее всего оторван от реального. В случае с дополненной реальностью, всё не так однозначно. Пользователь имеет цифровой контент, добавленный поверх физического мира, и этот контент совершенно невидим стороннему наблюдателю. Как скорректировать такую асимметрию?
По мере совершенствования технологий и наших возможностей создавать убедительные виртуальные переживания, управление переходом между мирами будет представлять из себя всё более сложную задачу для дизайнеров. Хирургическая робототехника не решит все проблемы, но может послужить хорошим стартом.
Перевод статьи Фернда Ван Энгелена
