Цифровые двойники и новые человеко-машинные интерфейсы: возможности дополненной и виртуальной реальности

Вернуться на страницу статьи
Скачать статью в PDF


Цифровые двойники и новые человеко-машинные интерфейсы: возможности дополненной и виртуальной реальности

Денисов С.Г.

Северо-Западный институт управления – филиал ФГБОУВО «Российская академия народного хозяйства и государственной службы при президенте Российской Федерации»

Аннотация:

В данной статье показана роль и проанализированы возможности виртуальной и дополненной реальности в системе визуализации при построении цифровых двойников, благодаря которым весь жизненный цикл оборудования начиная с проектирования, создания и обслуживания становится более производительным.

Ключевые слова:

цифровой двойник, система визуализации, интерфейс, дополненная реальность, виртуальная реальность, смешанная реальность.


Abstract:

This article shows the role and analyzes the possibilities of virtual and augmented reality in the visualization system in the construction of digital twins, thanks to which the entire life cycle of equipment, starting with design, creation and maintenance, becomes more productive.

Keywords:

digital twin, visualization system, interface, augmented reality, virtual reality, mixed reality.


Система визуализации имеет огромное значение для построения эффективных цифровых двойников (далее – ЦД) как на этапе проектирования и разработки будущего продукта, так и на этапе мониторинга работы готовых эксплуатируемых систем.
Уровень визуализации для пользователя в существенной мере определяет качество ЦД-решений. Человек не может прочитать за пять минут 100-страничный отчет. Разработка, поддержка и использование ЦД требуют дорогостоящих ресурсов по обработке и хранению информации [1]. Однако скорость восприятия – это не только вопрос объема информации, но и вопрос удобства интерфейса. С помощью видео оперативность восприятия увеличивается, а наличие виртуальной и дополненной реальности дает возможность еще более увеличить скорость осмысления информации, уменьшить количество ошибок и сэкономить время.
Концепция виртуализации сегодня активно внедряется в сетевых технологиях [2]. Переходя к описанию роли виртуальной и дополненной реальности, необходимо напомнить содержание терминов. Дополненная реальность (Augmented Reality, AR) – это интерактивное восприятие среды реального мира, в которой объекты, находящиеся в реальном мире, уточняются (дополняются данными) с помощью компьютерной информации [3].
Если дополненная реальность изменяет текущее восприятие реального мира, то виртуальная реальность полностью заменяет среду на имитацию. Дополненная виртуальность (Augmented Virtuality, AV) – это виртуальная реальность (Virtual Reality, VR), в которой присутствуют объекты из настоящего мира. Смешанная реальность (Mixed Reality, MR) охватывает дополненную реальность и виртуальную реальность и подразумевает еще и взаимодействие между физической и цифровой реальностью.
Помимо виртуальной реальности, различают также конструктивную реальность. В виртуальной реальности реальные люди взаимодействуют с виртуальной реальностью. В конструктивной реальности виртуальные люди (аватары реальных людей) взаимодействуют с виртуальной реальностью. Например, в дизайнерской программе (так же, как в компьютерной игре) могут присутствовать виртуальные люди, которые взаимодействуют между собой и с элементами оборудования, а наблюдатель оценивает, насколько виртуальным сотрудникам удобно работать в том или ином сборочном цехе или иной среде. Конструктивную реальность могут населять объекты, управляемые искусственным интеллектом.
Появление смешанной реальности позволило пользователю не только управлять объектами виртуальной реальности из физического мира (управление объектами на экране монитора), но также и наоборот, находясь ментально внутри виртуальной реальности и работая с виртуальными объектами, управлять реальными удаленными объектами. Так, например, имея в распоряжении виртуальные элементы управления экскаватором, реальные работы могут выполняться удаленно, вне пределов видимости реального объекта, если информация о физической и цифровой части синхронизируется в реальном времени.
Работа с подобными манипуляторами дает возможности управления удаленными объектами в опасных средах, таких как, например, вредное химическое производство или атомный реактор. Развитие четвертой промышленной революции постепенно подталкивает крупные предприятия к созданию умных заводов по технологии ЦД [4].
Концепция VR существенно старше концепции ЦД. Первый дисплей виртуальной реальности был создан в 1968 г. ученым-программистом Айвеном Сазерлендом [3]. Устройство Сазерленда (он назвал его «идеальным дисплеем») представляло собой шлем со стереоскопическим дисплеем, в который передавались компьютерные изображения (каркасные формы объектов), которые меняли перспективу, когда пользователь двигал головой. Поскольку изображения накладывались поверх реального фона, это также можно рассматривать как рождение «дополненной реальности».
В разное время ряд компаний создавал гарнитуру для работы с VR: вначале преимущественно для развлекательных приложений, а чуть позднее – для инженерных. В 1993 г. компания Sega анонсировала гарнитуру Sega VR для консоли Sega Genesis. В 1995 г. появилась Nintendo Virtual Boy – игровая 3D-консоль, способная отображать настоящую 3D-графику. Примерно в это же время виртуальная реальность стала применяться и в задачах промышленного проектирования.
В 1988 г. NASA запустило проект "Virtual Interface Environment Workstation (VIEW)". В рамках проекта был разработан шлем, на который можно было передавать компьютерные или видеоизображения с удаленных камер. В проекте также были разработаны киберперчатки DataGlove и киберкостюм DataSuit. В 1992 г. появилась технология CAVE (Computer-Aided Virtual Environment) – комната виртуальной реальности, которая представляла собой многогранную проекционную систему 3D-визуализации, позволяющую нескольким пользователям совместно манипулировать сложными 3D-моделями.
В 2013 г. Google запустила проект Google Glass – гарнитуру для смартфонов на базе Android, а в 2014 г. создала устройство Cardboard – ультрадешевую систему виртуальной реальности, давшую толчок распространению технологии VR.
В 2016 г. Microsoft разработала очки смешанной реальности Microsoft HoloLens, использующие 64-разрядную операционную систему Windows Holographic, – устройство стоимостью около 3000 долл., которое автономно и не требует подключения к ПК, смартфону или игровой консоли. Голограммы выводятся в высоком разрешении, а звуки позиционируются в пространстве. Управлять очками можно при помощи жестов и голоса. Владельцы устройств имеют возможность использовать Skype и общаться с удаленными абонентами. Microsoft HoloLens – это мощный инструмент, который позволяет вывести визуализацию, предоставляемую цифровыми двойниками, на новый уровень, быстрее организовать процесс проектирования, согласования и мониторинга изучаемых объектов, решать более сложные задачи, снизить простои на производстве и сократить затраты. По утверждению Microsoft, основной целевой аудиторией HoloLens являются бизнес-пользователи. Партнеры Microsoft разрабатывают приложения для разных вертикальных отраслей. В частности, компания CAE Healthcare представила Microsoft HoloLens на рынке медицинского моделирования. Испанская медицинская технологическая компания Exovite объявила о том, что гарнитуры Microsoft Mixed Reality используются хирургами, что позволяет им быстро просматривать данные КТ, УЗИ и многое другое через очки Microsoft HoloLens. Boeing свидетельствует, что применяет Microsoft HoloLens для использования трехмерной визуализации в процессе обучения сотрудников.
Rockwell Automation сообщает, что использовала свою платформу разработки Studio 5000 с гарнитурой Microsoft HoloLens VR для создания приложений на основе смешанной реальности нового поколения для дизайнеров.
Microsoft приводит примеры, когда сервисные инженеры используют HoloLens для удаленного доступа к экспертам при проведении полевых работ. Цифровые двойники с функциями VR и AR представляют новые возможности для обучения и совместной работы, особенно в экстремальных ситуациях, – например, техник, работающий в поле, может не иметь всех необходимых данных или навыков для критического ремонта сложного оборудования. Используя цифровой двойник, инженер компании производителя может диагностировать проблему и подать инструкции на AR-дисплей полевого техника, то есть организовать новый тип удаленно-командной работы.
Целый ряд компаний уже продемонстрировал возможности ЦД в сочетании со средствами виртуальной реальности на базе Microsoft HoloLens. В 2016 г. вице-президент General Electric, директор исследовательского центра «Software Research Global Center», провел демонстрацию управления цифровым двойником с помощью распознавания жестов с выводом результатов работы ЦД на устройство Microsoft HoloLens [3]. Компания Lockheed Martin Corporation информирует [3], что в корпорации используют технологию ЦД в сочетании с технологией COMITS-AR (Computerized Object Manipulation In Three-dimensional Space-AR – компьютеризированная манипуляция объектами в трехмерном пространстве на базе Microsoft HoloLens для использования возможностей дополненной реальности). Технология позволяет отображать модели, имеющие до 80 тысяч полигонов, и показывать видео с частотой 60 кадров в секунду. Для генерации изображения для правого и левого глаза (1268 x 720 пикселей на каждый глаз) используется графический процессор, и затем оба изображения отправляются на устройство HoloLens с помощью технологии Wi-Fi.
Еще один пример – решение, созданное в лаборатории «Industry 4.0 Collaboration Lab» Института управления информацией в области машиностроения (Information Management in Engineering, IMЕ) при Технологическом институте Карлсруэ (KIT), Германия [3]. Там разработан ЦД фрезерного станка, который используется для оптимизации рабочих процессов в среде виртуальной реальности, что, по свидетельству разработчиков решения, позволяет увеличить производительность более чем на 20%.
Об эффективности технологии ЦД с использованием VR технологии сообщает Caterpillar – одна из ведущих корпораций по производству тяжелой спецтехники. С помощью технологий дополненной реальности сервис-инженеры компании, опираясь на математическую модель с предиктивной аналитикой, могут осуществлять точечный ремонт в полном соответствии с актуальным состоянием запросившего обслуживание грейдера. Цифровой двойник помогает также решить задачи маркетинга. По свидетельству специалистов Caterpillar, благодаря технологии ЦД компания сильно экономит на логистике крупного оборудования. Например, чтобы показать заказчику из ОАЭ (с целью последующей продажи), как работает грейдер, достаточно передать 3D-модель грейдера в свое представительство, где в очках виртуальной реальности можно провести презентацию для потенциального покупателя.
На этапе контроля работы оборудования, когда ЦД собирает и генерирует большой объем данных об изделии или процессе, эффективность предоставления данных наблюдателю – это важный элемент в извлечении новых закономерностей в данных и оперативной реакции на полученную информацию. Важно отметить, что технологии IoT (internet of things – интернет вещей) и ЦД являются взаимодополняющими и ЦД позволяют частично упорядочить IoT- систему [5].
Возможность наблюдения работы будущего изделия в трехмерном виде, возможность использования дополненной реальности для того, чтобы показать инженерам, занятым ремонтными работами, где произошла авария, показать техническим специалистам, где находится искомая подсистема, какие работы должны быть выполнены, оценить удаленно качество выполненных работ – все это новые возможности, которые предоставляет ЦД с помощью технологий AR и VR. На любом этапе жизненного цикла изделия или оборудования (проектирование, создание, обслуживание, устранение неполадок и т. д.) использование ЦД в сочетании с дополненной и виртуальной реальностью дает значительное повышение производительности.
Способность визуализировать разрабатываемую систему и обмениваться информацией с заинтересованными сторонами на этапе проектирования позволяет не только осуществлять обмен визуальной информацией среди проектировщиков, но и привлекать будущих клиентов на самых ранних этапах проектирования системы, которые могут предоставить ценную обратную связь в момент, когда изменения все еще могут быть сделаны дешево. Маркетинговые визуальные прототипы продукта могут быть разработаны до появления физического прототипа, и продажи с помощью ЦД могут привлечь новых клиентов.
Сегодня средства VR позволяют воздействовать практически на все органы чувств человека. Для большинства потребителей все эти устройства хорошо знакомы. Возможно, некоторого пояснения требуют устройства передачи тактильных ощущений. Первое устройство – это система, имитирующая прикосновение к объекту (передает степень податливости поверхности виртуального объекта, – выглядит, как стилус на шарнирном приводе, эмулирующем сопротивление). Второе устройство – это киберперчатка, система, отслеживающая движения руки.
Кроме того, стоит отметить, что на сегодняшний день уже созданы отдельные устройства, которые позволяют передавать по сети запахи. Вернее, передается код, который на стороне клиента переводится в соответствующий запах путем смешивания в устройстве соответствующих компонентов в нужной пропорции, по такой схеме можно передавать и вкус. Кроме того, может имитироваться воздействие на вестибулярный аппарат путем передачи различных ускорений платформе, на которой находится человек. Такая технология, в частности, используется в авиатренажерах с обратной связью, например, компании TFT Aero.
Говоря о важности и перспективности систем AR и VR, следует отметить, что компьютерное зрение по распознаванию изображений во многих задачах превосходит человеческое. А кроме того, визуализировать в виртуальном пространстве можно не только видимые в физическом мире объекты и параметры.
Решения для смешанной реальности позволяют совершенно по-новому просматривать и взаимодействовать с данными. Весь жизненный цикл оборудования – проектирование, создание, обслуживание и устранение неполадок, становится значительно более производительным благодаря ЦД. Возникает возможность сравнить в виртуальном мире большое количество итераций виртуального проектирования, тестирования и перепроектирования, что происходит намного быстрее, чем в мире реальном. Более того, возможности искусственного интеллекта позволят создавать ЦД, в которых роль человека в принятии управленческих решений будет минимизироваться [6]. Можно сказать, что ЦД позволяют связывать мир физический и виртуальный, а приложения смешанной реальности позволяют переместить человека в мир виртуальный, чтобы работать с ЦД.

Список литературы

  1. Денисов С.Г. Влияние трендов облачных технологий и периферийных вычислений на технологии цифровых двойников // Бюллетень инновационных технологий. – 2023. – Т.7. – № 3(27). – С.9– 13. – EDN IWZCNU
  2. Афонин Д.Н. Возможности, перспективы и проблемы виртуализации в Федеральной таможенной службе России // Бюллетень инновационных технологий. – 2020. – Т. 4. – № 2(14). – С. 52–55. – EDN HMKSVT
  3. Прохоров А., Лысачев М. Цифровой двойник. Анализ, тренды, мировой опыт. – М.: ООО «АльянсПринт». – 2020. – 401 с.
  4. Касьянова Н.Т., Тумашева Е.С. Рынок цифровых двойников: стимулирующие и сдерживающие факторы // Бюллетень инновационных технологий. – 2023. – Т. 7. – № 1(25). – С. 30–35. – EDN VOPKJH
  5. Денисов С.Г. Технологии сбора и обработки данных для создания цифровых двойников // Бюллетень инновационных технологий. – 2023. – Т.7. – № 2(26). – С.12– 17. – EDN ZKGLQC
  6. Денисова Н.А. Роль технологии цифрового двойника в процессах цифровой трансформации таможенного администрирования // Ученые записки Санкт-Петербургского имени В.Б. Бобкова филиала Российской таможенной академии. – 2021. – № 3(79). – С.34–38. – EDN FGBTCX.

Вернуться на страницу статьи
Скачать статью в PDF




Ссылка для цитирования: Денисов С.Г. Цифровые двойники и новые человеко-машинные интерфейсы: возможности дополненной и виртуальной реальности // Бюллетень инновационных технологий. – 2023. – Т. 7. – № 4 (28). – С. 25-29. – EDN EVJVLO.