„Виж по-добре, за да разбереш по-добре“
инж. Деян Сосеров „Минно-геоложки университет „Св. Иван Рилски“
Въведение
Настоящата публикация има за цел да представи някои от основните тенденции при напоследък все по-популярните и достъпни системи за виртуална и усилена реалност (Virtual reality-VR и Augmented reality-AR) и то от гледна точка на приложенията им в геопространствените науки. Ние, като професионалисти в тази сфера, сме в позицията не само да използваме тези системи, но и с пълно право да участваме в развитието им. Нивото на съвременните инструменти и технологии, като LIDAR и цифрова фотограметрия, характеризира събраната геопространствена информация с висока детайлност и реалистичност. Напредването на изчислителната техника и CAD софтуер осигурява обработката на големи масиви от данни. Всичко това дава нов хоризонт на креативност при представяне на събраната информация, при който на преден план без съмнение са системите за виртуална и усилена реалност.
Дефиниране на понятията
Виртуална реалност (Virtual reality-VR), усилена/добавена реалност (Augmented reality – AR), смесена реалност (Mixed reality – MR), усилена виртуалност (Augmented virtuality – AV), разширена реалност (eXtended reality – XR) и т.н., всички тези технологични термини навлизат все по- упорито в ежедневието на модерния човек. В етап на развитие те разширяват обхвата си на приложение, стават все по-достъпни и търпят не малко определения. За да им дадем кратка и точна дефиниция, ще трябва да се върнем назад във времето, когато всички те са били повече идейни проекти или реквизит от научнофантастичен филм, но не и масово явление.
През 1994г. Пол Милгрeм (Paul Milgram), в съавторство, представя концепция за дефинирането на различните технологии при визуализиране на компютърно създадена среда чрез описание на реално-виртуален континуум (reality-virtuality continuum)(1). Поставяйки в двата противоположни края реалната и виртуалната среда, той описва смесената реалност (MR) като „технология, съчетаваща реален и виртуален свят, някъде по континуума, който свързва напълно реалната с напълно виртуалната среда“.
Фигура 1 Реално-виртуален континуум, представен от Пол Милгрем
Както е показано на фигура 1, реално-виртуалния континуум се простира от напълно реалната до напълно виртуалната среда, като обхваща усилената/добавената реалност (AR) и усилената/добавена виртуалност (AV). Ако се основем на буквалния превод на термина „augmented” е по-добре да използваме единствено епитета „усилена“, въпреки че „добавена“ е масово използваният у нас. С този подход лесно може да се направят някои изводи. Усилената реалност (AR) е наслагването на виртуални модели върху наблюдавания реален свят, докато усилената виртуалност (AV) е виртуален свят, съдържащ изображения от реалния. Ако дефинираме реалния свят като всичко, което ни заобикаля и не е представено под въздействието на компютърна система, то в десния край на континуума е противоположният виртуален свят, който е съставен единствено от компютърно генерирани модели, било то на съществуващи или не предмети и среди.
В контекста на разсъжденията дотук, най-популярният термин без съмнение е „виртуална реалност“ (virtual reality – VR), който сам по себе си представлява оксиморон. Виртуалната реалност е компютърно синтезирана изкуствена среда, в която чрез компютърна симулация може да се генерират стимули за виждане, чуване и осезание от компютърната система и те да се възприемат от потребителя чрез неговите сетива (2). При реално-виртуалния континуум, това определение се отнася за най-десния му край. Тук е моментът да се замислим използвали ли сме такъв вид система, която да ангажира всичките ни сетива – отговорът е не, но по-голямата част от нас са я виждали в касовия американски филм The Matrix (Матрицата) от 1999г.
В момента на пазара се предлагат различни достъпни средства, с които да се осъществи т.нар. потапяне (immersion) във виртуалния свят – очила и шлемове (каски) за визуализиране (Head mounted display – HMD); контролери, джойстици и ръкавици за движение, взаимодействие и тактилно усещане; сензори за следене на движение и позициониране; озвучаване, както и различни софтуерни решения за управлението на базата данни, съдържащи моделите на виртуалния свят и връзките между тях. Всички изброени съставни образуват система за различни
видове реалност.
За реализацията на различни решения на пространствени задачи на преден план от всички сетива стои зрението, респ. визуализирането на виртуалните модели. Във връзка с това могат да се разграничат седем различни системи за визуализиране на смесена реалност (1), които можем да обобщим като прикрепящи се към главата (Head mounted display – HMD), ръчни дисплеи (смартфон, таблет и др.) и стационарни дисплеи и монитори. Всички те предлагат различни комбинации от изображения и модели на реалния и виртуален свят и намират мястото си по оста на реално-виртуалния континуум.
Виртуална реалност с геопространствени приложения
Както споменахме, виртуалната реалност (VR) е изкуствено компютърно генерирана среда, която стимулира различни сетива за възприятие и взаимодействие. Основно нейно качество е възможността за тотално потапяне във виртуалната среда, като това най-често се постига чрез очила или шлемове (каски) за виртуална реалност. Достъпни решения от този тип са Google Cardboard и VRBox (фиг.2), както и редица други, които представляват кутии за смартфон, които се прикрепят към главата. Визуализирането се осъществява на принципа на стереоскопичното виждане, като кутията осигурява изглед към отделна картина за всяко око на наблюдаващия, докато движението на главата се засича от инерциалните системи на телефона – акселерометър, жироскоп и др. Визуализация от този тип е достъпна под формата на приложения в електронните магазините на основните разработчици на операционни системи за смартустройства – Android и iOS, както и като видео разработки в определени сайтове и видео канали. Такава визуализация е ограничена от големината на дисплея на устройството и възможностите на процесора му. Това се изразява във визуализиране на по-опростени модели и среди, съставени предимно от плътни и едноцветни повърхнини или повтарящи се текстури, което я доближава повече до компютърната анимация. Поради това основното му приложение е свързано с компютърните игри. Въпреки това има решения, които предлагат визуализиране на панорамни снимки и видео, което я прави полезна при разглеждане на културни забележителности, строителни и индустриални обекти. Пример за подобна виртуална разходка на открит рудник може да бъде разгледан на www.lucara360.com (фиг. 3). Виртуалната разходка представлява виртуална среда от панорамни снимки, заснети от повърхността или БЛС (безпилотно летателно средство) на отделни места от рудника, свързани с добива, логистиката и преработката на рудата. Интересно е да се отбележи, че към снимките има текстове, описващи отделните минни процеси, чрез които наблюдаващият може да добие допълнителна информация.
Системи за виртуална реалност от по-висок клас са предлагани от различни производители като HTC и Oculus. Те представляват комплект от очила (HMD), контролери за движение на ръцете и базови станции за следене. За реализиране на подобно решение е необходим допълнително настолен компютър или лаптоп с определени параметри, както и подходящ софтуер. Такава система е съвместният проект на Valve Corporation и HTC – HTC Vive, представен през средата на 2016г. и съдържащ гореописаните елементи със следните характеристики (фиг.4):
– Очила (HMD) с OLED панели, чиято резолюция на дисплея е 2160х1200 пиксела, честота на обновяване на изображението 90Hz и видимо поле от около 110°.
– Безжични контролери с функционални бутони и сензори за засичане на движение на ръцете с точност до милиметър.
– Базови станции – система за следене Lighthouse, осигуряваща покритие от 360° на очилата и контролерите в обсег на зона с площ около 20 кв.м. (4,5мХ4,5м).
Фигура 2 HMD – VRBox
Фигура 3 Стереоскопичен изглед от VR приложението Lucara360, достъпно на www.lucara360.com
Фигура 4 HMD HTC Vive с контролери и базови станции
Фигура 5 Примерна схема на разположение на система за виртуална реалност HTC Vive
Описаната система за виртуална реалност позволява реализирането на проекти за визуализиране на триизмерни виртуални среди със значителен обем на данните, висока геометрична точност, детайлност и реалистичност на генерираните модели. Те могат да включват геопространствена информация, събрана чрез конвенционални геодезически инструменти, ГНСС, LIDAR или цифрова фотограметрия, във формат на облаци от точки или повърхнини, предварително обработени със специализиран софтуер. Основно качество на последните две технологии е наличието на цифрови камери, чрез които се постига високо ниво на реалистичност и детайлност на получените данни. Реализирането на подобни проекти за виртуална реалност може да се извърши по следните стъпки :
– Извършване на необходимите геопространствени измервания;
– Регистриране, георефериране и класифициране на получените данни;
– Моделиране на тримерни модели;
– Текстуриране на моделите за фотореалистичност;
– Конвертиране на готовите модели във формат за използване в игрови двигател;
– Проектиране на връзки за движение, взаимодействие и разположение на различните компоненти в среда на игрови двигател;
– Осъществяване на връзка със специализираната платформа на системата за виртуална реалност;
– Визуализиране и взаимодействие в генерираната среда от виртуални триизмерни модели, посредством системата за виртуална реалност;
Проекти от подобен вид се реализират във връзка с обекти на археологическото наследство, минната индустрия(3), строителството на различни съоръжения, мениджмънта, търговията, рекламата и много други. Департаментът по фотограметрия и лазерно сканиране на университета HafenCity в Хамбург представи подобен проект (4) на изложението 3DLowCost през 2017г., който представлява възстановка на средновековна крепост чрез виртуална разходка фиг.6, реализиран по описаните вече стъпки. Друг интересен техен мащабен проект от такъв характер е свързан с виртуална разходка на крепост край Босфора.
Интересен проект за виртуална разходка бе представен и на изложението GEOBusiness2018 в Лондон, който представлява виртуална разходка в част от новострояща се линия на лондонското метро, данните за която са събрани чрез цифрова фотограметрия и лазерно сканиране (наземно и чрез БЛС) в подземни условия – фиг.7 (www.clicksandlinks.com).
Практическата граница на реализирането на подобни проекти е тази на въображението, което се обосновава с реализирането на виртуален свят, който да не съществува в действителност или да е трудно достъпен за познатите ни технологии на измерване. По този начин хоризонта за внедряване на подобни системи е изключително разнообразен – образование, виртуални разходки, мениджмънт, контрол на качеството, туризъм, тренировки във виртуална среда за обучения и безопасност, както и много други.
Фигура 6 Изглед от виртуална разходка в средновековната крепост, осъществена в университета HafenCity в гр. Хамбург
Фигура 7 Виртуална разходка в лондонското метро, снимка www.ClickandLinks.com
Представяне на геопространствени данни чрез усилена реалност
Усилената реалност (AR) представлява наслагване на компютърно генерирано изображение или модел върху реалната среда, посредством прозрачен или видео дисплей. Практически всяко смартустройство (таблет, смартфон и др.) снабдено с камера би могло да усили реалното съдържание на околната среда наблюдавана на дисплея му. Съществуват множество готови приложения, отново налични от разработчиците на операционни системи. Подобно приложение е “Augment”, което позволява изтеглянето, съхраняването и визуализирането на готови модели, които биха могли да се разглеждат триизмерно, както и да се мащабират. Позиционирането върху реалната среда се извършва свободно или посредством специален тракер – фиг.8.
Усилената реалност намира все по-голямо приложение при геопространствените задачи. Съвсем скоро Google StreetView ще бъде усъвършенствано с възможност за навигация в реално време, посредством усилена реалност. Напредък в строителството пък се дължи на продукта на Microsoft HoloLens. Разработваното с Trimble решение е съвместимо със средство за лична безопасност – каска (фиг.9). Съставено е от полупрозрачен дисплей с вграден микрокомпютър с операционна система Windows 10, инерциална система, сензори за сканиране и движение, две камери, микрофони и светлинен индикатор. Специален процесор обработва данните от всички сензори и камери, което се изразява във възможност за пространствено картиране, разпознаване на жестове и говор. Системата позволява „смесване“ на проектни решения, под формата на холографски триизмерни модели, директно на строителната площадка.
Друг подход на Trimble в усилената реалност е системата SiteVision, която съчетава смартфон с ГНСС приемник (фиг.10). Инерциалната система на смартфона и ГНСС приемникът осигуряват позициониране в реално време с точност от няколко сантиметра, което го превръща в идеално решение за визуализиране на подземни съоръжения, кадастрални граници, вертикални планировки, архитектурни решения и др.
(www.mixedreality.trimble.com).
Фигура 8 Модел на сграда от МГУ „Св. Иван Рилски“, разположен върху тракер чрез приложението Augment
Фигура 9 Тестване на систематa за „смесена реалност“ HoloLens интегрирана в каска, GEOBusiness2018, Лондон
Фигура 10 Визуализиране на подземни съоръжения чрез системата Trimble SiteVision, снимка www.sitevision.trimble.com
Последните споменати решения са класифицирани от производителите си като системи за смесена реалност (Mixed reality – MR), което повлиява значително в общото класифициране на всички системи в континуума реално-виртуално до такава степен, че обособява смесената реалност (MR) като усилена (AR), взаимодействаща си с околната среда. Това би довело до някакъв вид объркване при директния превод на термините, което все пак бива обхванато от общия и по-нов термин „разширена реалност“ (eXtended reality – XR).
Развитието на системите за виртуална и смесена реалност е налице и те са по-достъпни от всякога. Производителите им осигуряват широк достъп до разработване на приложения с цел обхващане на все повече сфери. За разлика от киното и компютърните игри, в които се наблюдават и много негативни страни, приложенията на виртуална и смесена реалност в геопространствените науки са неизменно полезно средство.
Заключение
Съществуват множество примери за визуализиране на виртуална среда чрез посочените системи и технологии, които от своя страна стават все по-достъпни. Развитието на инструментите и технологиите за събиране на геопространствена информация, паралелно с нивото на картографските методи и ГИС технологиите, позволяват представянето на геопространствената информация от 2D карти в много по-достъпен, полезен и разбираем начин – под формата на реалистични цифрови модели. Наред с това се покачват изискванията и търсенето на продукти от такъв вид, което без съмнение ще доведе до още по-голямото им развитие в сферата на геопространствените науки.
ЛИТЕРАТУРА:
(1) Milgram P., Kishino F. – “A Taxonomy of Mixed Reality Visual Displays“, 1994
(2) Малешков Ст. – „Приложение на виртуалната реалност в инженерната дейност“, семинар 2015
(3) Сосеров Д., Михалев С., Топалов Ст. – Съвременни маркшайдерски средства и технологии за събиране на геопространствена информация при подземен добив и визуализирането й чрез системи за виртуална реалност, 2018
(4) Deggim S., Kersten T. – “Segeberg 1600 – Reconstructing a historic town for virtual reality visualization as an immersive experience” – 2017
{module [180]}
