Powikłania operacyjne w neurochirurgii przekraczają 10%, a w przypadku kardiologii 4% pacjentów umiera w 30 dni od operacji. Mimo znaczącego postępu w technologiach medycznych, metody szkolenia lekarzy nie zmieniły się od ponad 100 lat. Pora to zmienić. Możliwości jakie daje wirtualna (VR) i rozszerzona (AR) rzeczywistość pozwalają studentom medycyny oglądać w trójwymiarze ludzkie ciało wewnątrz, a lekarzom precyzyjnie planować operację i doskonalić umiejętności praktyczne bez konieczności testowania na żywym organizmie. To tylko niektóre z zastosowań.

AR i VR są określane mianem mediów immersyjnych. Rozszerzona rzeczywistość polega na nałożeniu obiektów 3D na fizyczną przestrzeń, dzięki czemu przez obiektyw możemy oglądać połączenie świata  wirtualnego z rzeczywistym, np. naprzeciwko nas w pokoju może stanąć zaugmentowany szkielet człowieka. W przypadku wirtualnej rzeczywistości mamy do czynienia wyłącznie z obrazami 3D umieszczonymi w przestrzeni wirtualnej i oglądanymi przez okulary VR, które chociaż blokują rzeczywistość, przenoszą użytkownika w inną materię, np. do sali operacyjnej pozwalając mu rozejrzeć się dookoła, obserwować i wejść w interakcję.

W lipcu 2017 neuroradiolog Wendell Gibby wykonał operację na odcinku lędźwiowym kregosłupa z użyciem Microsoft HoloLens. Aby precyzyjnie zlokalizować dysk, który powodował ból kregosłupa, załadowano zdjęcia pacjenta z rezonansu magnetycznego (MRI) i tomografii komputerowej (CT) do oprogramowania OpenSight, które następnie zwizualizowało w 3D obraz kregosłupa. Lekarz po nałożeniu HoloLens mógł widzieć kręgosłup pacjenta nałożony (wyświetlany) niczym klisza na jego ciele – HoloLens śledziły lokalizację, na którą patrzył lekarz i pozwalały nawigować po anatomii z większą dokładnością. Poniżej link do filmu opisującego ten zabieg.

Precyzyjne planowanie i przeprowadzanie operacji z użyciem obrazów 3D (image-guided surgery) jest szczególnie istotne w przypadku skomplikowanych zabiegów. Surgical Theater, BioflightVR, Surgvry używają zdjęć z tomografii i rezonansu głowy do stworzenia modelów 3D mózgu, na których uwidocznione zostają zarówno zdrowe, jak i uszkodzone tkanki, guzy, naczynia krwionośne. Medsights Tech tworzy oprogramowanie do wizualizacji 3D guzów, dzięki czemu personel medyczny może obejrzeć nowotwór z każdej strony – tak jak on rzeczywiście uformował się pomiędzy zdrowymi tkankami, a nie tylko w płaskim obrazie np. z prześwietlenia. Pozwala to szczegółowo zaplanować przebieg zabiegu i minimalizować ryzyko komplikacji.

Dostęp do danych medycznych wyświetlanych w rozszerzonej rzeczywistości bezpośrednio przed oczami lekarza jest szybszy i łatwiejszy niż przeszukiwanie ręczne baz pacjenta. Lekarz przeprowadzający operację mógłby zobaczyć odpowiednie dane (np. dotyczące alergii, lokalizacji żył, narządów pacjenta) na wyświetlaczu AR. W 2013 roku Rafael Grossmann wykonał pierwszą na świecie operację transmitowaną na żywo za pomocą Google Glass. Urządzenie testowano też m.in. w szpitalu w Bostonie, gdzie umieszczono kody QR na ścianach i drzwiach; mogły one być zeskanowane przed wejściem lekarza do sali, dostarczając infomacji o pacjencie.

Nagrywanie operacji za pomocą okularów noszonych przez lekarza pozwala śledzić przebieg zabiegu oczami osoby, która go przeprowadza. W 2016 roku doktor Shafi Ahmed użył Google Glass do transmitowania na żywo operacji wykonywanej u pacjenta z nowotworem. Użyto dwóch kamer 360 stopni i rozstawiono na sali liczne obiektywy, dzięki czemu studenci medycyny, chirurdzy i inni widzowie mogli zobaczyć i usłyszeć co dzieje się podczas procedury oraz nauczyć się jak prawidłowo należy oddzielać guza od otaczających go zdrowych tkanek.

We Francji natomiast przeprowadzono operację kory wzrokowej u pacjenta, który w trakcie zabiegu miał nałożone okulary VR. Umieszczenie pacjenta w „wirtualnym świecie” pozwolilo lekarzom oceniać w czasie rzeczywistym (tzn. podczas operacji) części mózgu i połączenia mózgowe odpowiedzialne za poszczególne funkcje. Dotychczas nie było to możliwe do przeprowadzenia na stole operacyjnym. Zdecydowano się w ten sposób zastosować gogle VR aby uniknąć całkowitej utraty wzroku pacjenta, który na skutek choroby stracił już wcześniej zdolność widzenia na jedno oko. Okulary VR otwierają nowe możliwości w planowaniu ryzykownych operacji, takich jak usunięcie guzów mózgu.

Potencjał VR do przeprowadzania szkolenia lekarzy może zostać wykorzystany w tych miejscach na świecie, gdzie studenci (czy też praktykujący lekarze) nie mają okazji uczestniczenia w bardziej złożonych lub nowych procedurach medycznych. Dzięki technologii VR, immersywne nagranie 360° z operacji może być łatwo dostępne dla każdego do celów edukacyjnych lub praktyki. Co więcej, z takiego szkolenia może korzystać wiele osób, a nie tylko wąska grupa uczestników obecna podczas operacji. Ponad 90% studentów, którzy uczestniczyli w takiej transmisji wyraziło swoją akceptację i zainteresowanie podobnym sposobem wykorzystania VR do nauki w przyszości.

Studenci medycyny zamiast oglądania zdjęć i opisów w podręcznikach mogą używać Microsoft HoloLens do uczenia się anatomii na modelu 3D, w którym projektowane są trójwymiarowo różne warstwy ciała – skóra, mięśnie, naczynia krwionośne. Dodanie elementów dotykowych (haptics) pozwala studentom na ćwiczenie ich bardzo wczesnych, niewprawionych jeszcze umiejętności. Na przykład za pomocą jednego przycisku mogą oni wirtualnie napełnić strzykawkę i ją opróżnić, a także w wirtualnej rzeczywistości „poczuć” kiedy strzykawka natrafia w skórę, mięśnie czy kość. Zastrzyk w torebkę stawową daje zupełnie inne wrażenie niż wbicie igły w tkankę tłuszczową. W trakcie operacji każdy ruch ma konsekwencje – to gdzie i jak głęboko naciąć, gdzie wkłuć aby nie uszkodzić nerwów i żył. Dodatkowo pod presją czasu, kiedy liczą się minuty do uratowania pacjenta, wyćwiczone umiejętności lekarza są na wagę złota (a dokładniej – na wagę życia). Trenowanie na wirtualnym symulatorze pozwala doskonalić technikę bez konieczności narażania zdrowia pacjenta. Poniżej przykład tego jak wygląda wizualizacja anatomii człowieka w 3D.

Oprócz treningu w używaniu sprzętów i narzędzi medycznych, VR może mieć zastosowanie do przeprowadzenia szkoleń wymagających pracy zespołowej np. na oddziale intensywnej terapii czy sali operacyjnej. Zaaranżowanie wirtualnej operacji wymaga wielu przygotowań – pozyskania serii zdjęć danego narządu, konsultacji lekarskich na każdym kroku procedury ponieważ oprócz naukowych wytycznych co do sposobu przeprowadzenia operacji, często między lekarzami występują różnice odnośnie procedury wykonania zabiegu – potrzeba więc zadecydować i wybrać optymalną praktykę. Zaletą szkoleń w VR jest nie tylko brak ryzyka dla pacjenta, ale także to, że można je powtarzać, dostosowywać tok postępowania, technikę w zależności od parametrów zdrowotnych pacjenta i wraz z treningiem doskonalić swoje kompetencje. Więcej praktyki oznacza mniej błędów lekarskich.

Techniczne umiejętności personelu medycznego to tylko jedna strona opieki zdrowotnej. Komunikacja interpersonalna stanowi nieodzowny element usług medycznych przekładający się na zadowolenie pacjenta, a często wypływająca także na skuteczność terapii. Również i w tym zakresie VR może mieć zastosowanie, tzn. do przeprowadzenia szkoleń personelu medycznego z zakresu komunikacji, empatii, współczucia, czy ogólnie – interakcji z pacjentem. Z wykorzystaniem filmów video 3D pracownik medyczny może doświadczyć opieki zdrowotnej z perspektywy pacjenta – „wejść w jego buty” w różnych klinicznych scenariuszach, począwszy od wniesienia do ambulansu do korzystania z wózka inwalidzkiego. Okazuje się, że nawet niewielkie zmiany zachowania np. utrzymywanie kontaktu wzrokowego z pacjentem czy postawa przy łóżku hospitalizowanego, mogą poprawić jego doświadczenie. Oglądanie obrazu 360 stopni daje możliwość dostrzeżenia detali – każdy widz zauważa coś innego. Brytyjski startup PatientVR przygotowuje do celów szkoleniowych realistyczne sceny widziane oczami pacjenta. Mają one na celu doskonalenie „miękkich umiejętności” lekarzy i relacji międzyludzkich w kontekście ochrony zdrowia. Dodatkowo użytkownik ma możliwość wcielenia się w dowolną (inną niż pacjent) postać biorącą udział w projektowanej historii aby zobaczyć to samo wydarzenie z innej perspektywy.

Kolejne zastosowanie medyczne wirtualnej rzeczywistości to leczenie mentalnych i behawioralnych zaburzeń takich jak zespół lęku uogólnionego, depresja, schizofrenia, fobie, ADHD, nadużycie leków czy uzależnienia. W przypadku uzależnienia od alkoholu stosuje się wirtualny trening odmawiania jego konsumpcji (refusal skill training). Z kolei leczenie fobii z użyciem VR polega na ekspozycji na czynnik je powodujący – ale co ważne trening zachodzi w bezpiecznych i komfortowych dla użytkowników warunkach. Immersywne zanurzenie się w innej rzeczywistości (często z dołączoną symulacją dźwiękową, dotykową i zapachową) pozwala osiągnąć dobre rezultaty w leczeniu zespołu stresu pourazowego (PTSD), ale także w treningu funkcji kognitywnych takich jak podejmowanie decyzji, zarządzanie stresem, nastrojem, zaburzenia łaknienia/kontrola wagi ciała, zaburzenia obsesyjno-kompulsywne, wzmacnianie odporności psychicznej, terapia smutku i wiele innych.

Interesującym zastosowaniem VR jest wykorzystanie tej technologii w kontroli bólu i redukcji lęku. Stymulacja mózgu i rozpraszanie uwagi pacjenta za pomocą wirtualnej rzeczywistości umożliwia zredukowanie odczuwania sygnałów bólowych i zwiększenie zdolności do radzenia sobie z bólem i lękiem. Kalifornijski startup Deep Stream VR przenosząc pacjentów do innego, wirtualnego świata, w którym mogą oni „zanurzyć się” obserwując przygody bohatera, osiagnął wysoką skuteczność w redukcji bólu o 60-70% podczas leczenia i o 30-50% zaraz po jego zakończeniu. Rozwiązanie okazało się być skuteczne w przypadku różnego rodzaju zabiegów medycznych – począwszy od dentystycznych, po zmianę opartunków.

Filmy sferyczne dają możliwość wirtualnego odwiedzenia różnych miejsc na świecie i dzięki temu mogą mieć zastosowanie tam, gdzie pacjenci szczególnie potrzebują uciec od trudnej rzeczywistości, np. na oddziałach onkologii, w hospicjach, domach opiekuńczych, w terapii ofiar pożarów czy osób z zespołem stresu pourazowego. Piotr Łój, tworząc obrazy w 360° przestawiające np. pływanie z delfinami, zabawy z małymi pieskami czy jazdę konno, stara się przynajmniej częściowo spełnić niektóre dziecięce marzenia. Natomiast projekcję obrazów z miejsc takich jak Alaska czy Paryż zadedykował osobom starszym. Akcja spotkała się z ogromnym zainteresowaniem – po jednorazowej wizycie w domu dla seniora, producent zebrał zgłoszenia na 50 innych wirtualnych podróży…

Zastosowanie VR w rehabilitacji neurologicznej może być szansą dla pacjentów po udarze mózgu, pozwalając im na osiągnięcie szybszych rezultatów terapeutycznych i powrót do normalnego życia. Szwedzka firma MindMaze stworzyła platformę MindMotion Pro, której zasada działania wykorzystuje wiedzę z zakresu neurorehabilitacji i nauk kognitywnych. Ruchy pacjenta śledzone są za pomocą kamer i mapowane w awatarze 3D. Następnie indywidualnie dobierane zostają interaktywne ćwiczenia, które – po odpowiedniej serii powtórzeń – pobudzają reaktywację uszkodzonych połączeń neuronowych i aktywowanie nowych. Ponieważ zaangażowanie pacjenta w przeprowadzenie terapii jest kluczowe, stosowane są gry VR dla podtrzymania motywacji i uwagi. Dzięki temu uzyskano 10-15 razy większe zaangażowanie pacjenta niż w przypadku standardowej terapii. Co ważne, z rozwiązania mogą korzystać zarówno pacjenci leżący w łóżku, jak i używający wózka inwalidzkiego. Platforma została zaakceptowana do stosowania w USA i na rynkach europejskich. Ostatnio przeprowadzono testy pilotażowe na 261 pacjentach pod kątem wykorzystania tego rozwiązania na urządzeniu przenośnym (MindMotion Go), które umożliwiałoby kontynuowanie terapii w domu.

Start up Brain Power stworzył narzędzie wspierające osoby z autyzmem. Jest to ulepszony Google Glass, tzn. ze specjalnym oprogramowaniem wykorzystującym m.in. system rozpoznawania emocji Affectiva. Oprogramowanie zbiera dane dotyczące zachowania, przetwarza je i daje zwrotną informację w postaci prostych, zrozumiałych wskazówek wizualnych i głosowych dla noszącego urządzenie (lub dla opiekuna). Urządzenie wspiera dzieci z autyzmem w nauce języka, kontroli zachowania i umiejętnościach społecznych np. dekoduje stan emocjonalny innej osoby i na wyświetlaczu, za pomocą emotikony „podpowiada” dziecku co druga osoba czuje. W filmie poniżej (w drugiej połowie) można zobaczyć reakcję matki, która – dzięki urządzeniu Brain Power zastosowanemu u jej autystycznego syna – pierwszy raz w życiu mogła zaobserwować faktyczną interakcję i kontakt wzrokowy z własnym dzieckiem.

Pogorszenie świadomości przestrzennej uważa się za jeden z początkowych objawów demencji. Gra VR o nazwie “Sea Hero Quest” jest swoistym testem neuropsychologicznym polegającym na kierowaniu łódką na morzu. Twórcy gry mają na celu zebranie zanonimizowanych danych, na podstawie których stworzone zostanie narzędzie do diagnozy demencji. Gra jest kompatybilna z Samsung Gear; niestety tylko około 5 milionów osób posiada ten sprzęt, z czego trudno zbudować grupę reprezentatywną do pozyskania danych.

VR może być efektywną platformą umożliwiającą dopasowanie odpowiedniego dla siebie zestawu ćwiczeń. Np. za pomocą aplikacji imuscle 2 możemy skomponowac własny program fitness ukierunkowany na dane partie mięśni i śledzić na modelu anatomicznym 3D jak dane ćwiczenie angażuje wybraną część ciała.

Wirtualna i rozszerzona rzeczywistość mogą nam dać – już nie wirtualny – ale prawdziwy, piękny uśmiech. A to za sprawą teleortodoncji. Startup Candid planuje wysyłać przez email zestaw do przeprowadzenia zdalnej konsultacji u ortodonty. Na podstawie odcisku wykonanego samodzielnie przez pacjenta, tworzone są przezroczyste nakładki do korygowania wad zgryzu i następnie przesyłane do klienta pocztą. Inny szwajcarski startup Kapanu, dzięki wykorzystaniu AR daje pacjentom możliwość zobaczenia wirtualnego uśmiechu, który będą mieć po zastosowaniu zabiegu. Działa to następująco: skan zdrowych (idealnych) zębów łączony jest ze skanem 3D jamy ustnej pacjenta – tworzona jest swego rodzaju nakładka przykrywająca obecne zęby. Tu zaczyna się najlepsze: pacjent może wybrać jak chce poprawić zęby – jaki ma być ich rozmiar, kształt, odstępy etc. Przed zamówieniem usługi osoba może zobaczyć siebie z nowymi zębami w wirtualnym lusterku.

Ostatnio naukowcy z US, Niemczech i Brazylii opublikowali badanie, w którym ośmiu pacjentów z paraplegią (porażeniem kończyn) poddano leczeniu z wykorzystaniem headsetu VR i egzoszkieletu, który odpowiadał na elektryczne sygnały z mózgu. Zestaw VR symulowal aktywność ruchową, natomiast egzoszkielet poruszał nogami pacjentów zgodnie z sygnałami mózgu. Wszyscy pacjenci uczestniczący w badaniu odzyskali w pewnym zakresie odczucia i kontrolę ruchową poniżej uszkodzonego rdzenia kręgowego, co wskazuje na to, że nastąpiła znacząca regeneracja neuronów.

W podsumowaniu medycznego wykorzystania VR/AR – mamy cały przekrój zastosowań: od diagnostyki, przez chirurgię, symulacje medyczne, szkolenia, medycynę behawioralną (psychologię, psychiatrię), rehabilitację, neurorehabilitację, aż po redukowanie bólu. Wyzwania jakim musi stawić czoło technologia wirtualnej i rozszerzonej rzeczywistości to: bogatszy wizualny kontent, płynne przejścia między światami wirtualnym i rzeczywistym, udoskonalenie techniki oświetlenia obiektów w rozszerzonej rzeczywistości, tak aby wyglądały one jak najbardziej realistycznie (biorąc pod uwagę naturalne oświetlenie w danym miejscu), doskonalenie rozwiązań do śledzenia ruchów głowy, rąk, oczu, wytrzymałe baterie, eliminowanie nagrzewania się urządzenia, lekki, przyjazny użytkownikowi design, bezprzewodowa łączność zapewniająca użycie sprzętu w każdych warunkach, szybkość przesyłania danych bez opóźnień. Oczywiście cena będzie odgrywała istotną rolę w dalszym upowszechnieniu rozwiązań VR/AR.

Oprócz wymienionych zastosowań, pośrednie korzyści z wykorzystania wirtualnej i rozszerzonej rzeczywistości w medycynie to: zwiększenie skuteczności leczenia – pacjenci mniej zestresowani wizytą powinni częściej zjawiać się na ustalone zabiegi. Ponadto, lekarz jest bardziej efektywny kiedy i sam pacjent jest mniej zdenerwowany, dodatkowo oszczędzony zostaje czas poświęcany na uspokajanie pacjentów przed zabiegami. Idąc dalej tym tropem – oszczędności w ilości stosowanych leków przeciwbólowych, nasennych. Mniejsze użycie tych leków ogranicza z kolei ryzyko ich przedawkowania (problem, o którym ostatnio głośno w mediach). Zaugmentowany obraz narządów pacjenta czy guza nowotworowego oznacza bardziej precyzyjną operację i minimalizowanie ryzyka komplikacji – zatem w rezultacie oszczędność kosztów związanych z leczeniem skutków powikłań.

Jeśli chodzi o niekorzyści dla pacjenta, mogą one dotyczyć tego, że sam headset będzie niewygodny lub zbyt ciężki dla niektórych chorych. Rozwój technologii VR/AR postępuje jednak bardzo szybko i miejmy nadzieję, że wkrótce będzie ona nie tylko znacznie tańsza, ale też mniej masywnych rozmiarów i wygodniejsza w użyciu. Np. Qualcomm w tym roku wprowadził platformę Snapdragon 835 (Snapdragon VR SDK) z udoskonalonym  procesorem – mniejszym niż do tej pory, zużywającym mniej energii, a mimo to znacznie wydajniejszym. Ostatnio ujawniono patent okularów do AR firmy Magic Leap, które faktycznie bardziej przypominają okulary niż pudełko i wyglądają na całkiem przyjazne dla użytkownika. I chociaż – a może właśnie dlatego, że – ich design pochodzi sprzed 2 lat, powinniśmy optymistycznie patrzeć w wirtualną przyszłość.

Źródła: