НОВАЯ МЕТОДИКА ПЛАНИРОВАНИЯ И ПРОВЕДЕНИЯ ХИРУРГИЧЕСКИХ ВМЕШАТЕЛЬСТВ В ОРТОПЕДИИ С АССЕСТИРОВАННОЙ ТЕХНОЛОГИЕЙ ДОПОЛНИТЕЛЬНОЙ РЕАЛЬНОСТИ.

НОВАЯ МЕТОДИКА ПЛАНИРОВАНИЯ И ПРОВЕДЕНИЯ ХИРУРГИЧЕСКИХ ВМЕШАТЕЛЬСТВ В ОРТОПЕДИИ С АССЕСТИРОВАННОЙ ТЕХНОЛОГИЕЙ ДОПОЛНИТЕЛЬНОЙ РЕАЛЬНОСТИ

Мишвелов Артем Евгеньевич

науч. сотр. Ставропольского государственного медицинского университета,

РФ, г. Ставрополь

Долгалев Александр Александрович

 д-р мед. наук, доц. Ставропольского государственного медицинского университета,

РФ, г. Ставрополь

Коновалов Евгений Александрович

хирург-ортопед Ставропольской краевой клинической больницы, РФ, г. Ставрополь

Маслова Алина Юрьевна

медицинский эксперт, АО «Соцмедика» ИЦ Сколково, Ставропольский государственный университет,

РФ, г. Ставрополь

АННОТАЦИЯ

Целью данной работы являлось исследовать возможности использования дополненной реальности и компьютерной обработкой в программе HoloDoctor в травматологии (остеологии), а также апробировать на практике разработанную нами методику планирования и проведения хирургических вмешательств на скелете с ассестированной технологией дополнительной реальности. Разработанная нами методика позволяет производить предоперационное планирование с применением оригинального программного обеспечения и очков дополнительной реальности (комплекс дополнительной реальности). Во время операции комплекс дополнительной реальности производит ассистирование, предоставляя доступ к данным дополнительных методов исследования пациента и производя «наложение» на операционном поле в очках дополнительной реальности нормальной анатомии или выполненных ранее данных МРТ или КТ. Новый метод симуляции и использования очков дополненной реальности с программой HoloDoctor для имплантологического лечения продемонстрировал хорошую визуализацию как анатомических особенностей зоны установки имплантатов, возможность хирургу до операции тщательно изучить зону вмешательства, провести хирургическое вмешательство в условиях реальной анатомии пациента, в том числе и с применением в навигации в дополненной реальности. За 2019-2021 годы были проведены более 40 операций на коленных суставах, связках и позвоночнике.

Ключевые слова: хирургическое вмешательство, очки дополнительной реальности, Robotic-Assisted Surgery, 3D-изображения.

Введение

Пациентам со сложной патологией с целью диагностики назначают обследования, в основе которых лежат цифровые технологии. На сегодняшний день к этим методам обследования относятся компьютерная и магнитно-резонансная томография.

Современное программное обеспечение обработки изображений, полученных при проведении КТ и МРТ поставляется вместе с указанными аппаратами. Функций данных программ иногда не хватает для проведения более сложных работ с полученными данными, в том числе и для дифференцировки опухолей при различных заболеваниях [1,2, 3]. Создание 3D-моделей органов на данных программах проводится достаточно успешно, однако требует несколько больших временных затрат и дополнительных ресурсов. К тому же, используемое программное обеспечение не способно создавать 3D-модели внутренней структуры органов, если изображения были получены без использования контрастных веществ. Помимо этого, существует очень лимитированное количество  программ  для просмотра, описания и реконструкций DICOM-изображений, полученных с КТ, МРТ, для диагностики и планирования лечения с использованием нейронных сетей (например, Amira for Life Sciences (Германия), UNIM (Россия)). Одним из таких ПО является Myrian (Intrasense (Франция)) - мультимодальное решение для просмотра и постобработки медицинских изображений. Myrian включает простые в использовании, но мощные специализированные пакеты для колоноскопии, печени, легких, сосудов, ортопедии и других. Альтернативное ПО  (3DimViewer, RadiantDICOM и др.) либо не имеет необходимого функционала, либо слишком сложно для использования в медицинских учреждениях – в них нет единого модульного комплекса, который мог бы выполнять распознавание, диференцировку опухолей, просмотр реконструированных 3D моделей на хирургических мониторах, интуитивный и понятный интерфейс, нет возможности использования очков дополненной реальности для врачей различных специальностей [4,5, 6]. 

Кроме того, практически нет медицинских программ, основанных на применении голографических образов, накладываемых на реальные объекты (технология смешанной реальности HoloLens) как для врачей-диагностов, так и для хирургов [7,8].

В последнее время появляется множество высокотехнологичных методов диагностики и лечения различных заболеваний (рентген, МРТ, УЗИ, PACS-сервер, аппараты мониторинга пациента и МИС). При этом в случае, если это оборудование не включены в единую информационную среду медицинского центра, их работа становится менее эффективной и не возможности применить программы для планирования, симуляции и интраоперационной навигации.

В результате нашего исследования, было выявлено относительно небольшое количество изысканий ученых по тематике планирования и навигации хода операции в режиме реального времени, при использовании комбинированных систем КТ и УЗИ-аппаратов, использование аватар-технологий в телемедицине с применением технологий смешанной реальности [9,10,11]. Анализ литературы позволил нам выделить основные недостатки в данном направлении:

1)      отсутствие информации применения АR-технологии и голографических очков дополненной реальности для совмещения симуляции и реконструкции на реальном пациенте в режиме реального времени;

2)      отсутствие на российском рынке программ, которые позволяют планировать и отслеживать результаты лечения по объективным показателям.

Решение перечисленных проблем связано с созданием нового вида симулятора для планирования и навигации хирургических вмешательств. Целью данной работы являлось исследовать возможности использования дополненной реальности и компьютерной обработкой в программе HoloDoctor в травматологии (остеологии), а также апробировать на практике разработанную нами методику планирования и проведения хирургических вмешательств на скелете с ассестированной технологией дополнительной реальности.

Материалы и методы

Разработанная нами методика позволяет производить предоперационное планирование с применением оригинального программного обеспечения и очков дополнительной реальности (комплекс дополнительной реальности). Во время операции комплекс дополнительной реальности производит ассистирование, предоставляя доступ к данным дополнительных методов исследования пациента и производя «наложение» на операционном поле в очках дополнительной реальности нормальной анатомии или выполненных ранее данных МРТ или КТ.

Метод включает этапы планирования хирургической операции, хирургической навигации в реальном времени с использованием дополненной реальности, причем на этапе планирования хирургической операции пациенту проводят компьютерную или магниторезонансную томографию и формируют на основе DICOM файлов, 3-4 отдельных трехмерных модели (непосредственно кость, ее кровеносные сосуды, связки, штифты и т.д.) на компьютере в программе. Полученная многослойная модель помещается в программу-симулятор, с добавлением моделей поверхности тела и крупных сосудов. Разработанный нами метод позволяет проводить планирования хода операции на скелете человека и на органах поясничной области. Хирургом выполняется работа с 3D моделями костей в виде голографии с возможностью просмотра анатомического строения кости в виде 3D модели, полученной после КТ.

3D-изображения в системе создаются посредством МРТ-сканирования и компьютерной томографии внутренних органов, при этом для каждого из органов программа сама подбирает определенный цвет (после реконструкции Dicom). Полученное изображение передается на очки дополненной реальности HoloLens.

Предоперационное планирование начинается с КТ сканирования пациента, после чего появляется точная структура органа для представления в систему КТ планирования. Происходит совмещение КТ изображения, сделанного ранее (за 1 час) и КТ получаемое в реальном времени пациента. Врачам рентгенологам (радиологам) позволит данный модуль сократить время на обработку и описание медицинских изображений.

С помощью системы Microsoft накладывает слой смешанной реальности на пациента во время операции. Хирург может ее применять для отслеживания положения органа, систем органов, инструментов хирургических в режиме реального времени.

В программе моделируется проведение манипуляций на созданном 3D-образе реального пациента с помощью хирургических инструментов по соответствующей специальности. Данная система полностью адаптирована для применения очков дополненной реальности (очки смешанной реальности HoloLens) для отработки, совмещения и симулирования различных манипуляций в хирургии, что позволит проецировать виртуальные органы на теле пациента.

При помощи жестов медицинский специалист может указать на нужный орган, а кроме этого, удалить его с иллюстрации. Затем изображение подключается к очкам смешанной реальности, и врач может видеть виртуальную 3D-карту внутренних органов человека непосредственно на его теле. Система взаимодействует с хирургическим манекеном (наклеивается специальные маркеры для работы программы-симулятора с применением смешанной реальности- голографии), используя предварительно взятые медицинские данные КТ, МРТ.

При разработке модуля симулятора хирургического вмешательства в реальном времени учитывалась необходимость кроссплатформенности продукта, в частности необходимость поддержки отображения в очках дополненной реальности (очки HoloLens), использования инфракрасных камер, стереодатчиков (TOF-камеры) и указок с датчиками.

Для симуляции навигации хирургического вмешательства в реальном времени (нами подготовлена система с дополнительными модулями (модуль для очков HoloLens и модуль навигации), позволяющая сделать разрез и сшивание тканей выбранной области на теле человека или органа, выбрать режимы симуляции для планирования операции с использованием сигнализации (предупреждение системы о близком расстоянии кровеносных сосудов, если хирург приближается к опасной зоне), режим интраоперационной навигации хирургического вмешательства, выбор хирургических инструментов - лазер, скальпель, троакар, ранорасширитель и др. Также разработана специальная функция виртуальной ангиоскопии, позволяющая виртуально, просмотреть внутренние выбранные структуры органа по заданной траектории. В представленном клиническом случае, мы применяли данную функцию в просмотре просвета мочеточника и лоханки почки, выходящие кровеносные сосуды перед операцией (планирование хода хирургического вмешательства).

На поверхности тела человека, с помощью маркеров намечаются ранее отмеченные ключевые точки, по которым происходит совмещение положения виртуальных моделей органов и реальных объектов в единую систему координат. Виртуальные модели могут выводиться на экране в операционной, а также наложением на изображение (тела человека и органов) с камер очков дополненной реальности HoloLens. Указка или маркер (по отдельности) применяется в качестве виртуальной камеры (указка являются виртуальной камерой) для наблюдения на экране в реальном времени моделей анатомических структур, на которые направлена указка. Хирург размещает указку/маркер в точках предполагаемого использования хирургических инструментов (к примеру троакары) и соотносит положение модели указки с положением моделей органов, тем самым хирург планирует доступ к внутренним структурам с учетом индивидуальной анатомии пациента.

Результаты и обсуждение

В 2020 году в Ставропольской краевой клинической больнице впервые проведена хирургическая операция с применением очков дополненной реальности. Современные технологии помогли ускорить выполнение аутопластики (метод хирургии).

Анатомический атлас и Система взаимодействия с очками дополненной реальности HoloLens были апробированы в ходе нескольких реальных операций на коленном суставе проведенных в Травматолого-ортопедическом отделении Ставропольской краевой больницы.

Первого пациента мы выбрали по степени сложности выполнения операции, а именно пациент получил травму во время футбольного матча.

Апробацию разработанной методики проводили на базе Ставропольской краевой клинической больницы (Россия, г. Ставрополь, ул. Семашко, 1). Апробация методики в травматологии (остеологии) с использованием дополненной реальности проводились в 2020-21 годах (рисунок 1).

Рисунок 1. Проведения хирургических вмешательств на коленном суставе с ассестированной технологией дополнительной реальности на базе Ставропольской краевой клинической больницы

Клинический случай №1.

Диагноз: У пациента были повреждены связки в коленном суставе (крестообразные связки коленного сустава), а также была небольшая трещина в большеберцовой кости (рис.2).

Рисунок 2. Демонстрация 3D реконструкции малоберцовой, берцовой большеберцовой костей и надколенника, DICOM-изображения коленного сустава в очках дополненной реальности

Ход операции: Использовали для навигации хирургического вмешательства очки дополненной реальности HoloLens, что позволило сократить время операции на 28 минут, вместо 2 часов провели за 1 час 32 минуты. Это технология, позволяет накладывать созданные на компьютере визуальные объекты (в данном случае 3D модель берцовой кости, коленного сустава, штифты, кровеносные сосуды) и дополнения на существующую объективную реальность.

А также, программное обеспечение позволяет выводить на экран все, что хирургу необходимо в предоперационном планировании. Прямо во время операции хирург получал результаты всех исследований, снимки, данные МРТ, КТ, которыми дополнял свои знания.

Новое программное обеспечение HoloDoctor.Orto расширяет границы для обучения, работу врача оно показывает его же глазами, позволяет получить подсказку от более опытного коллеги в режиме реального времени прямо в операционной.

А до этого применяли очки дополненной реальности HoloLens для описания медицинских изображений, отработки, совмещения 3D моделей.

Рисунок 3. Схема подготовки к операции

Результат:

В очки дополнительной реальности выставлены 3D модель коленного сустава с небольшой трещиной большеберцовой кости, КТ-пациента и история болезни в удобные сектора. В асептических условиях под жгутом в полость коленного сустава введена артроскопическая камера нижнелатеральным доступом, артроскопический инструмент через нижнемедиальный доступ. Выделилось 25 мл. крови с примесью вязкой синовиальной жидкости.

Сустав обильно промыт. В ходе осмотра полости сустава установлено: повреждены связки в коленном суставе (крестообразные связки коленного сустава), а также была небольшая трещина в большеберцовой кости. Под артроскопическим контролем произведено поднятие плато. По наружной поврехности на 2 см ниже суставной щели произведен L-образный разрез, выполнен МОС пластиной с угловой стабильностью.

Швы на проколы и рану. Асептическая повязка. Придано возвышенное положение конечности, холодна область правого коленного сустава. Гипсовая иммобилизация. Эластическое бинтование нижних конечностей. Продолжительность операции в очках  дополненной реальности составила 40 минут. Сократилось время проведения с 60 минут до 40 минут. 

Клинический случай №2

Диагноз: Закрытый внутрисуставной перелом наружного мыщелка левой большеберцовой кости, со смещением отломков.

Рисунок 4. Просмотр и навигация в очках дополненной реальности HoloLens 3D реконструкции, и Dicom-изображений закрытого внутрисуставного перелома наружного мыщелка левой большеберцовой кости, со смещением отломков

Характер операции: Остеосинтез наружного мыщелка левой большеберцовой кости под артроскопическим контролем с использование очков дополнительной реальности.

Результат: С использование очков дополнительной реальности выставлены 3D модель перелома, КТ-пациента в удобные сектора. В асептических условиях под жгутом в полость коленного сустава введена артроскопическая камера нижнелатеральным доступом, артроскопический инструмент через нижнемедиальный доступ. Выделилось 40 мл. крови с примесью вязкой синовиальной жидкости.

Сустав обильно промыт. В ходе осмотра полости сустава установлено: импрессионный перелом латерального мыщелка бедренной кости. По внутренней поверхности голени на 4 см ниже суставной поверхности сделано трепанационное окошко (размером 1,5х1,5 см) в кортикальном слое. Под рентгеновским и артроскопическим контролем произведено поднятие плато. Конгруэнтность суставной поверхности восстановлена, фиксация 2-мя спицами. По наружной поврехности на 2 см ниже суставной щели произведен L-образный разрез, выполнен МОС пластиной с угловой стабильностью. Спицы удалены, лательный мыщелков под артроскопическим контроле стабилен. Костный дефект запелнен остеопластическим матриксом, на дефекты хрящевой ткани уложен внеклеточный коллагеновый матрикс.

Швы на проколы и рану. Асептическая повязка. Придано возвышенное положение конечности, холодна область левого коленного сустава. Гипсовая иммобилизация. Эластическое бинтование нижних конечностей. 

Заключение

При исследовании возможностей использования технологий дополненной реальности в ортологии решены все поставленные задачи. Клинические случаи были обработаны и интегрированы с очками дополненной реальности HoloLens для описания медицинских изображений, отработки, совмещения 3D моделей.

Новый метод симуляции и использования очков дополненной реальности с программой HoloDoctor для имплантологического лечения продемонстрировал хорошую визуализацию как анатомических особенностей зоны установки имплантатов, возможность хирургу до операции тщательно изучить зону вмешательства, провести хирургическое вмешательство в условиях реальной анатомии пациента, в том числе и с применением в навигации в дополненной реальности. За 2019-2021 годы были проведены более 40 операций на коленных суставах, связках и позвоночнике.

Список литературы:

1. K.V. Nuzhnaya, A. E. Mishvelov, S.S Osadchiy, M. V.Tsoma, R. H. Slanova, A. ‎M. ‎Kurbanova ‎ and et al. (2019), “Computer Simulation and Navigation in Surgical ‎Operations ‎”, Pharmacophore, 10(4), 46-52.
2. G. J. Hite, A. E. Mishvelov, E. A. Melchenko, А.А. Vlasov, O.I. Anfinogenova, C. V. Nuzhnaya, et al. (2019), “Holodoctor Planning Software Real-Time Surgical Intervention”, Pharmacophore, 10(3), 57-60, WoS.
3. Burbano, A. 3D Cameras Benchmark for Human Tracking in Hybrid Distributed Smart Camera Networks / A. Burbano, M. Vasiliu, S. Bouaziz // Proceedings of the 10th International Conference on Distributed Smart Camera (ICDSC '16). – 2016. – P. 76-83.
4. Nguyen, N.Q. Preliminary development of augmented reality systems for spinal surgery / N.Q. Nguyen // Clinical and Translational Neurophotonics. – International Society for Optics and Photonics, 2017. – Vol. 10050. – P. 100500K.
5. Bernhardt, S. The status of augmented reality in laparoscopic surgery as of 2016 / S. Bernhardt // Medical image analysis. – 2017. – Vol. 37. – P. 66-90.
6. Azuma, R.T. A survey of augmented reality / R.T. Azuma // Presence: Teleoperators & Virtual Environments. – 1997. – Vol. 6(4). – P. 355-385.
7. Научно-практический журнал "Медицинский Вестник Северного Кавказа", 2019, том 14 №1.2. С.В. Минаев, И.Н. Герасименко, Е.В. Щетинин, А.Е. Мишвелов, К.В. Нужная; Трехмерная реконструкция в хирургии эхинококкоза печени. Scopus.
8. Khasueva, E. U., Efimova, Y. E., Khatanova, D. K., Bachieva, L. I., Maslova, A. Y., Magomedova, K. N., Galbatsova, A. G., Kurbanova, M. S., Mirzaeva, T. Y. and Zadaev, A. R. (2021) “Particular Patterns of the Influence of the Physiology of Normal Pregnancy on the Pharmacokinetics of Drugs in the Liver”, Journal of Pharmaceutical Research International, 33(55A), pp. 256-261. doi: 10.9734/jpri/2021/v33i55A33830.
9. Andrén O, Fall K, Franzén L, Andersson SO, Johansson JE, Rubin MA. How well does the Gleason score predict prostate cancer death? A 20year followup of a population based cohort in Sweden. J Urol. 2006;175: 1337–1340. doi: 10.1016/S00225347(05)007342
10. Rohin K Iyer Loraine L Y Chiu, GordanaVunjak-Novakovic and Milica Radisic. Biofabrication enables efficient interrogation and optimization of sequential culture of endothelial cells, ibroblasts and cardiomyocytes for formation of vascular cords in cardiac tissue engineering //Biofabrication – 2012. - №4. – С. 1-11.)
11. Qian, Long & Wu, Jie Ying & Maio, Simon & Navab, Nassir & Kazanzides, Peter. (2019). A Review of Augmented Reality in Robotic-Assisted Surgery. IEEE Transactions on Medical Robotics and Bionics. PP. 1-1. 10.1109/TMRB.2019.2957061.
12. Moreta-Martinez, Rafael & García Mato, David & García-Sevilla, Mónica & Perez-Mañanes, Ruben & Calvo-Haro, José & Pascau, Javier. (2018). Augmented reality in computer assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. 5. 10.1049/htl.2018.5072.
13. Van Oosterom, Matthias & Poel, Henk & Navab, Nassir & Velde, Cornelis & Leeuwen, Fijs W.B.. (2017). Computer-assisted surgery: Virtual- and augmented-reality displays for navigation during urological interventions. Current Opinion in Urology. 28. 1. 10.1097/MOU.0000000000000478.
14. Maslova A.Yu., Bazaeva Kh.L., Abdullaeva Z.A., Khazamova Sh.O., Zeusheva K.A., Grechkina T.A., Semkina E.N., Abramov M.A., Mishvelov A.E., Povetkin S.N. astrocytes and their phenomenal possibilities in the treatment of various neurodegenerative disorders: an overview. Journal of Pharmaceutical Research International. 2021. Т. 33. № 33A. С. 60-68.