"Artırılmış Gerçeklik ile Genel Cerrahi Eğitimi ve Simülasyonu" projesinin amacı, artırılmış gerçeklik teknolojisi aracılığıyla Genel Cerrahi operasyonlarının eğitim ve uygulama ihtiyaçlarını karşılamak için bir laparoskopi simülatör ekipmanı ve bir simülatör ekipmanı yazılımı geliştirmektir.

İlgili proje, Uludağ Üniversitesi Tıp Fakültesi Genel Cerrahi Ana Bilim Dalı ile iş birliği halinde gerçekleştirildi. Proje kapsamında hologramlar ile yapay organ yapısı oluşturulup holografik gözlük uygulaması ile sanal ve gerçek ortam örtüşmesi sağlandı. Simülasyon uygulamasına hem eğitim hem sınav aşamaları dahil edilerek tanı, planlama ve operasyon aşamalarında kullanıcının gelişimine katkı sağlandı.

Proje kapsamında yapılan araştırmalarda, medikal uygulamalarda eğitim, planlama çözümleri, görünür hasta, vb. konularında yapılan çalışma sonuçları değerlendirildi. Araştırma sonrası ise hedef ölçütler, uygulama senaryolarının alanları, donanımsal (mekanik, elektronik, bilişim vb.) özelliklerin sınırları belirlenip firmamızın mevcut alt yapısı ve kaynaklarının değerlendirilmesi ile projenin detayları planlandı. Genel Cerrahi bölümü uzmanları ile yapılan çalışmalar sonrası projenin "açık cerrahi uygulamalarında" tanı, planlama ve cerrahi muadelenin alternatifli iş akış yapıları, eğitim ve sınav prosedürleri oluşturuldu.

Uludağ Üniversitesi Genel Cerrahi Ana Bilim Dalı ile birlikte gerçekleştirilen çalışmalarda görev alan Prof. Dr. Ekrem Kaya ve Araş. Gör. Dr. Murat Şen ile Karaciğer Lezyonu ve açık cerrahi uygulaması yapılan/yapılması gereken hasta verileri kullanıldı. Belirlenen hasta kriterleri doğrultusunda genel cerrahi bölümünde tedavi görmüş/görmekte olan hastaların kayıtlı olan MR, EKG, EMG, BT vb. tanı verileri kullanılarak kişiye özel cerrahi planlaması sağlandı. Kişisel özel verilerin kullanılması sayesinde komplikasyon ve hastalık senaryolarının özelleştirildiği için uygulama senaryolarının çeşitliliği de arttı. MR, EKG, EMG, BT vb. tanı verileri kullanılarak dokuların/organların 2B bilgileri, Unity 3D yazılımları ile ise 3B boyutlu model tasarımları (hologramları) yapıldı. Bu modellerin oluşturulması dokuların/organların 3B görüntüleri yanı sıra Unity 3D yazılımları ile hologramların gerçek doku yapılarını algılayıp taklidini yapmaları sağladı.

Simülatör ekipmanının hareketleri jiroskop entegrasyonu ile algılandıktan sonra, yazılımsal uygulamaların geri beslemeleri aracılığıyla gerçeklik algısı güçlendirildi. Kullanılan cerrahi cihazların pozisyon, mesafe, çoklu eksen hareket algıları sensör ve elektro mekanik çözümler ile geliştirildi. Algılanan hareket ile senaryolar arasında doğrulama yapılarak operatör kontrolleri oluşturuldu. Görseller ve gerçeklik yapılarının kişi kullanımına aktarılması, Hololens artırılmış gerçeklik uygulamasının geliştirilmesi elde edildi. Yapılan bu yazılımsal geliştirmeler, simülasyonun hem eğitim hem de cerrahi planlama aşamasında kullanılmasını sağladı. Simülasyon uygulamasında eğitim ve sınav seçenekleri oluşturularak insan vücudundaki olası komplikasyon ve hastalık senaryolarının takibi sağlanmakla birlikte, sistemle entegre çalışan jiroskop sensörleri ile gerçek hayatta yapılması gereken müdahalenin hata payını kontrol edebilen bir sistem geliştirildi.

Hologramların geliştirilmesinde 3B tasarım yazılımları ve 3B endüstriyel tarama, radyoloji cihazlarından faydalanıldı. Hologram ve arttırılmış gerçeklik uygulamalarında 3DMAX, Unity 3D, Visual Studio ve Maya yazılımları kullanıldı ve donanım tarafı ürün geliştirmeleri Ardunio veya Rasperry Pi modülü ve çeşitli sensörler ile desteklendi. Haberleşme sistemlerinde Bluetooth ve Wireless üzerinden gerçekleştirildi. Prototip üretim aşamasında tasarım çalışmalarında geliştirilen arayüzler, mekanik sistemleri, elektronik sistemler vb. hem donanımsal hem de yazılımsal olarak entegre edildi. Sistem bütünlüğünün tespit edilmesi için deneme çalışmaları yapıldı. Ardından geliştirilen prototipin norm uygunluğunun sağlanması için tip testleri ve kontrolleri gerçekleştirildi.