TARIFNAME KÜRESEL KONUM BELIRLEME SISTEMI (GNSS) VERISI OLMAYAN ORTAMLARDA TASINABILIR CIHAZ KAMERASI ILE HEDEF KONUMLANDIRMA Teknik Alan Bulus, küresel konum belirleme sistemi (GNSS - Global Navigation Satellite System) bilgisi mevcut olmayan ortamlarda mobil (tasinabilir) cihaz kamerasi kullanilarak görüs açisi içinde kalan referans noktalarin bilgileri ile GNSS verisinin hesaplanmasi ve mobil cihazin hareket etmesine bagli olarak degisen konum bilgisinin hesaplanarak görüntüdeki hedefin küresel sistemde konumlandirilmasini saglayan bir konumlandirma yöntemi ile ilgilidir. Önceki Teknik Operasyon sirasinda askerlerin, karsisina çikan düsman unsurlarini öncelikle kendi silahlari ile imha etmesi, yeterli olmadigi takdirde ise, düsmanin yerinin dogru tespit edilerek geri bölgedeki destek silahlarina (top, havan, çok namlulu roketatar vb.) veya hava unsurlarina (SIHA, uçak, helikopter vb.) bildirmesi beklenmektedir. Bu durum iç güvenlik harekâtinda görev yapan asker için oldugu kadar, hudut birliklerinde görev yapan nöbetçi/ gözetleyiciler için de geçerlidir. GNSS,in oldugu ortamlarda DEM haritasi kullanilarak seçilen hedefin küresel konumlandirilmasi bilinen bir çözümdür. Fakat GNSS verisine erisilemeyen durumlarda mobil cihazin küresel konumu bilinemedigi için hedefin küresel konum tespit islemi yapilamamaktadir. Teknikte var olan hedef tespit ve konumlandirma sistemleri göz önünde bulunduruldugunda, genellikle lazer tabanli bu sistemlerin arazide sabitlenme ve kalibrasyon ihtiyaci, hava kosullarina bagli ölçüm hassasiyetinin degismesi, yer degisikligi esnasinda yeniden kurulum gereksiniminde geçen süreler ve isinma ve soguma süreleri gibi parametreler hizli ve ergonomik olmasini engellemektedir. Bu yüzden, özellikle taktik sahadaki faaliyetlerde hizli ve kolay kullanimi sebebiyle elle tasinabilir ve ilgili kurulum ve kullanim sorunlari olmayan sistemlere ihtiyaç duyulmaktadir. Ayrica kameranin pasif bir algilayici olmasi nedeniyle lazer tabanli algilayicilara göre gizlenebilme kabiliyetine sahiptir. Teknigin bilinen durumunda yer alan Vision-based localization methods under GPS-denied conditions baslikli dokümanda, GPS'in kullanilmadigi ortamlarda görüs tabanli yerellestirme yöntemlerinin incelenmesinden bahsedilmektedir. Ana akis Göreceli Görüs Konumlandirma (RVL) ve Mutlak Görüs Konumlandirma (AVL) olarak siniflandirilmaktadir. Yöntem, alan haritalama (area mapping) alaninda kullanilmaktadir. Kamera görüs açisindaki herhangi bir unsurun degil de kameranin üzerine takildigi unsurun konumlandirilmasi ve alanin haritalandirilmasi için kullanilmaktadir. Görüntüdeki önemli unsurlarin ve göreli konumlarinin hareket eden ve kameranin bagli oldugu unsurun konumlandirilmasi için kullanilan bir algoritma önermektedir. Radar and Visual Odometry Integrated System Aided Navigation for UAVS in GNSS Denied Environment baslikli dokümanda, GNSS'nin reddedildigi ortamlarda Insansiz Hava Araçlari (IHA'lar) için gelistirilmis entegre bir navigasyon sisteminden bahsedilmektedir. Teknikte var olan çalismalar incelendiginde küresel konum belirleme sistemi (GNSS - Global Navigation Satellite System) bilgisi mevcut olmayan ortamlarda tasinabilir cihaz kamerasi kullanilarak görüs açisi içinde kalan referans noktalarin bilgileri ile GNSS verisinin hesaplanmasi ve tasinabilir cihazin hareket etmesine bagli olarak degisen konum bilgisinin hesaplanarak görüntüdeki hedefin küresel sistemde konumlandirilmasini saglayan bir konumlandirma yönteminin gelistirilmesi ihtiyaci duyulmustur. Bulusun Amaçlari Bu bulusun amaci, küresel konum belirleme sistemi (GNSS - Global Navigation Satellite System) bilgisi mevcut olmayan ortamlarda tasinabilir cihaz kamerasi kullanilarak görüs açisi içinde kalan referans noktalarin bilgileri ile GNSS verisinin hesaplanmasi ve tasinabilir cihazin hareket etmesine bagli olarak degisen konum bilgisinin hesaplanarak görüntüdeki hedefin küresel sistemde konumlandirilmasini saglayan bir konumlandirma yönteminin gerçeklestirilmesidir. Bu bulusun bir baska amaci, mevcut kullanilan hedef mesafe bulucular ve hedef belirleyicilere göre ön kurulum gerektirmeyen ve maliyeti çok düsük çözüm sunan bir konumlandirma yönteminin gerçeklestirilmesidir. Bu bulusun bir baska amaci, operasyon personeli GNSS olmayan ortamda konumunu degistirse bile tekrar kalibrasyon islemlerini yapmadan hedefin koordinatlarini elde ederek aninda raporlama imkanina sahip bir konumlandirma yöntemin gerçeklestirilmesidir. Bulusun Ayrintili Açiklamasi Bu bulusun amaçlarina ulasmak için gerçeklestirilen konumlandirma yöntemine iliskin örnek bir yapilandirmalar ekli sekillerde gösterilmistir. Bu sekiller; Sekil 1: Bulus konusu yöntemin uygulandigi örnek bir yapilanmanin sematik görünümüdür. Sekil 2: Bulus konusu yöntemde kullanilan isin baslangiç noktasini degistirme isleminin grafiksel görünümüdür. Sekillerde yer alan parçalar tek tek numaralandirilmis olup, bu numaralarin karsiliklari asagida verilmistir. 101. Mobil cihaz 102. Ataletsel ölçer I 103. Kamera 104. Kamera çözünürlügü 105. Kamera odak uzakligi 106. Kamera piksel boyutu haritasi Kullanici Ataletsel ölçer 11 Kamera oryantasyonu Görüntü Konumu bilinen noktalar Kör seyir algoritmasi Piksel Piksel degerleri Hedef konumu Hedef piksel Bulus, küresel konum belirleme sistemi (GNSS) verisi olmayan ortamlarda mobil cihaz (101) kamerasi (103) ile hedefin konumlandirilmasini saglayan bir konumlandirma yöntemi ile ilgili olup; Mobil cihaz (101) üzerinde yer alan ataletsel ölçer I (102) ile mobil cihazin (101) üç boyutlu oryantasyon bilgilerinin elde edilmesi, Elde edilen oryantasyon bilgilerinin Kalman filtresinden geçirilerek Euler açilarina çevrilip yuvarlanma, yunuslama ve yalpa degerlerinin hesaplanmasi, Kullanici (108) tarafindan mobil cihaz (101) kamerasiyla (103) hedef bölgenin görüntüsünün (202) çekilmesi, Yakalanan mobil cihaz (101) görüntüsünün (202) mobil cihaz (101) üzerinde bulunan ataletsel ölçer Pden (102) elde edilen yalpa, yuvarlanma ve yunuslama açilari bilgileri ile etiketlenmesi, Yakalanan görüntü (202) üzerinde konumu bilinen noktalarin (203) seçilip bu konumlarinin görüntü (202) üzerindeki piksel degerleri (302) ile eslestirilmesi, Mobil cihazin (101) kamera çözünürlügü (104) ile çekilen görüntüdeki (202) piksel degerlerinin (302) elde edilmesi, Elde edilen açi bilgileri ve konumu önceden bilinen noktalarin (203) kamera (103) görüntüsü (202) üzerinde isaretlenip pikseller (301) ile eslestirilmesiyle Alan Modelleme Teorisi tabanli bir algoritma [1] kullanilarak mobil cihazin (101) konum tespitinin yapilmasi, - Çekilen görüntüde (202) seçilen pikselin (301) isin izleme (ray tracing) tabanli konumlandirma algoritmasi [3] ile küresel konumunun belirlenmesi, - Kullanici (108) üzerine giydirilmis ataletsel ölçer IPden (109) elde edilen verilerin Kalman bazli filtre ile birlestirilerek kullanicinin oryantasyon ve - Üç eksendeki ivme degerleri ile ivmenin normunun hesaplanarak ortalamasinin çikarilmasi, - Belirlenen ortalama ivme degerlerine filtreleme islemi gerçeklestirilerek maksimum ve minimum noktalarin hesaplanmasi, - Maksimum ve minimum degerlerinin hesaplanmasindan sonra eger ardisik olarak minimum-maksimum-minimum noktalari saglanirsa adim tespitinin belirlenmesi, - Adim tespiti, adim uzunlugu ve yöneliminden elde edilen güzergâh verisi, ivmeölçer ile hesaplanan adim tespitinin yeniden kullanilmasi ve yine ivmeölçer ile elde edile kullanici (108) aktivitesinin siniIlandirilmasi ile güzergâhin iyilestirilerek yaya kör seyir algoritmasinin (204) olusturulmasi, - Kör seyir algoritmasindan (204) gelen aktif bir güzergah sinyali bulunmasi halinde hedef konumunun (400) belirlenmesi adimlarini içermektedir. Bulus konusu yöntemde, GNSS,in çalismadigi durumlarda kullanici (108) tarafindan konumu bilinen noktalarin (üç noktanin) (203) yardimiyla mobil cihaz (101) kullanicisinin (108) konum tespiti yapilacaktir. Hedef tespiti için mobil cihaz (101) kullanicisinin (108) elde edilmis konum bilgisi, mobil cihaz (101) kamera oryantasyonu (201) (ataletsel ölçü birimi verileri) ve kameradan (103) gelecek görüntü (202) ile daha önceden elde edilmis olan sayisal yükseklik modeli (DEM) haritasi (107) eslestirilecektir. Kullanilacak olan mobil cihazda (tablet PC, telefon vb.) (101) manyetik alan, ivme ve açisal hiz ölçümleri yapan manyetometre, ivmeölçer ve dönüölçer algilayicilari yani ataletsel ölçer I (102) bulunmaktadir. Bu algilayicilar sayesinde mobil cihazin (101) üç boyutlu kamera oryantasyon (201) bilgileri elde edilebilmektedir. Mobil cihaz (101) kamera oryantasyonu (201), üç boyutlu uzayda cihaz rotasyonunu tanimlamak için kullanilan üç açi olan yalpa (yaw), yunuslama (pitch) ve yuvarlanma (roll) açilari bir diger adiyla Euler açilariyla ifade edilmektedir. Kullanilan mobil cihaz (101) üzerinde dahili olarak bulunan algilayicilarin gönderdigi ham veriler bir gerçek ve üç sanal degerden olusan dört boyutlu bir karmasik sayi olan dördey formatinda olacaktir. Dördey formati Euler açilariyla oryantasyon tanimi yaparken ayni rotasyon matrisiyle birden fazla açiya denk gelme yani özgürlük derecesi kaybederek olusabilecek Gimbal kilidi (Gimbal Lock) sorununun önüne geçmek için kullanilan bir sayi sistemidir. Gimbal kilidi, üç eksenli bir hareket sensörü veya IMU (Ineitial Measurement Unit) kullanildiginda, özellikle Euler açilari kullanilarak temsil edilen bir nesnenin hareketini izlerken ortaya çikan bir probleme isaret eder. Bir platformun belirli bir konumda sabitlenmesi durumunda, bu platformun hareketini ifade eden üç Euler açisinin birbirleriyle kilitlenmesi durumunu ifade eder. Sonuç olarak, bir serbestlik derecesi kaybolur ve nesnenin hareketini dogru bir sekilde izlemek zorlasir. Alinan veriler, oryantasyon kestiriminin yapilabilmesi için Kalman filtresinden geçirilmektedir. Kalman filtresi, oryantasyon tahmini için dönüölçerden gelen verileri, düzeltme için ise ivmeölçer ve pusuladan gelen verileri kullanmaktadir. Filtreden geçen veriler Euler açilarina çevrilerek yuvarlanma, yunuslama ve yalpa degerleri bulunmaktadir. GNSS olmavan ortamda GNSS verisi hesaplama Konum tespiti için öncelikle kullanici (108) tarafindan tasinan bir mobil cihaz (101) kamerasiyla (103) hedef bölgenin görüntüsü (202) çekilmektedir. Yakalanan mobil cihaz (101) görüntüsü (202) mobil cihaz (101) üzerinde bulunan ataletsel ölçer Pden (102) elde edilen yalpa, yuvarlanma ve yunuslama açilari ölçümleri ile etiketlenir ve ardindan yakalanan görüntü (202) üzerinde konumu bilinen noktalar (203) seçilip bu noktalarin konumlari görüntü (202) üzerindeki piksel degerleri (302) ile eslestirilmektedir. Son olarak hedef bölgeye ait görüntü (202) kaydedilirken etiketlenen yalpa, yuvarlanma ve yunuslama açilari (kamera oryantasyonu (201)), mobil cihazin (101) kamera (103) görüs alani özellikleri piksel degerleri (302) yönteme girdi olarak sunulmaktadir. Mobil cihazin (101) kamera çözünürlügü (104) ile çekilen görüntüdeki (202) piksel degerleri (302) elde edilmektedir. Elde edilen piksel degerleri (302) ve konumu önceden bilinen noktalarin (203) kamera (103) görüntüsü (202) üzerinde isaretlenip pikseller (301) ile eslestirilmesiyle yöntem gerçeklestirilmektedir. Görüntüdeki (202) piksellerden (301) piksel degerlerinin (302) elde edilmesi ve konumu bilinen noktalar (203) yardimiyla mobil cihaz (101) konum tespiti gerçeklestirilmektedir. Konum tespitinde kullanilan algoritma Alan Modelleme Teorisi [1] tabanli bir algoritmadir. Deming ve Perlovsky [2] çalismasinda verilen yöntem modifiye edilerek konum tespiti probleminin çözümünde kullanilmistir. Alan Modelleme Teorisinde konum bilgisi, kamera oryantasyonu (201) gibi parametreleri içeren bir veri modeli ile algilayici hatalari yardimiyla istatistiksel bir model olusturulur. Konum bilgisi, modelin ölçülen veri kümesine ne kadar uydugunun ölçüsünü veren log-olabilirlik fonksiyonun maksimize edilmesiyle kestirilmektedir. [2] Tespiti gerçeklestirilecek olan kamera (103) konumunun X j 2 (X, l/J-,Zj) j = 1 ve K tane bilinen noktalarin konumlarinin xk = (xk, yk,zk) k 2 1,2,3, ,K oldugu varsayilsin. Yöntem ilk olarak 3B koordinat düzlemindeki bilinen noktalarin konumlarini xk = (xk,yk,zk) Xj 2 (X, YJ-,Zjydeki kameranin (103) konumuna göre 2B odak düzlemine denklem 1 ve denklem 2 yardimiyla çeVirmektedir. (Denklem 1) (Denklem 2) Denklemlerdeki df kameranin odak uzakligi (105), mij dogrultu esdikmeligi matrisi elemanlaridir. mij elemanlari, kamera oryantasyonunu (201) veren yalpa (03), yuvarlanma (K) ve yunuslama ((p) açilari kullanilarak denklem 3,te belirtildigi gibi hesaplanmaktadir. mn : cos mlz : coswsinK + sinwsinqicosic m21 : -cosqisinic mzz : coswcosic - sinwsinqisinic (Denklem 3) m31 : Simp m32 : -sinwcosqi m33 : coswcosqi Böylece denklem 3,teki elemanlari kullanarak olusturulan dogrultu esdikmeligi matrisi M,- 5 [mil miz mi3] seklinde ifade edilebilir. Denklem 1 ve 2,den yola çikarak X] 2 (X , &21) hedef konumu (400) kestirimi olmak üzere sistemin odak cinsinden buldugu koordinat noktalari laik : [M1] df(xk _ XilT bjk 2 M3(xk - X1) (Denklem 4) seklinde elde edilmektedir. Yöntem, ölçüm olarak topladigi odak düZlemi cinsinden koordinat noktalari ile sistemin kestirdigi koordinat noktalari arasindaki benzerlige bakip kestirimleri düzeltmektedir. Bu düzeltme islemi maksimum olabilirlik kestiricisi ile yapilmaktadir. Olabilirlik fonksiyonunu elde etmek için öncelikle odak düZlemi cinsinden ölçümlerin dagiliminin hesaplanmasi gerekmektedir. Bu dagilim denklem 5 ile hesaplanabilir. P(ajißj|k) = mem? {- F [(09 - aT-,JZ + (ßj - bjk)2]}(Denklem 5) Toplam olasilik yasasini kullanarak k numarali bilinen noktanin j numarali ölçümden gelme olasiligi asagidaki gibi bulunabilir: . P(ajißj|k) ( 'D Kzfêipwpßjik) (Denklem 6) Denklem 5 ve 6 yardimiyla olabilirlik fonksiyonunu (Denklem 7) olarak ifade edilir. Olabilirlik fonksiyonun bu durumdaki karmasik yapisi sebebi ile direk türev alip sifira esitlemek yolu yerine gradyan inisi yöntemi tercih edilmistir. Iyilestirilecek kamera (103) konum degeri gradyan inisi ile yinelemeli sekilde asagidaki gibi bulunmaktadir. (1) _ (1-1) (Denklem 8) Denklem 8,deki 5 adim büyüklügü olup deneyimlere göre seçilmektedir. Adim büyüklügünün küçük seçilmesi yakinsamayla sonuçlansa da daha fazla yineleme sayisi ihtiyacini ortaya çikarmaktadir. [2] Denklem 8,deki kismi türeV ÖLL_ . (Zi-"Tic adi-'k ßj_bi_'k abi-'k W-ZkIPMU) [( ag âXj + ag âXj (Denklem9) E 2 _d (Mi -MJW ("9- f Mgm _ng E 2 _d (M5 - Mina) denklem seti ile hesaplanabilir. DEM haritasi ile küresel konumlandirma Mobil cihazdan (101) çekilen görüntüden (202) seçilen bir noktanin cografi koordinatinin hesaplanabilmesi için çesitli girdi parametreleri gereklidir. Bu parametreler sunlardir: Navigasyon verileri: Bu veriler genellikle konum (boylam, enlem, yükseklik) ve IMU (roll, pitch, yaw) verilerinden olusur. Sayisal yükseklik modeli (DEM) haritasi (107): Yer yüzeyinin belirli noktalarindan alinan yükseklik degerleri kullanilarak geri kalan yüzeyin bu degerler ile enterpole edilerek yüzey topografyasinin tanimlanmasi ve Kamera (103) parametreleri: Kamera çözünürlügü (104), kamera odak uzunlugu (105), kamera piksel boyutu (106). Çekilen görüntüde (202) seçilen pikselin (301) küresel olarak konumlandirilabilmesi için isin izleme (ray tracing) [3] tabanli konumlandirma algoritmasi uygulanacaktir. Algoritmada uygulanacak adimlar asagidaki gibidir: Mobil cihazin (101) kamera (103) özellik bilgileri (kamera çözünürlügü (104), kamera odak uzunlugu (105), kamera piksel boyutu (106)) kullanilarak kameraya (103) ait algilayici model olusturulmaktadir. Mobil cihaza (101) entegre konum algilayicisindan veya konum algilayicisi çalismiyorken gerçeklestirilen konum tespitinden gelen konum bilgisi ve mobil cihaza (101) entegre ataletsel ölçer Iaden (102) elde edilen kamera oryantasyonu (201) bilgilerini kullanarak her bir kamera (103) pikselinden (301) uzanan isinlarin konum ve açisi hesaplanmaktadir. Bu hesaplama isleminde DEM haritasi kullanilmaktadir. 3. Seçilen piksele (301) ait konum bilgilerinin hesaplanmasi isleminde her bir kamera (103) pikselinden (301) gönderilen isinlarin DEM haritasi (107) ile kesistigi nokta bulunur. 4. Bulunan noktanin kameraya (103) olan uzakligi hesaplandiktan sonra kamera (103) konumunu ve kamera (103) açisini kullanarak seçilen nokta ötelenir. . Öteleme vektörü kamera (103) yön açisi ile döndürülerek seçilen herhangi bir pikselin (301) piksel degerleri (302) hesaplanmaktadir. Hedef konumlandirma için kullanilan algoritmada isin izleme metodu ile baslangiç noktasindan gönderilen isinlar üçgenlerden olusan haritadaki ilk kesistikleri noktalari konumlandirabilmektedir. Baslangiç noktasi 0 ve normalize edilmis yönü D olan bir isin R(t): R(t) = 0 + tD (Denklem 10) seklinde ifade edilebilmektedir. Bir üçgen ise V0,V1,V2 köselerinden olusabilmektedir. Üçgen üzerinde bulunan T(u, v) noktasi T(u, v) : (1 - u - v)V0 + uV1 + vVZ (Denklem 11) olarak ifade edilir. Burada (u, 17), u 0, 1) 0 ve u + 1) S 1 kosullarini saglayan barisentrik koordinatlardir. Isin R(t)ile T(u, v) noktasi arasindaki kesisim R(t) = T(u, U) ile ifade edilir. Bu esitligi detayli bir sekilde yazacak olursak 0 + 1D :(1 - u - v)V0 + uV1 + vVZ (Denklem 12) Barisentrik koordinatlar (11,17) ve isinin baslangiç noktasi ile kesisim noktasi arasindaki mesafe (t), denklem 13 ile gösterilen denklemin çözümü ile bulunabilir. Denklem 13 ile gösterilen ifadenin geometrik olarak gösterimi sekil 2 ile gösterilmektedir. Sekil 2,de ilk olarak üçgenin baslangiç noktasina getirilmesi ve sonrasinda birim üçgene dönüsümü gösterilmektedir. Burada M 2 [-D,V1 - V0, V2 - V0] denklem 13,teki matrisi ifade etmektedir. Burada El 2 V1 - V0, Ez = V2 - V0 ve T 2 0 - V0 degisiklikleri yapilarak denklem 13 çözümü Cramer kurali ile asagidaki gibi bulunabilir: (Denklem 14) Lineer cebir dönüsümlerinden faydalanarak |A,B, Cl 2 -(AxC).B = -(CxB).A degisimi gerçeklestirilir ve denklem 14 asagidaki gibi tekrar yazilabilir: t (TxEl).E2 Q-Ez (Denklem 15) u :_ (DxEZ).T : P.T U (-DxE2).E1 (TxEIM) P.E1 Q.D Burada P 2 (DxEZ) ve Q 2 (TxEl) olmaktadir. Denklem 15 ile verilen yöntem kullanilarak hesaplama süreleri hizlandirilabilmektedir. Kullanici ( 108) kör seyir ile iyilestirme Kullanici (108) üzerine giydirilmis ataletsel ölçer IPden (109) elde edilen veriler Kalman bazli filtre ile birlestirilerek kullanicinin oryantasyon ve konum verisi elde edilir. Bunun haricinde, ivmeölçer verisinden elde edilen adim tespiti, yine ivmeölçer verisinden elde edilen ve denklem 16,daki Weinberg modeli ile hesaplanan adaptif k parametreli adim uzunlugu, oryantasyondan elde edilen cihaz/adim yönelimi (ayni olmasi beklenmektedir) elde edilerek bir güzergâh olusturulur. AdimUzunlugu : k 4 amax - amin (Denklem 16) Adim tespitinin elde edilebilmesi için ilk olarak üç eksendeki ivme degerleri ile ivmenin normu hesaplanir. Bunun nedeni insan hareketinin dikey ivmesindeki degisimi daha iyi sekilde elde etmektir. Elde edilen norm degerinden, norm degerinin ortalamasi çikarilir. Ataletsel ölçerlerin (102, 109) ölçüm dogrulugu ve yaya üzerinde konuldugu nokta, algilayici verilerinde gürültüye neden olacaktir. Bu gürültülerin etkisini ortadan kaldirmak için filtreleme islemi yapilmaktadir. Filtreleme islemi yapildiktan sonraki ivme degerinde maksimum ve minimum noktalar hesaplanir. Maksimum ve minimum noktalarin hesaplanmasinda bir esik degeri kullanilir. Sadece belli bir esik degerinin üstünde olan maksimum ve minimum noktalar tutulur. Maksimum ve minimum degerlerinin hesaplanmasindan sonra eger ardisik olarak minimum-maksimum-minimum noktalari saglanirsa adim tespit edilir. Adim tespiti, adim uzunlugu ve yöneliminden elde edilen güzergah verisi, ivmeölçer ile hesaplanan adim tespitinin yeniden kullanilmasi ve yine ivmeölçer ile elde edile kullanici (108) aktivitesinin siniflandirilmasi ile güzergah iyilestirilerek yaya kör seyiri olusturulmaktadir. Sonuç olarak kullanicinin (108) kör seyir algoritmasindan (204) gelen aktif bir güzergah sinyali bulunmasi halinde, önceden hesaplanan hedefin konumu (400) güncellenmektedir. Hedef konumu (400) belirlendikten sonra kullanici, gerçeklestirilen yöntemler sonucunda konumunu bulmak istedigi hedefe ait bir hedef pikseli (401) seçer. Hedef piksel (401); görüntüdeki hedefe ait seçilen pikseldir. Bu hedefin küresel koordinatlandirma sisteminde nerede oldugunun bulunabilmesini saglayan pikseldir. TR TR TR DESCRIPTION TARGET POSITIONING USING A PORTABLE DEVICE CAMERA IN ENVIRONMENTS WITHOUT GLOBAL POSITIONING SYSTEM (GNSS) DATA Technical Field The invention relates to a positioning method that provides positioning of the target in the image in the global system by calculating the GNSS data with the information of reference points within the field of view using a mobile (portable) device camera in environments where global positioning system (GNSS) information is not available and by calculating the position information that changes depending on the movement of the mobile device. Previous Technique During the operation, soldiers are expected to primarily destroy the enemy elements they encounter with their own weapons, and if that is not sufficient, to accurately determine the enemy's location and report it to the support weapons (artillery, mortar, multiple rocket launcher etc.) or air elements (UCAV, aircraft, helicopter etc.) in the rear area. This applies to both soldiers serving in internal security operations and guards/observers serving in border units. In environments with GNSS, global positioning of a selected target using DEM maps is a known solution. However, in situations where GNSS data is unavailable, the global position of the mobile device cannot be determined, making global positioning impossible. Considering existing target detection and positioning systems, the need for field stabilization and calibration, variations in measurement accuracy due to weather conditions, re-setup times during relocations, and warm-up and cool-down times for these systems prevent them from being fast and ergonomic. Therefore, especially in tactical field operations, handheld systems that are fast and easy to use and eliminate installation and usage problems are needed. Furthermore, because the camera is a passive sensor, it can be hidden from laser-based sensors. The document titled "Vision-based localization methods under GPS-denied conditions," which covers the state of the art, discusses the investigation of vision-based localization methods in environments where GPS is not used. The main stream is classified as Relative Vision Positioning (RVL) and Absolute Vision Positioning (AVL). This method is used in area mapping. It is used to locate the element on which the camera is mounted, not any element within the camera's field of view, and to map the area. It proposes an algorithm that uses the relative positions of important elements in the image to locate the moving element to which the camera is attached. The document, "Radar and Visual Odometry Integrated System Aided Navigation for UAVs in GNSS Denied Environments," describes an integrated navigation system developed for Unmanned Aerial Vehicles (UAVs) in environments where GNSS is denied. A review of existing state-of-the-art studies reveals the need to develop a positioning method that, in environments where global positioning system (GNSS) information is unavailable, uses a portable device's camera to calculate reference points within the field of view and GNSS data. The position information changes as the portable device moves, allowing the target in the image to be positioned within the global system. Purposes of the Invention The purpose of this invention is to implement a positioning method that allows the target in the image to be positioned in the global system by calculating GNSS data with information of reference points within the field of view using a portable device camera in environments where global positioning system (GNSS) information is not available, and by calculating position information that changes depending on the movement of the portable device. Another purpose of this invention is to implement a positioning method that does not require pre-installation and provides a very low-cost solution compared to currently used target range finders and target designators. Another purpose of this invention is to implement a positioning method that can obtain the target's coordinates and provide instant reporting without recalibration, even if operation personnel change their position in a non-GNSS environment. Detailed Description of the Invention Example configurations related to the positioning method implemented to achieve the objectives of this invention are shown in the attached figures. These figures are; Figure 1: Schematic view of an example configuration in which the method in question is applied. Figure 2: Graphical view of the process of changing the starting point of the work used in the method in question. The parts in the figures are individually numbered, and the corresponding numbers are given below. 101. Mobile device 102. Inertial meter 1 103. Camera 104. Camera resolution 105. Camera focal length 106. Camera pixel size map User Inertial meter 11 Camera orientation Image Points with known location Blind navigation algorithm Pixel Pixel values Target location Target pixel The invention relates to a positioning method that enables positioning of the target with the camera (103) of the mobile device (101) in environments where there is no global positioning system (GNSS) data; Obtaining three-dimensional orientation information of the mobile device (101) with the inertial meter I (102) located on the mobile device (101), Calculating roll, pitch and yaw values by converting the obtained orientation information to Euler angles by passing it through the Kalman filter, capturing the image (202) of the target area with the camera (103) of the mobile device (101) by the user (108), Labeling the captured mobile device (101) image (202) with the roll, roll and pitch angle information obtained from the inertial meter P (102) located on the mobile device (101), Selecting points (203) with known positions on the captured image (202) and matching these positions with the pixel values (302) on the image (202), Obtaining pixel values (302), Marking the obtained angle information and the points (203) whose positions are known beforehand on the camera (103) image (202) and matching them with pixels (301) to determine the location of the mobile device (101) using an algorithm based on Field Modeling Theory [1]. - Determining the global position of the pixel (301) selected in the captured image (202) using a ray tracing based positioning algorithm [3]. - Combining the data obtained from the inertial meter IP (109) worn on the user (108) with a Kalman based filter to determine the orientation of the user and - Calculating the acceleration values in three axes and the norm of the acceleration and obtaining the average, - Calculating the maximum and minimum points by performing the filtering process on the determined average acceleration values, - After calculating the maximum and minimum values, if the - Determining the step detection if minimum-maximum-minimum points are provided, - Creating the pedestrian blind navigation algorithm (204) by improving the route by re-using the step detection data obtained from step length and orientation, step detection calculated with the accelerometer and classifying the activity of the user (108) obtained with the accelerometer, - Determining the target location (400) in case there is an active route signal coming from the blind navigation algorithm (204). In the method according to the invention, the location of the mobile device (101) user (108) will be determined with the help of the points (three points) (203) whose location is known by the user (108) in cases where GNSS is not working. For target detection, the location information obtained from the user (108) of the mobile device (101), the camera orientation (201) (inertial measurement unit data) of the mobile device (101) and the image (202) coming from the camera (103) will be matched with the previously obtained digital elevation model (DEM) map (107). The mobile device (tablet PC, phone, etc.) (101) to be used includes magnetometer, accelerometer and gyroscope sensors, namely the inertial meter I (102), which measure magnetic field, acceleration and angular velocity. Thanks to these sensors, three-dimensional camera orientation (201) information of the mobile device (101) can be obtained. The camera orientation of the mobile device (101) is expressed as three angles used to define the device's rotation in three-dimensional space: yaw, pitch, and roll, also known as Euler angles. The raw data sent by the sensors internal to the mobile device (101) will be in a quaternion format, a four-dimensional complex number consisting of one real and three imaginary values. The quaternion format is a number system used to prevent the problem of gimbal lock, which can occur when defining orientation with Euler angles, corresponding to multiple angles with the same rotation matrix, i.e., losing degrees of freedom. Gimbal lock refers to a problem that arises when a three-axis motion sensor or IMU (Initial Measurement Unit) is used, particularly when tracking the motion of an object represented using Euler angles. When a platform is fixed in a specific position, the three Euler angles representing its motion are locked together. As a result, one degree of freedom is lost, making it difficult to accurately track the object's motion. The received data is passed through a Kalman filter to obtain orientation estimation. The Kalman filter uses data from the gyroscope for orientation estimation and data from the accelerometer and compass for correction. The filtered data is converted into Euler angles to obtain roll, pitch, and roll values. GNSS data calculation in a non-GNSS environment For location determination, an image (202) of the target area is first captured by the camera (103) of a mobile device (101) carried by the user (108). The captured mobile device (101) image (202) is labeled with the roll, pitch and pitch angle measurements obtained from the inertial meter P (102) located on the mobile device (101), and then points (203) with known locations are selected on the captured image (202) and the locations of these points are matched with the pixel values (302) on the image (202). Finally, while the image (202) of the target region is being recorded, the labeled roll, pitch and pitch angles (camera orientation (201)) and the pixel values (302) of the field of view features of the camera (103) of the mobile device (101) are provided as input to the method. The pixel values (302) in the captured image (202) are obtained with the camera resolution (104) of the mobile device (101). The method is implemented by marking the obtained pixel values (302) and points with previously known locations (203) on the camera (103) image (202) and matching them with pixels (301). The location of the mobile device (101) is determined by obtaining the pixel values (302) from the pixels (301) in the image (202) and using the known locations (203) of the points. The algorithm used in location determination is based on Field Modeling Theory [1]. The method presented in the work of Deming and Perlovsky [2] was modified and used to solve the location determination problem. In Field Modeling Theory, a statistical model is created using a data model that includes parameters such as location information, camera orientation (201), and sensor errors. Location information is estimated by maximizing the log-likelihood function, which measures how well the model fits the measured dataset. [2] Let's assume that the camera (103) position to be detected is X j 2 (X, l/J-,Zj) j = 1 and the positions of K known points are xk = (xk, yk,zk) k 2 1,2,3, ,K. The method first translates the positions of known points in the 3D coordinate plane xk = (xk,yk,zk) Xj 2 (X, YJ-,Zjy) to the 2D focal plane according to the position of the camera (103) at Equation 1 and Equation 2. (Equation 1) (Equation 2) df in the equations is the focal length of the camera (105), mij are the elements of the directional eccentricity matrix. mij elements are calculated as specified in Equation 3, using the roll (K) and pitch (p) angles that give the camera orientation (201). mn : cos mlz : coswsinK + sinwsinqicosic m21 : -cosqisinic mzz : coswcosic - sinwsinqisinic (Equation 3) m31 : Simp m32 : -sinwcosqi m33 : coswcosqi Thus, the direction deviation matrix M, generated using the elements in Equation 3, can be expressed as - 5 [mil miz mi3]. Based on Equations 1 and 2, where X] 2 (X , &21) is the target position (400) estimate, the coordinate points found by the system in terms of the focus are obtained as: [M1] df(xk _ XilT bjk 2 M3(xk - X1) (Equation 4). The method corrects the estimates by looking at the similarity between the coordinate points in terms of the focal plane collected as measurements and the coordinate points estimated by the system. This correction is done with the maximum likelihood estimator. In order to obtain the likelihood function, it is first necessary to calculate the distribution of the measurements in terms of the focal plane. This distribution can be calculated by Equation 5. P(ajißj|k) = mem? {- F [(09 - aT-,JZ + (ßj - bjk)2]}(Equation 5) Using the law of total probability, the probability that the known point k comes from the measurement number j can be found as follows: . P(ajißj|k) ( 'D Kzfêipwpßjik) (Equation 6) With the help of Equations 5 and 6, the likelihood function is expressed as (Equation 7). Due to the complex structure of the likelihood function in this case, the gradient descent method is preferred instead of taking the direct derivative and setting it equal to zero. The position value of the camera (103) to be improved is found iteratively by gradient descent as follows. (1) _ (1-1) (Equation 8) The 5 in Equation 8 is the step size and is based on experience. Although choosing a small step size results in convergence, it requires more iterations. [2] The partial derivative in Equation 8, V ÖLL_ . (Zi-"Tic adi-'k ßj_bi_'k abi-'k W-ZkIPMU) [( ag âXj + ag âXj (Equation 9) E 2 _d (Mi -MJW ("9- f Mgm _ng E 2 _d (M5 - Mina) can be calculated with the equation set. Global positioning with DEM map Various input parameters are required to calculate the geographic coordinate of a selected point from the image (202) captured from the mobile device (101). These parameters are as follows: Navigation data: This data usually consists of location (longitude, latitude, altitude) and IMU (roll, pitch, yaw) data. Digital height model (DEM) map (107): Defining the surface topography by interpolating the remaining surface with these values using elevation values taken from certain points on the ground surface and Camera (103) parameters: Camera resolution (104), camera focal length (105), camera pixel size (106). Ray tracing [3] based positioning algorithm will be applied to globally position the selected pixel (301) in the captured image (202). The steps to be applied in the algorithm are as follows: The sensor model of the camera (103) is created using the feature information of the camera (103) of the mobile device (101) (camera resolution (104), camera focal length (105), camera pixel size (106)). The position and angle of the rays extending from each camera (103) pixel (301) are calculated using the location information coming from the location sensor integrated into the mobile device (101) or from the location determination performed when the location sensor is not operating and the camera orientation (201) information obtained from the inertial meter Iaden (102) integrated into the mobile device (101). The DEM map is used in this calculation process. 3. In the process of calculating the location information of the selected pixel (301), the point where the rays sent from each camera (103) pixel (301) intersect with the DEM map (107) is found. 4. After the distance of the found point to the camera (103) is calculated, the selected point is shifted using the camera (103) position and camera (103) angle. The pixel values (302) of any selected pixel (301) are calculated by rotating the translation vector by the camera (103) direction angle. In the algorithm used for target positioning, the ray tracing method can locate the first intersection points of rays sent from the starting point on the map consisting of triangles. A ray with a starting point of 0 and a normalized direction of D can be expressed as R(t): R(t) = 0 + tD (Equation 10). A triangle can be composed of the vertices V0, V1, V2. The point T(u, v) on the triangle is expressed as T(u, v): (1 - u - v)V0 + uV1 + vVZ (Equation 11). Here, (u, 17) are the barycentric coordinates satisfying the conditions u 0, 1) 0 and u + 1) S 1. The intersection between the ray R(t) and the point T(u, v) is expressed by R(t) = T(u, U). If we write this equation in detail, 0 + 1D :(1 - u - v)V0 + uV1 + vVZ (Equation 12). The barycentric coordinates (11, 17) and the distance (t) between the starting point of the ray and the intersection point can be found by solving the equation shown in Equation 13. The geometric representation of the expression shown in Equation 13 is shown in Figure 2. Figure 2 shows first bringing the triangle to the starting point and then transforming it into a unit triangle. Here M 2 [-D,V1 - V0, V2 - V0] represents the matrix in equation 13. Here, by changing El 2 V1 - V0, Ez = V2 - V0 and T 2 0 - V0, the solution of equation 13 can be found with Cramer's rule as follows: (Equation 14) By making use of linear algebra transformations, |A,B, Cl 2 -(AxC).B = -(CxB).A is replaced and equation 14 can be rewritten as follows: t (TxEl). E2 Q-Ez (Equation 15) u :_ (DxEZ).T : P.T U (-DxE2).E1 (TxEIM) P.E1 Q.D where P 2 (DxEZ) and Q 2 (TxEl). Computation times can be accelerated using the method given in Equation 15. User (108) blind navigation optimization: Data obtained from the inertial meter IP (109) mounted on the user (108) are combined with a Kalman-based filter to obtain the user's orientation and location data. Furthermore, a path is created by obtaining the step detection obtained from the accelerometer data, the adaptive k-parameter step length obtained from the accelerometer data and calculated with the Weinberg model in Equation 16, and the device/step orientation obtained from the orientation (expected to be the same). StepLength: k 4 amax - amin (Equation 16) To obtain step detection, the acceleration values in three axes are first calculated and the acceleration norm. The reason for this is to better capture the change in vertical acceleration of human movement. The average of the norm value is subtracted from the obtained norm value. The measurement accuracy of the inertial meters (102, 109) and the location on the pedestrian will cause noise in the sensor data. Filtering is performed to eliminate the effect of this noise. After filtering, the maximum and minimum points in the acceleration value are calculated. A threshold value is used to calculate the maximum and minimum points. Only the maximum and minimum points above a certain threshold are retained. After calculating the maximum and minimum values, a step is detected if the consecutive minimum-maximum-minimum points are met. Pedestrian blind navigation is created by improving the route and creating a pedestrian blind navigation by reusing the route data obtained from step detection, step length, and orientation, by reusing the step detection calculated with the accelerometer, and by classifying the user (108) activity obtained with the accelerometer. Consequently, if the user (108) has an active route signal coming from the blind navigation algorithm (204), the previously calculated target location (400) is updated. After the target location (400) is determined, the user selects a target pixel (401) belonging to the target whose location he wants to find as a result of the applied methods. The target pixel (401) is the selected pixel belonging to the target in the image. It is the pixel that allows the location of this target in the global coordinate system to be found.