خلاصه
در این مقاله به معرفی مفهوم و پیاده سازی فضاهای تصویر سه بعدی جغرافیایی به عنوان نوع جدیدی از مدل های بومی شهری می پردازیم.. فضاهای تصویر سه بعدی بر اساس مجموعهای از تصاویر RGB-D با ارجاع جغرافیایی است. این تصاویر معمولاً با استفاده از سیستمهای نگاشت تلفن همراه استریو چند نما به دست میآیند که توالیهای متراکمی از تصاویر سطح خیابان را میگیرند. در حالت ایده آل، اطلاعات عمق تصویر با استفاده از تطبیق تصویر متراکم به دست می آید. این یک نمایش عمق بسیار متراکم ارائه می دهد و انسجام مکانی و زمانی داده های رادیومتری و عمق را تضمین می کند. این منجر به یک مدل شهری با وضوح بالا WYSIWYG (“آنچه می بینید همان چیزی است که به دست می آورید”) می شود که تفسیر شهودی است و تعامل با آن آسان است و قابلیت های تقویت قدرتمند و اندازه گیری سه بعدی را ارائه می دهد. علاوه بر این، ما یک چارچوب مبتنی بر ابر مقیاسپذیر برای تولید فضاهای تصویر سهبعدی کل شهرها یا ایالتها و یک معماری مشتری برای بهرهبرداری مبتنی بر وب ارائه میکنیم. این مدل و چارچوب به شدت از مفهوم شهر هوشمند در ارتباط موثر محیط شهری و فرآیندهای آن با کارشناسان و شهروندان پشتیبانی میکند. در این مقاله به ویژه جنبههای کیفی مدل شهری، یعنی دقت جغرافیایی قابل حصول و کیفیت استخراج نقشه عمق را بررسی میکنیم. ما نشان میدهیم که روش ارجاع جغرافیایی مبتنی بر تصویر ما میتواند دقت ژئوارفرانس مستقیم اصلی را با مرتبهای بزرگ بهبود بخشد و رویکرد تطبیق چند تصویری جدید ارائهشده قادر به ارائه دقت بالا همراه با بهبود قابلتوجهی کامل شدن نقشههای عمق است. یعنی دقت جغرافیایی قابل حصول و کیفیت استخراج نقشه عمق. ما نشان میدهیم که روش ارجاع جغرافیایی مبتنی بر تصویر ما میتواند دقت ژئوارفرانس مستقیم اصلی را با مرتبهای بزرگ بهبود بخشد و رویکرد تطبیق چند تصویری جدید ارائهشده قادر به ارائه دقت بالا همراه با بهبود قابلتوجهی کامل شدن نقشههای عمق است. یعنی دقت جغرافیایی قابل حصول و کیفیت استخراج نقشه عمق. ما نشان میدهیم که روش ارجاع جغرافیایی مبتنی بر تصویر ما میتواند دقت ژئوارفرانس مستقیم اصلی را با مرتبهای بزرگ بهبود بخشد و رویکرد تطبیق چند تصویری جدید ارائهشده قادر به ارائه دقت بالا همراه با بهبود قابلتوجهی کامل شدن نقشههای عمق است.
کلید واژه ها:
شهر هوشمند ؛ مدل سازی شهری ; نقشه برداری موبایل ; استریوویژن ; تطبیق تصویر ؛ ارجاع جغرافیایی ; رایانش ابری ؛ مونوپلات سه بعدی ؛ افزایش
چکیده گرافیکی
1. معرفی
مفهوم اصلی “شهر هوشمند” برای اولین بار در اواخر دهه 1980 مطرح شد و بر نقش فناوری اطلاعات و ارتباطات (ICT) با توجه به زیرساخت های شهری مدرن متمرکز شد. از آن زمان به بعد به یک مفهوم کلی تر (چند بعدی) متکی بر استفاده از فناوری اطلاعات و ارتباطات برای ارتقای کیفیت و عملکرد خدمات شهری، کاهش هزینه ها و مصرف منابع، و تعامل موثرتر و فعال تر با شهروندان تبدیل شده است. آلبینو و همکاران [ 1 ] نمای کلی خوبی از تکامل، ابعاد و تعاریف انواع مختلف یک شهر هوشمند ارائه می دهد. بیشتر تعاریف شامل عناصری هستند که به طور کلی با مفاهیم جغرافیایی و رویکرد مدلسازی شهری جدید که در این مقاله معرفی شدهاند، ارتباط نزدیک دارند. هال و همکارانبرای مثال ، بر نظارت بر زیرساختهای حیاتی مانند جادهها، پلها، تونلها، ریلها، مترو، ساختمانهای اصلی و غیره به منظور بهینهسازی منابع، برنامهریزی فعالیتهای نگهداری پیشگیرانه و نظارت بر جنبههای امنیتی با هدف تاکید میکنند. به حداکثر رساندن خدمات به شهروندان هریسون و همکاران [ 3 ] بر اتصال زیرساختهای فیزیکی، زیرساختهای فناوری اطلاعات، زیرساختهای اجتماعی و زیرساختهای تجاری برای استفاده از هوش جمعی شهر تأکید میکنند. کرتو [ 4]، آخرین اما نه کم اهمیت، حکمرانی و اقتصاد را به عنوان محرک های مهم برای شهرهای هوشمند شناسایی می کند و نیاز به الگوهای تفکر جدید را برجسته می کند. وجه مشترک همه تعاریف شهر هوشمند، استفاده از مفاهیم و زیرساختهای فناوری اطلاعات و ارتباطات است که به مردم اجازه میدهد به طور هوشمندانه با اشیا و فرآیندهای دنیای واقعی تعامل داشته باشند. چنین راهحلهای ICT، مجدداً به مدلهایی از دنیای واقعی در مدلهای شهری مورد ما نیاز دارند تا محیط و فرآیندهای شهری را بازنمایی، تعامل، تحلیل یا شبیهسازی کنند. از آنجایی که بخش بزرگی از زیرساختها و فعالیتهای شهری ارتباط نزدیکی با کریدورهای جادهای دارد، مدلهای شهری کنار خیابان در بافت شهر هوشمند از اهمیت ویژهای برخوردار هستند. امروزه، محیطهای کنار خیابان در سطح شهر را میتوان به طور معمول توسط سیستمهای نقشهبرداری متحرک مبتنی بر وسیله نقلیه ثبت کرد [ 5 ، 6 ،7 ، 8 ]. تحقیقات اولیه و آزمایشهای رویایی، مانند پروژه Aspen Movie Maps [ 9 ]، به اواخر دهه 1970 برمیگردد و کاملاً مبتنی بر تصویر بود. در این پروژه رویایی، از محیط مجازی شهری کنار خیابان مبتنی بر تصویر برای پیمایش تعاملی و تعامل با دنیای واقعی استفاده شد. بنابراین، بسیاری از ویژگیها را نشان داد که بیش از 25 سال بعد بخشی از خدمات نقشهبرداری در سطح خیابان، به ویژه Google Street View شد [ 8 ]. تحقیقات در سیستمها و سنسورهای نقشهبرداری سیار در ابتدا بر روی ارجاع جغرافیایی مستقیم سنسورهای تصویربرداری قاب متمرکز بود [ 10 ]. با ظهور حسگرهای LiDAR موبایل، تمرکز تقریباً به طور کامل به اسکن لیزری متحرک (MLS) معطوف شد [11 ] که در حال حاضر بر بازار کاربردهای مهندسی تسلط دارد. با این حال، به دلیل پیشرفت فوقالعاده در فنآوریهای حسگر، الگوریتمهای فتوگرامتری و بینایی کامپیوتری، و به دلیل کاربردهای جدید، یعنی نقشهبرداری موبایل داخلی، رویکردهای مبتنی بر تصویر دوباره به کانون تحقیقاتی قوی در جوامع مختلف تبدیل شدهاند [7 ، 12 ، 13 ] .
این مقاله نوع جدیدی از مدلهای شهری بومی را بر اساس مجموعهای از تصاویر سهبعدی جغرافیایی مرجع از چند نمای استریو همراه با یک پیادهسازی کاملاً کاربردی معرفی میکند. مدل جدید نمایشی با وفاداری بالا از محیط کنار خیابان، قابلیتهای اندازهگیری سهبعدی دقیق و قوی، گزینههای قدرتمند برای گرفتن و تقویت عناصر زیرساخت شهری ارائه میدهد و استفاده از آن بسیار آسان است. بنابراین، دقت بالای مدلهای شهری مبتنی بر ابر نقطه از MLS را با ناوبری و تفسیر بصری موجود در سرویسهای وب محبوب مبتنی بر تصویر کنار خیابان ترکیب میکند. این باعث می شود مدل شهری مبتنی بر تصویر سه بعدی برای طیف گسترده ای از برنامه های کاربردی شهر هوشمند برای حرفه ای ها و شهروندان به طور یکسان مناسب باشد.
2. کارهای مرتبط
مدلهای شهری را میتوان بهعنوان بازنمایی دیجیتالی مناسبی از محیطهای شهری برای ثبت، مدیریت، تحلیل و تجسم فرآیندهای شهری خاص در نظر گرفت. همانطور که در بحث مقدماتی در مورد مفهوم “شهر هوشمند” اشاره شد، طیف چنین فرآیندها و نیازهای آنها بسیار گسترده است. بنابراین، هیچ مدل شهری «مناسب برای همه» وجود ندارد که از همه زمینهها و برنامههای کاربردی شهر هوشمند پشتیبانی کند. در حالی که هیچ طبقه بندی به طور گسترده پذیرفته شده ای از مدل های شهری (سه بعدی) وجود ندارد، تعدادی طبقه بندی مفید وجود دارد. میلند و همکاران [ 14برای مثال، بین مدلهای پارامتریک سه بعدی و مدلهای فریم کلیدی مبتنی بر تصویر تمایز قائل میشوند، اما مدلهای مبتنی بر ابر نقطهای را که نقش مهمی در مدلسازی شهری دارند، پوشش نمیدهند. در یک مرور کلی قبلی از مدلهای شهری [ 15 ]، نویسندگان بین مدلهای سهبعدی هندسی، مدلهای مبتنی بر تصویر و یک مدل ابر نقطه غنی تمایز قائل شدند. آنها همچنین مقایسه ای بین این سه نوع مدل بر اساس معیارهای زیر ارائه می دهند: مفهوم مدل سازی، مدل سازی نمایش، استراتژی مدل سازی، استراتژی کسب غالب و پوشش، الزامات دقت ارجاع جغرافیایی، محدوده مدل سازی معمولی از مقیاس خرد تا کلان، سناریوهای تجسم مناسب، و همچنین قابلیت کشتیرانی.
در حالی که حسگرهای جدید جغرافیایی برای دستیابی به مدل های شهری در حال ظهور هستند و به سرعت در حال تکامل هستند، به نظر می رسد همگرایی به دو نوع اصلی از مدل های شهری وجود دارد. ما از آنها به عنوان بازسازی های شهری یا مدل های سه بعدی شهری مشتق شده از یک سو و مدل های بومی شهری از سوی دیگر یاد می کنیم.
برای مروری جامع بر فعالیتهای تحقیقاتی در بازسازی شهری در زمینههای گرافیک کامپیوتری، بینایی کامپیوتر، فتوگرامتری و سنجش از دور، خواننده را به نظرسنجی موسیالسکی و همکاران ارجاع میدهیم. [ 16 ]. علیرغم تلاش ها و پیشرفت های عمده در تولید خودکار مدل های سه بعدی پارامتریک دقیق [ 12 , 13 , 17] از تصاویر هوایی یا زمینی و ابرهای نقطه ای، بازسازی سه بعدی همچنان یک کار پیچیده و نامناسب است. به منظور کنترل پیچیدگی و پرداختن به مشکلات ذاتی، مانند انسداد و شکاف در دادهها، تکنیکهای مدرن بازسازی شهری از مقدمات یا دستور زبانها برای انواع خاصی از ساختارهای شهری استفاده میکنند. این رویکردها اغلب منجر به مدلهای شهری جذاب بصری، فوتورئالیستی یا انتزاعی، احتمالاً حتی معنایی میشوند [ 12 ، 18 ، 19 ]، اما برای محیطهای بدون ساختار یا برای مدلهای شهری با الزامات دقت بالا تا بسیار بالا مناسب نیستند، به عنوان مثال. برای اندازه گیری های سه بعدی با کیفیت بالا [ 7 ، 20 ، 21 ، 22].
مدلهای شهری بومی ، نوع دوم مدلهای شهری، عمدتاً از انواع دادههای جغرافیایی پایه تشکیل شدهاند. اینها عبارتند از: تصاویر تکنقشی، استریوسکوپی [ 7 ]، پانورامیک [ 23 ] یا تصاویر RGB-D [ 7 ، 8 ، 14 ]، ابرهای نقطهای سهبعدی [ 15 ] یا ترکیبی از آنها [ 24]]. هدف مدلهای شهری بومی بازسازی کامل سهبعدی کل اشیا یا صحنههای شهری نیست. در نتیجه، مدلهای شهری بومی پیچیدهتر هستند، به سطح بالایی از درک صحنه نیاز ندارند، و میتوانند با سطح بسیار بالاتری از اتوماسیون و استحکام نسبت به بازسازیهای واقعی شهری تولید شوند. با این حال، مدلهای شهری بومی با کیفیت بالا در مقیاس بزرگ به قیمت حجم دادههای بسیار زیاد است. بنابراین، جدای از پیشرفت عمده در فناوریهای موقعیتیابی سینماتیک و حسگرهای نقشهبرداری سیار، افزایش چشمگیر پهنای باند شبکه، و همچنین ظرفیتهای ذخیرهسازی ابری و محاسبات ابری، توانمندسازها و محرکهای مهمی برای تحقیق در مدلهای شهری بومی بودهاند [25] .]. علاوه بر این، فعالیتهای تحقیقاتی متعددی توسط نمونههای تجاری موفق مدلهای شهری بومی، بیشتر از همه Google Street View [ 8 ] تحریک شد .
مشارکت های اصلی مقاله ما به شرح زیر است. ما ابتدا مفهوم فضاهای تصویر جغرافیایی سه بعدی را معرفی می کنیم ( بخش 3 ). سپس چارچوبی را ارائه میکنیم که تمام اجزاء را برای ضبط، پردازش و بهرهبرداری از نوع جدید مدل شهری بومی اجرا میکند ( بخش 4 ). ما متعاقباً به سه سؤال مهم تحقیقاتی مرتبط با فضاهای تصویر سه بعدی میپردازیم و نتایج مربوطه را بر اساس آزمایشهای دنیای واقعی مورد بحث قرار میدهیم:
-
استراتژی های ارجاع جغرافیایی برای تصاویر RGB-D و دقت اندازه گیری مطلق قابل حصول ( بخش 5 ).
-
استراتژی های استخراج نقشه عمق و دقت اندازه گیری نسبی قابل حصول ( بخش 6 ).
-
بهره برداری هوشمند از مدل شهری جدید با توجه به عملکرد و سهولت استفاده ( بخش 7 ).
در بخش پایانی، ما نتایجی را در مورد نقاط قوت و محدودیتهای فضاهای تصویر سه بعدی ارائه میکنیم و چشماندازی از پیشرفتها و چشماندازهای آینده ارائه میکنیم.
3. فضاهای تصویر سه بعدی جغرافیایی
3.1. مفهوم
ما یک نوع مدل شهری بومی جدید ساده اما قدرتمند را پیشنهاد می کنیم که به آن فضاهای تصویر سه بعدی Geospatial اشاره می کنیم . چنین فضاهای تصویر سه بعدی ( شکل 1 الف) شامل مجموعه هایی از تصاویر RGB-D ژئوارفرانس شده، ترکیبی از اطلاعات رادیومتریک (RGB) و عمق (D) است ( شکل 1 ب).

شکل 1. ( الف ) تصویر مفهومی فضاهای تصویر سه بعدی متشکل از مجموعهای از تصاویر RGB-D چند نمای جغرافیایی مرجع. و ( ب ) تصویر RGB جغرافیایی ارجاع شده با نقشه عمق مرتبط آن (D) حاوی مقدار عمق برای هر پیکسل از تصویر RGB.
مدل شهری بومی فضاهای تصویر سه بعدی باید شرایط زیر را برآورده کند:
-
ارائه یک نمایش عکاسی متریک با وفاداری بالا از محیط شهری، که به راحتی قابل تفسیر است و می تواند با داده های GIS موجود یا پیش بینی شده افزوده شود.
-
RGB و اطلاعات عمق باید از نظر مکانی و زمانی منسجم باشند، یعنی مشاهده رادیومتری و عمق باید دقیقاً در یک نمونه انجام شود.
-
اطلاعات عمق باید متراکم باشد، به طور ایده آل مقدار عمق را برای هر پیکسل از تصویر RGB مربوطه ارائه می دهد.
-
مجموعههای تصویری معمولاً بهصورت توالیهای تصویری برای پیمایش ساده سفارش داده میشوند و باید به طور مؤثر از طریق ساختارهای دادههای مکانی قابل دسترسی باشند.
-
این مدل باید از تصاویر متریک با هندسه های مختلف پشتیبانی کند، به عنوان مثال، با پرسپکتیو، پانوراما یا چشم ماهی
-
مدل باید کاربری آسان داشته باشد و حداقل باید از اندازهگیریهای سه بعدی ساده، قوی و دقیق با استفاده از مونوپلات سه بعدی پیشرفته پشتیبانی کند.
-
این مدل باید اقداماتی را برای محافظت از حریم خصوصی ارائه دهد
مدل شهری فضاهای تصویر سهبعدی را میتوان با وسعت، سنسورهای تصویربرداری معمولی، استراتژیهای اکتساب، و ویژگیها و تکنیکهای بهرهبرداری خاص آن مشخص کرد.
دامنه — دامنه مدل شهری پیشنهادی ما بسیار گسترده است. در حالی که تمرکز و استفاده فعلی عمدتاً در سطح خیابان و مدلسازی فضای داخلی است، این مدل برای تصاویر هوایی نادر و مایل نیز قابل استفاده است [ 26 ، 27 ].
سنسورها – تا زمانی که انسجام مکانی و زمانی اطلاعات RGB و D را تضمین کند، مدل به یک تکنیک خاص جمعآوری داده بستگی ندارد. این انسجام زمانی به ویژه در محیط های شهری با اجسام متحرک متعدد مانند اتومبیل، تراموا یا عابران پیاده اهمیت دارد (به بخش 4.4 مراجعه کنید ). در محیط های شهری در فضای باز، نیاز به مقادیر RGB-D متراکم و منسجم زمانی با وضوح فضایی به اندازه کافی بالا در حال حاضر تنها با تنظیمات دوربین استریو یا سه چشمی [ 6 ، 7 ، 14 ، 20 ] و استخراج عمق بعدی با استفاده از متراکم قابل برآورده شدن است. تطبیق تصویر (به بخش 6 مراجعه کنید). هنگامی که سنسورهای تصویربرداری محدوده فعال به طور قابل اعتماد در نور روز روشن کار می کنند و وضوح فضایی به اندازه کافی بالا ارائه می کنند، ممکن است به فناوری حسگر انتخابی برای دستیابی به فضاهای تصویر سه بعدی شهری تبدیل شوند. پیکربندیهای حسگر هیبریدی، به عنوان مثال، ترکیبی از دوربینهای مونوسکوپیک و حسگرهای LiDAR [ 8 ]، در سیستمهای نقشهبرداری موبایل تجاری به طور گسترده استفاده میشوند. با این حال، تا زمانی که اطلاعات تصاویر و محدوده یک شی واقعی به طور همزمان و با هندسه مشاهده یکسان جمعآوری نشود، در محیطهای شهری معمولی کاربرد محدودی دارند.
استراتژی اکتساب – هدف در تولید فضاهای تصویر سه بعدی، گرفتن هر شی مورد علاقه در چندین عکس است، به طور ایده آل از منظرهای متعدد و با وضوح فضایی، که اجازه می دهد تا شناسایی قابل اعتماد هر شی را به نقشه بردارید. در مورد نقشهبرداری شهری سطح خیابان، تصاویر چند نمای معمولاً در توالیهای متراکم در طول مسیر وسیله نقلیه به دست میآیند. این الگوهای تصویربرداری متراکم نه تنها امکان ناوبری صاف را فراهم می کند. همانطور که در بخشهای بعدی نشان داده میشود ، میتوان از آنها برای افزایش دقت georeferencing [ 21 ، 22 ] یا استحکام استخراج عمق نیز استفاده کرد.
بهره برداری — تعامل با فضاهای تصویر سه بعدی پیشنهادی ما نسبتاً ساده اما قدرتمند است و شبیه به خدمات شناخته شده سطح خیابان مانند Google Street View است. با توجه به الگوهای متراکم دریافت تصویر، ناوبری فریم به فریم در مدل تقریباً شبیه ویدیو است. در حالی که این مدل موقعیت مشاهده را به موقعیت اصلی محدود میکند، کاربران همچنان میتوانند آزادانه تصاویر اصلی را بدون توجه به بعد سوم پنهان شده در پشت تصاویر آشنا (2 بعدی) و بدون نیاز به بازگشت به تجسم سه بعدی واقعی، حرکت دهند و بزرگنمایی کنند. تصویر RGB-D
3.2. بحث
فضاهای تصاویر سهبعدی با فضاهای تصویری دوبعدی مونوسکوپیک، معمولاً پانورامیک، مانند ارائه شده توسط Cycloramas [ 23 ] Cyclomedia، که اصل اصلی اندازهگیری آن بر تقاطعهای رو به جلو تعاملی در پانوراماهای گرفته شده از موقعیتهای چندگانه و در دورههای مختلف است، متفاوت است. فضاهای تصویر سه بعدی شباهت های زیادی به مدل پشت راه حل تجاری Earthmine دارند [ 6 ، 28 ]. رویکرد منتشر شده آنها، با این حال، با نمایش و موزاییک کردن تصاویر پانوراما چند سر اصلی و اطلاعات عمق بر روی یک پانورامای استوانهای، مقداری از دقت را قربانی میکند [ 28]]. یک رویکرد اخیرا منتشر شده و مشابه از مجموعهای از پانورامای کروی RGB-D از محیطهای شهری در مقیاس بزرگ برای ناوبری مستقل و محلیسازی در زمان واقعی استفاده میکند [ 14 ]. پانورامای کروی RGB-D که به آنها «فریمهای کلیدی کروی تقویتشده» گفته میشود، با تاب برداشتن و موزاییک کردن چندین تصویر روی یک کره ایجاد میشوند. نقشه های عمق متراکم برای کره با استفاده از الگوریتم های تطبیق تصویر متراکم مختلف، مانند تطبیق نیمه جهانی (SGM) [ 29 ] و استریو در مقیاس بزرگ کارآمد (ELAS) [ 30] به دست می آیند.] به پانورامای کروی اصلاح شده با مثلث بندی بعدی اطلاعات عمق. داده های تصویر برای هر دو مدل با استفاده از سیستم های دوربین چند سر به دست می آید. با در نظر گرفتن تمام حسگرهای یک سر پانوراما برای داشتن یک مرکز برجسته منحصر به فرد [ 14 ]، هر دو رویکرد دقت اندازه گیری نسبی و مطلق سه بعدی را از سطح بالقوه سانتی متر به سطح dm یا حتی پایین تر کاهش می دهند. روشهای دیگر مانند آنچه برای سیستم Stereopolis II [ 7 ] توضیح داده شد، هندسه تصویر پرسپکتیو اصلی را حفظ میکند و بنابراین تحت تأثیر کاهش دقت قرار نمیگیرد.
در نتیجه، مدل شهری بومی پیشنهادی فضاهای تصویر سه بعدی، هندسه تصویر اصلی را حفظ کرده و انسجام مکانی و زمانی اطلاعات رادیومتری و عمق را تضمین میکند. بنابراین، برخلاف مدلهای سهبعدی پارامتریک یا مدلهای شهری مبتنی بر تصویر ترکیبی LiDAR، فضاهای تصویر سهبعدی اصل WYSIWYG (“آنچه میبینی همان چیزی است که میگیرید” را تضمین میکنند. این امر به ویژه در بافت شهر هوشمند، که در آن مدلهای شهری نه تنها توسط متخصصان، بلکه توسط تعداد بالقوه زیادی از شهروندان استفاده میشود، اهمیت دارد. آخرین اما نه کم اهمیت، با حفظ هندسه تصویر اصلی، خود مدل شهری می تواند برای ارجاع جغرافیایی یکپارچه یا منحصراً مبتنی بر تصویر بسیار دقیق استفاده شود. بنابراین، دقت مدل شهری را می توان در صورت نیاز و در صورت نیاز افزایش داد – احتمالاً حتی ماه ها یا سال ها پس از جمع آوری داده های اصلی.
4. محیط اجرا و آزمایش
به دنبال یک سری پروژه های تحقیقاتی در زمینه نقشه برداری موبایل مبتنی بر بینایی و مدل سازی شهری در دانشگاه علوم کاربردی و هنر شمال غربی سوئیس FHNW، فضاهای تصویر سه بعدیتمرکز اصلی جدیدترین پروژه به نام infraVIS (مدیریت زیرساخت پایدار بر اساس فضاهای تصویر سه بعدی هوشمند همه کاره) بوده است. هدف اصلی این پروژه نشان دادن امکان سنجی فضاهای تصویر سه بعدی و ارزیابی قابلیت های آنها در سناریوهای دنیای واقعی بود که کل شهرها یا ایالت ها را پوشش می دهند. بنابراین، این پروژه به کل زنجیره فرآیند از دستیابی موبایلی تصاویر استریو و پانوراما چند نما، استخراج مبتنی بر تصویر از نقشه های عمق متراکم و دقیق و پردازش کاملاً مبتنی بر ابر و بهره برداری مبتنی بر وب از چنین فضاهای تصویری در مقیاس بزرگ می پردازد. . یک نمای کلی از معماری و گردش کار برای فضاهای تصویر سه بعدی در شکل 2 آورده شده است . در بخشهای فرعی زیر سیستم جمعآوری دادهها را معرفی میکنیم ( بخش 4.1خط لوله پردازش ( بخش 4.2 )، سیستم بهره برداری ( بخش 4.3 )، و محیط آزمایش ( بخش 4.4 ) مورد استفاده در آزمایشها.

شکل 2. معماری سیستم و گردش کار پروژه infraVIS.
4.1. سیستم اکتساب داده ها
دادههای آزمایشهای بعدی با استفاده از پلتفرم تحقیقاتی نقشهبرداری سیار چند استریوویژن مؤسسه مهندسی ژئوماتیک (IVGI) در FHNW [ 20 ] بهدست آمد. سیستم اکتساب فعلی نشان داده شده در شکل 3 دارای ویژگی های زیر است [ 31 ]:
-
یک سیستم ناوبری اینرسی NovAtel SPAN با واحد اندازه گیری اینرسی درجه تاکتیکی UIMU-LCI (IMU) دارای ژیروسکوپ فیبر نوری و با آنتن سینماتیک GNSS L1/L2
-
حداکثر پنج سیستم دوربین استریو با وضوح 11 مگاپیکسل یا فول اچ دی، وضوح رادیومتری معمولی 12 بیت و حداکثر. نرخ ثبت داده ها به ترتیب 5 فریم در ثانیه یا 30 فریم در ثانیه است
-
سیستم های استریو بر روی یک قاب سفت و سخت با خطوط پایه استریو معمولی تقریباً نصب شده اند. 1 متر
-
پیکربندیهای معمولی شامل یک سیستم استریوی اصلی رو به جلو و سیستمهای استریوی اضافی رو به عقب، کناری یا حتی به سمت پایین در سطح جاده هستند.
-
موارد اخیر شامل حداکثر دو دوربین پانوراما چند سر Ladybug 5 است
-
همه حسگرها با استفاده از سیگنالهای ماشه سختافزاری از یک جعبه ماشه ساخته شده هماهنگ میشوند که از راهاندازی مبتنی بر فاصله نیز پشتیبانی میکند تا از توالی تصویر یکنواخت حتی در ترافیک شلوغ یا شلوغ اطمینان حاصل کند.
-
سرعت های معمول جمع آوری داده ها از 30 تا 80 کیلومتر در ساعت و حداکثر متغیر است. حجم دادههای بهدستآمده بسته به پارامترهای اکتساب، تا 1 ترابایت در ساعت کارکرد است.

شکل 3. ( الف ) سیستم نگاشت تلفن همراه استریوویژن چند سنسوری IVGI. و ( ب ) نمای جزئیات که سه سیستم دوربین استریو و سیستم موقعیت یابی GNSS/IMU را نشان می دهد.
4.2. خط لوله پردازش
خط لوله پردازش ما برای ایجاد فضاهای تصویر سه بعدی جغرافیایی از تصاویر استریو چند نمای شامل مراحل کالیبراسیون سیستم، ارجاع جغرافیایی (به بخش 5 مراجعه کنید)، تولید تصاویر عادی و بدون اعوجاج، تولید نقشه عمق بعدی (به بخش 6 مراجعه کنید ) و در نهایت تولید کاشی های با وضوح چندگانه برای تصاویر و نقشه های عمق. چارچوب پردازشی از پایتون به عنوان یک زبان بسته بندی و از زبان های سطح بالا برای کارهای محاسباتی فشرده استفاده می کند. این چارچوب دارای یک پشتیبانی چند پلتفرمی است و میتواند روی ایستگاههای کاری جداگانه، روی خوشههای محاسباتی با کارایی بالا (HPC) و در محیطهای رایانش ابری بسیار مقیاسپذیر، به عنوان مثال، خدمات محاسبات ابری AWS آمازون، کار کند.
کالیبراسیون سیستم نقش کلیدی در حصول اطمینان از دقت نسبی و مطلق فرض شده ای دارد که می تواند با مدل شهری حاصل به دست آید. کالیبراسیون یک پلت فرم نقشه برداری موبایل چندحسگر مانند ما در [ 10 ، 20 ، 32 ، 33 ، 34 ] مستند شده است. این شامل تعیین جهت های داخلی سرهای سنسور 20+ است. تعیین پارامترهای جهت گیری نسبی در میان تمام سر حسگرها. و در نهایت، کالیبراسیون بازوی اهرمی و ناهماهنگی بین سنسورهای تصویربرداری و قاب بدنه IMU. برای شرح روش کالیبراسیون و ارزیابی نتایج، خواننده را به [ 20 ] ارجاع می دهیم.
برای استخراج نقشه عمق، ما از تعدادی الگوریتم و پیاده سازی تطبیق تصویر متراکم استفاده می کنیم. اینها عبارتند از OpenCV StereoSGBM [ 35 ]، یک نوع ساده شده از الگوریتم SGM [ 29 ]، SURE توسط nFrames [ 36 ] و Agisoft PhotoScan [ 37 ]. یک عنصر مهم در تولید نقشه عمق ما محاسبه یک نشانگر کیفیت منطبق است که با هر پیکسل از نقشه عمق ذخیره می شود.
4.3. مدیریت مبتنی بر ابر و سیستم بهره برداری مبتنی بر وب
در طول کل گردش کار پردازش، یک فرا پایگاه داده جامع، که تمام جنبههای یک فضای تصاویر سه بعدی را نشان میدهد، پر میشود. این شامل اطلاعاتی در مورد کالیبراسیون حسگر، توپولوژی شبکه جاده، مسیر خودرو و توالی تصویر، جهت گیری داخلی و خارجی هر تصویر در فضای تصویر سه بعدی، به علاوه فراوانی ابرداده اضافی است. پایگاه داده متا، در میان بسیاری از چیزهای دیگر، دسترسی مکانی و زمانی بسیار کارآمد به دنبالههای تصویر و فریمهای تصویر سه بعدی را تضمین میکند.
برای بهره برداری مبتنی بر وب، یک موتور سه بعدی اختصاصی و یک SDK برای فضاهای تصویر سه بعدی جغرافیایی ارجاع شده پیاده سازی شد. آنها دسترسی به تصاویر سه بعدی و ابرداده های مبتنی بر ابر را فراهم می کنند. آنها همچنین چندین مفهوم جریان داده، مانند بارگذاری تصویر کاشی، کش، یا پیش بارگذاری فضایی را در بر می گیرند. SDK همچنین شامل ویژگیهای متعددی برای اندازهگیریهای سهبعدی هوشمند و برای تقویت تصاویر سهبعدی با سایر محتوای جغرافیایی است (به بخش 7 مراجعه کنید ). موتور و SDK کاملاً مبتنی بر فناوریهای وب مدرن مانند HTML5 و WebGL هستند تا از دسترسی بین پلتفرمی از هر دسکتاپ یا دستگاه تلفن همراه اطمینان حاصل شود.
4.4 منطقه مطالعه و داده ها
برای بررسیهای زیر، یک سایت آزمایشی نسبتاً کوچک اما سخت را انتخاب کردیم که در شکل 4 الف نشان داده شده است. این سایت در یک تقاطع بسیار شلوغ بین پنج جاده در مرکز شهر بازل، سوئیس واقع شده است. این شامل سه ایستگاه تراموا است که منجر به سیمهای سربار زیادی میشود و توسط خواص تجاری نسبتاً بلند احاطه شده است ( شکل 4 b,c). این یک محیط بسیار چالش برانگیز برای موقعیت یابی GNSS ایجاد می کند. علاوه بر این، کار ساخت و ساز، و همچنین تعداد زیادی از اشیاء متحرک به شکل عابر پیاده، اتومبیل، و تراموا، در هنگام جمعآوری دادهها وجود داشت.

شکل 4. ( الف ) نقشه پایه منطقه آزمایش با مراکز نمایش روی هم از توالی های تصویر انتخاب شده، نقاط کنترل زمینی (GCPs)، ایستگاه های اسکن لیزری زمینی (TLS) و مکان شکل های این مقاله (منبع: Geodaten Kanton Basel) -Stadt)؛ تصاویر نقشه برداری موبایل آینده نگر که چالش های معمولی را نشان می دهد. و ( ب ) سایه GNSS و عابران پیاده متعدد. ( ج ) ترافیک سنگین با چندین تراموا، اتومبیل و دوچرخه سوار.
داده های نقشه برداری موبایل در جولای 2014 به عنوان بخشی از یک بررسی کامل از ایالت شهر بازل با همکاری شریک تحقیقاتی ما iNovitas AG به دست آمد. در حالی که در مجموع هشت دنباله تصویر در منطقه آزمایش موجود بود، ما تصاویر رو به جلو را از سه دنباله نشاندادهشده در شکل 4 a برای بررسیهای بیشتر انتخاب کردیم. دو جاده در هر دو جهت و یک جاده فقط در یک جهت ترسیم شد. دادههای آزمون انتخابی در تاریخها و ساعات مختلف روز بهدست آمدند، که منعکسکننده موقعیتهای معمولی در دنیای واقعی است. فاصله اسمی در طول مسیر بین نوردهی های متوالی تصویر حدود 1 متر بود.
به منظور ارزیابی عملکرد و کیفیت استراتژی های تطبیق مختلف، داده های مرجع مستقل و بسیار دقیق به دست آمد. چهار اسکن لیزری زمینی 360 درجه (TLS) که هندسه و شدت نقطه XYZ را ثبت میکنند با استفاده از Leica ScanStation P20 در 19.03.2015 به دست آمد. با ثبت ابرهای نقطه بر روی چندین نقطه مرجع کاداستر، دقت TLS سه بعدی مطلق 1-2 سانتی متر به دست آمد. علاوه بر این، مختصات 70 نقطه کنترل زمینی (GCP) با استفاده از یک ایستگاه توتال Leica Nova MS50 با دقت 3 بعدی بهتر از 1 سانتی متر تعیین شد. تمام اندازهگیریها در قاب مرجع سوئیس LV95 و با ارتفاعهای ارتومتریک در قاب مرجع LN02 انجام شد.
5. ارجاع جغرافیایی با دقت بالا – استراتژی ها و نتایج
5.1. انگیزه و چالش ها
هدف مدل شهری با وضوح بالا ما اطمینان از دقت اندازهگیریهای سه بعدی نسبی در فریمهای تصویر سه بعدی مجزا یا مجاور در سطح سانتیمتر یا حتی زیر سانتیمتر و اجازه دادن به دقت اندازهگیری مطلق، یعنی دقت تعیین مختصات سهبعدی، در سطح فرعی است . سطح dm را به سطح سانتی متر کاهش دهید. بنابراین، دقتهای جغرافیایی نسبی و مطلق هدفگذاری شده در سطحی مشابه با وضوح تصویر هستند، که در راستای هدف WYSIWYG است که قبلاً فرض شد. این اهداف دقت با توجه به چالشهای زیر بسیار بلندپروازانه هستند:
-
یک دستیابی سینماتیک با سرعت معمولی بین 30 تا 80 کیلومتر در ساعت
-
در محیط های شهری چالش برانگیز با پوشش عمومی GNSS ضعیف
-
با نیاز به ایجاد چنین مدل هایی در مناطق محروم از GNSS مانند تونل ها یا ساختمان ها،
-
الزام به گره زدن مدل شهری، یعنی تصاویر سه بعدی، به نقاط کنترل محلی،
-
استفاده از سیستم های چند سنسور با معمولاً بیش از 10 سر سنسور.
5.2. ارجاع جغرافیایی مستقیم
نقطه قوت سیستم های نقشه برداری متحرک توانایی آنها در ارجاع مستقیم به سنسورهای نقشه برداری خود در رابطه با یک چارچوب مختصات نقشه برداری است [ 10 ]. در حالی که روشهای کالیبراسیون آنلاین برای سیستمهای نقشهبرداری موبایل مبتنی بر تصویر [ 32 ] نیز وجود دارد ، ما متعاقباً یک کالیبراسیون آفلاین دقیق کل سیستم چند حسگر را همانطور که قبلاً توضیح دادیم فرض میکنیم. در فتوگرامتری هوابرد، جایی که ما به طور کلی میتوانیم انتظار پوشش GNSS خوبی را داشته باشیم، دقت ژئوارفرانس مستقیم تا حد زیادی به کیفیت اندازهگیری زاویهای واحد اندازهگیری اینرسی (IMU) بستگی دارد [38 ] . در مقابل، در نقشه برداری سیار سطح خیابان از محیط های شهری، پوشش GNSS اغلب ضعیف تا ناکافی است.
آزمایشهای قبلی با سیستم نقشهبرداری موبایل ما [ 20 ] با پوشش متوسط تا خوب GNSS، نشان داد که دقت اندازهگیری نقطه سه بعدی مطلق 3-4 سانتیمتر افقی و 2-3 سانتیمتر عمودی (1 سیگما) قابل دستیابی است. در همان مطالعه [ 20 ] نشان داده شد که سیستم استریوی 11 مگاپیکسلی قادر است اندازه گیری های نسبی را در یک فریم استریو یا بین نقاط در فریم های مجاور دنباله تصویر با دقتی بهتر از 1 سانتی متر ارائه دهد.
5.3. ارجاع جغرافیایی یکپارچه و مبتنی بر تصویر
در مقایسه با ارجاع جغرافیایی مستقیم، که منحصراً به اطلاعات موقعیت و نگرش ارائه شده توسط سیستم ناوبری اینرسی متکی است، ارجاع جغرافیایی یکپارچه – که اغلب به عنوان جهت گیری حسگر یکپارچه (ISO) نیز گفته می شود – از سایر مشاهدات حسگر برای ارجاع جغرافیایی سنسورهای نقشه برداری سیار استفاده می کند. در حالی که ارجاع جغرافیایی یکپارچه برای MLS نیز اعمال میشود، سیستمهای نقشهبرداری موبایل مبتنی بر تصویر چند نمای، پتانسیل بسیار خوبی برای بهرهبرداری از اندازهگیریهای مبتنی بر تصویر دقیق و اغلب بسیار زائد ارائه میدهند.
تعدادی رویکرد برای ارجاع جغرافیایی یکپارچه سیستم های نقشه برداری موبایل مبتنی بر تصویر وجود دارد. یکی از رویکردها [ 21 ] از اندازهگیریهای مبتنی بر تصویر برای نقاط کنترل طبیعی برای بهروزرسانی موقعیت و نگرش به مسیر اصلی خودرو که مستقیماً به زمین ارجاع داده شده است، استفاده میکند. نویسندگان یک الگوریتم تطبیق چند پرتوی حداقل مربعات بهینه شده [ 22 ] را برای توالی های تصویر استریو برای اندازه گیری نیمه خودکار کارآمد کنترل و نقاط اتصال اعمال می کنند. پس از آن، یک تنظیم بسته استریو محدود برای تخمین مستقل پارامترهای جهت بیرونی یک دنباله از فریمهای استریو استفاده میشود [ 22 ]. با رویکرد به روز رسانی مسیر مبتنی بر دید [ 21]، نویسندگان بهبود مستمر دقت موقعیت یابی سه بعدی مطلق – و متعاقب آن دقت اندازه گیری سه بعدی مطلق در تصاویر سه بعدی – را از ابتدا چند dm تا سطح 2 تا 5 سانتی متر به صورت افقی و عمودی نشان دادند. از آنجایی که استقرار اندازهگیریهای کنترل زمینی اغلب وقتگیرتر و پرهزینهتر از خود کمپین نقشهبرداری سیار است، ما قبلاً ادغام تصاویر زمینی از سیستمهای نقشهبرداری موبایل با تصاویر هوایی از بررسیهای فتوگرامتری هوابرد را پیشنهاد کردیم [27] .]. منطق انجام این کار این است که بررسیهای هوابرد بسیار کمتر تحت تأثیر تخریب GNSS که توسط سیستمهای نقشهبرداری متحرک زمینی تجربه میشود، میشوند. به این ترتیب، تصاویر موجود در هوا یک “مقصد” کاملاً همگن را ارائه می دهند که می توان به تصاویر سطح خیابان اشاره کرد. در آزمایشات اول، دقت افقی در حد 5 سانتی متر، معادل فاصله نمونه برداری از زمین (GSD) تصاویر هوایی، و دقت عمودی تقریباً. 10 سانتی متر نشان داده شد.
5.4. آزمایش ها و نتایج
اهداف آزمایشهای زیر عبارت بودند از (الف) ارزیابی کیفیت جهتگیریهای حسگر با ژورفرنس مستقیم در یک محیط شهری چالشبرانگیز و (ب) بهبود کیفیت جهتگیری حسگر با استفاده از تکنیکهای ژئوارفرانس خودکار مبتنی بر تصویر. این جهت گیری های حسگر بهبود یافته برای ارزیابی بعدی نقشه های عمق استخراج شده ( بخش 6 ) و مقایسه آنها با داده های TLS مرجع مورد نیاز بود.
جهت گیری های حسگر مستقیماً ارجاع داده شده برای مسیرهای نشان داده شده در شکل 4 a توسط پردازش پس پردازش GNSS/INS محکم با استفاده از NovAtel Inertial Explorer به دست آمد. پس از آن، تنظیمات بسته نرم افزاری با استفاده از Agisoft PhotoScan با مختصات مرکز طرح تصویر به دست آمده از ارجاع جغرافیایی مستقیم به عنوان مقادیر اولیه انجام شد. دنباله تصویر 1 ( شکل 4 a و شکل 5برای مثال، شامل 123 جفت تصویر استریو با وضوح 11 مگاپیکسل است که با سیستم استریو اشاره به جلو در 24.07.2014 در ساعت 10:20 به طول 164 متر گرفته شده است. در تنظیم بسته نرم افزاری، 13072 نقطه اتصال و 91239 پیش بینی محاسبه شد که منجر به خطای کلی طرح 0.67 پیکسل شد. 133 اندازه گیری روی 27 GCP منجر به خطای کلی 14 میلی متر در جهت شرق، 11 میلی متر در جهت شمال و 4 میلی متر در ارتفاع شد که به ترتیب مربوط به خطای سه بعدی 18 میلی متر یا 0.34 پیکسل است.

شکل 5. نمای پرسپکتیو دنباله تصویر 1 با فریم های استریو (مستطیل های آبی) و GCP (پرچم های زرد) به دنبال تنظیم بسته نرم افزاری در PhotoScan. محل قاب 80 با پرش مسیر با یک بیضی چین مشخص شده است.
انحرافات کلی بین georeferencing مستقیم و تنظیم بسته نرم افزاری 301 میلی متر در جهت شرق، 38 میلی متر در جهت شمال و 423 میلی متر در ارتفاع است که در شکل 6 نشان داده شده است . شکل همچنین یک ناپیوستگی مسیر قابل توجه را در محل تصویر شماره 80 نشان می دهد (به بیضی چین در شکل 5 و خط چین در شکل 6 مراجعه کنید) با یک پرش مختصات 53 میلی متر به سمت شرق، 22- میلی متر به سمت شمال، 40- میلی متر در ارتفاع، و 70 میلی متر در فضای سه بعدی. جهش مختصات بین تصاویر متوالی نشان داده شده در شکل 6 رخ دادزمانی که وسیله نقلیه نقشه برداری متحرک مجبور شد برای چند ثانیه در مقابل یک خط عابر پیاده توقف کند. در حالی که انحراف کلی سه بعدی ژئوارفرانس مستقیم و تنظیم بسته نرم افزاری 520 میلی متر برای توالی تصویر یک است، انحرافات 93 میلی متر و 81 میلی متر برای دنباله های تصویر دو و سه به طور قابل توجهی کمتر است. مقادیر بیشتر در [ 31 ] ارائه شده است.

شکل 6. تفاوت [m] بین جهت گیری حسگر ژئو ارجاع شده مستقیم (مختصات مرکز طرح ریزی دوربین های استریوی راست و چپ) و ارجاع جغرافیایی مبتنی بر تصویر از تنظیم بسته برای توالی تصویر یک. ناپیوستگی مسیر بین قاب های تصویر #80 و #82 با یک خط چین مشخص شده و تصاویر مربوطه در سمت راست نشان داده می شوند.
5.5. بحث
در مناطق باز با پوشش GNSS خوب، ارجاع جغرافیایی مستقیم سیستمهای نقشهبرداری موبایل مبتنی بر تصویر در ترکیب با روشهای کالیبراسیون پیشرفته، قادر است دقت اندازهگیری سه بعدی مطلق را بهتر از 5 سانتیمتر به صورت افقی و عمودی ارائه دهد. با این حال، در محیطهای شهری ساختهشده با مناطق گسترده با پوشش ضعیف GNSS، دقت ژئورجنز مستقیم معمولاً در حد متر (زیر) است، حتی با تجهیزات ناوبری اینرسی گران قیمت و درجه بالا. رویکردهای ارجاع جغرافیایی یکپارچه [ 21 ، 27 ]، با استفاده از مشاهدات مبتنی بر تصویر برای تبدیل بخشهای مسیر ژئو ارجاع داده شده مستقیم به GCPها، خطاهای بالقوه بزرگ و انحراف نشان داده شده در شکل 6 را حذف میکنند.. با این حال، آنها برای شناسایی و جبران ناپیوستگی ها در مسیرهایی که در شکل 6 نیز نشان داده شده است، مناسب نیستند . برای برنامههای مدلسازی شهری و برای تطبیق چند تصویر متراکم بعدی که نیاز به دقت نسبی و مطلق در سطح سانتیمتر دارد، روش ارجاع جغرافیایی مبتنی بر تصویر نشانداده شده، با استفاده از تنظیم خودکار بستهها، و یک راهحل کارآمد و قابل اعتماد ارائه میدهد.
6. تطبیق تصویر متراکم برای استخراج نقشه عمق – استراتژی ها و نتایج
فضاهای تصویر سه بعدی به مقادیر مناسب عمق برای هر پیکسل از هر تصویر متکی هستند. بنابراین، استخراج دقیق، قوی و کامل اطلاعات عمق از تطبیق تصویر متراکم، هدف مهم تحقیق ما است. در این بخش، تأثیر استراتژیهای مختلف تطبیق استریو و توالی تصویر بر کیفیت نقشههای عمق استخراجشده را بررسی میکنیم.
6.1. تطبیق رویکردها و تنظیمات
برای بررسی های زیر توالی های تصویری از سیستم دوربین آینده نگر نشان داده شده در شکل 3 ب استفاده شد. علاوه بر این، چهار پیکربندی منطبق c1 تا c4 که در شکل 7 نشان داده شده است ، انتخاب شدند. پیکربندی c1 نشان دهنده تطبیق استاندارد استریو با یک تصویر پایه و یک تصویر مطابق است که تعداد زیادی الگوریتم برای آن وجود دارد [ 39]. پیکربندی 2 حالتی را نشان میدهد که در آن فقط تصاویر تک در دسترس هستند. محدود به تطبیق متوالی تصویر پایه با تصویر قبلی و زیر است. این مورد نیازهای زیادی را برای ارائه دقت جهت گیری نسبی کافی ایجاد می کند، اما نیازی به همگام سازی بین چندین دوربین ندارد. با پیکربندیهای 3 و 4، دو رویکرد استریوی چند نمای جدید را معرفی و بررسی میکنیم که میتوان نتایج بهتری را برای آنها انتظار داشت. در مورد پیکربندی 4، تصویر پایه با هر پنج تصویر همسایه مطابقت دارد. حذف دو تصویر مطابق پیکربندی 2 از پیکربندی 4 منجر به پیکربندی 3 می شود.
در مورد پیکربندی 1، تصاویر استریو گرفته شده در همان دوره برای فرآیند تطبیق استفاده میشود که یک روش استاندارد است. پیکربندیهای دیگر شامل تصاویر به دست آمده در دورههای مختلف و با تفاوتهای حرکتی و مقیاس شدید در جهت مشاهده است که برای سناریوهای نقشهبرداری موبایل معمولی است. حرکت غالب در جهت مشاهده بین تصاویر همسایه منجر به اپی قطب های استریو می شود که در داخل یا نزدیک به شریک استریو قرار دارند. این نیاز به رویکردهای اصلاح پیشرفته مانند یکسوسازی قطبی دارد که می تواند با تمام هندسه های استریو ممکن مقابله کند. در مورد نرم افزار SURE [ 36 ] که برای بررسی های زیر استفاده شد، اصلاح قطبی پیشنهاد شده در [ 40 ] ( شکل 8)) استفاده می شود. جزئیات پیاده سازی و اولین نتایج در [ 31 ] شرح داده شده است.

شکل 7. تنظیمات تطبیق تصویر انتخاب شده، قرمز: تصویر پایه، سبز: تصاویر مطابقت.

شکل 8. تصویر پایه ( Lt0 ) و تصاویر مجاور آن که توسط SURE با استفاده از یکسوسازی قطبی تصحیح شده است.
6.2. آزمایش ها و نتایج
نقشه های عمق دقیق برای مدل شهری فضاهای تصویر سه بعدی و به ویژه برای کاربردهای مونوپلات سه بعدی قابل اعتماد و دقیق ضروری هستند. بنابراین، مقایسههای نقشههای عمق انجام شد، که یا مستقیماً توسط ماژول مثلثسازی SURE ایجاد شد یا توسط ابرهای نقطهای پستابش به هندسه مشاهده تصویر پایه بهدست آمد. مشابه روش شناسی [ 41]، که نقشه های نابرابری حقیقت زمینی را برای جلوگیری از خطاهای مصنوعی درون یابی نکردند، ما همچنین نقشه های عمق را درون یابی نکردیم. این امکان ارزیابی مقادیر خام عمق و مقابله با بخشهای گمشده نقشههای عمق را فراهم کرد. انحرافات عمق فقط برای پیکسلهایی که دارای مقادیر برای هر دو نقشه عمق هستند محاسبه شد و فقط انحرافهای کوچکتر از 50 سانتیمتر برای RMSE و میانگین در نظر گرفته شد. مکان های زیر دنباله های مختلف تصویر (به عنوان مثال، 1-1 یا 2-1) مورد استفاده در آزمایش های زیر در شکل 4 الف نشان داده شده است.
در اولین سری از آزمایش ها، مقایسه عمق نسبی در فضای تصویر با نقشه عمق پیکربندی 4 (c4) به عنوان مرجع انجام شد ( شکل 9) .). برای همه تصاویر پایه سه بعدی استخراج شده، c1-c4 کمترین مقادیر RMSE را ارائه می دهد. بالاترین RMSE، و همچنین مقادیر میانگین، برای c2-c4 محاسبه شد. در حالی که مقادیر RMSE برای c1-c4 و c3-c4 در محدوده 36 میلی متر تا 56 میلی متر است، محدوده برای c2-c4 از 57 میلی متر تا 72 میلی متر است. c3-c4 بیشترین نقاط نما را ارائه می دهد و c2-c4 رفتار متضادی را در مقایسه با دو پیکربندی دیگر با اختلاف عمق معکوس نشان می دهد. در c2-c4 و c3-c4 منطقه نزدیک به اپی قطب، که در آن برآورد عمق دقیق نیست و در نتیجه حذف شده است، به وضوح قابل مشاهده است. این اثر منجر به عدم ترسیم تعداد قابل توجهی از نقاط سطح جاده می شود.

شکل 9. انحرافات نقشه های عمق ایجاد شده توسط ماژول مثلث سازی SURE.

شکل 10. انحرافات عمق بین ابرهای نقطه ای از مثلث بندی SURE و TLS.
در یک سری آزمایش دوم، نقاط اسکن لیزری زمینی پیشبینیشده به فضای تصویر به عنوان مرجع استفاده شد. این نقشههای عمق مرجع (TLS) با ابرهای نقطه تطبیق تصویر متراکم برای همه پیکربندیهای منطبق (c1-c4)، که همه با استفاده از ماژول مثلثسازی SURE تولید شدهاند، مقایسه شدند. بالاترین مقادیر میانگین، به عنوان مثال ، بالاترین جابجایی عمق، برای تصویر پایه 1-1 محاسبه شد ( شکل 4 a را ببینید). بالاترین RMSE، یعنی بالاترین مقادیر نویز عمق، برای تصویر پایه 2-2 مشاهده شد، که ناشی از یک منطقه سایه بزرگ و پوشش گیاهی بود ( شکل 10 را ببینید.). تمام مقادیر RMSE در محدوده 107 تا 169 میلی متر هستند. در حالی که c1-TLS دارای کمترین مقادیر RMSE است، c2-TLS بالاترین مقادیر RMSE را برای همه به جز برای تصویر پایه 2-1 نشان می دهد، که در آن نقاط به میزان قابل توجهی در مقایسه با پیکربندی های دیگر نقشه برداری می شود. مقادیر RMSE برای c4-TLS کمی بیشتر از c3-TLS است اما c4-TLS مشاهدات عمق بیشتری را نیز شامل می شود.
6.3. بحث
بررسی ها در فضای تصویر نتایج مشابهی را بین چهار پیکربندی انتخاب شده برای هر سه تصویر پایه نشان داد. با توجه به یک پایه بزرگ استریو، پیکربندی استریو سنتی 1 دقت بالایی را ارائه میکرد که با استفاده اضافی از تصاویر گرفته شده در دورههای مختلف بهبود بیشتری پیدا نکرد. پیکربندی 2 با تطبیق متوالی توالی های تصویر تک، نقاط زیادی را در اطراف اپی قطب از دست می دهد. همچنین دقت محدودی دارد زیرا پایه تقاطع پرتوهای تصویر بسیار کوچک است. تفاوت بین پیکربندی 3 و 4 قابل توجه نیست. با این حال، به ویژه در مقایسه با پیکربندی استاندارد استریو 1، تعداد فزاینده تصاویر منطبق موجود در پیکربندی 4 چگالی نقاط به طور قابل توجهی بالاتری را ارائه می دهد. به طور خلاصه، پیکربندی تطبیق استریو سنتی 1 نقشههای عمقی را با کاملیت متوسط اما با بالاترین دقت ارائه میدهد و پیکربندی 4 نقشههای عمقی را با بالاترین کامل بودن اما کمی بالاتر از مقادیر RMSE ارائه میدهد. برای بحث دقیق تر در مورد تنظیمات چند نمای و اصلاح اپی قطبی زیربنایی برای تطبیق در توالی، خواننده را به انتشارات خود ارجاع می دهیم [31 ]. بهبود نقشه عمق بیشتر از نظر کامل بودن و قابلیت اطمینان را می توان از ترکیب آینده تصاویر از سیستم های استریو سمت راست و چپ و همچنین از دوربین پانوراما انتظار داشت.
7. بهره برداری هوشمند از فضاهای تصویر سه بعدی مبتنی بر ابر
در معرفی فضاهای تصویر سه بعدی در بخش 3 ، ما برخی از قابلیت های کلیدی مانند نمایش WYSIWYG با وفاداری بالا از محیط شهری را فرض کردیم که استفاده آسان، پشتیبانی از اندازه گیری های سه بعدی قوی و دقیق، و همچنین ساده و تقویت کارآمد محتویات مکانی در این بخش، برخی از این قابلیتها را با ارائه و بحث در مورد مجموعهای از ویژگیهای ارائه شده توسط چارچوب نرمافزار مبتنی بر وب و ابری ما که در بخش 4 معرفی شدهاند، نشان میدهیم.. از آنجایی که برنامه کلاینت چارچوب نرم افزار کاملاً مبتنی بر وب است و در هر مرورگر اینترنتی واقعی اجرا می شود، نیازی به نصب نرم افزار بر روی رایانه های مشتری نیست. یک برنامه وب مشابه حتی می تواند برای انواع مختلف کاربران در سازمان های مشتری مستقر شود. این میتواند ابزارهای پیشرفتهتری را در اختیار کاربران متخصص جغرافیایی قرار دهد تا مثلاً کاربران حوزههای کاربردی مختلف یا حتی کاربران عمومی. عملکرد فقط متخصص میتواند شامل اندازهگیری مختصات سه بعدی مطلق، ابزارهای ویرایش GIS یا تقویت زیرساختهای حیاتی غیرقابل دسترس عموم باشد.
ویژگی ها و عملکردهای کلیدی ارائه شده توسط مدل شهری مبتنی بر فضاهای تصویر سه بعدی جغرافیایی شامل موارد زیر است:
مونوپلات سه بعدی عملکرد اصلی اصلی است که اندازه گیری های سه بعدی دقیق یا دیجیتالی کردن نقاط، خطوط یا چند ضلعی ها را امکان پذیر می کند ( شکل 11 الف) به سادگی با کلیک بر روی یک مکان در تصاویر دو بعدی. بر اساس ارجاع جغرافیایی دقیق هر تصویر و نقشه عمق متراکم مرتبط با آن، مختصات جهان سه بعدی هر موقعیت مکان نما 2 بعدی بلافاصله محاسبه می شود. با این مختصات نقطه سه بعدی، اندازه گیری های نسبی دلخواه را می توان استخراج کرد، به عنوان مثال فواصل، ارتفاعات یا مناطق همانطور که در شکل 11 نشان داده شده است.a,c,d مونوپلاتینگ یک روش فتوگرامتری شناخته شده است که دیجیتالی کردن سه بعدی و استخراج ویژگی های سه بعدی از تصاویر منفرد را در جایی که نقشه عمق زیرینی که سطح صحنه نمایش داده شده را نشان می دهد در دسترس است را امکان پذیر می کند. اصل مونوپلاتینگ دیجیتال سه بعدی به اوایل دهه 1970 برمی گردد و در ابتدا برای ترکیبی از تصاویر هوایی و مدل های دیجیتال ارتفاع (DEM) به کار می رفت. بعداً به تصاویر ماهواره ای [ 42 ] و به ترکیب فتوگرامتری با برد نزدیک و ابرهای نقطه ای TLS [ 43 ] گسترش یافت، که در آن مونوپلات سه بعدی به یک اصل اندازه گیری استاندارد تبدیل شده است. امروزه، مونوپلات سه بعدی در محیط های نقشه برداری موبایل مبتنی بر تصویر ترکیبی و LiDAR نیز استفاده می شود [ 7 ، 8 ، 11]] امکان اندازهگیریهای سه بعدی تکبعدی مبتنی بر تصویر را در ترکیب با ابرهای نقطهای MLS ثبتشده مشترک. با این حال، این راهحلهای ترکیبی در حال حاضر نمیتوانند انسجام مکانی و زمانی تصویر و اطلاعات عمق را تضمین کنند، که برای اندازهگیریهای سهبعدی دقیق و قوی مورد نیاز است و در حال حاضر تنها با نقشهبرداری موبایل مبتنی بر استریوویژن قابل ارائه است.
تقویت محتویات مکانی — برای بازرسی و به روز رسانی محتوای جغرافیایی موجود، مانند داده های زیرساخت، سرویس گیرنده وب عملکردی را برای بارگیری و ذخیره چنین داده هایی از یا روی یک فایل یا رابط با پایگاه های داده موجود ارائه می دهد (شکل 11 ب ) . برای تبادل داده، فرمتهای هندسه استاندارد GIS مانند خدمات GeoJSON یا WFS پشتیبانی میشوند. در حالت عادی، جایی که دادههای زیرساخت موجود فقط به صورت دو بعدی در دسترس هستند، به عنوان مثالبدون اطلاعات ارتفاع شناخته شده، هندسه 2 بعدی اصلی را می توان با استفاده از یک فرآیند سمت سرور به سه بعدی نمایش داد. این فرآیند دوباره از نقشه های عمق متراکم استفاده می کند. برای افزایش دقت ارتفاع، چندین تصویر سه بعدی برای این محاسبه در نظر گرفته شده است. این فرآیند کاملاً خودکار اجرا میشود و امکان تعیین ارتفاع از دست رفته برای پایگاههای داده زیرساخت دو بعدی موجود را برای ادغام دقیق آنها در فضاهای تصویر سهبعدی فراهم میکند.
اندازهگیریهای ساده با یک کلیک – در زمینه محیطهای شهری سطح خیابان و مدیریت جاده، ارتفاع اشیاء بالای زمین یک معیار مهم است. برای اندازهگیری دقیق چنین ارتفاعهایی، ابزار اندازهگیری ارتفاع «یک کلیک» ویژه توسعه داده شد. همانطور که در شکل 11 نشان داده شده استج، کاربر روی نقطه ای از سطح زمین کلیک می کند، مثلاً روی چراغ راهنمایی یا روی شاخه درخت آویزان. بر اساس این موقعیت سه بعدی یک خط عمودی دقیق در سیستم مرجع نقشه تعریف می شود. تقاطع این خط عمودی با نقشه عمق نشان دهنده زمین زیرین به طور خودکار نقطه زمین را برای اندازه گیری ارتفاع عمودی تعیین می کند. محاسبه مشابه با محاسبهای است که برای تخصیص ارتفاع به مجموعه دادههای زیرساخت دو بعدی موجود استفاده میشود، همانطور که در بخش آخر توضیح داده شد. تفاوت اصلی این است که ابزار در سمت مشتری اجرا می شود. از همین عملکرد برای استخراج خودکار پروفیل های طولی جاده یا مقاطع عرضی نیز استفاده می شود.

شکل 11. نمای کلی ابزارها و ویژگی های انتخاب شده برای تعامل با فضاهای تصویر سه بعدی. ( الف ) اندازهگیری یک ناحیه چند ضلعی با مونوپلات سه بعدی. ( ب ) روی هم قرار دادن داده های زیرساختی موجود به عنوان مثال لوله های آب (آبی) و فاضلاب (قرمز) در صحنه خیابان شهری. ج ) اندازه گیری ارتفاع با یک کلیک از چراغ راهنمایی تا سطح جاده. ( د ) اندازه گیری فاصله عمودی (خط قرمز) از یک خط مرجع متعامد (سبز) استخراج شده از مرز روسازی. ( ه ) تصاویر حاصل از یک پرس و جو چند نما که به دنبال مختصات جهان سه بعدی (مربع قرمز) تحت زوایای دید متفاوت است. و ( f ) برنامه وب موبایل.
اندازهگیریهای پیشرفته هوشمند – در مدیریت زیرساختهای شهری، اغلب لازم است که وظایف اندازهگیری پیچیدهتری انجام شود، مانند تعیین فواصل متعامد دقیق از یک یال یا محور تعریفشده ( شکل 11 را ببینید). برای این منظور یک ابزار اندازه گیری متعامد ویژه ایجاد شد که به طور همزمان از اطلاعات رادیومتری و عمق تصویر سه بعدی بهره برداری می کند. در مرحله اول، این ابزار با استفاده از اطلاعات تصویر رادیومتریک، لبه ها را در موقعیت مکان نما فعلی کاربر جستجو می کند. زیرمجموعه ای از پیکسل ها در اطراف مکان نما با یک تبدیل جزئی Hough محدود تجزیه و تحلیل می شود [ 44]. سپس فضای Hough ایجاد شده توسط یک حد از پیش تعریف شده برای یافتن قله های Hough واضح در آستانه قرار می گیرد. اگر پیکی پیدا نشد، محدودیت آستانه به طور مکرر کاهش مییابد که توسط مدت زمانی که کاربر دکمه ماوس را فشار میدهد کنترل میشود. این تضمین می کند که تغییرات با شدت کوچک لبه ها همچنان به عنوان یک خط احتمالی شناخته می شوند. اگر یک لبه رادیومتری واضح پیدا شود، یک لبه سه بعدی با استفاده از اطلاعات عمق ثبت شده تخمین زده می شود. سپس خط سه بعدی حاصل به عنوان خط مرجع تنظیم می شود. با کلیک بیشتر روی تصویر، فواصل متعامد تا این خط مرجع را می توان همانطور که در شکل 11 d نشان داده شده است اندازه گیری کرد.
پرس و جوهای چند نمای – معمولاً محیط های سطح خیابان در یک پیکربندی چند استریو و در جهت های مختلف رانندگی ثبت می شوند. اغلب آن خیابانها در یک بازه زمانی از پیش تعریفشده، مانند هر سال یا هر دو سال یکبار، برای اطمینان از دادههای واقعی، دوباره عکسبرداری میشوند. این منجر به رشد مداوم پایگاه داده تصاویر سه بعدی عظیم می شود. برای بهره مندی کامل از این مجموعه های عظیم تصاویر سه بعدی، الگوریتم های انتخاب تصویر هوشمند ضروری است. یک مثال، پرس و جوی کارآمد از تمام تصاویر حاوی مختصات یا شیء جهان سه بعدی خاص است. این به کاربران اجازه می دهد تا به راحتی یک شی را از زوایای دید مختلف بررسی کنند یا اندازه گیری ها را در چندین فریم با هم مقایسه کنند. پیاده سازی چنین الگوریتمی در ابزار چند نمایه در شکل 11 نشان داده شده استه. پرسوجوهای چند نمای پیشرفته آینده در فضاهای تصویر سهبعدی نیز میتوانند برای کارهای محلیسازی یا تقویت همانطور که در [ 45 ] نشان داده شده است استفاده شوند.
اندازهگیریهای موبایل – استفاده از یک برنامه کاربردی وب ساخته شده با آخرین فنآوریهای وب مانند HTML5/WebGL به نرمافزار اجازه میدهد تا روی پلتفرمهای مختلف روی دسکتاپ یا دستگاههای تلفن همراه اجرا شود ( شکل 11).و) مفاهیم جریان داده معمولی اعمال شد و عملکرد در محیطهای پهنای باند محدود یک معیار مهم در طول توسعه به منظور اجرای برنامه بر روی دستگاههای تلفن همراه بود. در نتیجه، کاربران میتوانند مستقیماً در میدان به فضاهای تصویر سهبعدی دسترسی داشته باشند و از آنها بهرهبرداری کنند، بهعنوان مثال، برای اندازهگیریهای متقاطع، برای بررسی محل قرارگیری لولههای زیرزمینی موجود یا حتی برای کارهای مخفی کردن. مورد دوم را می توان با اندازه گیری های سه بعدی با دقت سانتی متر بین اشیاء زیرساختی افزوده شده و ویژگی های طبیعی، مانند خط کشی های جاده در مشتری تلفن همراه به دست آورد. سپس این اندازهگیریهای مجازی را میتوان در میدان انجام داد، مثلاً با استفاده از اندازهگیریهای نواری ساده.
8. نتیجه گیری و کار آینده
در این مقاله، مفهوم و پیادهسازی نوع جدیدی از مدل شهری بومی را معرفی میکنیم که از آن به عنوان فضاهای تصویر سهبعدی جغرافیایی یاد میکنیم و بر اساس مجموعهای از تصاویر RGB-D جغرافیایی مرجع است. یک نیاز کلیدی مدل این است که اطلاعات عمق (D) برای هر تصویر متراکم باشد و همچنین از نظر مکانی و زمانی منسجم باشد. این تضمین می کند که مدل شهری WYSIWYG (“آنچه می بینید همان چیزی است که به دست می آورید”) است.که هر جسم قابل مشاهده، از جمله اجسام متحرک مانند اتومبیل یا عابران پیاده، می تواند به درستی محلی سازی شده و به صورت سه بعدی اندازه گیری شود. سیستمهای نگاشت استریو موبایل چندنما در ترکیب با پیشرفتهترین الگوریتمهای تطبیق تصویر متراکم، قادر به برآوردن این الزامات کلیدی هستند. با چنین سیستمهایی میتوان محیطهای شهری در امتداد راهروهای جادهای، خطوط راهآهن و حتی رودخانهها را با دقت بالا و با دقت بالایی به تصویر کشید. مدل شهری و چارچوب سیستمی که در این مقاله توضیح داده شده است قبلاً توسط شرکت اسپین آف و شریک تحقیقاتی ما iNovitas AG برای تولید مدلهای شهری مبتنی بر تصویر سه بعدی در مقیاس بزرگ از کل شهرها و ایالتها استفاده میشود.
در این مقاله ما متعاقباً به سه موضوع تحقیقاتی اصلی که عملکرد و سودمندی فضاهای تصویر سه بعدی در محیطهای واقعی را تعیین میکنند پرداختیم: (1) ارجاع جغرافیایی قابل حصول و دقت مطلق بعدی، (2) چگالی و دقت اندازهگیری نسبی، و (3) ویژگی های بهره برداری خاص ارائه شده توسط مدل.
اول، ما نشان دادیم که تصاویر استریو چند نمایه نه تنها به عنوان نمایش سه بعدی متریک از محیط عمل میکند، بلکه میتواند برای بهبود قابلتوجه دقت georeferencing در مناطق شهری معمولی با GNSS مورد استفاده قرار گیرد. در آزمایشهای ما، دقت اولیه ژئوارفرانس مستقیم از تجهیزات ناوبری اینرسی با درجه بالا از یک تا چند dm بود. با استفاده از ارجاع جغرافیایی مبتنی بر تصویر با استفاده از تنظیم بستهای از تصاویر استریو جلو و تعدادی از GCPها، دقت ژئوارفرانس سه بعدی حسگرهای تصویربرداری را میتوان با یک مرتبه افزایش داد.به کمتر از 2 سانتی متر همچنین نشان داده شد که ارجاع جغرافیایی مبتنی بر تصویر تا حد زیادی خودکار قادر به جبران ناپیوستگیها در مسیرهای ژئو ارجاع مستقیم است، که با رویکردهای ژئوارفرانس یکپارچه قبلی مورد توجه قرار نگرفته است.
دوم، ما تعدادی از استراتژیهای تطبیق تصویر را ارائه کردیم که هدف آنها به دست آوردن نقشههای عمق بهینه است که تا حد امکان متراکم و کامل هستند و دقت عمق بهینه را ارائه میدهند. همانطور که می توان انتظار داشت، پیکربندی استریوی تک پایه سنتی بالاترین دقت را ارائه می دهد، اما کامل بودن محدودی را ارائه می دهد. یک پیکربندی تطبیق چند تصویری جدید، که یک تصویر پایه را با پنج تصویر مجاور مکانی و زمانی با استفاده از رویکرد اصلاح قطبی اصلاح شده تطبیق می دهد، معرفی شد. نشان داده شد که تطبیق سنتی استریو و رویکردهای تطبیق چند استریو نتایج بسیار بهتری نسبت به آنچه که میتوان از تطبیق تصاویر تکسکوپی بهدست آورد، که هنوز هم تصویر استاندارد با اکثر سیستمهای نقشهبرداری موبایل تجاری است، به دست میدهد. این از ایده استفاده از تصاویر استریو برای ایجاد فضاهای سه بعدی شهری با کیفیت بالا پشتیبانی می کند. ارزیابیها بیشتر نشان داد که پیکربندیهای چند استریو نقشههای عمقی را با دقتی مشابه با تطبیق استریو سنتی اما با کامل بودن و استحکام بهطور قابلتوجهی بالاتر ارائه میدهند. اینها کمک های ارزشمندی برای ایجاد مدل های شهری مبتنی بر تصویر هستندنه تنها با غنای بی نظیر، بلکه با قابلیت اندازه گیری قابل اعتماد در سطح دقت سانتی متر – حتی در محیط های شهری چالش برانگیز.
سوم، از منظر شهر هوشمند، جنبههای جالب فضاهای تصویر سهبعدی شامل تفسیر بصری آنها توسط متخصصان زمینفضایی و عموم مردم و همچنین سهولت استفاده از آنها با استفاده از مشتریان قدرتمند وب و موبایل است. یک عنصر کلیدی در بهره برداری از فضاهای تصویر سه بعدی، عملکرد مونوپلات سه بعدی زیربنایی است . ما نشان دادیم که ترکیب و گسترش این اصل شناخته شده با تصاویر با وضوح بالا، نقشههای عمق متراکم و الگوریتمهای جدید، طیف وسیعی از ابزارهای جدید قدرتمند و در عین حال آسان را برای تعامل با فضاهای تصویر سهبعدی قادر میسازد.
پتانسیل کار آینده در مدل های شهری مبتنی بر تصویر به طور کلی و در فضاهای تصویر سه بعدی، به طور خاص، بسیار زیاد است. کار خود ما بر بهبود بیشتر ارجاع جغرافیایی مبتنی بر تصویر در فضاهای تصویر سه بعدی با ترکیب تصاویر از همه نماها در یک تنظیم بسته جدید محدود متمرکز خواهد بود. بر اساس این نتایج، ما تحقیقات خود را در زمینه تولید عمق بهینه از تطبیق استریو چند نمای با هدف بهبود قابل توجه چگالی و دقت اطلاعات عمق نسبت به آنچه در این مقاله ارائه شده است، ادامه خواهیم داد. این کار، در میان جنبههای دیگر، همچنین شامل بررسیهایی بر روی خطوط پایه بهینه در مسیر و متقاطع است. کار در حال انجام در استخراج عمق همچنین شامل تنظیمات استریو با پوشش 360 درجه با هدف حفظ هندسه اصلی تصویر و ارائه دقت استخراج با عمق بالا است. رویکردهای یکپارچه و مبتنی بر تصویر، که بسیار دقیق و خودکار هستند، پیش نیازی برای ایجاد مدل های داخلی دقیق و در مقیاس بزرگ بر اساس فضاهای تصویر سه بعدی خواهند بود. در بلندمدت، فضاهای تصویر سه بعدی در مقیاس بزرگ چند زمانی از کل شهرها یا ایالت ها، مبنای ایده آلی برای تشخیص تغییرات شهری فراهم می کند. با این حال، به دلیل پیچیدگی و تعداد زیادی از اشیاء به سرعت در حال تغییر در صحنههای شهری، تشخیص خودکار تغییرات شهری «آهسته» برای سالهای آینده یک چالش علمی بزرگ باقی خواهد ماند. که بسیار دقیق و خودکار هستند، همچنین پیش نیازی برای ایجاد مدل های داخلی دقیق و در مقیاس بزرگ بر اساس فضاهای تصویر سه بعدی خواهند بود. در بلندمدت، فضاهای تصویر سه بعدی در مقیاس بزرگ چند زمانی از کل شهرها یا ایالت ها، مبنای ایده آلی برای تشخیص تغییرات شهری فراهم می کند. با این حال، به دلیل پیچیدگی و تعداد زیادی از اشیاء به سرعت در حال تغییر در صحنههای شهری، تشخیص خودکار تغییرات شهری «آهسته» برای سالهای آینده یک چالش علمی بزرگ باقی خواهد ماند. که بسیار دقیق و خودکار هستند، همچنین پیش نیازی برای ایجاد مدل های داخلی دقیق و در مقیاس بزرگ بر اساس فضاهای تصویر سه بعدی خواهند بود. در بلندمدت، فضاهای تصویر سه بعدی در مقیاس بزرگ چند زمانی از کل شهرها یا ایالت ها، مبنای ایده آلی برای تشخیص تغییرات شهری فراهم می کند. با این حال، به دلیل پیچیدگی و تعداد زیادی از اشیاء به سرعت در حال تغییر در صحنههای شهری، تشخیص خودکار تغییرات شهری «آهسته» برای سالهای آینده یک چالش علمی بزرگ باقی خواهد ماند.
منابع
- آلبینو، وی. براردی، یو. Dangelico، RM شهرهای هوشمند: تعاریف، ابعاد، عملکرد و ابتکارات. J. فناوری شهری. 2015 ، 22 ، 3-21. [ Google Scholar ] [ CrossRef ]
- هال، RE; باورمن، بی. براورمن، جی. تیلور، جی. تودوسو، اچ. فون ویمرسپرگ، U. چشم انداز یک شهر هوشمند. در مجموعه مقالات دومین کارگاه بین المللی فناوری افزایش عمر، پاریس، فرانسه، 28 سپتامبر 2000.
- هریسون، سی. اکمن، بی. همیلتون، آر. هارتسویک، پی. کالاگنانام، ج. پاراشچاک، جی. ویلیامز، پی. بنیادها برای شهرهای هوشمندتر. IBM J Res. توسعه دهنده 2010 ، 54 ، 1-16. [ Google Scholar ] [ CrossRef ]
- کرتو، ال.-جی. طراحی شهرهای هوشمند با استفاده از پارادایم رویداد محور و وب معنایی. آگاه کردن. اقتصاد 2012 ، 16 ، 57-67. [ Google Scholar ]
- پتری، جی. سیستم های نقشه برداری موبایل – مقدمه ای بر فناوری. GeoInformatics 2010 ، 13 ، 32-43. [ Google Scholar ]
- فناوری نقشه برداری مریخ ناسا خیابان اصلی را زنده می کند. در دسترس آنلاین: https://spinoff.nasa.gov/Spinoff2008/ct_9.html (دسترسی در 28 ژوئیه 2015).
- پاپرودیتیس، ن. پاپلارد، J.-P. کانل، بی. دوو، ا. سهیلیان، ب. دیوید، ن. Houzay، E. Stereopolis II: یک سیستم نقشه برداری سه بعدی موبایل چند منظوره و چند سنسوری برای تجسم خیابان و اندازه شناسی سه بعدی. Rev. Française Photogramm. Télédétection 2012 ، 200 ، 69-79. [ Google Scholar ]
- آنگلوف، دی. دولونگ، سی. فیلیپ، دی. فروه، سی. لافون، اس. لیون، آر. اوگال، ا. وینسنت، ال. ویور، جی. نمای خیابان گوگل: ثبت جهان در سطح خیابان. کامپیوتر 2010 ، 43 ، 32-38. [ Google Scholar ] [ CrossRef ]
- Lippman, A. Movie-Maps: کاربرد دیسک ویدئویی نوری در گرافیک کامپیوتری. در مجموعه مقالات هفتمین کنفرانس سالانه گرافیک کامپیوتری و تکنیک های تعاملی، سیاتل، WA، ایالات متحده آمریکا، 14-18 ژوئیه 1980.
- الوم، سی. El-Sheimy، N. سیستم های نقشه برداری سیار مبتنی بر زمین. فتوگرام مهندس Remote Sens. 2002 ، 68 ، 13-17. [ Google Scholar ]
- پوئنته، آی. گونزالس-خورخه، اچ. مارتینز-سانچز، جی. آریاس، ص. بررسی فناوری های نقشه برداری و نقشه برداری موبایل. اندازه گیری 2013 ، 46 ، 2127-2145. [ Google Scholar ] [ CrossRef ]
- شیائو، جی. نیش، تی. ژائو، پی. Lhuillier، M. Quan, L. مدلسازی شهر سمت خیابان مبتنی بر تصویر. در مجموعه ACM SIGGRAPH آسیا 2009، یوکوهاما، ژاپن، 16-19 دسامبر 2009.
- پولفیس، ام. نیستر، دی. فرام، جی.ام. اکبرزاده، ع. مردوهای، پ. کلیپ، بی. انگلس، سی. گالوپ، دی. کیم، اس جی. مرل، پی. و همکاران بازسازی سه بعدی شهری در زمان واقعی از ویدئو. بین المللی جی. کامپیوتر. Vis. 2008 ، 78 ، 143-167. [ Google Scholar ] [ CrossRef ]
- میلند، ام. کامپورت، هوش مصنوعی؛ Rives، P. نقشه برداری RGB-D همه جانبه متراکم از محیط های فضای باز در مقیاس بزرگ برای محلی سازی بلادرنگ و ناوبری مستقل. ربات جی اف. 2015 ، 32 ، 474-503. [ Google Scholar ] [ CrossRef ]
- نبیکر، اس. بلیش، اس. کریستن، ام. ابرهای نقطه غنی در کره های مجازی – الگوی جدیدی در مدل سازی شهر؟ محاسبه کنید. محیط زیست سیستم شهری 2010 ، 34 ، 508-517. [ Google Scholar ] [ CrossRef ]
- موسیالسکی، پ. ونکا، پی. Aliaga، DG; ویمر، ام. ون گول، ال. Purgathofer, W. بررسی بازسازی شهری. محاسبه کنید. نمودار. انجمن 2013 ، 32 ، 146-177. [ Google Scholar ] [ CrossRef ]
- لافارژ، اف. مالت، سی. ایجاد مدلهای شهر در مقیاس بزرگ از ابرهای نقطه سه بعدی: رویکردی قوی با نمایش ترکیبی. بین المللی جی. کامپیوتر. Vis. 2012 ، 99 ، 69-85. [ Google Scholar ] [ CrossRef ]
- ون گول، ال. مارتینوویچ، آ. ماتیاس، م. به سوی مدلهای شهر معنایی. در مجموعه مقالات پنجاه و چهارمین هفته فتوگرامتری، اشتوتگارت، آلمان، 11 تا 15 سپتامبر 2013.
- گرززچوک، آر. کوزکا، ج. ودانتهام، آر. Hile, H. ایجاد مدل های معماری فشرده با ثبت مجموعه های تصویری جغرافیایی. در مجموعه مقالات دوازدهمین کارگاه آموزشی بینایی رایانه (کارگاه های آموزشی ICCV)، کیوتو، ژاپن، 27 سپتامبر تا 4 اکتبر 2009.
- بورکهارد، جی. Cavegn، S. بارمتلر، ا. Nebiker، S. Stereovision نقشه برداری موبایل: طراحی سیستم و ارزیابی عملکرد. بین المللی قوس. فتوگرام. سنسور از راه دور فضایی. آگاه کردن. علمی 2012 ، 5 ، 453-458. [ Google Scholar ] [ CrossRef ]
- اگستر، اچ. هوبر، اف. نبیکر، اس. Gisi، A. ارجاع جغرافیایی یکپارچه توالی های تصویر استریو گرفته شده با یک سیستم نقشه برداری تلفن همراه استریوویژن-رویکردها و نتایج عملی. در مجموعه مقالات ISPRS – آرشیو بین المللی فتوگرامتری، سنجش از دور و علوم اطلاعات فضایی، ملبورن، استرالیا، 25 اوت تا 1 سپتامبر 2012.
- هوبر، اف. نبیکر، اس. Eugster، H. پردازش توالی تصویر در نقشه برداری تلفن همراه استریوویژن – گام هایی به سوی اندازه گیری های سه بعدی تک نمایی قوی و دقیق و ارجاع جغرافیایی مبتنی بر تصویر. در مجموعه ای از تجزیه و تحلیل تصویر فتوگرامتری، کنفرانس ISPRS، مونیخ، آلمان، 5-7 اکتبر 2011.
- وربری، ای. زلاتانوا، اس. Smit, K. خدمات ناوبری تعاملی از طریق تصاویر پانورامای CycloMedia با ارزش افزوده. در مجموعه مقالات ششمین کنفرانس بین المللی تجارت الکترونیک، دلفت، هلند، 25 تا 27 اکتبر 2004.
- Swart، A.; بروئر، ج. ولت کمپ، آر. Tan, R. ثبت غیر صلب یک تصویر پانوراما توالی به ابر نقطه لیدار. در مجموعه ای از تجزیه و تحلیل تصویر فتوگرامتری، کنفرانس ISPRS، مونیخ، آلمان، 5-7 اکتبر 2011.
- Nebiker, S. پیشرفت در تصویربرداری و فتوگرامتری. Geospatial Today 2012 ، 11 ، 12-16. [ Google Scholar ]
- Cavegn، S. هالا، ن. نبیکر، اس. روترمل، ام. Tutzauer, P. معیار تطبیق تصویر با چگالی بالا برای تصاویر مورب هوابرد. بین المللی قوس. فتوگرام. سنسور از راه دور فضایی. آگاه کردن. علمی 2014 ، 3 ، 45-52. [ Google Scholar ] [ CrossRef ]
- نبیکر، اس. Cavegn، S. اگستر، اچ. لامر، ک. مارکرام، جی. واگنر، آر. تلفیقی از مدلسازی سهبعدی مبتنی بر تصویر هوابرد و زمینی برای مدیریت زیرساختهای جادهای – چشمانداز و اولین آزمایشها. بین المللی قوس. فتوگرام. سنسور از راه دور فضایی. آگاه کردن. علمی 2012 ، 4 ، 79-84. [ Google Scholar ] [ CrossRef ]
- چون، جی. وانگ، جی. ریستفسکی، ج. Slankard, T. تصاویر پانوراما بدون درز با کیفیت بالا . ناشر InTech Open Access: Rijeka، کرواسی، 2012. [ Google Scholar ]
- Hirschmüller، H. پردازش استریو با تطبیق نیمه جهانی و اطلاعات متقابل. IEEE Trans. الگوی مقعدی ماخ هوشمند 2008 ، 30 ، 328-341. [ Google Scholar ] [ CrossRef ] [ PubMed ]
- گایگر، ا. روزر، م. Urtasun, R. تطبیق کارآمد استریو در مقیاس بزرگ. در مجموعه مقالات دهمین کنفرانس آسیایی در بینایی کامپیوتری، چشم انداز کامپیوتری-ACCV، کوئینستون، نیوزلند، 8 تا 12 نوامبر 2010.
- ارزیابی استراتژیهای تطبیق برای نقشهبرداری موبایل مبتنی بر تصویر. در دسترس آنلاین: http://www.isprs-ann-photogramm-remote-sens-spatial-inf-sci.net/II-3-W5/361/2015/isprsannals-II-3-W5-361-2015.pdf (دسترسی در 28 ژوئیه 2015).
- کانل، بی. پاپرودیتیس، ن. پیروت-دسیلینی، ام. پاپلارد، جی.-پی. کالیبراسیون آفلاین در مقابل آنلاین یک سیستم نقشه برداری تلفن همراه مبتنی بر پانوراما. ISPRS Ann. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2012 ، 3 ، 31-36. [ Google Scholar ] [ CrossRef ]
- کرستینگ، AP; حبیب، اف. راو، جی.-ای. روش جدید برای کالیبراسیون یا سیستم های نقشه برداری موبایل چند دوربینی. بین المللی قوس. فتوگرام. سنسور از راه دور فضایی. آگاه کردن. علمی 2012 ، 1 ، 121-126. [ Google Scholar ] [ CrossRef ]
- راو، J.-Y. حبیب، اف. کرستینگ، AP; چیانگ، K.-W. Bang, K.-I.; Tseng، Y.-H.; لی، ی.-اچ. جهت گیری مستقیم حسگر یک سیستم نقشه برداری سیار مبتنی بر زمین Sensors 2011 , 11 , 7243-7261. [ Google Scholar ] [ CrossRef ] [ PubMed ]
- کالیبراسیون دوربین OpenCV و بازسازی سه بعدی، StereoSGBM. در دسترس آنلاین: http://docs.opencv.org/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html#stereosgbm (در 28 ژوئیه 2015 قابل دسترسی است).
- مطمئنا: بازسازی سطح فتوگرامتری از تصاویر. در دسترس آنلاین: www.ifp.uni-stuttgart.de/publications/2012/Rothermel_etal_lc3d.pdf (در 28 ژوئیه 2015 قابل دسترسی است).
- Agisoft PhotoScan. در دسترس آنلاین: http://www.agisoft.com/ (در 28 ژوئیه 2015 قابل دسترسی است).
- کرامر، ام. استالمن، دی. Haala, N. ارجاع جغرافیایی مستقیم با استفاده از جهتگیریهای بیرونی GPS/اینرسی برای کاربردهای فتوگرامتری. بین المللی قوس. فتوگرام Remote Sens. 2000 , 33 , 198-205. [ Google Scholar ]
- چارشتاین، دی. Szeliski، R. طبقهبندی و ارزیابی الگوریتمهای متناظر استریو متراکم دو فریم. بین المللی جی. کامپیوتر. Vis. 2002 ، 47 ، 7-42. [ Google Scholar ] [ CrossRef ]
- پولفیس، ام. کوچ، آر. van Gool, L. یک روش اصلاح ساده و کارآمد برای حرکت عمومی. در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر، کرکیرا، 20-27 سپتامبر 1999.
- گایگر، ا. لنز، پی. Urtasun, R. آیا ما برای رانندگی خودران آماده هستیم؟ مجموعه معیار بینایی KITTI. در کنفرانس IEEE در مورد دید کامپیوتری و تشخیص الگو، پراویدنس، رود آیلند، 16 تا 21 ژوئن 2012.
- داده های ماهواره ای تک تصویری با وضوح بالا برای استخراج اطلاعات سه بعدی. در دسترس به صورت آنلاین: http://www.ipi.uni-hannover.de/fileadmin/institut/pdf/041-willneff.pdf (در 28 ژوئیه 2015 قابل دسترسی است).
- بکر، آر. بنینگ، دبلیو. Effkemann, C. 3D-monoplotting. kombinierte auswertung von laserscannerdaten und photogrammetrischen aufnahmen. zfv Zeitschrift für Geodäsie, Geoinf. و Landmanag. 2004 ، 129 ، 347-355. [ Google Scholar ]
- هاف، روشها و ابزارهای PV برای شناخت الگوهای پیچیده. پتنت ایالات متحده 3,069,654, 18 دسامبر 1962. [ Google Scholar ]
- ژانگ، جی. هالکویست، ا. لیانگ، ای. زاخور، الف. بازیابی تصویر مبتنی بر مکان برای محیطهای شهری. در مجموعه مقالات پردازش تصویر. (ICIP)، هجدهمین IEEE International. کنفرانس، بروکسل، بلژیک، 11-14 سپتامبر 2011.
© 2015 توسط نویسندگان; دارنده مجوز MDPI، بازل، سوئیس. این مقاله یک مقاله با دسترسی آزاد است که تحت شرایط و ضوابط مجوز Creative Commons Attribution (http://creativecommons.org/licenses/by/4.0/) توزیع شده است.


بدون نظر