تخمین حالت خودکار تصاویر چند نمای کالیبره نشده بر اساس یک شی مسطح با یک مدل کانتور از پیش تعریف شده

خلاصه

ما چارچوبی را برای به دست آوردن حالت دوربین (یعنی موقعیت و جهت گیری در فضای سه بعدی) با اطلاعات مقیاس واقعی تصاویر چند نمای کالیبره نشده و پارامترهای درونی دوربین به صورت خودکار ارائه کرده ایم. چارچوب ما از دو مرحله کلیدی تشکیل شده است. ابتدا مقدار اولیه دوربین ذاتی و پارامترهای حالت از تخمین هموگرافی بر اساس مدل کانتور برخی از اجسام مسطح استخراج شد. دوم، اصلاح پارامترهای دوربین ذاتی و وضعیت با روش تنظیم بسته‌ای انجام شد. چارچوب ما می‌تواند یک جریان کامل از تخمین وضعیت تصاویر چند نمایشی نامنظم یا منظم ارائه دهد، که می‌تواند در کارهای بینایی که به اطلاعات مقیاس نیاز دارند استفاده شود. از تصاویر چند نمای واقعی برای نشان دادن استحکام، انعطاف پذیری و دقت چارچوب پیشنهادی استفاده شد.

کلید واژه ها:

مدل کانتور ; هموگرافی ; تخمین پوز ; تنظیم بسته نرم افزاری بینایی ماشین ؛ چند نمای

چکیده گرافیکی

1. معرفی

مسئله تخمین پوس یکی از مشکلات اصلی در رباتیک، گرافیک کامپیوتری، فتوگرامتری و بینایی کامپیوتری است. در رباتیک، تخمین پوس معمولاً در سیستم های هماهنگی دست و چشم استفاده می شود [ 1 ]. در گرافیک کامپیوتری، تخمین پوس نقش مهمی در وظایفی دارد که اشیاء تولید شده توسط کامپیوتر را با صحنه های عکاسی ترکیب می کند، مانند ردیابی نقطه عطفی در تعیین وضعیت سر در واقعیت افزوده [2] یا دستکاری تعاملی اشیا. در فتوگرامتری و بینایی کامپیوتری، تخمین پوز در روند بازسازی سه بعدی [ 3 ] و تشخیص اشیا [ 4 ] نقش اساسی دارد.

مفهوم “ساختار از حرکت” (SfM) روش اصلی مورد استفاده در تخمین پوز خودکار تصاویر است [ 5 ]. در اواخر دهه 1980، تکنیک‌های موثر SfM توسعه یافتند که هدف آن بازسازی ساختار صحنه سه بعدی ناشناخته و موقعیت‌ها و جهت‌گیری‌های دوربین از مجموعه‌ای از تطابق ویژگی‌ها به طور همزمان بود. Longuet-Higgins در سال 1981 یک تکنیک جهت گیری نسبی دو فریمی را معرفی کرد که هنوز به طور گسترده مورد استفاده قرار می گیرد [ 6 ]. با این حال، توسعه یک ساختار چند فریمی در تکنیک های حرکت، از جمله روش های فاکتورسازی [ 7 ]، و تکنیک های بهینه سازی جهانی [ 8 ، 9 ، 10]] به تأخیر افتاد. در سال 2004، Nister زیر مجموعه های کوچکی از تصاویر را با یکدیگر تطبیق داد و سپس آنها را برای بازسازی کامل سه بعدی در قالب ابرهای نقطه پراکنده ادغام کرد [ 11 ]. Vergauwen و Van Gool [ 12 ] یک ابزار SfM را برای کاربردهای میراث فرهنگی توسعه دادند (اکنون توسط یک سرویس بازسازی 3 بعدی مبتنی بر وب میزبانی می شود). اخیراً، مفهوم SfM پیشرفت‌های فوق‌العاده‌ای داشته است، علی‌رغم اینکه بازسازی‌های سه‌بعدی قابل دستیابی تنها برای مصورسازی، ناوبری مبتنی بر شی، انتقال حاشیه‌نویسی یا اهداف مرور تصویر مفید بودند. با این حال، این روش با قابلیت جهت دهی تعداد زیادی از تصاویر توسعه یافته است. دو بسته معروف Bundler (یا نسخه گرافیکی آن Photosynth) [ 13 ] و Samantha [ 14] هستند.]. Bundler پیاده سازی وضعیت فعلی هنر در برنامه های متوالی SfM است و به سمت یک رویکرد SfM سلسله مراتبی بر اساس مجموعه ای از تصاویر کلیدی گسترش یافته است [ 15 ]. به نظر می رسد سامانتا به دلیل معرفی یک رویه تنظیم محلی بسته، سریعتر است. روش های خودکار برای تخمین وضعیت تصویر بر اساس SfM نیز در [ 16 ، 17 ، 18 ، 19 ، 20 ، 21 ] نشان داده شده است.

در فرآیند SfM، یک نتیجه مستقیم از بازسازی دوربین ها و ساختار صحنه را می توان با توجه به متناظرهای نقطه تصویر به دست آورد [ 21 ، 22 ، 23 ]. با این حال، این روش ممکن است چندین محدودیت در کاربرد قابل اندازه‌گیری داشته باشد: (1) SfM فقط وضعیت نسبی هر دوربین را بدون اطلاعات مقیاس تخمین می‌زند. SfM می تواند پارامترهای ذاتی پیکربندی های غیر منحط را بازیابی کند. با این حال، این فرآیند می تواند ناپایدار باشد [ 21]؛ (2) وضعیت نسبی تصاویر چند نمای را می توان با استفاده از SfM بدست آورد. هنگامی که تصاویر دارای نشانه های مرجع جغرافیایی هستند، حالت مطلق را می توان با تبدیل شباهت به دست آورد. با این حال، اگر دقت پوزیشن نسبی کم باشد، در آن صورت وضعیت مطلق با دقت بالا قابل دستیابی نیست [ 22 ].

در این مطالعه، یک چارچوب تخمین ژست تصویر چند نمای (گرفته شده از همان دوربین) ارائه شده است که می تواند تبدیل هموگرافی را با استفاده مستقیم از بهینه سازی تکراری و پارامترهای درونی دوربین (یعنی طول فوکوس، اعوجاج شعاعی نقطه اصلی محاسبه کند. و اعوجاج مماسی) و پارامترهای حالت (یعنی شش پارامتر از جمله موقعیت (

X_{S}, Y_{S}, Z_{S}

) مرکز پروجکشن دوربین در سیستم مختصات جهانی و ژست (

φ, ω, κ

) از هر تصویر) را می توان به طور همزمان و قوی بازیابی کرد. این چارچوب از دو مرحله کلیدی زیر تشکیل شده است: (1) تخمین هموگرافی مبتنی بر کانتور برای محاسبه رابطه هموگرافی بین مدل‌ها و تصاویر استفاده می‌شود. دوربین ذاتی اولیه و پارامترهای حالت را می توان با ماتریس های هموگرافی متعدد بازیابی کرد. علاوه بر این، تصاویر چند نمای بی نظم را می توان با ژست دوربین که از پارامترهای حالت اولیه مشتق شده است، بازآرایی کرد. (2) تنظیم بسته نرم افزاری برای اصلاح پارامترهای دوربین ذاتی اولیه و وضعیت استفاده می شود.

بنابراین، مشارکت های اصلی این مطالعه عبارتند از:

(1): یک تخمین هموگرافی مبتنی بر مدل کانتور قوی (شامل تشخیص و ردیابی) از جسم مسطح، که می‌تواند تصاویر چند نمای بی‌نظم را به تصاویر چند نمای منظم در یک محیط کلی تبدیل کند و پارامترهای دوربین و ژست درونی اولیه خوبی را ارائه دهد.
(2): یک چارچوب کامل که به طور خودکار پارامترهای درونی دوربین و ژست را با مقیاس واقعی برای تصاویر کالیبره نشده چند نما فراهم می کند. این چارچوب می تواند کاربردهای چشم انداز قابل اندازه گیری قابل توجهی را توسعه دهد.

بقیه این مقاله به شرح زیر سازماندهی شده است: بخش 2 یک نمای کلی از رویکرد ارائه می دهد. بخش 3 روشی را برای به دست آوردن پارامترهای اولیه از هموگرافی مبتنی بر کانتور ارائه می دهد. بخش 4 پالایش پارامتر را با استفاده از تنظیم بسته توصیف می کند. بخش 5 نتایج تجربی را ارائه می دهد. بخش 6 مزایای عمده چارچوب پیشنهادی را مورد بحث قرار می دهد. بخش 7 نتیجه گیری از پتانسیل ها و محدودیت های چارچوب و همچنین اهداف کارهای آینده را ارائه می دهد.

2. بررسی اجمالی

در این بخش، یک نمای کلی از تخمین پوز ارائه می دهیم که شامل مکان یابی دوربین و تنظیم تدریجی بسته نرم افزاری است. سپس مراحل تقریبی فریمورک ما نشان داده شده است.

بومی سازی دوربین در چند سال اخیر بسیار مورد توجه قرار گرفته است. مکان یابی و نقشه برداری همزمان بصری [ 24 ، 25 ، 26 ] و در بینایی کامپیوتر، ساختار از حرکت با بهینه سازی تنظیم بسته نرم افزاری [ 27 ، 28 ] روش های رایج تخمین ژست دوربین هستند. این رویکردها به طور همزمان محیط را بازسازی می‌کنند و موقعیت دوربین را تخمین می‌زنند، اما باید حلقه‌ای برای تصحیح رانش ایجاد کنند. کیلومتر شماری بصری راه دیگری برای بازیابی وضعیت نسبی دوربین است [ 29 ]، اما تخمین ها به طور غیر قابل جبرانی تغییر می کنند. رویر نشان داده شده بود که استفاده از اطلاعات سه بعدی در محیط، دقت بهتری را در تخمین حالت تضمین می کند [ 30]]. اگر ربات در نزدیکی این نشانه‌های ارجاع‌شده [ 31 ] یا حتی ارجاع جغرافیایی [ 32 ] حرکت کند، تخمین پوز دوربین تعبیه‌شده روی یک پلت‌فرم متحرک را دقیق و بدون دریفت کردن می‌کند . برای چند سال، مدل‌های سه‌بعدی شهرها یا محیط‌های شهری از طریق پروژه‌های دیجیتالی مختلف شهر در سراسر جهان در دسترس قرار گرفته‌اند. موسسه ملی جغرافیای فرانسه (IGN) خیابان ها و ساختمان های منطقه 12 پاریس در فرانسه را دیجیتالی کرد. تخمین پوز مبتنی بر مدل مشکلی است که برای چندین سال کار با انواع ویژگی‌های مختلف حل شده است: نقاط [ 33 ، 34 ]، خطوط [ 35 ]، هر دو [ 36 ] یا مدل‌های قاب سیمی [ 37 ، 38 ،39 ]. این آثار به ویژگی‌های هندسی می‌پردازند، اما تنها چند کار دیگر اطلاعات فتومتریک را به صراحت در تخمین وضعیت و ردیابی در نظر می‌گیرند. برخی از آنها ویژگی های هندسی و نورسنجی را با هم ترکیب می کنند [ 40 ، 41 ]. ویژگی های فتومتریک (شدت تصویر) را می توان مستقیماً برای تخمین هموگرافی و سپس موقعیت نسبی بین جریان و تصویر مرجع در نظر گرفت [ 42 ]. یک رویکرد جدیدتر تخمین چنین تحولی را با استفاده از رویکردهای نظری اطلاعات پیشنهاد می‌کند. دام و همکاران پیشنهاد کرد که اطلاعات متقابل به اشتراک گذاشته شده توسط یک مدل بافت مسطح و تصاویر به دست آمده توسط دوربین برای تخمین یک تبدیل وابسته یا یک هموگرافی استفاده می شود [ 43 و 44].

بهینه سازی تنظیم بسته نرم افزاری یک روش متداول برای تخمین وضعیت تصویر است و تنظیم تدریجی بسته نرم افزاری موضوع تحقیقات اخیر است. اکثر کارهای موجود با بهینه سازی زیرمجموعه کوچکی از جدیدترین حالت ها هر بار که یک تصویر جدید اضافه می شود، عملکرد بلادرنگ را حفظ می کنند. برای مثال، انگلس و همکاران. [ 45 ] تعدادی از جدیدترین ژست‌ها و نشانه‌های دوربین را با استفاده از بهینه‌سازی تنظیم بسته نرم‌افزاری استاندارد بهینه می‌کنند و Mouragnon و همکاران. [ 46 ] یک بهینه سازی مشابه را انجام می دهد، اما شامل انتخاب فریم کلیدی و استفاده از یک مدل دوربین عمومی است. ژانگ و شان [ 47] یک بهینه‌سازی را بر روی جدیدترین سه‌قلوهای دوربین انجام دهید، هم با بهینه‌سازی استاندارد BA و هم با بهینه‌سازی کاهش‌یافته که در آن نشانه‌ها به صورت خطی حذف شده‌اند، آزمایش کنید. سایر روش‌های تنظیم افزایشی بسته نرم‌افزاری، بیش از تعداد ثابتی از ژست‌های اخیر را بهینه می‌کنند، در عوض به صورت تطبیقی تشخیص می‌دهند که کدام ژست دوربین برای بهینه‌سازی [ 48 ، 49 ، 50 ]. با این حال، بر خلاف هموارسازی افزایشی [ 51 ]، این روش ها به راه حل های تقریبی برای مسئله کلی حداقل مربعات منجر می شوند و از همه محاسبات ممکن استفاده مجدد نمی کنند. در سال 2012، تنظیم بسته نور افزایشی (ILBA) توسط وادیم ایندلمن و همکاران پیشنهاد شد. [ 52] مورد توجه قرار گرفته است. آنها دو ایده کلیدی SFM بدون ساختار و هموارسازی تدریجی را در یک روش تنظیم بسته محاسباتی کارآمد ترکیب می‌کنند و علاوه بر این، استفاده از محدودیت‌های سه دید را برای اصلاح حرکات منحط دوربین که معمولاً با آن مواجه می‌شوند، معرفی می‌کنند. در سال 2013، وادیم ایندلمن و همکاران. [ 53 ] یک تحلیل احتمالی از روش تنظیم بسته نوری افزایشی ارائه کرد و یک روش محاسباتی کارآمد برای ناوبری به کمک دید (VAN) در کاربردهای روباتیک مستقل [54] با ILBA ارائه کرد.

در این مطالعه، چارچوب تبدیل هموگرافی را با استفاده از بهینه‌سازی تنظیم بسته‌ای محاسبه کرد.

همانطور که در شکل 1 نشان داده شده است ، چارچوب از چهار مرحله زیر تشکیل شده است:

ابتدا مدل خطوط ساختار یافته تولید شد. مدل شی، یعنی کاغذ A4 و یک کتاب، از قبل اندازه گیری شده بود. مدل می تواند نامتقارن باشد، همانطور که جلد کتاب 1 در شکل 2 نشان داده شده است .

دوم، تصاویر چند نمای صحنه (یعنی بی نظم یا منظم) گرفته شد. در این مطالعه، از یک دوربین درجه مصرف کننده (یا فقط یک گوشی هوشمند) با فوکوس ثابت استفاده شد.

سوم، پارامترهای دوربین ذاتی و ژست محاسبه شد. مدل خطوط ساختاری از پیش تعریف‌شده با بخش‌های خط چندگانه، که از اولین فریم مجموعه تصاویر با استفاده از روش تشخیص هموگرافی استخراج شده‌اند، مطابقت داده شد تا یک هموگرافی صحیح استخراج شود. هنگامی که حداقل سه هموگرافی تخمین زده شد، پارامترهای دوربین ذاتی و وضعیت به صورت خطی محاسبه شدند.

در نهایت، پارامترها با تنظیم بسته نرم افزاری پالایش شدند. نقاط پراکنده 3 بعدی تصاویر چند نمای با استفاده از پارامترهای ذکر شده قبلی با روش مکاتبات پراکنده مثلثی شدند. سپس، پارامترها تنظیم شدند (یعنی پارامترهای دوربین ذاتی و حالت)، و نقاط پراکنده 3 بعدی در تنظیم بسته برای بهینه سازی نتایج استفاده شدند.

بخش‌های بعدی دو مرحله آخر را به تفصیل شرح می‌دهند.

3. پارامترهای اولیه به دست آمده از هموگرافی مبتنی بر کانتور

در این بخش ابتدا مشکل تخمین هموگرافی روشن شد. سپس، تخمین هموگرافی که از مدل های کانتور برای تصاویر چند نمای استفاده می کند، شناسایی شد. متعاقبا، هموگرافی ها با به حداقل رساندن خطاهای بین نقاط نمونه و نقاط تصویر مربوطه آنها با استفاده از جستجوی 1 بعدی در جهت عادی بهینه شدند. در نهایت، پارامترهای اولیه دوربین، از جمله پارامترهای دوربین ذاتی و حالت، از هموگرافی‌های چندگانه بر اساس هندسه نمای چندگانه بازیابی شدند.

3.1. بیان مسأله

مشکل در نظر گرفته شده در این بخش، تخمین تبدیل هموگرافی بین ویژگی های مدل و تصویر بود. رابطه بین یک مدل مسطح دو بعدی

P

و نقطه تصویر مربوط به آن

p

به صورت زیر داده می شود:

p = Ψ (ص ، اچ) = [( H پ ) ایکس ( H پ ) z ( H پ ) y ( H پ ) z] تی پ = (پ ایکس پ y 1) تی ، p = (پ ایکس پ y 1) تی

(1)

علاوه بر این، بخش خط مدل

L

با دو نقطه پایانی آن تعریف می شود

(P_{1}, P_{2})

. بنابراین، هموگرافی بین یک بخش خط مدل

L

و نمایش آن در صفحه تصویر

I

با طرح ریزی دو نقطه پایانی آن به دست می آید:

من = Ψ (ل ، اچ) = (Ψ (پ 1 ، اچ) ، Ψ (پ 2 ، اچ))

(2)

هنگامی که نویز در داده های اندازه گیری ظاهر می شود،

\tilde{P}

نشان دهنده مشاهده پر سر و صدا از نقطه 2 بعدی است

P

، و

\tilde{I}

نشان دهنده مشاهده پر سر و صدا از بخش خط دو بعدی است

I

. مدل‌های کانتور مورد استفاده در این مطالعه شامل لبه‌های هندسی و بافتی اجسام مسطح است (به مرحله اول از شکل 1 مراجعه کنید )، جایی که آنها به صورت خطوط و گوشه‌های متقاطع مدل‌سازی شدند. خطوط و گوشه ها در شکل 2 نشان داده شده اند و نقاط گوشه به عنوان GCP های مسطح در روش تنظیم بسته نرم افزاری در نظر گرفته شده اند. جزئیات (یعنی مختصات گوشه ها و شاخص پاره های خط) مدل کانتور جلد کتاب 1 در جدول 1 تعریف شده است .

3.2. تصاویر بی نظم و فریم اول: تشخیص هموگرافی مبتنی بر کانتور

برای تصاویر بی نظم یا فریم اول تصاویر منظم، هموگرافی ها بر اساس مدل کانتور جسم مسطح که شامل دو مرحله فرضیه سازی و تأیید است، شناسایی شد. در مرحله اول، یک ساختار چهارگوش مانند که از دو گوشه تصویر تشکیل شده بود، انتخاب شد و برای ایجاد تعدادی فرضیه هموگرافی تقریبی استفاده شد. در مرحله دوم، فرضیه های هموگرافی به سرعت با تطبیق مجموعه خط مدل با خط تصویر تنظیم شده در منطقه محلی در اطراف خط مبنا با توجه به تابع فاصله بین بخش های خط به دست آمده از یک سری نقاط لبه نویز در حالت احتمالی رتبه بندی شدند. رویکرد.

اگرچه خطوط تصویر به دلیل انسداد یا تشخیص خط معیوب تکه تکه شدند، هموگرافی با یک راه حل بسته از چهار مطابقت خطوط مدل و خطوط تصویر تعیین شد. مجموعه کوچکی از هموگرافی ها با قطعیت تقریباً بالا باید ایجاد شود، شامل حداقل یک هموگرافی نزدیک به تبدیل دقیق. مشابه [ 55 ]، یک هموگرافی تقریبی با بهره برداری از ساختارهای گوشه مانند به دست آمد. با این حال، روش پیشنهادی بر این فرض تکیه نمی کند که خطوط تصویر خاص، که خطوط پایه نامیده می شوند، تکه تکه نشده اند [ 55]]. در این تحقیق، سازه‌های گوشه‌مانند توسط جفت پاره‌های خطی که در یک نقطه مشترک با فاصله و زاویه تقاطع مشخصی بین یکدیگر ختم می‌شوند، تشکیل شدند. بر خلاف روش پیشنهادی در [ 55 ]، که تنها از یک تناظر از ساختار گوشه‌مانند برای ایجاد فرضیه‌های وابسته استفاده می‌کرد، روش حاضر فرضیه‌های هموگرافی را از دو تناظر ساختار گوشه‌مانند (که به عنوان چهارگوش نشان داده می‌شود) تولید کرد. مانند ساختار). در دو ساختار گوشه‌مانندی که یک پاره خط مشترک دارند (نگاه کنید به گوشه 1 و گوشه 3 شکل 3 )، خطوط پایه در صورتی انتخاب می‌شوند که خطوط با ساختار گوشه‌مانند دو بخش خط دیگر در همسایگی مطابقت داشته باشند. در شکل 3 نشان داده شده است .

نقاط پایانی خط پایه را نمی توان مستقیماً مورد استفاده قرار داد زیرا ممکن است خط پایه تکه تکه شود. نقاط پایانی خط پایه را می توان با دو خط دیگر قطع کرد، زیرا آنها در تبدیل پرسپکتیو ثابت هستند [ 55 ]. همانطور که در شکل 3 نشان داده شده است ، خط تصویر پایه است

{\tilde{I}}_{0}

، و نکات

{\tilde{P}}_{0}, {\tilde{P}}_{1}

محل تقاطع با دو خط دیگر هستند

{\tilde{I}}_{3}, {\tilde{I}}_{1}

. با توجه به تطابق واحد ساختار چهار گوش در صفحه مدل و صفحه تصویر، دو جفت نقطه

{P_{0}, {\tilde{P}}_{O}}

{P_{1}, {\tilde{P}}_{1}}

می توان به دست آورد. تبدیل هموگرافی دارای هشت DOF است. با این حال، روش تنها چهار محدودیت دارد (یعنی دو قید برای هر جفت نقطه). بنابراین، یک محدودیت نسبت که نسبت طول دو خط دیگر است

{\tilde{I}}_{1}, {\tilde{I}}_{3}

با آن از خط پایه بدون تغییر باقی می ماند در تبدیل هموگرافی تحمیل شد. بنابراین، نقطه پایانی دوم

{\tilde{P}}_{2}

از خط

{\tilde{I}}_{1}

می توان با توجه به معادله زیر به دست آورد:

| | پ 2 - پ 1 | | | | پ 2 - پ 1 | | = | | پ ˜ 2 - پ ˜ 1 | | | | پ ˜ 1 - پ ˜ 0 | |

(3)

جایی که $P_{0}$ و $P_{1}$ نقاط انتهایی خط مدل پایه هستند $L_{0}$ و $P_{2}$ نقطه پایانی دوم خط است $L_{1}$ . ${\tilde{P}}_{2}$ با معادله زیر به دست می آید:

پ ˜ 2 = پ ˜ 1 + | پ 2 - پ 1 | | پ 1 - پ 0 | ⎡ ⎣ ⎢ ⎢ ج__β ˜ O s i n β ˜ O 0 - s i n β ˜ O ج__β ˜ O 0001 ⎤ ⎦ ⎥ ⎥ (پ ˜ 1 - پ ˜ 0)

(4)

نقطه پایانی دوم

{\tilde{P}}_{3}

از خط تصویر

{\tilde{I}}_{2}

را می توان به همین ترتیب به دست آورد. سپس مطابق معادله زیر می توان چهار تناظر نقاط مدل و تصویر را به دست آورد:

پ ˜ من = 1 λ من اچ پ من, i = 0, 1, 2, 3

(5)

اگر دو سازه گوشه مانند یک چهار ضلعی تشکیل دهند (نگاه کنید به گوشه 1 و گوشه 2 در شکل 3 )، سپس چهار جفت نقطه

{P_{0}, {\tilde{P}}_{0}}, {P_{1}, {\tilde{P}}_{1}}, {P_{2}, {\tilde{P}}_{2}}, {P_{3}, {\tilde{P}}_{3}}

می توان بدون هیچ فرضی به دست آورد. برای هر مکاتبه

{P_{i}, {\tilde{P}}_{i}}

، دو معادله خطی در هشت مجهول در بود

H .

H

را می توان به صورت خطی با چهار نقطه متناظر حل کرد که شی مسطح کاغذ A4 می تواند آنها را برآورده کند.

مرحله دوم رتبه بندی تمامی فرضیه های هموگرافی از مرحله اول است. اندازه گیری هندسی مجموعه خط مدل (طرح شده توسط یک هموگرافی تقریبی) و مجموعه خط تصویر محاسبه شد. فقط زیرمجموعه‌ای از خطوط اطراف خط پایه (اگر دو گوشه یک چهارگوش تشکیل دهند، خط مورب از یک گوشه به گوشه دیگر به عنوان خط پایه انتخاب می‌شود) با خط تصویر مجموعه‌ای مقایسه شد تا اندازه‌گیری تشابه به سرعت محاسبه شود. اجازه دهید

M = {L_{1}, L_{j}, \dots L_{M}}

خطوط مدل باشد و

N = {{\tilde{I}}_{1}, {\tilde{I}}_{2}, \dots {\tilde{I}}_{N}}

خطوط تصویر باشد

N (I) = {{\tilde{I}}_{σ_{1 (\tilde{I})}}, {\tilde{I}}_{σ_{1 (\tilde{I})}}, \dots {\tilde{I}}_{σ_{N_{n b r} (\tilde{I})}}}

زیر مجموعه ای از خطوط تصویر است که خط تصویر پایه را احاطه کرده اند

\tilde{I}

، جایی که

N_{n b r} > M

. سپس شباهت هندسی بین مجموعه خط مدل

M

و خط تصویر مجموعه

N (I)

در اطراف خط تصویر پایه

\tilde{I}

از رابطه زیر بدست می آید:

اس (م ، اس ، اچ) = \sum L j \in م {اس m a x ، دقیقه من من \in ن (من ˜) د (من ˜ من ، Ψ (L j ، اچ))}

(6)

جایی که $d (•)$ نشان دهنده فاصله بین دو خط در تصویر است که در ادبیات [ 56 ] تعریف شده است. هر چه ارزش آن کمتر باشد $S (M, S, H)$ ، هر چه مجموعه خط مدل شبیه به خطوط تصویر در هموگرافی فعلی باشد $H$ . پارامتر $S_{m a x}$ برای اطمینان از اینکه هموگرافی های صحیح زمانی که یک خط مدل به طور کامل در تصویر مسدود شده است، به شدت جریمه نمی شوند، استفاده شد. در معادله (6)، فرضیه های هموگرافی ایجاد شده از ساختارهای چهارگوش مانند را می توان رتبه بندی کرد. سپس، فرضیه های رتبه بندی شده با روش بهینه سازی هموگرافی پیشنهادی (که در بخش 3.3 ارائه شده است ) پالایش شدند و فرضیه با کمترین خطای تراز به عنوان هموگرافی بهینه انتخاب شد.

3.3. تصاویر مرتب: بهینه سازی هموگرافی مبتنی بر کانتور (ردیابی)

در بخش 3.2 ، هموگرافی ها مربوط به اولین فریم از تصاویر منظم (یعنی تصاویر ویدئویی) هستند. سپس، برای بقیه تصاویر، بهینه سازی (یعنی استراتژی ردیابی) برای به دست آوردن هموگرافی های بهینه (بعدی) پیشنهاد شد. همانطور که در شکل 4 ب نشان داده شده است، لبه مدل دوبعدی کارت شناسایی با استفاده از هموگرافی قبلی جسم مسطح به صفحه تصویر نمایش داده شد. به جای پرداختن به خود پاره خط، پاره خط پیش بینی شده (خط توپر سیاه در شکل 4 الف) با یک سری نقاط (نقاط قهوه ای در شکل 4)الف) نمونه برداری شد. سپس تست دید برای هر یک از نقاط نمونه انجام شد، زیرا ممکن است برخی از این نقاط نمونه خارج از میدان دید دوربین باشند. در هر یک از نقاط نمونه قابل مشاهده، جستجوی 1 بعدی در امتداد جهت عادی خط مدل پیش‌بینی‌شده برای یافتن نقطه لبه با قوی‌ترین شیب یا نزدیک‌ترین مکان در متناظر آن استفاده شد. در نهایت، مجموع خطاهای بین نقاط نمونه و نقاط تصویر متناظر آنها به حداقل رسید تا برای هموگرافی بین فریم ها حل شود.

همانطور که در شکل 4 الف نشان داده شده است،

P_{i}

{\tilde{p}}_{i}

مجموعه ای از نقاط نمونه پیش بینی شده و نقاط تصویر متناظر آنها با حضور نویز مشاهده در جهت عادی هستند. سپس، یک تابع برای اندازه گیری فاصله نرمال بین تعریف می شود

P_{i}

{\tilde{p}}_{i} :

د من = n تی من (پ من ، پ ˜ من)

(7)

جایی که $n_{i}$ بردار نرمال واحد نقطه نمونه پیش بینی شده است $P_{i}$ . با فرض توزیع گاوسی برای $d_{i}$ ، مسئله بهینه سازی هموگرافی را می توان به صورت زیر ارائه کرد:

اچ ˆ = a r g m i n اچ ⎛ ⎝ ⎜ - \sum i = 1 اس ورود به سیستم (p (Ψ (پ من ، اچ) | پ ˜ من)) ⎞ ⎠ ⎟ = a r g m i n اچ \sum i = 1 اس (د من) 2

(8)

جایی که $S$ تعداد نقاط مدل است. مسئله بهینه سازی را می توان با تکنیک غیرخطی حل کرد. در این پژوهش از تکنیک حداقل مربعات تکراری استفاده شد.

3.4. بازیابی اولیه دوربین درونی و پارامتر ژست

با یک سری از ماتریس های هموگرافی، به عنوان مثال، ماتریس H (بیش از سه جهت)، پارامترهای دوربین ذاتی و وضعیت را می توان با استفاده از یک راه حل شکل بسته تخمین زد [ 57 ].

مورد منحط، مانند روش کالیبراسیون منظم با استفاده از صفحه شطرنج، نیز وجود دارد [ 57 ]. همانطور که در شکل 5 نشان داده شده است، هنگامی که دوربین ثابت بود و جسم روی صفحه گردان قرار داشت، تصاویر چند نما به صورت یک حرکت مسطح خالص [ 58 ] گرفته شدند . در آن شرایط، این روش نتوانست پارامترهای دوربین را بازیابی کند، اگرچه هموگرافی های متعدد تخمین زده شد. دوربین های متحرک دستی که حرکت مسطح خالص را می شکنند می توانند تضمین کنند که از چنین حرکتی تصاویر جلوگیری می شود.

4. اصلاح پارامتر با تنظیم بسته نرم افزاری

پارامترهای دوربین ذاتی و وضعیت تصاویر چندگانه در بخش 3 ارائه شده است . با این حال، این پارامترها ممکن است به دلیل نویزهای تصویر و محدودیت نرم مدل مبتنی بر کانتور به طور منطقی دقیق نباشند [ 59 ]. بنابراین، در این بخش، پارامترها پالایش و در اطلاعات مقیاس برای به دست آوردن یک چارچوب قابل اندازه‌گیری در نظر گرفته شدند. به طور خاص، پارامترها با استفاده از مدل تنظیم بسته نرم افزاری [ 60 ] با نقاط کنترل مسطح مدل مبتنی بر کانتور، که در مرحله تخمین هموگرافی در بخش 3 [ 61] نیز مورد استفاده قرار گرفتند، پالایش شدند.]. نقاط کنترل مسطح نقش GCP ها را برای به دست آوردن مقیاس واقعی پارامترهای پوز بازی می کنند. با توجه به مسئله بهینه سازی در ساختار سه بعدی و پارامترهای مشاهده، تنظیم بسته نرم افزاری بازسازی بهینه را بر اساس این فرض به دست آورد که نویز از ویژگی های تصویر مشاهده شده نویز گاوسی سفید در نظر گرفته می شود [62 ] .

به طور کلی، شرایط زیر برای روش تنظیم بسته نرم افزاری ضروری بود: (1) تصاویر ورودی باید دارای درجات همپوشانی کافی باشند و (2) مقدار پارامتر اولیه باید مشخص باشد. همه این شرایط را می توان در این چارچوب که در بخش های قبلی بیان شد تضمین کرد. ابتدا، تصاویر با تشخیص هموگرافی مشخص شده در بخش 3.2 مرتب شدند . دوم، درجه همپوشانی به راحتی توسط حالت عکسبرداری تضمین می شد (یعنی تصاویر ویدئویی یا حرکت کوچک دوربین). در نهایت، پارامترهای دوربین ذاتی اولیه و وضعیت در زیربخش 3.4 برآورد شد. بنابراین شرط دوم نیز برآورده شد. یک بازسازی معمولی پراکنده مشابه SfM در ابتدا بر اساس این شرایط اجرا شد، به طوری که تصاویر می توانند ساختار جهت گیری نسبی را در بخش بعدی به دست آورند. سپس، یک مدل تنظیم بسته‌ای ساخته شد تا تمام پارامترها را با استفاده از بازسازی پراکنده و پارامترهای درونی دوربین و حالت، همانطور که در بخش 3.4 نشان داده شده است، اصلاح کند .

4.1. بازسازی پراکنده

در این بخش، بخشی از جریان رایج SfM برای به دست آوردن متناظرها و مسیرهای تصاویر گرفته شد. اولین گام یافتن ویژگی های نقطه ای با استفاده از SIFT [ 63 ] یا آشکارساز نقطه کلیدی SURF [ 64 ] بود. مرحله دوم تطبیق آن نقاط کلیدی با هر جفت تصاویر چندگانه با استفاده از روش FLANN [ 65 ] بود. سپس، ماتریس بنیادی متناظر با استفاده از تکرار RANSAC [ 66 ] قویاً برآورد شد. در طول هر تکرار RANSAC، ماتریس بنیادی کاندید با استفاده از الگوریتم هشت نقطه‌ای و به دنبال آن پالایش غیرخطی [ 58] محاسبه شد.]. متعاقباً، منطبقاتی که نسبت به ماتریس بنیادی بازیابی شده پرت بودند حذف شدند. هنگامی که تعداد ورودی‌ها کمتر از آستانه فعلی بود (یعنی 20 در چارچوب ما استفاده می‌شود)، همه موارد تطابق از بررسی حذف شدند [ 22 ]. در نهایت، پس از یافتن مجموعه‌ای از تطابق‌های ثابت بین هر جفت تصویر با استفاده از روش ردیابی مبتنی بر اتحاد یافتن، همه تطابق‌ها از نظر هندسی در مسیرها سازمان‌دهی شدند [ 67 ].

برخلاف روش SfM، که هدف آن بازیابی مجموعه‌ای از پارامترهای دوربین و یک مکان سه بعدی برای هر مسیر با استراتژی افزایشی [ 22 ] بود، روش پیشنهادی قبلاً پارامترهای اولیه دوربین را با تخمین هموگرافی در بخش 3.4 حل کرده بود . بنابراین، نقاط پراکنده سه بعدی را می توان مستقیماً توسط جفت های مثلثی، تعداد زیادی کبریت و خطوط پایه به دست آورد. آن نقاط ویژگی به عنوان ویژگی های نوع I تعریف شد. سایر نقاط نوع (که به عنوان ویژگی های نوع II تعریف می شوند) نقاط گوشه مدل کانتور بودند (همانطور که در شکل 2 نشان داده شده است ). نقاط ویژگی نوع II به عنوان GCP در روش تنظیم بسته بعدی در نظر گرفته شد.

4.2. تنظیم بسته نرم افزاری

یک مجموعه داده قبلاً بدست آمده است که با سه شرط از روش تنظیم بسته که قبلاً ذکر شد مطابقت دارد. یک مدل تنظیم بسته نرم افزاری با نقاط کنترل مسطح را می توان ساخت و حل کرد که در این بخش برای اصلاح پارامترها توضیح داده خواهد شد. همانطور که در شکل 6 نشان داده شده است ، یک پرتو دوربین متصل کننده وجود دارد

C

و نقطه فضایی

P

در میان بسته نرم افزاری، و این پرتو با صفحه تصویر مربوطه در قطع می شود

p

در شکل 6 ،

C

مرکز تصویری دوربین بود،

o

نقطه اصلی مربوطه با مختصات بود

(c_{x}, c_{y})

و در حالی که فاصله کانونی معادل دوربین بود

(f_{x}, f_{y})

. پارامترهای اعوجاج لنز بود

(k_{0}, k_{1}, k_{2}, k_{3}, k_{4})

. پارامترهای پوز دوربین یک بردار ترجمه بود

T (T_{X}, T_{Y}, T_{Z})

و ماتریس چرخش

R

با دو عبارت معادل زیر: (1) زاویه چرخش

(A_{X}, A_{Y}, A_{Z})

و (2) نه عنصر

r_{0} ~ r_{s}

از ماتریس چرخش

P

نقطه ویژگی فضایی مربوط به نقطه تصویر بود

p

. تحریف از

p

به عنوان امضا شد

(δ_{x}, δ_{y})

. علاوه بر این،

O_{1} ~ O_{4}

نقاط ویژگی نوع II با نقاط تصویر مربوطه بودند

o_{1} ~ o_{4}

. همانطور که در شکل 1 نشان داده شده است ، رابطه بین نقطه ویژگی فضا و نقطه تصویر متناظر با معادلات همخطی [ 68 ] شرح داده شد:

⎧ ⎩ ⎨ ⎪ ⎪ x = δ ایکس + ج ایکس + f ایکس r 0 ایکس + r 1 Y + r 2 ز + تی ایکس r 6 ایکس + r 7 Y + r 8 ز + تی ز y = δ y + ج y + f y r 3 ایکس + r 4 Y + r 5 ز + تی Y r 6 ایکس + r 7 Y + r 8 ز + تی ز

(9)

معادله (9) معادلات مشاهده در مدل تعدیل دسته [ 60 ] نامیده شد و مشاهدات به مختصات اشاره دارد.

(x, y)

از نقاط ویژگی تصویر پارامترهای ناشناخته رویه تنظیم بسته شامل نقاط ویژگی فضا (از جمله نوع I و II) و پارامترهای دوربین است. محدودیت روش تنظیم بسته، شرایط همخطی است که در رابطه (9) توضیح داده شده است، و این محدودیت اغلب در بینایی کامپیوتر استفاده می شود.

روش تنظیم بسته نرم افزاری با استفاده از یک تصویر ویدئویی نشان داده شده است، همانطور که در شکل 7 نشان داده شده است . ابتدا، پارامترهای اولیه دوربین با روشی که در بخش 3 توضیح داده شد، به دست آمد . سپس مطابق شکل و ردیابی ویژگی، همانطور که در شکل 7 a,b نشان داده شده است، اجرا شد و نقاط سه بعدی پراکنده با مثلث بندی مسیرهای ویژگی به دست آمد. متعاقباً، پارامترهای اولیه دوربین، نقاط پراکنده سه بعدی و GCP (نقاط کنترل مسطح) تحت روش تنظیم بسته‌ای قرار گرفتند. نتیجه همگرای پارامترهای دوربین و نقاط سه بعدی پراکنده، همانطور که در شکل 7 نشان داده شده است، به دست آمد.ج. نقاط پراکنده سه بعدی بهبود مشهودی را در حس بصری نشان دادند. مقایسه کمی بیشتر در این آزمایش نشان داده خواهد شد.

5. نتایج تجربی

5.1. تشخیص و ردیابی هموگرافی

هموگرافی از اجسام مسطح به صفحه تصویر در یک محیط تحت طیف گسترده ای از دیدگاه ها شناسایی و ردیابی شد تا روش پیشنهادی تایید شود. تمامی تصاویر توسط گوشی موبایل گرفته شده است. قطعات خط مورد استفاده برای تشخیص هموگرافی در تصاویر با روش LSD [ 69 ] شناسایی شدند.

الف. عملکرد تشخیص هموگرافی برای تصاویر بی نظم: در این آزمایش، اشیاء نامتقارن نشان داده شده در مرحله اول شکل 1 در محیط قرار گرفتند و تصاویر چند نما بی نظم توسط یک دوربین متحرک در موقعیت ها و جهت های مختلف به دست آمد. همانطور که در شکل 8 الف نشان داده شده است، خطوط شناسایی شده در تصاویر به رنگ قرمز ترسیم شده اند، در حالی که خطوط سبز ضخیم مطابق با پیش بینی خطوط مدل نقشه برداری شده توسط هموگرافی شناسایی شده است. شکل 8a تعداد زیادی از بخش‌های خط تصویر را نشان می‌دهد که در پس‌زمینه توزیع شده‌اند، مانند کتاب‌های دیگر و میز کار، در حالی که تنها تعداد کمی از بخش‌های خط در ناحیه شی شناسایی شده است. در چنین حالتی، روش پیشنهادی می‌تواند یک تشخیص دقیق هموگرافی ارائه دهد. علاوه بر این، زاویه، با توجه به جهت‌گیری صفحه حالت، نسبتاً بزرگ بود و روش پیشنهادی هنوز هم می‌تواند اجسام مسطح را تشخیص دهد. اگرچه انحراف در تشخیص هموگرافی وجود دارد، اما برای بهینه سازی هموگرافی کافی است و می تواند منجر به تخمین دقیق هموگرافی شود. هنگامی که همه هموگرافی ها تشخیص داده شدند، می توان تصاویر را با ژست دوربین بازآرایی کرد تا یک مجموعه نظم فضایی به دست آید، که یک شکل چند ضلعی بدون تقاطع است، همانطور که در شکل 8 نشان داده شده است.ب این عملیات می‌تواند تصاویر دوتایی با مناطق همپوشانی تا حد امکان ایجاد کند تا از تطابق و ردیابی موفقیت آمیز ویژگی اطمینان حاصل شود.

ب- انجام ردیابی هموگرافی برای تصاویر منظم: اجسام در محیطی قرار گرفتند که تحت چرخش و ترجمه زیاد قرار گرفتند که در قالب تصاویر ویدئویی گرفته شد تا عملکرد روش ردیابی هموگرافی پیشنهادی تایید شود. برخی از نتایج نمونه برداری شده از تصاویر ویدئویی به نمایش گذاشته شد. همانطور که در شکل 9 نشان داده شده است ، روش پیشنهادی می تواند تطابق خوبی با کانتور اشیاء در تصاویر ارائه دهد. پارامترهای وضعیت تصاویر ویدئویی توسط چارچوب پیشنهادی محاسبه شد و روش تطبیق متراکم [ 21 ] بر اساس پارامترهای دوربین اجرا شد.

5.2. ارزیابی دقت

در این بخش، روش تخمین پوز و روش مبتنی بر گوشه ابتدا با استفاده از چهار تصویر نمونه برداری شده از ویدیوی گرفته شده با گوشی هوشمند، همانطور که در شکل 10 نشان داده شده است، مقایسه شد . سپس، یک نتیجه بازسازی سه بعدی برای تأیید صحت پارامتر استفاده شد.

تصویر گرفته شده توسط گوشی هوشمند 960×540 بود. در آزمایش، صفحه شطرنج شامل 10×13 گوشه داخلی و 23 خط بود. نتایج در جدول 2 نشان داده شده است . نتایج روش پیشنهادی تفاوت جزئی را از نتایج روش مبتنی بر گوشه نشان داد. زمانی که تنها از چهار لبه الگوی صفحه استفاده شد، روش پیشنهادی نتایج ثابتی را با روش مبتنی بر گوشه ارائه داد، و افست پارامترهای دوربین، که پنج پیکسل است، نسبت به روش مبتنی بر گوشه کوچک بود. آخرین ستون جدول 2RMS بازپرداخت سه روش را نشان می دهد. هنگامی که تمام 23 خط مورد استفاده قرار گرفت، روش پیشنهادی تقریباً همان خطای بازپرداخت مجدد را با روش مبتنی بر گوشه ارائه داد. روش مبتنی بر چهار خط یک خطای بازپرداخت کمی بزرگتر را برمی گرداند، زیرا تنها حداقل خطوط مدل استفاده شده است.

تعداد خطوط از چهار تا 23 برای بررسی بیشتر پایداری روش پیشنهادی متفاوت بود. نتایج در شکل 11 نشان داده شده است .

c_{x}, c_{y}

بازیابی شده توسط روش پیشنهادی تقریباً با مقادیر برآورد شده توسط روش مبتنی بر گوشه، تنها با یک انحراف کوچک، یکسان بود. خطاهای بازطراحی روش پیشنهادی به طور قابل توجهی از چهار به 17 کاهش یافت. زمانی که این تعداد از 17 بیشتر بود، خطای بازطراحی نزدیک به روش مبتنی بر گوشه بود.

تشخیص و ردیابی هوموگرافی قوی می تواند پارامترهای اولیه خوبی را برای تصاویر چند نمایشی فراهم کند. بنابراین، مدل تنظیم بسته نرم افزاری می تواند به طور موثر همگرا شود. تجهیزات مقایسه برای تأیید صحت روش پیشنهادی تنظیم شد. یک صفحه شطرنج در صحنه قرار داده شد. تصاویر چند نمای (تعداد کل = 24) از اطراف صحنه گرفته شد (همانطور که در شکل 12 نشان داده شده است ).

سپس، پارامترهای دوربین (یعنی پارامترهای دوربین ذاتی و حالت) با روش کالیبراسیون صفحه شطرنج کلاسیک [ 57 ] و روش پیشنهادی محاسبه شد. جفت شدن پارامترهای دوربین ذاتی و پوز اهمیت کمتری در مقایسه مقادیر پارامترها دارد. بنابراین، مقایسه در فضای سه بعدی تنظیم شد زیرا دقت ژست مهمترین عنصر در تطابق متراکم است. همانطور که در شکل 13 نشان داده شده استسه روش برای محاسبه پارامترهای دوربین یک مجموعه تصویر چند نمای مشابه طراحی شده است: (1) homo_exp: پارامترهای دوربین از تخمین هموگرافی محاسبه شده است که به آن پارامترهای اولیه این چارچوب گفته می شود. (2) homo&ba_exp: پارامترهای اولیه دوربین homo_exp با روش تنظیم بسته‌ای اصلاح شدند. و (3) chessbd_exp: پارامترهای دوربین به روش تخته شطرنج محاسبه شد. سه مجموعه از پارامترها در همان روش تطبیق متراکم استفاده شد [ 21 ]. نتایج ابر نقطه برای ارزیابی دقت حالت دوربین مقایسه شد.

همانطور که در شکل 13 نشان داده شده است ، خطوط چهار لبه بیرونی صفحه شطرنج به عنوان یک مدل کانتور برای چارچوب ما در نظر گرفته شده است. پارامترهای اولیه توسط استراتژی ردیابی هموگرافی که در بخش 3.3 توضیح داده شده است از هموگرافی های متعدد تجزیه می شوند .

همانطور که در شکل 14 نشان داده شده است ، تصویر عمق chessbd_exp به عنوان حقیقت اصلی در نظر گرفته شده است. قابل ذکر است که تصویر عمق روش homo_exp بدترین بود زیرا مقادیر عمق ناپیوسته در تضاد با صحنه واقعی بود و تصویر عمق homo&ba_exp به حقیقت زمین نزدیک بود.

همانطور که در شکل 15 نشان داده شده است، رئوس ابرهای سه نقطه 570، 790، 799، 157 و 820، 155، از بالا به پایین، (الف) و (ب) هستند. وقتی پارامترهای دوربین دقیق باشند، ابرهای نقطه متراکم تر می شوند.

همانطور که در شکل 16 نشان داده شده است، قسمت های بسیار جالب با بیضی سبز مشخص شده اند. در ستون اول، خط متن «2.72 کیلوگرم» که با بیضی سبز مشخص شده بود در روش homo&ba_exp و chessbd_exp واضح تر و واضح تر از روش homo_exp بود. همین پدیده در ستون های دوم و سوم شکل رخ داده است. در ستون آخر نمای کناری جدول در صحنه نشان داده شد. در روش homo_exp و chessbd_exp یک ناهماهنگی واضح و در روش homo&ba_exp هم ترازی خوبی مشاهده شد. چنین ناهماهنگی در گوشه سمت چپ جلد کتاب در ستون دوم نشان داده شده است. خطای ابرهای نقطه ای را می توان به پارامترهای دوربین ارائه شده توسط سه روش نسبت داد زیرا بازسازی متراکم و تصاویر ورودی همه در سه روش یکسان بودند.

ابرهای نقطه ای روش های homo&ba_exp و chessbd_exp با یک سیستم مختصات تراز شدند. فقط یک ترجمه کوچک بین این دو روش به دلیل نقاط اصلی متفاوت مشاهده شد. همانطور که در شکل 17 نشان داده شده است، تجزیه و تحلیل بایاس بین دو ابر نقطه در یک نقشه خطای رنگ محاسبه شد.، که به عنوان فاصله بر حسب میلی متر اندازه گیری شد. تقریباً 90 درصد نقاط در مناطق 0.72 میلی متر تا 0.72 میلی متر (رنگ سبز) و میانگین فاصله و انحراف معیار دو ابر نقطه تراز به ترتیب 0.90 میلی متر و 1.3 میلی متر بود. مقدار کامل بودن که اندازه گیری می کند که پارامترهای ارائه شده توسط روش homo&ba_exp چقدر حقیقت زمین را پوشش می دهند (روش سنتی تخته شطرنج). در مقایسه با روش SfM، پارامترهای دوربین و بازسازی سه بعدی بعدی همه دارای اطلاعات مقیاس بودند زیرا از اندازه واقعی مدل کانتور استفاده شد. بنابراین، چارچوب پیشنهادی را می توان در وظایف چشم انداز، که به اطلاعات در مقیاس واقعی نیاز دارد، استفاده کرد.

5.3. برنامه بازسازی سه بعدی

حالت دوربین برای بازسازی سه بعدی حیاتی است، به ویژه چارچوب قابل اندازه گیری، که می تواند اندازه واقعی مدل سه بعدی را ارائه دهد. همانطور که در شکل 18 نشان داده شده است ، هدف بازیابی شکل سه بعدی مجسمه در فضای باز است. مشابه کاغذ A4، لبه سکوی مجسمه (اندازه = 4 متر × 4 متر) به عنوان جسم مسطح در این چارچوب استفاده شد و یک ویدیو از اطراف مجسمه با استفاده از یک گوشی هوشمند (iPhone 5S؛ اندازه ویدیو = 1920) ضبط شد. × 1080). پارامترهای دوربین ذاتی و وضعیت تصاویر چند نمای (تقریباً 100 فریم) تجزیه شده از ویدیو از این چارچوب به دست آمد. یک رویکرد بازسازی سه بعدی مبتنی بر شبح ترکیبی و سازگار با عکس [ 70 ] با مجموعه‌ای از تصاویر شبح تقسیم‌بندی شده با روش مجموعه سطح [ 71] اجرا شد.]. ابر نقطه با استفاده از روش پواسون [ 72 ] در قالب مش ساخته شد، و سپس، مش با تصاویر رنگی بافت می شود [ 73 ]. نتایج قابل توجه بازسازی سه بعدی داخلی در شکل 19 و شکل 20 نشان داده شده است (تصاویر همچنین از ویدیوی 1080p گرفته شده است). جدول 3 برای نشان دادن آزمایش ها در سناریوهای مختلف طراحی شده است.

از آزمایش ها می توان نتیجه گرفت که روش تخمین پوس در بازسازی سه بعدی با موفقیت به کار گرفته شد. این نه تنها برای اشیاء کوچک در داخل خانه (همانطور که در شکل 19 و شکل 20 نشان داده شده است )، بلکه برای اشیاء بزرگ در فضای باز نیز مناسب بود (همانطور که در شکل 18 نشان داده شده است ). علاوه بر این، مدل‌های کانتور با اندازه استاندارد و ساختار مسطح (همانطور که در جدول 3 نشان داده شده است ) اجرای آزمایش را آسان کرد. علاوه بر این، روش عکاسی در سه آزمایش (از ستون سوم جدول 3) متفاوت بود) و بر نتایج تأثیری نداشت. در پایان، زمان محاسباتی بازسازی پراکنده، که بر روی معماری 3.00 گیگاهرتز Intel Xeon E3-1220 v5 اندازه‌گیری شد، در ستون پنجم جدول 3 نشان داده شده است .

6. بحث

در این مطالعه چارچوب کاملی که با هدف تخمین وضعیت تصاویر چند نمای ارائه شده است. تحت چارچوب پیشنهادی، پارامترهای دوربین ذاتی و وضعیت تصاویر چند نمایشی نامنظم یا منظم را می توان بازیابی کرد. روش پیشنهادی در مقایسه با سایر روش ها دارای مزایای زیر است:

(1): روش تخمین هموگرافی را می توان نسخه اصلاح شده ردیابی سه بعدی مبتنی بر مدل [ 74 ، 75 ] در نظر گرفت که برای تخمین موقعیت شش DOF دوربین توسعه یافته است. این روش به جای تخمین اولیه پارامترهای تبدیل affine و سپس پارامترهای غیر آفین باقیمانده [ 76 ]، از یک فرآیند بهینه‌سازی تکراری برای پالایش مستقیم هموگرافی شناسایی شده استفاده کرد.
(2): در مقایسه با یک کار مشابه [ 77 ]، که در آن نگاشت به عنوان تبدیل افین مدل شد و تناظرهای خط در فرآیند پالایش مورد استفاده قرار گرفت، روش پیشنهادی هشت DOF هموگرافی را تشخیص داد و تبدیل اولیه را به طور مکرر با برخورد با کانتور شی به عنوان یک بهینه کرد. مجموعه ای از نقاط نمونه به گونه ای که لبه منحنی را بتوان یکپارچه کرد. در این رویکرد، هموگرافی اولیه در چارچوب فرضیه‌سازی و تأیید مجموعه بی‌نظیر خطوط شناسایی شد. علاوه بر این، هموگرافی بهینه شده با به حداقل رساندن خطاهای بین نقاط نمونه و نقاط تصویر مربوط به آنها با استفاده از جستجوی 1 بعدی در جهت عادی به دست آمد.
(3): تخمین هموگرافی تقریبی قوی یک مرحله حیاتی است که می‌تواند پارامترهای اولیه خوبی را برای روش تنظیم بسته ارائه دهد و می‌تواند تصاویر بی‌نظم چند نمایشی را به تصاویر منظم چند نمایشی تبدیل کند. روش پیشنهادی بر به دست آوردن پارامترهای دوربین و ژست ذاتی با اطلاعات مقیاس و بهبود دقت آن پارامترها با روش تنظیم بسته‌ای متمرکز بود.

علاوه بر این، برای کاربران عمومی که وظایف بینایی را انجام می دهند، کالیبراسیون مسطح آماده شده ممکن است همیشه در دسترس نباشد. با این حال، اقلام رایج در زندگی روزمره دارای اندازه استاندارد و ساختار مسطح هستند. یک روش ساده تر و عملی تخمین پوز با بهره برداری از اطلاعات لبه پیشنهاد شد.

7. نتیجه گیری

در این مطالعه، چارچوبی طراحی شد که می‌تواند پارامترهای دوربین ذاتی و موقعیت تصاویر چند نمای کالیبره نشده را از طریق روش تنظیم بسته‌ای و تخمین هموگرافی مدل کانتور اجسام مسطح ارائه دهد. هدف این چارچوب کمک به کاربر عمومی برای انجام وظایف بینایی بدون الگوی کالیبراسیون مسطح آماده شده (یعنی صفحه شطرنج) است. با این حال، اقلام رایج در زندگی روزمره دارای اندازه استاندارد و ساختار مسطح هستند (به مرحله I از شکل 1 مراجعه کنید). با بهره‌برداری از اطلاعات لبه، یک روش تخمین پوز آسان، عملی و خودکار برای تصاویر کالیبره نشده چند نمای پیشنهاد شد. در عمل می توان از این روش برای اندازه گیری اندازه واقعی شی استفاده کرد. برای مثال می توان از شکل سه بعدی پای انسان برای اندازه گیری چندین داده کلیدی در طراحی کفش استفاده کرد. علاوه بر این، تفاوت در اندازه بین دو جسم را می توان با توجه به همان مدل مسطح آماده شده اندازه گیری کرد. این روش همچنین می تواند نقش مهمی در اندازه گیری قطعات صنعتی و حفظ دیجیتالی آثار باستانی داشته باشد.

هموگرافی تقریبی در چارچوب فرضیه‌سازی و تأیید به‌دست آمد. ساختار چهارگوش مانند برای اطمینان از تشخیص خودکار و پایدار هموگرافی در محیط های رایج استفاده شد. هموگرافی قوی و تقریبی می‌تواند پارامترهای دوربین و جهت‌گیری اولیه خوبی را ارائه دهد. علاوه بر این، تصاویر نامنظم را می توان به یک مجموعه منظم بازآرایی کرد، که در پردازش تصویر چند نما مفید است. پس از آن، یک روش پالایش پارامترهای دوربین ذاتی و وضعیت با روش تنظیم بسته‌ای انجام شد. نتایج تجربی نشان داد که روش پیشنهادی می‌تواند به راحتی یک چارچوب چند نمای با اطلاعات مقیاس در مقایسه با روش جهت‌گیری مطلق سنتی و روش SfM ایجاد کند. روش پیشنهادی دارای ویژگی های قابل توجهی است، به عنوان مثال، دایره و چهارگانه در عمل می توان تمامی این ویژگی ها را به مرحله تخمین هموگرافی اضافه کرد. با این حال، تنها ویژگی های خط اشیاء مسطح در این چارچوب استفاده شد. پیکربندی باید خواسته ها را برآورده کند که تعداد خطوط باید حداقل چهار باشد و باید دارای نقاط تقاطع باشد. برآورده کردن خواسته های پیکربندی چالش اصلی بود که ما با آن روبرو شدیم. هدف مطالعه آینده استفاده از همه ویژگی‌ها است که می‌تواند منجر به تخمین ژست راحت‌تر و دقیق‌تر شود. برآورده کردن خواسته های پیکربندی چالش اصلی بود که ما با آن روبرو شدیم. هدف مطالعه آینده استفاده از همه ویژگی‌ها است که می‌تواند منجر به تخمین ژست راحت‌تر و دقیق‌تر شود. برآورده کردن خواسته های پیکربندی چالش اصلی بود که ما با آن روبرو شدیم. هدف مطالعه آینده استفاده از همه ویژگی‌ها است که می‌تواند منجر به تخمین ژست راحت‌تر و دقیق‌تر شود.

اختصارات

در این نسخه از اختصارات زیر استفاده شده است:

DOF	میزان آزادی
SIFT	تغییر شکل ویژگی Scale-Invariant
فلان	کتابخانه سریع برای نزدیکترین همسایگان
رانساک	نمونه تصادفی اجماع
ایلبا	تنظیم بسته نور افزایشی
ون	ناوبری به کمک دید
IGN	موسسه ملی جغرافیای فرانسه

منابع

مامرلا، م. کامپا، جی. ناپولیتانو، ام آر. Fravolini، ML مقایسه الگوریتم‌های تطبیق نقطه برای مسئله سوخت‌گیری هوایی پهپاد. ماخ Vis. Appl. 2010 ، 21 ، 241-251. [ Google Scholar ] [ CrossRef ]
Vese، LA; Osher, SJ مدل‌سازی بافت‌ها با کمینه‌سازی کل تغییرات و الگوهای نوسانی در پردازش تصویر. J. Sci. محاسبه کنید. 2003 ، 19 ، 553-572. [ Google Scholar ] [ CrossRef ]
Tommaselli، AMG; Berveglieri، A. جهت گیری خودکار تصاویر زمینی چند مقیاسی برای بازسازی سه بعدی. Remote Sens. 2014 , 6 , 3020–3040. [ Google Scholar ] [ CrossRef ]
یون، ایکس. باخمن، طراحی، پیاده سازی و نتایج تجربی یک فیلتر کالمن مبتنی بر کواترنیون برای ردیابی حرکت بدن انسان. IEEE Trans. ربات. 2006 ، 22 ، 1216-1227. [ Google Scholar ] [ CrossRef ]
پولفیس، ام. Gool, LV از تصاویر تا مدل های سه بعدی. اشتراک. ACM 2002 ، 45 ، 50-55. [ Google Scholar ] [ CrossRef ]
Longuet-Higgins, HC یک الگوریتم کامپیوتری برای بازسازی یک صحنه از دو طرح. طبیعت 1981 ، 293 ، 133-135. [ Google Scholar ] [ CrossRef ]
توماسی، سی. Kanade, T. شکل و حرکت از جریان های تصویر تحت املاء: یک روش فاکتورسازی. بین المللی جی. کامپیوتر. Vis. 1992 ، 9 ، 137-154. [ Google Scholar ] [ CrossRef ]
اسپتساکیس، م. Aloimonos، JY رویکرد چند فریمی برای درک حرکت بصری. بین المللی جی. کامپیوتر. Vis. 1991 ، 6 ، 245-255. [ Google Scholar ] [ CrossRef ]
زلیسکی، آر. Kang, SB بازیابی شکل و حرکت سه بعدی از جریان تصویر با استفاده از حداقل مربعات غیرخطی. J. Vis. اشتراک. تصویر نشان می دهد. 1994 ، 5 ، 10-28. [ Google Scholar ] [ CrossRef ]
Oliensis، J. الگوریتم ساختار چند فریمی از حرکت تحت طرح ریزی پرسپکتیو. بین المللی جی. کامپیوتر. Vis. 1999 ، 34 ، 163-192. [ Google Scholar ] [ CrossRef ]
Nister, D. بازیابی غیرفعال خودکار سه بعدی از تصاویر و ویدیو. در مجموعه مقالات دومین سمپوزیوم بین المللی IEEE در مورد “پردازش سه بعدی داده، تجسم و انتقال”، تسالونیکی، یونان، 6 تا 9 سپتامبر 2004.
ورگاوون، ام. Gool، خدمات بازسازی سه بعدی مبتنی بر وب LV. ماخ Vis. Appl. 2006 ، 17 ، 411-426. [ Google Scholar ] [ CrossRef ]
اسناولی، ن. Seitz، SM; Szeliski, R. مدل سازی جهان از مجموعه عکس های اینترنتی. بین المللی جی. کامپیوتر. Vis. 2008 ، 80 ، 189-210. [ Google Scholar ] [ CrossRef ]
فرنزنا، م. فوزیلو، ا. Gherardi, R. ساختار و خط لوله حرکت بر روی درخت خوشه ای سلسله مراتبی. در مجموعه مقالات کنفرانس بین المللی IEEE در کارگاه های بینایی کامپیوتری، کیوتو، ژاپن، 27 سپتامبر تا 4 اکتبر 2009.
اسناولی، ن. Seitz، SM; Szeliski، R. نمودارهای اسکلتی برای ساختار کارآمد از حرکت. در مجموعه مقالات کنفرانس IEEE Computer Society در مورد دید رایانه و تشخیص الگو، Anchorage، AK، ایالات متحده، 23-28 ژوئن 2008.
بارازتی، ال. اسکایونی، م. Remondino، F. جهت گیری و مدل سازی سه بعدی از تصاویر زمینی بدون نشانگر: ترکیب دقت با اتوماسیون. فتوگرام ضبط 2010 ، 25 ، 356-381. [ Google Scholar ] [ CrossRef ]
پیروت-دسیلینی، ام. Cléry, I. APERO، یک نرم افزار تنظیم بسته منبع باز برای کالیبراسیون خودکار و جهت دهی مجموعه ای از تصاویر. در مجموعه مقالات آرشیو بین المللی فتوگرامتری، سنجش از دور و علوم اطلاعات فضایی 38 (5/W16)، ترنتو، ایتالیا، 2 تا 4 مارس 2011.
دل پیتزو، اس. ترویسی، اس. جهت گیری خودکار توالی های تصویر در میراث فرهنگی. در مجموعه مقالات آرشیو بین المللی فتوگرامتری، سنجش از دور و علوم اطلاعات فضایی 38 (5/W16)، ترنتو، ایتالیا، 2 تا 4 مارس 2011.
آگاروال، اس. اسناولی، ن. سیمون، آی. Seitz، SM; Szeliski، R. ساخت رم در یک روز. در مجموعه مقالات کنفرانس بین المللی بینایی کامپیوتر، کیوتو، ژاپن، 27 سپتامبر تا 4 اکتبر 2009.
استرچا، سی. پیلواناینن، تی. Fua, P. بازسازی تصویر در مقیاس بزرگ پویا و مقیاس پذیر. در مجموعه مقالات کنفرانس IEEE 2010 در مورد بینایی کامپیوتری و تشخیص الگو، سانفرانسیسکو، کالیفرنیا، ایالات متحده آمریکا، 13 تا 18 ژوئن 2010.
فورمن، اس. لانگگوث، اف. Goesele, M. MVE – یک محیط بازسازی چند نمای. در مجموعه مقالات کارگاه یوروگرافیک در زمینه گرافیک و میراث فرهنگی، دارمشتات، آلمان، 6 تا 8 اکتبر 2014.
اسناولی، ن. Seitz، SM; Szeliski، R. عکس گردشگری: کاوش مجموعه های عکس به صورت سه بعدی. ACM Trans. نمودار. 2006 ، 25 ، 835-846. [ Google Scholar ] [ CrossRef ]
پولفیس، ام. گول، LV; ورگاوون، ام. کورنلیس، ک. Verbiest، F. Tops, J. ضبط سه بعدی برای کار میدانی باستان شناسی. محاسبات IEEE. نمودار. Appl. 2003 ، 23 ، 20-27. [ Google Scholar ] [ CrossRef ]
کارلسون، ن. برناردو، دی.بی. اوستروفسکی، جی. گونکالوز، ال. پیرجانیان، پ. مونیخ، ME الگوریتم vslam برای محلی سازی و نقشه برداری قوی. در مجموعه مقالات کنفرانس بین المللی IEEE در مورد رباتیک و اتوماسیون، بارسلون، اسپانیا، 18-22 آوریل 2005.
لمر، تی. Lacroix، S. SLAM مبتنی بر دید تک چشمی با استفاده از بخش های خط. در مجموعه مقالات کنفرانس بین المللی IEEE در مورد رباتیک و اتوماسیون، رم، ایتالیا، 10-14 آوریل 2007.
سیلویرا، جی. مالیس، ای. Rives، P. یک رویکرد مستقیم کارآمد برای SLAM بصری. IEEE Trans. ربات. 2008 ، 24 ، 969-979. [ Google Scholar ] [ CrossRef ]
تریگز، بی. مک لاچلان، پی. هارتلی، آر. Fitzgibbon, A. Bundle Adjustment: A Modern Synthesis ; Springer: برلین، آلمان، 2000. [ Google Scholar ]
Lhuillier، M. ساختار صحنه خودکار و حرکت دوربین با استفاده از یک سیستم کاتادیوپتری. محاسبه کنید. Vis. تصویر زیر. 2008 ، 109 ، 186-203. [ Google Scholar ] [ CrossRef ]
کامپورت، آ. مالیس، ای. ریوز، پی. کیلومتر شماری بصری چهار کانونی در زمان واقعی. بین المللی ربات جی. Res. مشخصات Issue Robot Vis. 2010 ، 29 ، 245-266. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
رویر، ای. Lhuillier، M. دومه، م. Lavest، JM Monocular vision برای محلی سازی ربات های سیار و ناوبری مستقل. بین المللی جی. کامپیوتر. Vis. 2007 ، 74 ، 237-260. [ Google Scholar ] [ CrossRef ]
دیوید، P. بومی سازی مبتنی بر چشم انداز در محیط های شهری. در مجموعه مقالات کنفرانس علمی ارتش، اورلاندو، فلوریدا، ایالات متحده آمریکا، 29 نوامبر تا 2 دسامبر 2010.
فروتونی، ای. اسکانی، ع. مانچینی، آ. Zingaretti، P. بومی سازی ربات در محیط های شهری با استفاده از حسگرهای بینایی همه جانبه و دانش پیشینی ناهمگن جزئی. در مجموعه مقالات کنفرانس بین المللی IEEE/ASME در مورد مکاترونیک و سیستم ها و برنامه های کاربردی (MESA)، چینگدائو، چین، 15 تا 17 ژوئیه 2010.
هارالیک، آر. لی، سی. اوتنبرگ، ک. Nolle, M. تجزیه و تحلیل و راه حل های دیدگاه سه نقطه ای مشکل تخمین را مطرح می کند. در مجموعه مقالات کنفرانس انجمن کامپیوتر IEEE در مورد دید کامپیوتری و تشخیص الگو، هامبورگ، آلمان، 3-6 ژوئن 1991.
لپتیت، وی. فوا، پی. ردیابی سه بعدی اجسام صلب مبتنی بر مدل تک چشمی: یک بررسی. پیدا شد. محاسبه گرایش ها نمودار. Vis. 2005 ، 1 ، 1-89. [ Google Scholar ] [ CrossRef ]
جیانگ، بی. ردیابی مبتنی بر خط بدون کالیبراسیون برای تقویت ویدیو. در مجموعه مقالات کنفرانس بین المللی گرافیک کامپیوتری و واقعیت مجازی (CGVR)، لاس وگاس، NV، ایالات متحده آمریکا، 26-29 ژوئن 2006.
راستن، ای. Drummond، T. نقاط و خطوط برای ردیابی با کارایی بالا. در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر، پکن، چین، 17 تا 20 اکتبر 2005.
کامپورت، آ. مارچند، ای. پرسگوت، م. Chaumette، F. ردیابی بدون نشانگر در زمان واقعی برای واقعیت افزوده: چارچوب سرویس دهی بصری مجازی. IEEE Trans. Vis. محاسبه کنید. نمودار. 2006 ، 12 ، 615-628. [ Google Scholar ] [ CrossRef ] [ PubMed ]
دراموند، تی. Cipolla, R. ردیابی بصری در زمان واقعی ساختارهای پیچیده. IEEE Trans. الگوی مقعدی ماخ هوشمند 2002 ، 24 ، 932-946. [ Google Scholar ] [ CrossRef ]
Lowe، DG Fitting مدل های سه بعدی را به تصاویر پارامتری کرد. IEEE Trans. الگوی مقعدی ماخ هوشمند 1991 ، 13 ، 441-450. [ Google Scholar ] [ CrossRef ]
جورجل، پی. بنیمن، اس. نواب، ن. یک رویکرد یکپارچه ترکیبی از اطلاعات فتومتریک و هندسی برای تخمین پوز. در مجموعه کنفرانس بینایی ماشین بریتانیا (BMVC)، لیدز، انگلستان، 1 تا 4 سپتامبر 2008.
پرسگوت، م. مارچند، E. ردیابی ترکیبی در زمان واقعی با استفاده از اطلاعات لبه و بافت. بین المللی ربات جی. Res. 2007 ، 26 ، 689-713. [ Google Scholar ] [ CrossRef ]
بیکر، اس. ماتیوس، آی. لوکاس کاناد 20 سال بعد: یک چارچوب متحد کننده. بین المللی جی. کامپیوتر. Vis. 2004 ، 56 ، 221-255. [ Google Scholar ] [ CrossRef ]
دام، ا. Marchand، E. ردیابی بی‌درنگ با استفاده از اطلاعات متقابل. در ادامه سمپوزیوم بین المللی IEEE در مورد واقعیت ترکیبی و افزوده، سئول، کره، 13 تا 16 اکتبر 2010.
داوسون، ن. Bowden, R. اطلاعات متقابل برای ردیابی lucas-kanade (شیر): یک فرمول ترکیبی معکوس. IEEE Trans. الگوی مقعدی ماخ هوشمند 2007 ، 30 ، 180-185. [ Google Scholar ] [ CrossRef ] [ PubMed ][ نسخه سبز ]
انگلس، سی. استیونیوس، اچ. Nistér, D. قواعد تعدیل باندل. In Proceeding of the Photogrammetric Computer Vision، بن، آلمان، 20-22 سپتامبر 2006.
موراگنون، سی. Lhuillier، M. Dhome، D. دکیزر، اف. Sayd, P. ساختار کلی و زمان واقعی از حرکت با استفاده از تنظیم بسته محلی. تصویر Vis. محاسبه کنید. 2009 ، 27 ، 1178-1193. [ Google Scholar ] [ CrossRef ]
ژانگ، ز. Shan, Y. تخمین حرکت افزایشی از طریق تنظیم دسته محلی. در مجموعه مقالات کنفرانس بین المللی پردازش تصویر، بارسلون، اسپانیا، 14-17 سپتامبر 2003.
Steedly، D.; عیسی، اول. انتشار اطلاعات ابتکاری در ساختار حداقل مربعات غیرخطی از حرکت. در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر (ICCV)، ونکوور، BC، کانادا، 7 تا 14 ژوئیه 2001.
سیبلی، جی. می، سی. رید، آی. نیومن، P. تنظیم بسته نسبی تطبیقی. در مجموعه مقالات علم و سیستم های رباتیک، سیاتل، WA، ایالات متحده آمریکا، 28 ژوئن تا 1 ژوئیه 2009.
می، سی. سیبلی، جی. کامینز، ام. نیومن، پی. Reid, I. RSLAM: سیستمی برای نقشه برداری در مقیاس بزرگ در زمان ثابت با استفاده از استریو. بین المللی جی. کامپیوتر. Vis. 2011 ، 94 ، 198-214. [ Google Scholar ] [ CrossRef ]
کیس، م. یوهانسون، اچ. رابرتز، آر. ایلا، وی. لئونارد، جی. Dellaert، F. ISAM2: هموارسازی و نقشه برداری افزایشی با استفاده از درخت bayes. بین المللی ربات جی. Res. 2012 ، 31 ، 217-236. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
ایندلمن، وی. رابرتز، آر. بیل، سی. Dellaert، F. تنظیم بسته نور افزایشی. در مجموعه کنفرانس بینایی ماشین بریتانیا (BMVC)، گیلدفورد، انگلستان، 3 تا 7 سپتامبر 2012.
ایندلمن، وی. رابرتز، آر. Dellaert، F. تجزیه و تحلیل احتمالی تنظیم بسته نور افزایشی. در مجموعه مقالات کنفرانس بین المللی IEEE/RSJ در مورد ربات ها و سیستم های هوشمند، توکیو، ژاپن، 3 تا 7 نوامبر 2013.
ایندلمن، وی. ملیم، ع. Dellaert، F. تنظیم بسته نوری افزایشی برای ناوبری روباتیک. در مجموعه مقالات کنفرانس بین المللی IEEE/RSJ در مورد ربات ها و سیستم های هوشمند، توکیو، ژاپن، 3 تا 7 نوامبر 2013.
Wu، FZ روش‌های ریاضی در بینایی کامپیوتری . انتشارات علمی: پکن، چین، 2008. [ Google Scholar ]
ژانگ، YQ; ژو، LM; شانگ، ی. ژانگ، XH; تخمین هموگرافی مبتنی بر مدل QF Contour اجسام مسطح بدون بافت در تصاویر کالیبره نشده. تشخیص الگو 2015 . [ Google Scholar ] [ CrossRef ]
Zhang, Z. یک تکنیک جدید انعطاف پذیر برای کالیبراسیون دوربین. IEEE Trans. الگوی مقعدی ماخ هوشمند 2000 ، 22 ، 1330-1334. [ Google Scholar ] [ CrossRef ]
هارتلی، آر. زیسرمن، A. هندسه چند نما در بینایی کامپیوتری . انتشارات دانشگاه کمبریج: کمبریج، انگلستان، 2000. [ Google Scholar ]
Zhu, B. تعیین پارامترهای ذاتی و حالت دوربین بر اساس دایره های متحدالمرکز. در مجموعه مقالات سومین کنفرانس بین المللی تولید و اتوماسیون دیجیتال، چانگها، هونان، چین، 18 تا 20 دسامبر 2010.
تریگز، بی. مکلاچلان، پی. هارتلی، آر. تنظیم باندل – یک سنتز مدرن. Vis. عمل تئوری الگوریتم ها. 2000 ، 1883 ، 153-177. [ Google Scholar ]
باکن، RH; Eilertsen، BG; Matus، GU; کالیبراسیون دوربین نیمه خودکار Nilsen، JH با استفاده از نقاط کنترل همسطح . Norsk Informatikkonferanse: Trondheim، نروژ، 2009. [ Google Scholar ]
یوکی، آی. یاسویوکی، اس. Kenichi، K. Bundle Adjustment برای بازسازی سه بعدی: پیاده سازی و ارزیابی . خاطرات دانشکده مهندسی، دانشگاه اوکایاما: اوکایاما، ژاپن، 2011. [ Google Scholar ]
Lowe, DG ویژگی های تصویر متمایز از نقاط کلیدی تغییرناپذیر مقیاس. بین المللی جی. کامپیوتر. Vis. 2004 ، 60 ، 91-110. [ Google Scholar ] [ CrossRef ]
بی، اچ. تویتلارس، تی. Gool، LV SURF: سرعت بخشیدن به ویژگی های قوی. محاسبه کنید. Vis. تصویر زیر. 2006 ، 110 ، 404-417. [ Google Scholar ]
موجا، م. Lowe, DG Fast تقریبی نزدیکترین همسایگان با پیکربندی الگوریتم خودکار. در مجموعه مقالات کنفرانس بین المللی نظریه و کاربردهای بینایی رایانه، لیسبون، پرتغال، 5 تا 8 فوریه 2009.
فیشلر، MA; بولس، اجماع نمونه تصادفی RC: الگویی برای تطبیق مدل با کاربردهای آنالیز تصویر و کارتوگرافی خودکار. محاسبه کنید. Vis. 1987 ، 24 ، 726-740. [ Google Scholar ] [ CrossRef ]
مولون، پ. Monasse, P. ردیابی ویژگی بدون ترتیب سریع و آسان انجام شد. در مجموعه مقالات نهمین کنفرانس اروپایی تولید رسانه های بصری، لندن، بریتانیا، 5 تا 6 دسامبر 2012.
Qifeng, Y. Videometrics: Principles and Researchs ; انتشارات علمی: پکن، چین، 2009. [ Google Scholar ]
گرومپون، VGR؛ یاکوبوویچ، جی. مورل، جی.ام. Randall, G. LSD: یک آشکارساز قطعه خط سریع با یک کنترل تشخیص نادرست. IEEE Trans. الگوی مقعدی ماخ هوشمند 2008 ، 32 ، 722-732. [ Google Scholar ]
Mulayim, AY; یلماز، یو. Atalay، V. بازسازی مدل سه بعدی مبتنی بر Silhouette از تصاویر متعدد. IEEE Trans. مرد سایبرن. Soc. 2003 ، 33 ، 582-591. [ Google Scholar ] [ CrossRef ] [ PubMed ]
لی، سی ام؛ Xu، CY; Gui، CF; تکامل مجموعه سطح منظم Fox، MD Distance و کاربرد آن برای تقسیم‌بندی تصویر. IEEE Trans. فرآیند تصویر 2010 ، 19 ، 3243-3254. [ Google Scholar ] [ PubMed ]
کژدان، م. بولیتو، ام. هوپ، اچ. پواسون بازسازی سطح. در مجموعه مقالات سمپوزیوم در مورد پردازش هندسه (SGP)، کالیاری، ساردینیا، ایتالیا، 26-28 ژوئن 2006.
Waechter، M. موئرل، ن. گوزل، ام. بگذار رنگ باشد! بافت در مقیاس بزرگ بازسازی های سه بعدی ; Springer: زوریخ، سوئیس، 2014. [ Google Scholar ]
چوی، سی. ردیابی مبتنی بر مدل سه بعدی کریستنسن، HI در زمان واقعی با استفاده از ویژگی‌های لبه و نقطه کلید برای دستکاری رباتیک. در مجموعه مقالات کنفرانس بین المللی IEEE در مورد رباتیک و اتوماسیون، انکوریج، AK، ایالات متحده آمریکا، 3-7 مه 2010.
پتیت، ا. مارچند، ای. Kanani، K. یک ردیاب قوی مبتنی بر مدل که اطلاعات لبه‌های هندسی و رنگی را ترکیب می‌کند. در مجموعه مقالات کنفرانس بین المللی IEEE/RSJ در مورد ربات ها و سیستم های هوشمند، توکیو، ژاپن، 3 تا 7 نوامبر 2013.
دراموند، تی. Cipolla، R. ردیابی و کنترل بصری با استفاده از جبرهای دروغ. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو، فورت کالینز، CO، ایالات متحده آمریکا، 23-25 ژوئن 1999.
دیوید، پی. Dementhon, D. تشخیص اشیاء در تصاویر با درهم ریختگی بالا با استفاده از ویژگی های خط. در مجموعه مقالات دهمین کنفرانس بین المللی IEEE در بینایی کامپیوتر، پکن، چین، 17-21 اکتبر 2005.

شکل 1. مروری بر چارچوب ما.

شکل 2. خطوط و گوشه های اجسام مسطح (از چپ به راست: کاغذ A4، جلد کتاب 1 و جلد کتاب 2). خطوط مدل با رنگ سبز و نقاط گوشه با رنگ قرمز نشان داده شده اند.

شکل 3. تبدیل هموگرافی بین خطوط مدل و تصویر.

شکل 4. جستجوی 1 بعدی از خط مدل به خط تصویر. ( الف ) نقشه طرح لبه تصویر و لبه پیش بینی شده. خط جامد سیاه قسمت های خط نمونه برداری شده و نقاط قهوه ای نقاط نمونه برداری شده هستند. ( ب ) تصویر واقعی لبه تصویر و لبه پیش بینی شده. خط زرد لبه تصویری است که توسط یک هموگرافی صحیح یا هموگرافی قبلی نمایش داده می شود. خط آبی لبه پیش بینی شده توسط هموگرافی تخمینی فعلی است.

شکل 5. وضعیت انحطاط برای محاسبه پارامتر دوربین. ( الف ) توالی تصویر از یک صحنه مسطح با یک دوربین ثابت و صحنه در حال حرکت در اطراف یک صفحه گردان تک محوره. ( ب ) جهت حرکت دوربین از ( a )؛ در واقع، ژست تصاویر دارای یک انحراف بزرگ از مقدار واقعی است، به این معنی که تخمین پوز شکست خورده است.

شکل 6. مدل تنظیم بسته نرم افزاری با نقاط کنترل مسطح.

شکل 7. روش تنظیم بسته نرم افزاری با نقاط کنترل مسطح. ( الف ) یک ویژگی تطبیق بین یک جفت تصویر. پرچم های متقاطع سبز نقاط کلیدی SIFT هستند. چهار بخش خط با رنگ قرمز لبه های یک کارت شناسایی هستند. ( ب ) آهنگ های ویژه بین تصاویر چندگانه. ( ج ) یک مدل تنظیم بسته نرم افزاری تولید و اجرا می شود. سمت چپ نتیجه بازسازی پراکنده با استفاده از پارامترهای اولیه دوربین است. سمت راست، نتیجه پراکنده است که با بسته‌بندی رویه تنظیم اصلاح شده است.

شکل 8. تشخیص هموگرافی برای تصاویر بی نظم چند نمای. ( الف ) تشخیص هموگرافی اختلال تصویر چند نمایه گرفته شده توسط گوشی هوشمند؛ هموگرافی های تشخیص صحیح در قالب خطوط سبز نشان داده می شوند، در حالی که سایر خطوط خطا با رنگ قرمز نشان داده می شوند. ( ب ) سمت چپ نتایج تخمین پوز برای تصاویر چند نمای اختلال است. پلی لاین ها با توجه به ترتیب عکسبرداری به هم متصل می شوند. سمت راست سکانسی است که توسط ژست دوربین ها تنظیم شده است.

شکل 9. ردیابی هموگرافی برای مدل های کانتور جلد کتاب 1 و کتاب 2 در یک محیط. ( الف ) پیش بینی مدل های کانتور جلد کتاب 1 با هموگرافی بازیابی شده به رنگ آبی ترسیم شده است. چهار تصویر به ترتیب 100، 200، 300 و 400 فریم ویدیو هستند. ( ب ) سمت چپ نتیجه ژست دوربین تصاویر ویدیویی است و سمت راست ابرهای نقطه سه بعدی صحنه حاوی جلد کتاب 1 است. ( ج ) پیش‌بینی مدل‌های کانتور جلد کتاب 2 توسط هموگرافی بازیابی شده به رنگ زرد ترسیم شده‌اند. چهار تصویر به ترتیب 100، 200، 300 و 400 فریم ویدیو هستند. ( د) سمت چپ نتیجه حالت دوربین تصاویر ویدیویی است و سمت راست ابرهای نقطه سه بعدی صحنه حاوی جلد کتاب 2 است.

شکل 10. چهار تصویر از هواپیمای مدل برای کالیبراسیون دوربین.

شکل 11. نتایج در مقابل تعداد خطوط مدل.

شکل 12. تصاویر چند نمای صحنه. تصاویر توسط یک گوشی هوشمند گرفته شده و یک صفحه شطرنج 7 × 9 × 25 میلی متری در صحنه قرار داده شده است.

شکل 13. تخمین موقعیت سه روش. ( الف ) ستون سمت چپ ویژگی های مورد استفاده در روش تخمین است که از بالا به پایین، چهار خط لبه بیرونی کاغذ A4، چهار خط لبه بیرونی کاغذ A4 با تنظیم بسته و گوشه های صفحه شطرنج است. به ترتیب؛ ( ب ) ستون سمت راست نتایج پوز سه روش است.

شکل 14. مقایسه تصاویر عمقی. ما یک تصویر عمقی مربوط به تصویر اصلی ( a ) را انتخاب می کنیم و ( b – d ) تصاویر عمقی روش های homo_exp، homo&ba_exp و chessbd_exp هستند.

شکل 15. ابرهای نقطه ای بازسازی متراکم با استفاده از پارامترهای دوربین سه روش. ( a , b ) کل نقطه ابرها با رنگ و نرمال.

شکل 16. جزئیات جزئیات سه مجموعه در نمای بزرگنمایی شده. چهار بخش برای نشان دادن تنوع سه روش انتخاب شده است. نواحی جزئیات با بیضی سبز مشخص شده اند.

شکل 17. تجزیه و تحلیل سوگیری زمانی که ابرهای دو نقطه تراز هستند.

شکل 18. شکل 3 بعدی مجسمه از تصاویر چند نمای کالیبره نشده. ( الف ) چندین فریم نمونه برداری شده از یک ویدیوی 1080p که توسط یک گوشی هوشمند گرفته شده است. ( ب ) نتایج قابل بازیابی پارامترهای وضعیت تصاویر چند نمای و نقاط پراکنده سه بعدی. ( ج ) سمت چپ نتایج ابرهای نقطه رنگی است و ابرهای نقطه عادی در وسط نشان داده شده‌اند. سمت راست مدل نتیجه مثلث بندی است.

شکل 19. نتایج بازسازی سه بعدی One Piece.

شکل 20. نتایج بازسازی سه بعدی هالک.

جدول 1. محتویات مدل های مسطح.

جدول 2. نتایج کالیبراسیون با داده های واقعی چهار تصویر.

جدول 3. آزمایش در سناریوهای مختلف.

© 2016 توسط نویسندگان؛ دارنده مجوز MDPI، بازل، سوئیس. این مقاله یک مقاله با دسترسی آزاد است که تحت شرایط و ضوابط مجوز Creative Commons Attribution (CC-BY) (http://creativecommons.org/licenses/by/4.0/) توزیع شده است.

;کاربردهای GIS مقالات

درخواست مشاوره

09120049370

8 صبح تا 12 شب