اودومتری Visual-LiDAR با کمک IMU کاهش یافته

خلاصه

این مقاله روشی را برای ترکیب کیلومتر شماری بصری استریو، تشخیص نور و فاصله سنجی (LiDAR) و واحد اندازه گیری اینرسی کاهش یافته (IMU) شامل دو شتاب سنج افقی و یک ژیروسکوپ عمودی پیشنهاد می کند. روش پیشنهادی با کیلومتر شماری بصری استریو شروع می‌شود تا شش درجه آزادی (DoF) حرکت خود را برای ثبت ابرهای نقطه‌ای از دوره قبلی تا دوره فعلی تخمین بزند. سپس، الگوریتم تعمیم یافته تکراری نزدیکترین نقطه (GICP) تخمین حرکت را اصلاح می کند. پس از آن، سرعت رو به جلو و آزیموت به‌دست‌آمده با کیلومترشمار Visual-LiDAR با خروجی‌های کاهش‌یافته IMU در یک فیلتر کالمن (EKF) ادغام می‌شوند تا راه‌حل ناوبری نهایی را ارائه دهند. در این مقاله، مجموعه داده‌های KITTI (موسسه فناوری کارلسروهه و موسسه فناوری تویوتا) برای مقایسه کیلومتر شماری بصری استریو استفاده شد. کیلومتر شماری تصویری استریو یکپارچه و کاهش IMU، کیلومتر شماری استریو ویژوال-LiDAR و کیلومتر شماری یکپارچه استریو ویژوال-LiDAR و کاهش IMU. کیلومتر شماری استریو Visual-LiDAR یکپارچه و کاهش IMU از سایر روش ها در مناطق شهری با ساختمان های اطراف بهتر عمل می کند. علاوه بر این، این روش از سیستم حسگر اینرسی کاهش یافته شبیه سازی شده (RISS) که از کیلومترشمار شبیه سازی شده چرخ و IMU کاهش یافته استفاده می کند، بهتر عمل می کند. مجموعه داده های KITTI شامل داده های کیلومتر شماری چرخ نمی شود. GPS مجتمع RTK (Real Time Kinematic) (سیستم موقعیت یاب جهانی) و IMU با کیلومترشمار چرخ برای شبیه سازی پاسخ به روش RISS جایگزین شد. Visual Odometry (VO)-LiDAR نه تنها از کیلومترشمار چرخی دقیق‌تر است، بلکه به ژیروسکوپ عمودی کمک آزیموت می‌دهد که در نتیجه سیستم قابل اعتمادتر و دقیق‌تری ایجاد می‌کند. برای توسعه سیستم های کم هزینه، استفاده از دو دوربین به علاوه IMU کاهش یافته گزینه خوبی خواهد بود. هزینه چنین سیستمی نسبت به استفاده از IMUهای مبتنی بر MEMS تاکتیکی کامل (حسگر میکرو الکترومکانیکی) کاهش می یابد زیرا دو دوربین ارزانتر از IMUهای مبتنی بر MEMS تاکتیکی کامل هستند. نتایج نشان می‌دهد که فاصله‌سنجی یکپارچه استریو ویژوال-LiDAR و کاهش IMU می‌تواند به دقت در سطح هنر دست یابد.

کلید واژه ها:

کیلومتر شماری تصویری استریو ; LiDAR ; کاهش IMU GICP _ RISS ; ادغام _ EKF

1. معرفی

کیلومترشمار بصری استریو مستقل، کیلومترشمار LiDAR و واحد اندازه گیری اینرسی تخمین حالت 6-DOF (درجه آزادی) را ارائه می دهند. با این حال، معایب استفاده از هر حسگر به تنهایی، محققان را به ادغام آن حسگرها ترغیب می کند. IMU ها، به خصوص MEMS (حسگرهای میکرو الکترومکانیکی) که مبتنی بر حسگرهای میکرو الکترومکانیکی هستند، خطاها را بسیار سریع جمع می کنند. کیلومتر شماری بصری به شرایط نوری متوسط نیاز دارد و از منابع خطای مختلفی در تصاویر مانند نویز، تاری حرکت و اعوجاج رنج می برد. اندازه‌گیری‌های بصری نیز در محیط‌های بدون ویژگی، خود مشابه یا پویا یا در حین حرکت سریع مبهم هستند که باعث عدم تطابق بسیاری در نقاط تصویر مربوطه می‌شود [ 1]]. در کیلومتر شماری LiDAR، موقعیت فاصله یاب با تطبیق دو اسکن مختلف که در دوره های متوالی جمع آوری می شوند، تخمین زده می شود. ICP (Iterative Closest Point)، یکی از غالب‌ترین الگوریتم‌ها برای یافتن ترجمه و چرخش بین دو ابر نقطه به منظور تطبیق آنها با یافتن تکراری نزدیک‌ترین نقاط است [ 2 ]. الگوریتم‌های ICP، خطا را در طول زمان انباشته می‌کنند و در حرکت سریع مستعد خطا است. علاوه بر این، اگر ابرهای نقطه ای بسیار پراکنده باشند، به ویژه در مناطق حومه شهر که دو طرف جاده پوشیده از پوشش گیاهی است، شکست می خورد. الگوریتم های ICP همیشه به حداقل محلی همگرا می شوند. بنابراین، برای همگرایی به حداقل جهانی نیاز به حدس اولیه خوبی از تحول دارد [ 3]. یکی دیگر از مشکلات تخمین حرکت ego با حرکت کیلومترشمار LiDAR، شامل اعوجاج حرکت در ابرهای نقطه به دلیل زمان دریافت متفاوت اندازه‌گیری‌های محدوده است [ 4 ]. دوربین های استریو و LiDAR می توانند حسگرهای مکمل باشند. Stereo VO (Visual Odometry) نه تنها حدس اولیه خوبی برای الگوریتم ICP می دهد، بلکه به جبران اعوجاج حرکت نیز کمک می کند. ما فرض می کنیم که سرعت و سرعت زاویه ای در طول دوره اسکن ثابت هستند. سپس با استفاده از چرخش و ترجمه استریو VO می توانیم تبدیل هر نقطه از ابر نقطه را به سیستم مختصات نقطه اول ابر نقطه محاسبه کنیم. پس از آن، ICP تبدیل اولیه را اصلاح می کند.

یک روش ادغام جدید برای کیلومتر شماری استریو بصری-LiDAR و کاهش IMU سه بعدی (سه بعدی) در این مقاله پیشنهاد شده است. کیلومتر شمار چرخ در RISS (سیستم حسگر اینرسی کاهش یافته)، که توسط نورالدین و همکاران پیشنهاد شده است. [ 5]، با یک کیلومتر شمار استریو ویژوال-LiDAR جایگزین می شود. کیلومتر شماری استریو Visual-LiDAR یکپارچه و IMU کاهش یافته از دو شتاب سنج در جهت x و y، یک ژیروسکوپ در جهت z و دو دوربین و LiDAR تشکیل شده است. شتاب‌سنج‌های افقی چرخش و زمین را تعیین می‌کنند. ژیروسکوپ عمودی برای تعیین آزیموت استفاده می شود و دو دوربین و LiDAR جابجایی و چرخش بین دو سیستم مختصات LiDAR را اندازه گیری می کند. این سیستم از RISS شبیه سازی شده بهتر عمل می کند. کیلومتر شمار استریو Visual-LiDAR نه تنها ترجمه، بلکه چرخش بین دو سیستم مختصات LiDAR را در دوره های متوالی فراهم می کند. بنابراین، می‌توانیم آزیموت بصری-LiDAR را در هر دوره با تخمین تبدیل بین سیستم مختصات LiDAR، سیستم مختصات IMU و چارچوب ناوبری در اولین دوره محاسبه کنیم. آزیموت Visual-LiDAR با آزیموت اولیه (که با خروجی ژیروسکوپ عمودی، ترجمه رو به جلو به دست آمده از کیلومترشمار و چرخش و پیچ) به دست می آید توسط فیلتر کالمن (KF) ادغام می شود که منجر به آزیموت خودرو دقیق تر با تعداد سنبله های کمتر می شود. . به طور خلاصه، VO-LiDAR استریو نه تنها دقیق تر از کیلومترشمار چرخ است، بلکه به حل ژیروسکوپ عمودی کمک آزیموت نیز می دهد.

مقاله به شرح زیر سازماندهی شده است: کارهای قبلی در بخش 2 مورد بررسی قرار گرفته است . بخش 3 یک دور سنجی دیداری-لیدار یکپارچه و روش IMU کاهش یافته را معرفی می کند، نتایج و تجزیه و تحلیل در بخش 4 ارائه شده است . نتیجه گیری و بحث در بخش 5 آورده شده است . در نهایت، کارهای آینده در بخش 6 آورده شده است .

2. آثار قبلی

در این بخش، کارهای قبلی در کیلومتر شماری بصری، کیلومتر شماری لیدار و ادغام سنسور شرح داده شده است.

2.1. کیلومتر شماری بصری

ایده کلیدی کیلومتر شماری بصری تخمین حرکت یک وسیله نقلیه یا ربات با ردیابی بصری نقاط عطف با استفاده از دوربین روی برد است [ 1 ]. به عبارت دیگر، تخمین 6 درجه آزادی (6DoF) حرکت خود (شامل سه افزایش موقعیت و سه افزایش هم ترازی)، صرفاً از اندازه‌گیری‌های تصویر، کیلومتر شماری بصری نامیده می‌شود [6 ] . این تکنیک به عنوان یک روش محاسبه مرده (DR) در نظر گرفته می شود. بنابراین، کیلومتر شمار بصری یک سیستم موقعیت یابی نسبی با افزایش موقعیت و تراز تخمین زده شده در هر دوره است. مشابه سیستم DR، کیلومتر شماری بصری خطاها را در طول زمان انباشته می کند [ 1]، و از منابع خطای مختلفی در تصاویر مانند نویز، تاری حرکت و اعوجاج رنج می برد. اندازه‌گیری‌های بصری نیز در محیط‌های بدون ویژگی، خود مشابه یا پویا و در حین حرکت سریع مبهم هستند که باعث عدم تطابق بسیاری در نقاط تصویر مربوطه می‌شود. مفروضات زیر برای دورسنجی بصری [ 7 ] ساخته شده است:

(1): نور کافی در محیط وجود دارد
(2): اشیاء ثابت در تصویر بر اجسام متحرک غالب هستند
(3): بافت کافی برای استخراج حرکت ظاهری وجود دارد
(4): همپوشانی صحنه کافی بین فریم های متوالی وجود دارد

کیلومتر شماری بصری یک مورد خاص از ساختار از حرکت (SfM) است. VO بر تخمین وضعیت دوربین از روی تصاویر متوالی تمرکز می کند. SfM که کلی تر از VO است، بر تخمین موقعیت دوربین و بازسازی نقطه صحنه سه بعدی تمرکز دارد [ 7 ]. گاهی اوقات، SfM به عنوان مترادف SLAM (محلی سازی و نقشه برداری همزمان) استفاده می شود. SLAM، ALV (خودروی زمینی) را قادر می‌سازد تا نقشه‌ای از محیط بسازد در حالی که به طور همزمان از این نقشه برای تخمین موقعیت وسیله نقلیه استفاده می‌کند [ 8 ]. انواع مختلفی از SLAM شناخته شده است. سونار، برد لیزر و SLAM بصری بیشترین استفاده را دارند [ 9 ].

ناوبری بصری احتمالاً به یک راه حل ناوبری پرکاربرد تبدیل می شود زیرا دوربین ها در حال حاضر در روبات ها، لپ تاپ ها، تلفن های هوشمند و تبلت ها رایج هستند. دوربین ها نیز نسبتا ارزان هستند و با سنسورهای دیگر تداخلی ندارند. علاوه بر این، دوربین ها به راحتی گمراه نمی شوند و نیازی به زیرساخت اضافی ندارند. در تئوری، کیلومتر شماری بصری می‌تواند در هر محیطی که نور و بافت کافی وجود دارد که ویژگی‌های استاتیکی قابل شناسایی باشد، کار کند. یکی از مزیت های اصلی کیلومتر شماری بصری دقت بالا در مقایسه با سنسورهای سرعت چرخ است، به ویژه در زمین های لغزنده که سنسورهای سرعت چرخ اغلب عملکرد دقت پایینی دارند [ 6]]. کیلومتر شمار چرخ مسافت طی شده توسط وسیله نقلیه را اندازه گیری می کند. در زمین های لغزنده، کیلومتر شمار چرخ نمی تواند سرعت رو به جلو دقیقی را ارائه دهد. علاوه بر این، کیلومتر شمار چرخ، فواصل اندازه‌گیری شده را در هر ثانیه در پیچ‌ها نشان می‌دهد (جایی که جهت چرخ خودرو با جهت جلوی خودرو موازی نیست) به جای سرعت جلوی خودرو که در مکانیزاسیون سنسور اینرسی کاهش یافته استفاده می‌شود. نرخ‌های رانش فاصله‌سنجی بصری بیشتر از نرخ رانش IMUهای ارزان‌قیمت مبتنی بر MEMS است، به‌ویژه زمانی که وسیله نقلیه ساکن است یا دینامیک پایینی دارد [ 6 ].

بسیاری از الگوریتم‌های کیلومتر شمار بصری برای دوربین‌های تک چشمی، دوچشمی (استریو) و چند چشمی توسعه داده شده‌اند. تقسیم‌بندی بیشتر به روش‌هایی با استفاده از ردیابی ویژگی در یک توالی کامل از تصاویر و روش‌هایی که ویژگی‌های تطبیق بین تصاویر متوالی را دارند ممکن است [ 6 ]. دوربین های دوچشمی و چند چشمی نتایج بهتری به دست می دهند زیرا از ابهامات مقیاس رنج نمی برند. در کیلومتر شماری بصری استریو، می‌توانیم مثلث‌سازی و به دنبال آن برداشتن مکرر [ 1 ] انجام دهیم. روش‌های دیگری نیز وجود دارد که برای آنها نیازی به بازیابی ساختار صحنه سه‌بعدی نیست [ 6 ]. روش‌های زیادی برای یافتن عدم تطابق و تشخیص نقاط پرت توسعه یافته‌اند. کیت و همکاران [ 6] یک تکنیک سطل‌بندی همراه با ردیابی پرت مبتنی بر RANSAC (توافق نمونه تصادفی) را پیشنهاد کرد.

شکل 1 مراحل اصلی در مراحل کیلومتر شماری دیداری را خلاصه می کند [ 9 ] که در ادامه توضیح داده خواهد شد.

شکل 1. مراحل کیلومتر شماری بصری.

اولین قدم در VO گرفتن توالی تصویر است. مرحله بعدی استخراج ویژگی است، ویژگی ها نقاط خاصی هستند که می توانند به طور پایدار از تصاویر بعدی که از دیدگاه دیگری گرفته شده اند، دوباره شناسایی شوند [ 9 ]. در تطبیق ویژگی (یا ردیابی)، ما مطابقت بین ویژگی‌های فریم فعلی با ویژگی‌های فریم‌های قبلی [ 9 ، 10 ] را خواهیم یافت. روش های مختلفی برای تخمین حرکت وجود دارد [ 7 ]، به عنوان مثال، روش های 2D-to-2D، 3D-to-3D و 3D-to-2D. در مقایسه با دو روش دیگر برای VO استریو، 3D-to-2D، کندتر حرکت می کند و نتایج دقیق تری می دهد [ 7]]. ما می‌توانیم چرخش و ترجمه تخمینی بین سیستم‌های مختصات دوربین را با استفاده از روش‌های بهینه‌سازی از جمله تخمین موقعیت دوربین پنجره‌دار، تنظیم بسته‌ای (BA)، باکتینگ و بسته شدن حلقه [11 ] بهینه کنیم .

در این مقاله، ما یک الگوریتم 3D-to-2D VO را پیاده سازی کردیم. ما از پردازش پنجره‌دار، سطل‌سازی و تنظیم بسته‌ای برای کاهش نرخ رشد خطاهای VO استفاده کردیم.

2.2. LiDAR Odometry

LiDAR به یک حسگر برد مفید در مکان یابی خودکار خودرو (AVL) و ناوبری ربات تبدیل شده است. چندین روش در طول دو دهه گذشته برای یافتن تبدیل بین دو ابر نقطه ایجاد شده است. یک روش ثبت مبتنی بر ویژگی می تواند برای یافتن تبدیل اولیه بین دو ابر نقطه استفاده شود. این روش چندین نقطه کلیدی را در هر ابر نقطه پیدا می کند و توصیفگرها را برای هر نقطه کلیدی محاسبه می کند. مرحله بعدی تطبیق است. نقاط کلیدی مربوطه با استفاده از توصیفگرهای کلیدی یافت می شوند. برای به دست آوردن نتایج بهتر، باید ناهماهنگی ها را پیدا کرد. روش های مبتنی بر RANSAC را می توان به منظور کاهش اثر عدم تطابق کشف نشده استفاده کرد. به عنوان مرحله نهایی، چرخش و ترجمه بین نقاط کلیدی مربوطه محاسبه می شود [ 12 ].

NDT (تبدیل توزیع عادی) روش دیگری برای ثبت ابر نقطه است. NDT از تکنیک های بهینه سازی استاندارد استفاده می کند که برای مدل های آماری نقاط سه بعدی برای تعیین محتمل ترین ثبت بین دو ابر نقطه اعمال می شود [ 13 ].

ICP (Iterative Closest Point) یکی از غالب ترین الگوریتم ها برای کیلومتر شماری LiDAR است و به پرکاربردترین روش برای تراز کردن ابرهای نقطه تبدیل شده است [ 2 ]. ICP به حداقل های محلی همگرا می شود و بر اساس به حداقل رساندن خطای مربع است. چندین نسخه از روش ICP در طول دهه گذشته توسعه یافته است. در ICP نقطه به نقطه، هر نقطه در ابر نقطه اول با نزدیکترین نقطه در ابر نقطه دوم جفت می شود تا جفت های متناظر تشکیل شود. گام بعدی یافتن مکرر چرخش و ترجمه با به حداقل رساندن مجموع مجذور فاصله بین نقاط در هر جفت مطابقت است [ 14 ]. معادله (1) تابع هدف ICP نقطه به نقطه [ 12 ] را نشان می دهد:

دقیقه R, T \sum ایکس من | | (ر ایکس من + تی - Y من) | | 2

(1)

که در آن T و R بردار ترجمه و ماتریس چرخش بین دو مجموعه نقطه هستند، $X_{i}$ نقطه در ابر نقطه اول است و $Y_{i}$ نقطه ابر نقطه دوم است.

در روش ICP نقطه به صفحه، مجموع فاصله مجذور بین هر نقطه در ابر نقطه اول و صفحه مماس در نقطه متناظر در ابر نقطه دوم به حداقل می رسد [14 ] . معادله (2) تابع هدف ICP نقطه به صفحه [ 12 ] را نشان می دهد:

دقیقه R, T \sum ایکس من ((ر ایکس من + تی - Y من) . n Y من) 2

(2)

جایی که $n_{Y_{i}}$ بردار نرمال به سطح در نقطه است $Y_{i}$ .

ICP تعمیم یافته (صفحه به صفحه ICP) روش ICP نقطه به نقطه و نقطه به صفحه را تعمیم می دهد و از ICP نقطه به نقطه و نقطه به صفحه بهتر عمل می کند [15 ] . از کوواریانس همسایگی‌های نقطه محلی به منظور تراز کردن سطوح زیرین به جای نقطه [ 12 ] استفاده می‌کند. این رویکرد در برابر مکاتبات نادرست قوی تر است. در این مقاله از ICP تعمیم یافته که در PCL (Point Cloud Library) پیاده سازی شده است استفاده کردیم. معادله (3) تابع هدف ICP سطح به صفحه [ 12 ] را نشان می دهد:

دقیقه R, T \sum ایکس من د تی من (سی Y من + س سی ایکس من س تی) - 1 د من

(3)

جایی که $Q = (\begin{matrix} R & T \\ 0_{3 x 1} & 1 \end{matrix})$ ، $d = Y_{i} - (R X_{i} + T)$ ، $C_{i}^{X}$ و $C_{i}^{Y}$ ماتریس های کوواریانس محله های نقطه محلی هستند.

2.3. یکپارچه سازی حسگر

کیلومترشمار بصری استریو مستقل، کیلومترشمار سنج LiDAR و IMU سیستم های محاسبه مرده هستند که می توانند راه حل ناوبری را ارائه دهند. با این حال، معایب استفاده از هر حسگر به تنهایی، پژوهشگران را به ادغام آن حسگرها ترغیب می کند. IMU و دوربین دو حسگر مکمل هستند و چندین روش ادغام دوربین/IMU با جفت و جفت سست و محکم در دهه گذشته طراحی و اجرا شده اند [ 16 ، 17 ، 18 ].

سیرتکایا و همکاران [ 16 ] و کلاینرت و همکاران. [ 19 ] روی ادغام IMU و دوربین تک چشمی کار کردند. IMU اطلاعات موقعیت و نگرش سیستم را برای حذف ابهام عمق دوربین تک چشمی فراهم می کند. نوتزی و همکاران [ 20 ] SLAM تک چشمی با کمک اینرسی را برای تخمین مقیاس مطلق یک دوربین پیشنهاد کرد. دوربین های استریو و IMU راه حل های ناوبری جداگانه ای را برای یکپارچگی با اتصال آزاد ارائه می کنند که ترکیب داده ها را انعطاف پذیرتر می کند. پیش‌بینی‌های اینرسی در EKF (فیلتر کالمن توسعه‌یافته) را می‌توان با چرخش و ترجمه به‌دست‌آمده با فاصله‌سنجی بصری اصلاح کرد [ 21]]. به طور مشابه، اندازه‌گیری‌های اینرسی می‌توانند حرکت نفسانی ۶ درجه آزادی (DOF) را که توسط کیلومتر شماری بصری تخمین زده می‌شود اصلاح کنند [ 22 ]. برای یکپارچه سازی محکم، IMU و داده های بینایی با هم پردازش می شوند تا راه حل ناوبری به دست آید. تادیف و همکاران [ 23 ] رویکرد جدیدی از ناوبری اینرسی به کمک دید را پیشنهاد کرد. در روش پیشنهادی، IMU اندازه‌گیری‌های شبه گرانش را زمانی که شتاب کم است ارائه می‌کند. در [ 24]، خروجی های IMU و مختصات پیکسل در تصاویر برای تصحیح حرکت سیستم در شرایط خاص استفاده می شود. با استفاده از این روش، نقاط ویژگی سه بعدی، که در یک سیستم مختصات جهانی بیان می‌شوند، نیز در بردار حالت فیلتر کالمن قرار می‌گیرند. این اندازه بزرگ بردار حالت، پیچیدگی محاسباتی را به طور قابل توجهی افزایش می دهد.

تخمین حرکت و تصحیح اعوجاج بدون کمک سنسورهای دیگر به یک مشکل در کیلومتر شماری LiDAR تبدیل می‌شود [ 4 ]. شرر و همکاران [ 25 ] ابرهای نقطه LiDAR را با تخمین حالت از کیلومتر شماری بصری یکپارچه و IMU ثبت کرد. شرر و همکاران [ 25 ] کیلومتر شماری بصری و دورسنجی LiDAR ترکیب شده است. در این روش ابتدا حرکت ego توسط کیلومتر شماری بصری برای ثبت ابرهای نقطه ای تخمین زده می شود و سپس کیلومتر شماری LiDAR تخمین حرکت را اصلاح می کند. کیلومتر شماری بصری همچنین به حذف اعوجاج حرکتی در ابرهای نقطه ای کمک می کند.

نورالدین و همکاران [ 5 ] RISS (سیستم حسگر اینرسی کاهش یافته) پیشنهاد شده است که در آن یک کیلومتر شمار چرخ و یک IMU کاهش یافته سه بعدی (دو شتاب سنج افقی و یک ژیروسکوپ عمودی) یکپارچه شده اند. این روش نسبت به استفاده از یک IMU کامل مزایایی دارد. با یک IMU کامل، بایاس‌های شتاب‌سنج و ژیروسکوپ جبران‌نشده باعث کاهش سرعت و موقعیت می‌شوند. بایاس شتاب سنج جبران نشده

(b_{f})

خطاهای سرعت را به عنوان تابع خطی زمان (t) و خطاهای موقعیت را که به عنوان تابع درجه دوم زمان رشد می کنند معرفی می کند [ 5 ]:

δ v = 🔻 را ب f د t = ب f تی

(4)

δ p = 🔻 را δ v d t = 1 2 ب f تی 2

(5)

جایی که $δ v a n d δ p$ به ترتیب خطاهای سرعت و موقعیت هستند. تعصب ژیروسکوپی افقی جبران نشده $(b_{w})$ خطای roll یا pitch را معرفی می کند ( $δ θ$ ) به شرح زیر [ 26 ]:

δ θ = 🔻 را ب w د t = ب w تی

(6)

خطای roll و pitch بردار شتاب را از قاب بدنه به قاب سطح محلی به صورت زیر نمایش می دهد [ 26 ]:

δ a = g s i n (δ θ) \approx g δ θ = g ب w تی

(7)

این خطای شتاب باعث خطای سرعت متناسب با t ² (

δ v = \int^{​} b_{w} g t d t = \frac{1}{2} b_{w} g t^{2}

) و خطای موقعیت متناسب با t ³ (

δ p = \int^{​} δ v d t = \int^{​} \frac{1}{2} b_{w} g t^{2} d t = \frac{1}{6} b_{w} g t^{3}

) [ 23 ].

علاوه بر این، تعصب ژیروسکوپی عمودی جبران نشده،

b_{w z}

، باعث خطای آزیموت متناسب با t می شود،

δ A = \int^{​} b_{w z} d t = b_{w z} t

[ 26 ].

در RISS، زمین پلت فرم (

p

) و رول (r) به صورت زیر محاسبه می شوند [ 5 ]:

p = گناه - 1 (f y - آ o d g)

(8)

r = گناه - 1 (f ایکس + v o d w z g cos ص)

(9)

جایی که $f^{x}$ شتاب در جهت x است، $f^{y}$ شتاب در جهت y است، $w^{z}$ سرعت زاویه ای در جهت z، g گرانش طبیعی است، $v^{o d}$ و $a^{o d}$ به ترتیب سرعت کیلومتر شمار و شتاب کیلومتر شمار هستند. بنابراین، خطای roll و pitch محاسبه شده از RISS با زمان t تناسب ندارد [ 5 ]. علاوه بر این، کیلومتر شمار چرخ به جای ادغام خروجی های شتاب سنج، سرعت را فراهم می کند. ^{بنابراین خطای چرخش و گام RISS بردار سرعت را به جای بردار شتاب سنج از قاب بدنه} به قاب سطح محلی نشان می دهد که باعث خطای سرعت متناسب با t و خطای موقعیت متناسب با t2 می شود . خطای آزیموت ناشی از بایاس ژیروسکوپ عمودی جبران نشده تنها منبع اصلی خطا در RISS سه بعدی است.

3. روش شناسی

یک روش ادغام جدید برای کیلومتر شماری استریو بصری-LiDAR و سه بعدی کاهش IMU در این مقاله پیشنهاد شده است. کیلومتر شمار چرخ در RISS که توسط [ 5 ] پیشنهاد شده بود، با کیلومترشمار استریو ویژوال-LiDAR جایگزین شده است. شکل 2 نموداری از سیستم نرم افزاری را نشان می دهد. سیستم کلی به سه بخش تقسیم می شود: کیلومتر شماری بصری، کیلومتر شماری LiDAR و بخش کاهش یافته IMU. بخش کیلومتر شماری بصری استریو با استفاده از تصاویر استریو ورودی، حرکت فریم به فریم را با نرخ فریم تصویر تخمین می زند [ 11 ]. در این بخش، بلوک تشخیص ویژگی ویژگی‌های بصری (از گوشه هریس استفاده کردیم) را از تصویر سمت چپ در دوره t _k استخراج می‌کند . بلوک ردیابی ویژگی، ویژگی های استخراج شده را در امتداد تصویر سمت راست در دوره t ردیابی می کند_k و تصویر سمت چپ در دوره t _k+1 (ردیاب KLT (Kanade-Lucas-Tomasi) استفاده شد) [ 7 ]. بلوک تخمین حرکت 3D-to-2D مثلث بندی را انجام می دهد و سپس برداشتن را انجام می دهد. یک روش مثلث سازی برای بازسازی نقاط صحنه سه بعدی از نقاط مشخصه دوبعدی در تصویر چپ و راست در دوره t _k استفاده می شود . ژست دوربین با استفاده از نقاط سه بعدی بازسازی شده در دوره t _k و نقاط ویژگی 2 بعدی تصویر سمت چپ در دوره t _k+1 با برداشتن به دست می آید (ما از روش P3P (Perspective 3 Point) استفاده کردیم) [ 7]. اگر تعداد ویژگی های ردیابی شده کمتر از یک آستانه باشد، بلوک تشخیص ویژگی نقاط ویژگی جدید را استخراج می کند. بلوک‌های بهینه‌سازی محلی، تخمین حرکت خود را با استفاده از RANSAC (توافق نمونه تصادفی)، تخمین حالت دوربین پنجره‌دار، تنظیم بسته‌ای (BA) و باکتینگ بهینه می‌کنند. در کیلومتر شماری بصری، نقاط ردیابی شده معمولاً توسط نقاط پرت آلوده می شوند. به عبارت دیگر، ارتباط داده های نادرستی وجود دارد. در قسمت رزکسیون از روش RANSAC برای حذف نقاط پرت استفاده شد. ما از پردازش پنجره ای برای کاهش نرخ رشد خطاهای VO استفاده کردیم. به‌جای مثلث‌سازی و برش متوالی، ما مثلث‌سازی را در اولین دوره قاب مرجع هر پنجره انجام دادیم و به دنبال آن در سایر قاب‌های پنجره برش را انجام دادیم. طول هر پنجره به تعداد ویژگی های ردیابی شده بستگی دارد. اگر تعداد ویژگی های ردیابی شده کمتر از آستانه مورد نظر باشد، می توانیم یک چارچوب مرجع جدید تعریف کنیم و روش فوق را تکرار کنیم. اگر ویژگی‌ها را در بیش از دو فریم تطبیق داده‌ایم، از Bundle Adjustment (BA) برای بهبود تخمین وضعیت دوربین استفاده کردیم [27 ]. در استریو ویژن BA، ما باید از روش LM (Levenberg-Marquardt) استفاده کنیم که بین الگوریتم گاوس-نیوتن (GNA) و روش نزول گرادیان درون‌یابی می‌شود. اگر از الگوریتم گاوس-نیوتن برای تنظیم بسته نرم افزاری استفاده کنیم، ماتریس معمولی تک خواهد بود، بنابراین باید از الگوریتم LM استفاده کنیم.

Bucketing روش دیگری است که در بلوک بهینه سازی محلی VO استفاده شد. در باکتینگ، تصویر به چندین مستطیل غیر همپوشانی تقسیم می شود. در هر مستطیل، تعداد مشخصی از ویژگی ها را به طور تصادفی انتخاب می کنیم [ 6 ]. سطل سازی چندین مزیت دارد. اول، پیچیدگی محاسباتی کاهش می‌یابد و تعداد کمتری از نقاط ویژگی پردازش می‌شود که برای کاربردهای بلادرنگ بسیار مهم است [ 6 ]. Bucketing تضمین می کند که تمام نقاط ویژگی به خوبی در امتداد محور z توزیع شده اند . بنابراین، هر دو نقطه ویژگی نزدیک و دور برای تخمین وضعیت دوربین استفاده می شود [ 6]. علاوه بر این، در یک صحنه پویا، که در آن تعداد قابل توجهی از نقاط روی اجسام متحرک شناسایی می‌شوند، سطل‌سازی به فیلتر کردن برخی از نقاط واقع بر روی اجسام متحرک کمک می‌کند. بنابراین، سطل سازی نرخ رانش را در کیلومتر شماری بصری کاهش می دهد. ما از کتابخانه OpenCV (نسخه ++C) برای تشخیص نقطه ویژگی، ردیابی ویژگی و تطبیق ویژگی، مثلث‌سازی و برداشتن استفاده کردیم.

شکل 2. ادومتری استریو ویژوال-LiDAR یکپارچه و IMU کاهش یافته سه بعدی.

بخش کیلومتر شماری LiDAR، حرکت ego تخمین زده شده توسط استریو VO را اصلاح می کند. بلوک ثبت ابر نقطه ای، ابرهای نقطه جمع آوری شده در دوره های متوالی را با استفاده از چرخش و ترجمه VO تراز می کند. چرخش و ترجمه VO را می توان برای حذف اعوجاج حرکتی LiDAR نیز استفاده کرد. ما تصحیح اعوجاج حرکت را نادیده گرفتیم زیرا Velodyne HDL-64E برای جمع‌آوری داده‌ها استفاده شد که قادر به جمع‌آوری داده‌هایی است که می‌توان از آنها برای تولید نقشه‌های با کیفیت حتی در حین حرکت استفاده کرد. علاوه بر این، نرخ داده LiDAR بالا است (10 هرتز) در حالی که سرعت خودرو کم بود. علاوه بر این، ما از نیمی از داده ها (180 درجه) برای ICP استفاده کردیم که اثر اعوجاج حرکت را کاهش می دهد.

ما از Point Cloud Library (PCL) برای دورسنجی LiDAR استفاده کردیم. اندازه گیری های نویز در ابرهای نقطه ای با استفاده از تکنیک های تحلیل آماری حذف شدند. حذف نقاط پرت PCL بر اساس محاسبه توزیع یک نقطه تا فاصله نقاط همسایه در مجموعه داده ورودی است. برای هر نقطه، میانگین فاصله آن تا همه همسایگانش باید محاسبه شود. به عنوان گام بعدی، تمام نقاطی که فاصله متوسط آنها خارج از بازه ای است که با میانگین کلی و انحراف استاندارد تعریف شده است، می توانند به عنوان نقاط پرت در نظر گرفته شوند و از مجموعه داده فیلتر شوند. ما از تمام ابرهای نقطه به عنوان ورودی الگوریتم ICP استفاده نکردیم. ما از ابر نقطه ای 180 درجه استفاده کردیم. همچنین نقاط دورتر از 20 متر را فیلتر کردیم. بسیاری از نقاط ابر نقطه بر روی زمین می افتند و برای هدف ما اطلاعات کمتری دارند. این نقاط از ابر نقطه با استفاده از اتصالات صفحه حذف می شوند. روش قطعه‌بندی SAmple Consensus (SAC) که در PCL پیاده‌سازی می‌شود، برای شناسایی و فیلتر کردن نقاط زمین استفاده شد. در این روش، نقاط داده دورتر از یک آستانه فیلتر می شوند، سپس سطح نرمال در هر نقطه تخمین زده می شود و یک مدل صفحه به عنوان روش روش SAC برای یافتن نقاط زمین و فیلتر کردن آنها تنظیم می شود. اکنون، ابرهای نقطه متوالی برای بلوک ICP تعمیم یافته آماده هستند که تخمین حرکت ego را اصلاح می کند. سپس نرمال سطح در هر نقطه تخمین زده می شود و یک مدل صفحه به عنوان روش روش SAC برای یافتن نقاط زمین و فیلتر کردن آنها تنظیم می شود. اکنون، ابرهای نقطه متوالی برای بلوک ICP تعمیم یافته آماده هستند که تخمین حرکت ego را اصلاح می کند. سپس نرمال سطح در هر نقطه تخمین زده می شود و یک مدل صفحه به عنوان روش روش SAC برای یافتن نقاط زمین و فیلتر کردن آنها تنظیم می شود. اکنون، ابرهای نقطه متوالی برای بلوک ICP تعمیم یافته آماده هستند که تخمین حرکت ego را اصلاح می کند.

بخش IMU کاهش یافته از دو شتاب سنج افقی و یک ژیروسکوپ عمودی تشکیل شده است. اولین گام در کاهش مکانیزاسیون IMU، مقداردهی اولیه است. موقعیت اولیه (عرض جغرافیایی اولیه، طول جغرافیایی اولیه و ارتفاع اولیه) را می توان با GPS بدست آورد. برای به دست آوردن نگرش های اولیه، فرآیند همسویی را طی می کنیم [ 26]. گام اولیه و رول اولیه را می توان با معادلات (8) و (9) به دست آورد. در بخش زیر فرض می‌کنیم که دوربین‌های استریو به جلو نگاه می‌کنند و تراز شده‌اند. محور x سیستم مختصات دوربین به سمت راست وسیله نقلیه، محور y به سمت پایین و محور z به سمت جلو خودرو اشاره می کند. فرض می‌کنیم LiDAR هم تراز است، محور x سیستم مختصات LiDAR به سمت جلو خودرو، محور y به سمت چپ خودرو و محور z به سمت بالا است. کیلومتر شمار استریو Visual-LiDAR پارامترهای ترجمه ( Tk ) و چرخش ( را تخمین می زند ^.

R_{k}^{k + 1}

) بین دو فریم LiDAR متوالی در دوره k و epoch k+1 . جابجایی و سرعت رو به جلو که در مکانیزاسیون استفاده می شود را می توان به صورت زیر بدست آورد:

Δ ایکس V O - L i D A R ک

(10)

v V O - L i D A R f o r w a r d ک = Δ ایکس V O ک Δ t

(11)

جایی که: $X = (\begin{matrix} ∆ x_{k}^{V O - L i D A R} \\ ∆ y_{k}^{V O - L i D A R} \\ ∆ z_{k}^{V O - L i D A R} \end{matrix}) = - {(R_{k}^{k + 1})}^{- 1} T^{k}$ .

آزیموت اولیه را می توان با سرعت GPS بدست آورد،

A_{0} = \tan^{- 1} (\frac{v_{G P S}^{E}}{v_{G P S}^{N}})

[ 5 ]. پس از مقداردهی اولیه، رول، گام و آزیموت، سرعت و موقعیت را می توان برای هر دوره محاسبه کرد. معادلات (8) و (9) را می توان به ترتیب برای محاسبه گام و رول اعمال کرد در حالی که آزیموت با استفاده از رابطه زیر (5) محاسبه می شود:

آ ک = برنزه - 1 (U E U ن) + w ه گناه φ k - 1 Δ t + Δ ایکس V O - L i D A R k - 1 s i n آ k - 1 ج _ _ پ k - 1 t a n φ k - 1 آر ن + ساعت k - 1

(12)

جایی که

U E = s i n آ k - 1 ج__پ k - 1 ج__γ z ک - (c o s آ k - 1 ج__r k - 1 + s i n آ k - 1 s i n پ k - 1 s i n r k - 1) s i n γ z ک ،

U ن = c o s آ k - 1 ج__پ k - 1 ج__γ z ک - (- s i n آ k - 1 ج__r k - 1 + c o s آ k - 1 s i n پ k - 1 s i n r k - 1) s i n γ z ک

$w^{e}$ سرعت چرخش زمین است، $φ$ عرض جغرافیایی وسیله نقلیه است، $γ_{k}^{z} = w_{k}^{z} ∆ t$ ، $R_{N}$ شعاع انحنای عمود اول است.

مرحله بعدی ادغام آزیموت از معادله (12) و آزیموت VO-LiDAR با استفاده از فیلتر کالمن است. از آنجایی که VO-LiDAR تبدیل بین دوره های متوالی و تبدیل بین سیستم مختصات LiDAR می دهد، سیستم مختصات IMU و چارچوب ناوبری در دوره اول شناخته شده است، می توانیم آزیموت VO-LiDAR را محاسبه کنیم.

A_{k}^{V O - L i D A R}

) در هر دوره مدل سیستم حالت خطا را می توان به صورت زیر نوشت:

δ ایکس^ک = Φ k - 1 δ ایکس^k - 1 + جی ک w ک

(13)

جایی که $δ {\hat{x}}_{k} = [δ A z_{k}, δ w_{z}], Φ_{k - 1} = [\begin{matrix} 1 & - ∆ t \\ 0 & 1 - β_{z} ∆ t \end{matrix}], G_{k} = [\begin{matrix} 0 \\ (2 β_{z} v a r i a n c e (w_{z})) \end{matrix}]$ ، $β_{z}$ زمان همبستگی برای بایاس ژیروسکوپ است، $w_{z}$ اندازه گیری ژیروسکوپ حول محور z است، $δ w_{z}$ خطای ژیروسکوپ است. مدل اندازه گیری به شرح زیر است:

δ z ک = آ ک - آ V O - L i D A R ک = [10] δ ایکس^ک + v ک

(14)

در نهایت، آزیموت تخمین زده شده است:

آ f من یک l_ک = آ ک - δ ایکس^ک (1)

(15)

سرعت در جهت شرق، شمال و بالا را می توان با استفاده از فرمول زیر بدست آورد [ 5 ]:

V = ⎡ ⎣ ⎢ ⎢ v E ک v ن ک v U ک ⎤ ⎦ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ v V O - L i D A R f o r w a r d ک s i n آ نهایی ک ج__پ ک v V O - L i D A R f o r w a r d ک ج__آ نهایی ک ج__پ ک v V O - L i D A R f o r w a r d ک s i n پ ک ⎤ ⎦ ⎥ ⎥ ⎥

(16)

موقعیت را می توان با فرمول زیر بدست آورد [ 5 ]:

پ = ⎡ ⎣ ⎢ φ ک λ ک ساعت ک ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ φ k - 1 + Δ ایکس V O - L i D A R ک ج _ _ آ نهایی ک ج _ _ پ ک آر م + ساعت ک λ k - 1 + Δ ایکس V O - L i D A R ک s i n آ نهایی ک ج _ _ پ ک ( آر ن + ساعت ک ) c o s φ ک ساعت k - 1 + Δ ایکس V O - L i D A R ک s i n پ ک ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥

(17)

جایی که $R_{M}$ شعاع انحنا در نصف النهار است.

4. نتایج و تجزیه و تحلیل

4.1. توضیحات داده ها

یک مجموعه داده از KITTI (موسسه فناوری کارلسروهه و موسسه فناوری تویوتا) برای ارزیابی سیستم یکپارچه استفاده می شود. داده‌های حسگر شامل توالی‌های تصویر تک رنگ و رنگی، داده‌های RTK GPS-IMU و داده‌های اسکنر لیزری است که در مناطق شهری و حومه شهر کارلسروهه، آلمان جمع‌آوری شده‌اند. تجهیزات مورد استفاده عبارتند از:

GPS/IMU: OXTS RT 3003
اسکنر لیزری: Velodyne HDL-64E
دوربین‌های مقیاس خاکستری، 1.4 مگاپیکسل: Point Grey Flea 2 (FL2-14S3M-C)
دوربین‌های رنگی، 1.4 مگاپیکسل: Point Grey Flea 2 (FL2-14S3C-C)

وضوح دوربین 1241 × 376 و سرعت انتقال داده 10 FPS (فریم در ثانیه) است. ما از دید استریو در مقیاس خاکستری برای VO استفاده کردیم و از راه حل RTK GPS/IMU یکپارچه به عنوان حقیقت اصلی استفاده کردیم. پیکربندی سنسور در شکل 3 نشان داده شده است .

شکل 3. پیکربندی حسگر روی پلت فرم [ 28 ] .

مجموعه داده شماره 27 جمع آوری شده در 3 اکتبر 2011 و مجموعه داده شماره 28 و 18 جمع آوری شده در 30 سپتامبر 2011 و مجموعه داده شماره 61 جمع آوری شده در 26 سپتامبر 2011 و مجموعه داده شماره 34 جمع آوری شده در 3 اکتبر 2011 برای ارزیابی نتایج تخمین وضعیت استفاده می شود. .

4.2. کالیبراسیون سنسور

تمام حسگرهای KITTI به دقت هماهنگ و کالیبره شدند [ 28 ]. برای جلوگیری از رانش در طول زمان، حسگرها هر روز پس از جمع‌آوری داده‌های گروه KITTI کالیبره شدند. به منظور همگام سازی حسگرها، از مهر زمانی Velodyne استفاده شد. گروه KITTI یک کنتاکت نی را در پایین Velodyne نصب کرد و دوربین ها را در هنگام رو به جلو فعال کرد [ 28 ]. متأسفانه، یک سیستم GPS/IMU را نمی توان با این روش هماهنگ کرد. GPS/IMU به‌روزرسانی‌ها را با فرکانس 100 هرتز ارائه می‌کند و نزدیک‌ترین مُهر زمانی به مهر زمانی Velodyne در هر دوره انتخاب شد. این همگام سازی حداکثر 5 میلی ثانیه بین GPS/IMU و بسته داده دوربین/Velodyne می شود. پارامترهای کالیبراسیون دوربین به دوربین با رویکرد پیشنهادی در [ 29] برآورد شد]. برای کالیبراسیون دوربین به دوربین، از الگوی صفحه شطرنج استفاده شد. به جای گرفتن چندین عکس از یک صفحه شطرنج، یک عکس از چندین تخته شطرنج برای تخمین پارامترهای کالیبراسیون درونی و بیرونی دوربین گرفته شد [ 29 ]. پارامترهای کالیبراسیون ذاتی تخمین زده شده شامل ماتریس دوربین چپ و راست است:

(م من = ⎛ ⎝ ⎜ ⎜ f (من) 000 f (من) 0 ج (من) ایکس ج (من) y 0 ⎞ ⎠ ⎟ ⎟ i = 1 ، 2

که در آن f فاصله کانونی و C _x و C _y مختصات مرکز اصلی هستند) و ضرایب اعوجاج تصویر. پارامترهای کالیبراسیون دوربین خارجی چرخش و ترجمه بین سیستم مختصات دوربین چپ و راست، ماتریس ضروری و ماتریس اساسی است [ 30 ، 31 ]. تصاویر KITTI استریو تصحیح شدند و تبدیل تصحیح و ماتریس طرح ریزی برای دوربین چپ و راست تخمین زده شد. دقت کالیبراسیون دوربین تاثیر زیادی بر مثلث‌سازی و برداشتن در VO دارد و کالیبراسیون نادقیق دوربین منجر به جابجایی سریع‌تر موقعیت در VO می‌شود. کیفیت کالیبراسیون دوربین استریو را می توان با استفاده از محدودیت هندسه اپی قطبی بررسی کرد [10 ، 30 ]. پیکسل مربوط به یک پیکسل در تصویر سمت چپ روی اپی لاین در تصویر سمت راست قرار دارد. این اپی لاین را می توان با رابطه (10) زیر بیان کرد:

ل “ = اف ایکس

(18)

جایی که $l^{'}$ در تصویر سمت راست اپی لاین است، x مختصات پیکسل ناهمگن در تصویر سمت چپ و F یک ماتریس 3×3 است که به عنوان ماتریس بنیادی شناخته می‌شود.

پیکسل مربوطه در تصویر سمت راست (

x^{'}

) در تصویر سمت راست روی اپی لاین قرار دارد و بنابراین:

ایکس ‘ تی ل “ = ایکس ‘ تی اف x = 0

(19)

ماتریس اساسی که یکی از خروجی های کالیبراسیون دوربین استریو است، می تواند در رابطه (19) برای ارزیابی کیفیت کالیبراسیون دوربین استریو استفاده شود. میانگین خطای بازپرداخت مجدد دوربین برای مجموعه داده های KITTI 0.3 پیکسل است (خطای بازپخش کمتر از یک پیکسل قابل قبول است).

تبدیل بین IMU و سیستم مختصات Velodyne و Velodyne و سیستم مختصات دوربین با رویکرد پیشنهاد شده در [ 29 ] نیز برآورد شد. همانطور که در بالا ذکر کردیم، نزدیکترین نقطه تکراری تعمیم یافته (GICP) از خروجی های VO استریو به عنوان حدس اولیه استفاده می کند. بنابراین، نتایج GICP به دقت تبدیل بین Velodyne و یک سیستم مختصات دوربین بستگی دارد. دقت تبدیل بین IMU و Velodyne برای ادغام استریو ویژوال – Lidar و IMU کاهش یافته نیز مهم است. دقت Velodyne HDL-64E +/-2 سانتی متر است. بنابراین، دقت بازوی اهرمی که بر روی دقت سطح میلی متری است، بر عملکرد سیستم تأثیر نمی گذارد.

4.3. نتایج و تجزیه و تحلیل یکپارچه سازی حسگر

همانطور که در بالا ذکر کردیم، از پنج مجموعه داده برای ارزیابی و مقایسه پیکربندی‌های سیستم زیر در مناطق شهری و حومه شهر استفاده شد: (1) VO استریو. (2) VO استریو یکپارچه و IMU کاهش یافته. (3) استریو VO-LiDAR. و (4) استریو VO-LiDAR یکپارچه و کاهش IMU.

شکل 4 تصاویر گرفته شده در دو دوره از مجموعه داده شماره 27، مجموعه داده شماره 28، مجموعه داده شماره 18، مجموعه داده شماره 61 و مجموعه داده شماره 34 را نشان می دهد.

شکل 4. ( الف ) تصاویر را در دو دوره برای مجموعه داده شماره 27 نشان می دهد. ( ب ) برای مجموعه داده #28; ( ج ) برای مجموعه داده #18; ( d ) برای مجموعه داده شماره 61 و ( e ) برای مجموعه داده شماره 34.

شکل 5 نتایج تخمین موقعیت را برای مجموعه داده شماره 27، مجموعه داده شماره 28، مجموعه داده شماره 18، مجموعه داده شماره 61 و مجموعه داده شماره 34 نشان می دهد.

شکل 5. نتایج تخمین ego با استفاده از VO استریو، VO استریو یکپارچه و IMU کاهش یافته، Stereo VO-LiDAR و Stereo VO-LiDAR یکپارچه و IMU کاهش یافته. ( الف ) نتایج برای مجموعه داده #27 را نشان می دهد. ( ب ) نتایج برای مجموعه داده #28 را نشان می دهد. ( ج ) نتایج را برای مجموعه داده #18 نشان می دهد. ( d ) نتایج را برای مجموعه داده شماره 61 و ( e ) نتایج را برای مجموعه داده شماره 34 نشان می دهد.

شکل 6 RMSE (خطای میانگین مربع ریشه) را در صفحه شرقی، شمالی و افقی برای VO استریو، VO استریو یکپارچه و IMU کاهش یافته، VO-LiDAR استریو و VO-LiDAR استریو یکپارچه و IMU کاهش یافته نشان می دهد. شکل 6 a نتایج را برای مجموعه داده #27، شکل 6 b برای مجموعه داده #28، شکل 6 c برای مجموعه داده #18، شکل 6 d برای مجموعه داده #61 و شکل 6 e برای مجموعه داده #34 نشان می دهد.

شکل 6. RMSE در شرق، شمال و صفحه افقی برای VO استریو، VO استریو یکپارچه و IMU کاهش یافته، استریو VO-LiDAR و استریو VO-LiDAR یکپارچه و IMU کاهش یافته. ( الف ) نتایج برای مجموعه داده #27 را نشان می دهد. ( ب ) نتایج برای مجموعه داده #28 را نشان می دهد. ( ج ) نتایج را برای مجموعه داده #18 نشان می دهد. ( d ) نتایج را برای مجموعه داده شماره 61 و ( e ) نتایج را برای مجموعه داده شماره 34 نشان می دهد.

رانش های اندازه گیری شده با مسافت طی شده به عنوان دقت نسبی مقایسه شده و در جدول 1 فهرست شده است .

جدول 1. خطاهای موقعیت افقی نسبی در آزمون فایل. VO: کیلومتر شماری بصری استریو، VO-RI: کیلومتر شماری بصری استریو یکپارچه و IMU کاهش یافته، VO-L: کیلومتر شماری تصویری استریو-LiDAR، VO-L-RI: یکپارچه. استریو Visual-LiDAR Odometry و IMU کاهش یافته.

شکل 7 آزیموت وسیله نقلیه را برای مجموعه داده #27، مجموعه داده #28، مجموعه داده #18، مجموعه داده #61 و مجموعه داده #34 نشان می دهد.

شکل 7. آزیموت وسیله نقلیه محاسبه شده توسط VO، VO-RI، VO-L و VO-L-RI، ( a ) برای مجموعه داده #27. ( ب ) برای مجموعه داده #28; ( ج ) برای مجموعه داده #18; ( d ) برای مجموعه داده شماره 61 و ( e ) برای مجموعه داده شماره 34.

همانطور که از نتایج بالا می بینیم، کیلومتر شماری استریو Visual-LiDAR یکپارچه و IMU کاهش یافته سه بعدی نتایج دقیق تری نسبت به روش های دیگر ارائه می دهد. برای همه مجموعه داده ها، این روش کندتر حرکت می کند و نتایج بهتری نسبت به روش های دیگر می دهد. کیلومتر شماری استریو بصری-LiDAR نتایج بهتری نسبت به VO استریو مستقل و VO استریو یکپارچه و کاهش IMU برای چهار مجموعه داده اول که در مناطق شهری با ساختمان‌های اطراف جمع‌آوری شده‌اند، می‌دهد. برای مجموعه داده شماره 34، کمی بدتر از VO استریو یکپارچه و کاهش IMU است، زیرا این مجموعه داده در جاده های کوچک با پوشش گیاهی در صحنه جمع آوری شده است. کیلومتر شماری LiDAR در مناطق حومه شهر نتایج ضعیف تری می دهد و اگر ابرهای نقطه ای بسیار پراکنده و بدون شکل خاصی باشند ممکن است شکست بخورد. علاوه بر این، کیلومتر شماری استریو Visual-LiDAR یکپارچه و آزیموت کاهش یافته IMU سه بعدی نسبت به سایر روش ها دقیق تر است. کیلومتر شماری استریو Visual-LiDAR یکپارچه و IMU کاهش یافته می تواند به دقت در سطح نتایج هنر پیشنهاد شده توسط [4 ]. ژانگ و همکاران [ 4 ] یک روش کیلومتر شماری و نقشه برداری بصری-LiDAR با میانگین 75/0 درصد رانش موقعیت نسبی پیشنهاد کرد. روش ما به طور متوسط 0.78 درصد از رانش موقعیت نسبی در مناطق شهری دارد. ژانگ و همکاران [ 4] از دوربین تک چشمی برای VO استفاده می کند و از LiDAR برای حذف ابهام مقیاس دوربین استفاده می کند. به عبارت دیگر، روش آنها دوربین تک چشمی و LiDAR را به خوبی جفت می کند. پس از آن، آنها از خروجی دوربین تک چشمی و LiDAR به عنوان ورودی ICP برای اصلاح تخمین پوز استفاده کردند. در این مقاله از دوربین استریو برای رفع ابهام مقیاس استفاده شده است و به سنسورهای دیگر وابسته نیست. LiDAR از خروجی‌های VO استریو به‌عنوان حدس اولیه برای ICP استفاده می‌کند و اگر استریو VO ناموفق باشد، فاصله‌سنجی LiDAR همچنان می‌تواند کار کند (ما می‌توانیم از روش‌های ثبت ابر نقطه‌ای برای ارائه حدس اولیه برای ICP استفاده کنیم). دوربین تک چشمی با اتصال محکم و LIDAR از استریو VO دقیق تر است. بنابراین، حدس اولیه برای ICP در [ 4 ] بهتر از حدس اولیه ما است. بنابراین، vision-LiDAR بلوک در [ 4] در روش ما بهتر از بلوک vision-LiDAR عمل می کند. از طرف دیگر، روش پیشنهادی ما قابل اعتمادتر است. در [ 4 ]، اگر ابرهای نقطه پراکنده باشند، هیچ عمقی را نمی توان به نقاط کلیدی بصری اختصاص داد و هیچ راه حلی برای آن دوره وجود نخواهد داشت. در سیستم ما، اگر LiDAR از کار بیفتد، استریو VO همچنان می‌تواند راه حل را به ما بدهد. در نهایت، ما IMU کاهش یافته را به سیستم خود اضافه می کنیم تا به دقتی مشابه با [ 4 ] برسیم.

متأسفانه، مجموعه داده‌های آنلاین KITTI داده‌های کیلومتر شمار چرخ را شامل نمی‌شود. بنابراین، داده‌های کیلومترشمار چرخ در RISS، با سرعت رو به جلو RTK GPS/IMU جایگزین می‌شود تا RISS شبیه‌سازی شده و روش پیشنهادی مقایسه شود. سرعت رو به جلو RTK GPS/IMU دقیق تر از کیلومترشمار چرخ است که از عوامل بسیاری مانند لغزش لاستیک و تغییر قطر تایر به دلیل تغییرات سرعت و فشار رنج می برد [ 31 ]. شکل 8 RISS و VO-LIDAR استریو یکپارچه و نتایج تخمین پوز IMU کاهش یافته را برای مجموعه داده شماره 27، مجموعه داده شماره 28، مجموعه داده شماره 18، مجموعه داده شماره 61 و مجموعه داده شماره 34 نشان می دهد.

شکل 8. نتایج تخمین ego با استفاده از RISS و Stereo VO-LiDAR یکپارچه و کاهش IMU. ( الف ) نتایج برای مجموعه داده #27 را نشان می دهد. ( ب ) نتایج برای مجموعه داده #28 را نشان می دهد. ( ج ) نتایج را برای مجموعه داده #18 نشان می دهد. ( d ) نتایج را برای مجموعه داده شماره 61 و ( e ) نتایج را برای مجموعه داده شماره 34 نشان می دهد.

شکل 9 RMSE را در صفحه شرقی، شمالی و افقی و خطای افقی موقعیت های تخمینی برای RISS و Stereo VO-LiDAR یکپارچه و IMU کاهش یافته را نشان می دهد. شکل 9 a نتایج را برای مجموعه داده #27، شکل 9 b برای مجموعه داده #28، شکل 9c برای مجموعه داده #18، شکل 9 d برای مجموعه داده #61 و شکل 9 e برای مجموعه داده #34 را نشان می دهد.

شکل 9. RMSE در شرق، شمال و صفحه افقی برای RISS و استریو VO-LiDAR یکپارچه و IMU کاهش یافته. ( الف ) نتایج برای مجموعه داده #27 را نشان می دهد. ( ب ) نتایج برای مجموعه داده #28 را نشان می دهد. ( ج ) نتایج را برای مجموعه داده #18 نشان می دهد. ( d ) نتایج را برای مجموعه داده شماره 61 و ( e ) نتایج را برای مجموعه داده شماره 34 نشان می دهد.

اگرچه سرعت رو به جلو RTK GPS/IMU از کیلومترشمار چرخ و همچنین سرعت VO-LiDAR استریو دقیق تر است، VO-LiDAR استریو یکپارچه و IMU کاهش یافته عملکرد بهتری از RISS شبیه سازی شده برای همه مجموعه داده ها به جز مجموعه داده شماره 61 دارد. در RISS، خروجی ژیروسکوپ عمودی، رول، برای محاسبه آزیموت از گام و سرعت رو به جلو استفاده می شود. آزیموت RISS برای مدت کوتاهی دقیق است و دقت آزیموت به دلیل انباشتگی خطای ژیروسکوپ به سرعت کاهش می یابد. همانطور که در قسمت مقدمه ذکر کردیم، VO-LiDAR استریو هم سرعت و هم آزیموت را فراهم می کند. آزیموت Stereo VO-LiDAR با آزیموت ژیروسکوپ عمودی در روش پیشنهادی ادغام شده است که نتایج دقیق‌تر و پایدارتری را به همراه دارد. نتایج شبیه سازی شده RISS بهتر از روش پیشنهادی برای مجموعه داده شماره 61 است، زیرا این مجموعه داده بسیار کوتاه است (فقط 67 ثانیه) و داده ها قبل از شروع به انحراف آزیموت ژیروسکوپ vertcal به پایان می رسد.

5. نتیجه گیری ها

یک کیلومتر شماری استریو بصری-LiDAR یکپارچه و IMU کاهش یافته در این مقاله پیشنهاد شده است که در آن ابتدا کیلومترشمار بصری استریو حرکت ego را تخمین می زند که برای ثبت ابرهای نقطه استفاده می شود، سپس از الگوریتم GICP برای اصلاح تخمین حرکت ego استفاده می شود، و در نهایت، سرعت رو به جلو و آزیموت به‌دست‌آمده با کیلومترشمار LiDAR با IMU کاهش‌یافته در فیلتر کالمن توسعه‌یافته (EKF) ادغام می‌شوند تا راه‌حل ناوبری نهایی را ارائه دهند. سیستم پیشنهادی عملکرد بهتری از سیستم حسگر اینرسی کاهش یافته (RISS) شبیه سازی شده دارد. کیلومتر شمار استریو Visual-LiDAR نه تنها ترجمه، بلکه چرخش بین دو سیستم مختصات اسکنر لیزری را در دوره های متوالی فراهم می کند. بنابراین، می‌توانیم آزیموت VO-LiDAR را در هر دوره محاسبه کنیم که با آزیموت کاهش‌یافته IMU ادغام می‌شود. نتایج نشان می‌دهد که فاصله‌سنجی استریو Visual-LiDAR یکپارچه و IMU کاهش یافته سه بعدی نتایج دقیق‌تری نسبت به استریو VO، استریو VO یکپارچه و IMU کاهش‌یافته و کیلومتر شماری استریو Visual-LiDAR ارائه می‌دهد. صدای استریو Visual-LiDAR کمی بدتر از VO استریو یکپارچه و کاهش IMU در مناطق حومه شهر (جاده های کوچک با پوشش گیاهی در صحنه) است. نتایج همچنین نشان می‌دهد که فاصله‌سنجی یکپارچه استریو بصری-LiDAR و کاهش IMU می‌تواند به دقت در سطح قابل مقایسه با پیشرفته‌ترین دست یابد. مجموعه داده‌های KITTI داده‌های کیلومتر شمار چرخ را شامل نمی‌شود. برای شبیه‌سازی RISS، داده‌های کیلومترشمار چرخ با سرعت رو به جلو RTK GPS/IMU جایگزین شد که دقیق‌تر از کیلومترشمار چرخ است. VO-LIDAR استریو یکپارچه و IMU کاهش یافته عملکرد بهتری از RISS شبیه سازی شده برای همه مجموعه داده ها به جز مجموعه داده شماره 61 دارد.

منابع

میلا، ا. Siegwart، R. تخمین حرکت خود مبتنی بر استریو با استفاده از ردیابی پیکسل و نزدیکترین نقطه تکراری. در مجموعه مقالات کنفرانس بین المللی IEEE در سیستم های بینایی کامپیوتری، نیویورک، نیویورک، ایالات متحده آمریکا، 4 تا 7 ژانویه 2006. پ. 21.
هونگ، اس. کو، اچ. Kim, J. VICP: الگوریتم نزدیکترین نقطه تکراری به روز رسانی سرعت. در مجموعه مقالات کنفرانس بین المللی IEEE در سال 2010 در مورد رباتیک و اتوماسیون، انکوریج، AK، ایالات متحده آمریکا، 3-7 مه 2010. صفحات 1893-1898.
هونگ، اس. کو، اچ. Kim, J. بهبود ردیابی حرکت با به‌روزرسانی سرعت و تصحیح اعوجاج از داده‌های اسکن لیزری مسطح. در مجموعه مقالات کنفرانس بین‌المللی واقعیت مصنوعی و تلفیق، 1-3 دسامبر 2008. صص 315-318.
ژانگ، جی. سینگ، اس. کیلومتر شماری و نقشه برداری Visual-lidar: کم رانش، قوی و سریع. در مجموعه مقالات کنفرانس بین المللی IEEE 2015 در مورد رباتیک و اتوماسیون (ICRA)، سیاتل، WA، ایالات متحده آمریکا، 26-30 مه 2015. صص 2174–2181.
نورالدین، ا. کرامت، سل؛ جورجی، جی. مبانی ناوبری اینرسی، موقعیت یابی مبتنی بر ماهواره و ادغام آنها . Springer: برلین، آلمان، 2013. [ Google Scholar ]
کیت، بی. گایگر، ا. Lategahn, H. اودومتری بصری بر اساس توالی تصویر استریو با طرح رد پرت مبتنی بر RANSAC. در مجموعه مقالات سمپوزیوم وسایل نقلیه هوشمند IEEE 2010، سن دیگو، کالیفرنیا، ایالات متحده آمریکا، 21 تا 24 ژوئن 2010. ص 486-492.
اسکاراموزا، دی. Fraundorfer, F. Tutorial: Visual odometry. ربات IEEE. خودکار Mag. 2011 ، 18 ، 80-92. [ Google Scholar ] [ CrossRef ]
Steffen, R. Visual SLAM از توالی های تصویری بدست آمده توسط وسایل نقلیه هوایی بدون سرنشین. دکتری پایان نامه، دانشگاه بن، بن، آلمان، 2009. [ Google Scholar ]
Weiss, S. Visual SLAM in Pieces ; ETH Zurich: زوریخ، سوئیس، 2009. [ Google Scholar ]
حسینی علمداری، س. یلماز، الف. تخمین میدان بردار حرکت با استفاده از فرض ثبات روشنایی و محدودیت هندسه اپی قطبی. ISPRS Ann. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2014 ، II–1 ، 9–16. [ Google Scholar ] [ CrossRef ]
سرورود، YB; گائو، ی. تجزیه و تحلیل و کاهش هم ترازی دید استریو و خطاهای سرعت برای ناوبری دید. در مجموعه مقالات بیست و هفتمین نشست فنی بین المللی بخش ماهواره ای موسسه ناوبری، سن دیگو، کالیفرنیا، ایالات متحده آمریکا، 27 تا 29 ژانویه 2014. صص 3254–3262.
هولز، دی. Ichim، AE; تومبری، ف. Rusu، RB; Behnke, S. ثبت با کتابخانه نقطه ای ابری PCL یک چارچوب مدولار برای تراز کردن ابرهای نقطه سه بعدی. ربات IEEE. خودکار Mag. 2015 ، 22 ، 110-124. [ Google Scholar ] [ CrossRef ]
بیبر، پ. Strasser, W. تبدیل توزیع‌های نرمال: رویکردی جدید برای تطبیق اسکن لیزری. IEEE Int. Conf. هوشمند ربات. سیستم 2003 ، 3 ، 2743-2748. [ Google Scholar ]
پایین، K. بهینه سازی حداقل مربعات خطی برای ثبت سطح ICP نقطه به صفحه . دانشگاه کارولینای شمالی در چپل هیل: چپل هیل، NC، ایالات متحده آمریکا، 2004. [ Google Scholar ]
سگال، ا. هانل، دی. Thrun، S. Generalized-ICP. ربات. علمی سیستم 2009 ، 5 ، 168-176. [ Google Scholar ]
سیرتکایا، اس. سیمن، بی. آلاتان، A. فیلتر کالمن با جفت آزاد برای ادغام Odometry بصری و ناوبری اینرسی. در مجموعه مقالات شانزدهمین کنفرانس بین المللی ادغام اطلاعات (FUSION) در سال 2013، استانبول، ترکیه، 9 تا 12 ژوئیه 2013. صص 219-226.
کورک، پی. لوبو، جی. دیاس، جی. مقدمه ای بر حس اینرسی و بصری. بین المللی جی راب. Res. 2007 ، 26 ، 519-535. [ Google Scholar ] [ CrossRef ]
کیان، جی. چلاپا، ر. ژنگ، Q. ساختار قوی از تخمین حرکت با استفاده از داده های اینرسی. ج. انتخاب Soc. صبح. A 2001 , 18 , 2982. [ Google Scholar ] [ CrossRef ]
کلاینرت، ام. Schleith، S. SLAM تک چشمی با کمک اینرسی برای ناوبری بدون GPS. در مجموعه مقالات کنفرانس بین المللی IEEE در مورد همجوشی و ادغام چند حسگر برای سیستم های هوشمند (MFI)، سالت لیک سیتی، UT، ایالات متحده آمریکا، 5-7 سپتامبر 2010. ص 20-25.
نوتزی، جی. ویس، اس. اسکاراموزا، دی. Siegwart، R. ادغام IMU و چشم انداز برای تخمین مقیاس مطلق در SLAM تک چشمی. جی. اینتل. ربات. سیستم تئوری کاربردی 2011 ، 61 ، 287-299. [ Google Scholar ] [ CrossRef ]
اشمید، ک. Hirschmuller، H. Stereo vision و IMU بر اساس زمان واقعی خود حرکت و محاسبه تصویر عمق بر روی یک دستگاه دستی. در مجموعه مقالات کنفرانس بین المللی IEEE 2013 در مورد رباتیک و اتوماسیون (ICRA)، کارلسروهه، آلمان، 6 تا 10 مه 2013. صص 4671-4678.
کونولیج، ک. آگراوال، م. سولا، جی. کیلومتر شماری بصری در مقیاس بزرگ برای زمین های ناهموار. Proc. بین المللی علائم ربات. Res. 2007 ، 2 ، 1150-1157. [ Google Scholar ]
Tardif، JP; جورج، م. لاورن، ام. کلی، ا. Stentz، A. یک رویکرد جدید برای ناوبری اینرسی با کمک دید. در مجموعه مقالات کنفرانس بین المللی IEEE/RSJ 2010 در مورد ربات ها و سیستم های هوشمند (IROS)، تایپه، تایوان، 18 تا 22 اکتبر 2010. صص 4161–4168.
Strelow، D. تخمین حرکت از تصویر و اندازه‌گیری‌های اینرسی. بین المللی جی راب. Res. 2004 ، 23 ، 1157-1195. [ Google Scholar ] [ CrossRef ]
شرر، اس. رهدر، جی. آچار، س. جلد، اچ. چمبرز، آ. نوسکه، اس. سینگ، اس. نقشه برداری رودخانه از یک ربات پرنده: تخمین حالت، تشخیص رودخانه و نقشه برداری موانع. Auton. Robots 2012 , 33 , 189-214. [ Google Scholar ] [ CrossRef ]
جکلی، سی. سیستم‌های ناوبری اینرسی با کاربردهای ژئودتیک . DE GRUYTER: برلین، آلمان، 2001. [ Google Scholar ]
Szeliski، R. بینایی کامپیوتر: الگوریتم ها و برنامه ها. کامپیوتر (Long. Beach. Calif). 2010 ، 5 ، 832. [ Google Scholar ]
گایگر، ا. لنز، پی. استیلر، سی. Urtasun, R. Vision ملاقات با روباتیک: مجموعه داده KITTI. بین المللی جی راب. Res. 2013 ، 32 ، 1231-1237. [ Google Scholar ] [ CrossRef ]
گایگر، ا. موسمن، اف. ماشین، O. شوستر، ب. کالیبراسیون خودکار دوربین و سنسور برد با استفاده از یک شات. در مجموعه مقالات کنفرانس بین المللی IEEE 2012 در مورد رباتیک و اتوماسیون (ICRA)، سنت پل، MN، ایالات متحده آمریکا، 14-18 مه 2012. صص 3936-3943.
حسینی علمداری، س. بالازادگان، ی. Toth, C. ردیابی اجسام متحرک سه بعدی بر اساس راه حل ناوبری GPS/IMU، ابر نقطه اسکنر لیزری و داده های GIS. ISPRS Int. J. Geo-Inform. 2015 ، 4 ، 1301-1316. [ Google Scholar ] [ CrossRef ]
Meng, Y. بهبود موقعیت وسیله نقلیه زمینی با استفاده از نقشه دیجیتال و سایر اطلاعات جانبی. دکتری پایان نامه، دانشگاه پلی تکنیک هنگ کنگ، هنگ کنگ، 2006. [ Google Scholar ]

© 2016 توسط نویسندگان؛ دارنده مجوز MDPI، بازل، سوئیس. این مقاله یک مقاله با دسترسی آزاد است که تحت شرایط و ضوابط مجوز Creative Commons by Attribution (CC-BY) (http://creativecommons.org/licenses/by/4.0/) توزیع شده است.

;کاربردهای GIS مقالات

درخواست مشاوره

09120049370

8 صبح تا 12 شب