1. معرفی
فناوریهای حسگر در حال توسعه سریع دادههای غنیتری را ارائه میکنند که میتوانند با بهبود تکنیکهای ترکیب دادهها پردازش شوند، که منجر به یکپارچهسازی حسگرهای چندگانه بسیار دقیق میشود که میتواند به طور مؤثری از بینایی رایانه و وظایف روباتیک سطح بالا، مانند رانندگی مستقل و درک صحنه، پشتیبانی کند. نظارت بر ترافیک جادهای جزء کلیدی رانندگی مستقل است و میتواند به زیر شاخههایی مانند تقسیمبندی اشیا، ردیابی اشیا و تشخیص اشیا تقسیم شود.
پیشرفت در الگوریتمهای پردازش ابری تصویر و نقطه منجر به رویکردهای ردیابی شی قویتر شده است. با این حال، ابر تصویر و نقطه مستعد نویز، درهم و برهمی، و انسداد هستند، و بنابراین، ردیابی همچنان یک کار چالش برانگیز در رانندگی خودران است. علاوه بر این، یک ابر نقطه ممکن است پراکنده باشد، به خصوص برای اسکنرهای لیزری ارزان، و حرکت پلت فرم ممکن است یک خطای سیستماتیک در ابر نقطه جمع آوری شده ایجاد کند. این مقاله بر روی پردازش ابری نقطهای تمرکز دارد زیرا الگوریتمهای پردازش تصویر معمولاً برای وسایل نقلیه خودمختار کمتر قابل اعتماد هستند.
بسیاری از مقالات، با تمرکز بر ردیابی یک شی در ابر نقطه یا تصویر، حرکت پلت فرم را نادیده می گیرند، که باید برای یافتن / مکان یابی اشیاء متحرک تخمین زده شود. برخی از الگوریتمها وجود دارند که اجسام متحرک و اجسام ساکن را در تصاویر متمایز میکنند [ 1 ]، اما این الگوریتمها برای کاربردهای حیاتی، مانند نظارت بر ترافیک قابل اعتماد نیستند. بنابراین، حرکت پلت فرم باید با استفاده از حسگرهای خارجی اندازه گیری شود، مانند ادغام سیستم موقعیت یابی جهانی (GPS) و واحد اندازه گیری اینرسی (IMU) (همچنین به عنوان GPS/IMU شناخته می شود)، که یک راه حل ناوبری را تشکیل می دهد. استفاده از راه حل ناوبری GPS/IMU انتقال داده های اسکنر لیزری محلی را به سیستم مختصات جهانی امکان پذیر می کند و امکان استفاده از اطلاعات قبلی مانند نقشه های سیستم اطلاعات مکانی (GIS) را فراهم می کند.
اگر یک جسم به درستی ردیابی شود و موقعیت جسم تخمین زده شود، می توان از یک تخمینگر مانند فیلتر کالمن برای پیش بینی حرکت جسم استفاده کرد و در نتیجه اقدامات مناسبی برای جلوگیری از خطرات احتمالی انجام داد. میزان موفقیت ردیابی شی عمدتاً به دقت تخمین پوز و کارایی برآوردگر بستگی دارد. از آنجایی که الگوریتمهای تخمین پوس به فرض صلبیت اشیا حساس هستند و ممکن است در حضور نویز و انسداد بدتر شوند، تخمینگر ممکن است ناپایدار شده و از راهحل صحیح منحرف شود. بنابراین، ما یک فیلتر کالمن ساده را پیشنهاد میکنیم که در برابر ناپایداری انعطافپذیرتر است و محدودیت غیرهولونومیک که برای تخمین جهتگیری اشیا استفاده میشود.
مقاله به شرح زیر سازماندهی شده است: کارهای قبلی در بخش 2 مورد بررسی قرار گرفته است. بخش 3 اطلاعات قبلی را تشریح می کند که شامل بازوی اهرمی و بازبینی حسگرها و نقشه های GIS می شود. خط لوله پردازش ابر نقطه ای در بخش 4 مورد بحث قرار گرفته است . آزمایش ها در بخش 5 توضیح داده شده اند و به دنبال آن نتایج در بخش 6 و نتیجه گیری در بخش 7 آمده است.
2. بررسی ادبیات
ردیابی یک شی در تصاویر (که به عنوان ردیابی دو بعدی نیز شناخته می شود) یکی از جالب ترین زمینه های تحقیقاتی در بینایی کامپیوتری بوده است. روشهای ردیابی موفق شناخته شده، ردیابی چهره [ 2 ، 3 ] و هیستوگرام ردیابی عابر پیاده مبتنی بر گرادیان (HOG) [ 4 ] است. با این حال، ردیابی سه بعدی اخیراً به کانون جدیدی از تحقیقات تبدیل شده است. ردیابی سه بعدی (سه بعدی) اشیا با استفاده از جریان صحنه در تصاویر امکان پذیر شد. جریان صحنه تطبیق استریو و جریان نوری را برای تخمین حرکت سه بعدی پیکسل ها در یک صحنه ترکیب می کند [ 5 , 6 , 7]. با این حال، جریان صحنه هنوز برای کاربردهای حیاتی قابل اعتماد نیست و محققان به کار بر روی بهبود نتایج الگوریتمهای جریان صحنه ادامه میدهند.
ردیابی سه بعدی با استفاده از ابر نقطه اخیراً تلاش های تحقیقاتی زیادی را به خود جلب کرده است. برخی از رویکردها بر برآورد ژست بهتر، بر اساس دو دوره متوالی تمرکز دارند. نزدیکترین نقطه تکراری تعمیم یافته (ICP) برای غلبه بر مفروضات نقطه متناظر ICP [ 8 ] پیشنهاد شده است. اگر اطلاعات رنگ (یا روشنایی) در دسترس باشد، می توان از آن برای بهبود تطابق نقطه در ابرهای دو نقطه استفاده کرد [ 9 ]. همچنین توصیفگرهای زیادی وجود دارند که برای تطبیق نقاط علاقه در ابرهای نقطه ایجاد شدهاند، که میتوانند برای تخمین وضعیت اولیه و اصلاح وضعیت با استفاده از ICP (یا انواع آن) استفاده شوند [ 10 ].
اگر ابر نقطهای یک جسم در طول زمان به درستی ردیابی شود و نقاط جمع شوند، ابر نقطهای با گذشت زمان متراکمتر میشود. این رویکرد می تواند برای غلبه بر مشکل ابر نقطه پراکنده و همچنین انسداد یک شی مورد استفاده قرار گیرد. نیوکمب و همکاران این رویکرد را برای داده های کینکت [ 11 ] و هلد و همکاران پیاده سازی کرده اند. از این رویکرد برای ردیابی یک شی و جمع آوری نقاط در یک ابر نقطه اسکنر لیزری استفاده کرده اند [ 12 ، 13 ].
استفاده از برآوردگرهای مختلف برای ردیابی سه بعدی نیز به طور گسترده مورد بررسی قرار گرفته است. فیلتر کالمن یک برآوردگر محبوب برای ردیابی یک شی در رباتیک است [ 14 ]. اوئدا و همکارانش از فیلتر ذرات برای ردیابی یک شی استفاده کردند. این رویکرد به ویژه برای اجسام غیر صلب سودمند است، زیرا نقاط به طور مستقل ردیابی می شوند [ 15 ]. علاوه بر این، سنسورهای مختلف را می توان به منظور بهبود ردیابی ادغام کرد. داده های IMU برای بهبود تطابق پیکسل ها در بین تصاویر استفاده شده است [ 16 ]. داده های رادار، دوربین و اسکنر لیزری در فیلتر کالمن برای ردیابی اجسام متحرک در یک صحنه یکپارچه شده اند [ 17 ]. ادعا شده است که یک نمونه اولیه از یک وسیله نقلیه خودران، معروف به ماشین گوگل، کاملاً عملیاتی است [18 ]. با این حال، این رویکرد بر نقشه های GIS با دقت بالا متکی است که برای اکثر شرکت ها و موسسات مقرون به صرفه نیستند [ 19 ].
3. اطلاعات قبلی
در این بخش، مراحل پیش پردازش مورد نیاز از جمله تبدیل سیستم مختصات و تهیه اطلاعات حسگر در فریم های مناسب توضیح داده شده است. علاوه بر این، نقشه های GIS، مانند OpenStreetMap (OSM)، شرح داده شده است.
3.1. مدل هندسی و علامت گذاری
برای اهداف نظارت بر ترافیک جاده، سنسورهای مختلفی بر روی سکو نصب شده است. GPS/IMU موقعیت و جهت سکو را مستقل از اشیاء موجود در صحنه ارائه می دهد و سپس تصاویر و ابر نقطه ای بسته به موقعیت سکو، اطلاعات صحنه را ارائه می دهند و در نهایت از اطلاعات قبلی (نقشه های GIS) استفاده می شود. ، که مستقل از ترافیک جاده است.
همه این حسگرها و منابع اطلاعاتی فریم های متفاوتی دارند (سیستم های مختصات). قاب دوربین در مرکز دوربین قرار دارد و به گونه ای تراز شده است که محورهای مختصات x و y به موازات صفحه تصویر و محور مختصات z در امتداد محور اصلی دوربین به سمت صحنه تراز شده است. قاب اسکنر لیزری در مرکز آینه های آن قرار دارد و محور چرخش آن محور z آن را مشخص می کند. منشا IMU و جهت گیری آن به مدل IMU بستگی دارد. مبدا GPS در مرکز فاز آنتن قرار دارد و جهت گیری ندارد. موقعیت GPS با داده های IMU یکپارچه می شود تا یک راه حل ناوبری تقریبا پیوسته و دقیق به دست آید و فریم GPS/IMU با فریم IMU منطبق است. نقشه های GIS، بازیابی شده از پایگاه داده های مکانی،
به منظور ادغام چندین سنسور، فریم های جداگانه آنها باید به یک قاب یکپارچه تبدیل شود. بردار جابجایی و ماتریس چرخش بین قابهای حسگر، مستقل از موقعیت پلت فرم، به ترتیب اهرم-بازو و سوراخبینی نامیده میشوند. در اینجا، ما یک چارچوب مرجع را تعریف می کنیم که در مرکز IMU در اولین دوره جمع آوری داده ها قرار دارد و به ترتیب در جهت شرق، شمال و بالا (ENU) تراز شده است. این فریم جهت قاب ناوبری را دارد اما برخلاف قاب ناوبری با حرکت پلت فرم تغییر نمی کند. این قاب داخلی به صورت محلی خوب کار می کند، اما زمانی که پلت فرم از مبدا بیشتر از چند صد متر دورتر می شود، باید دوباره تعریف شود. در ادامه این مقاله از اولین دوره گردآوری داده ها به عنوان دوره مرجع یاد می شود.
داده های هر حسگر باید به چارچوب مرجع تبدیل شوند. سیمن ، مj ، n��,��,�و تیمن ، مj ، n��,��,�به عنوان ماتریس چرخش و بردار جابجایی از قاب i در زمان m به فریم j در زمان n تعریف می شوند. قاب اینرسی برای تسهیل تبدیل استفاده می شود. چرخش دوربین از دوره k به دوره مرجع، سیج ، کج ، 0��,0�,�به شرح زیر داده می شود:
زیرنویس ها و زیرنویس های c و i برای دوربین و فریم های IMU و زیرنویس 0 مخفف دوره مرجع است. به طور مشخص، سیج ، کمن ، ک= سیج ، 0من ، 0��,��,�= ��,0�,0و با فرض اینکه پلت فرم سفت است و باید با کالیبراسیون تخمین زده شود، به آن Boresight بین IMU و فریم دوربین می گویند. سیمن ، کمن n e r t i a l����������,�و سیمن n e r t i a lمن ، 0��,0��������اندازه گیری های IMU در دوره k و دوره مرجع هستند. بردار جابجایی بین قاب دوربین در دوره k و مبدا (فریم IMU در دوره مرجع) به شرح زیر است:
تیج ، 0من ، 0��,0�,0بازوی اهرمی بین مبدأ IMU و دوربین (موقعیت دوربین با توجه به قاب IMU در دوره مرجع) است و از فرآیند کالیبراسیون تخمین زده می شود. تیمن ، کمن n e r t i a l����������,�و تیمن ، 0من n e r t i a l����������,0بردار جابجایی قاب IMU در دوره k و دوره مرجع با توجه به قاب اینرسی هستند و می توان از راه حل ناوبری GPS/IMU تخمین زد. بدیهی است که قاب اسکنر لیزری و اطلاعات قبلی را می توان به همین ترتیب به قاب مرجع تبدیل کرد.
4. روش شناسی
نظارت بر ترافیک جادهای را میتوان به تقسیمبندی اشیا، چسباندن اشیا و تشخیص اشیا تقسیم کرد. برای تقسیم بندی اجسام، ابر نقطه باید اصلاح شود و نقاط پرت و نقاطی که آموزنده نیستند حذف شوند. رویکرد خوشهبندی اقلیدسی برای بخشبندی ابر نقطه در یک صحنه استفاده میشود. ابر نقطه تقسیم شده شامل اجسام ساکن یا متحرک است. برای درک ترافیک جاده ها، اجسام متحرک باید شناسایی شده و دینامیک حرکت آنها در طول زمان تخمین زده شود. به منظور انجام تمایز اجسام متحرک، دو ابر نقطه تقسیمبندی شده در دو دوره متوالی مطابقت داده میشوند. خوشه های تطبیق برای تخمین وضعیت اشیاء بین دو دوره و یک فیلتر تخمین برای سرکوب نویز در حالت تخمینی استفاده می شود.
4.1. تقسیم بندی شی
برای ردیابی اشیاء در یک صحنه، تشخیص اشیاء در ابر نقطه ضروری است. ابر نقطه، منبع داده اولیه برای روش ردیابی ما، بر اساس زمان پرواز پرتو لیزر ساطع شده از حسگر لیزر محاسبه میشود و پس از بازتاب از سطح اجسام در اسکنر لیزری شناسایی میشود. از آنجایی که ابر نقطهای نمونهای از سطح اجسام مجاور از دید اسکنر لیزری است، معمولاً تا حدی مسدود میشود. نقاط سه بعدی اندازه گیری شده باید به قاب مرجع تبدیل شوند و باید مستقل از موقعیت سکو باشند. یک ابر نقطه جمع آوری شده از یک اسکنر لیزری در شکل 2 نشان داده شده است. لازم به ذکر است که حرکت اجسام نزدیک و پلت فرم ممکن است یک خطای سیستماتیک در ابر نقطه جمع آوری شده ایجاد کند.
شکل 2. ابر نقطه اسکنر لیزری در یک دوره در قاب مرجع (نمای بالا).
یک ابر نقطه حاوی اطلاعات میدان دید 360 درجه در 40 درجه (FOV) است که به طور کامل برای نظارت بر ترافیک جاده و ردیابی اشیا مورد نیاز نیست. از این رو، ما علاقه خود را به نقاط آینده نگر محدود می کنیم، زیرا آنها اطلاعات ترافیک جاده را در جلوی سکو ارائه می دهند و با تصاویر آینده نگر همپوشانی دارند. این همپوشانی رنگ آمیزی یک ابر نقطه و استفاده از اطلاعات رنگ در ارتباط با اطلاعات هندسی را امکان پذیر می کند.
بسیاری از نقاط در ابر نقطه بر روی زمین می افتند و برای اهداف ما اطلاعات کمتری دارند. این نقاط با استفاده از یک اتصال صفحه از ابر نقطه حذف می شوند. علاوه بر این، نقاط روی نمای ساختمان ها برای ردیابی اشیا مفید نیستند و باید از ابر نقطه حذف شوند. فضای جاده را می توان از پایگاه داده geospatial تولید کرد و برای فیلتر کردن نقاط خارج از جاده استفاده می شود. پس از فرآیند فیلتر، ابر نقطه به طور قابل توجهی نقاط کمتری دارد و بنابراین، سرعت پردازش ابر نقطه را به طور قابل توجهی افزایش می دهد. سه مرحله فیلترینگ ابر نقطه ای در شکل 3 نشان داده شده است.
شکل 3. فیلتر نقطه ای ابر: ( الف ) ابر نقطه رو به جلو نگه داشته می شود و بقیه از ابر نقطه حذف می شود. ( ب ) نقاط روی زمین حذف شده اند (خاکستری). ( ج ) نقاط خارج از جاده مستثنی هستند (سبز تیره).
راه های زیادی برای تقسیم بندی اشیاء در یک ابر نقطه فیلتر شده وجود دارد، از جمله رشد منطقه [ 21 ]، نمودار برش کوتاه [ 22 ]، تفاوت نرمال [ 23 ]، و خوشه بندی مبتنی بر فاصله اقلیدسی. در اینجا، ما از خوشه بندی بر اساس فاصله اقلیدسی استفاده می کنیم که اجزای متصل را خوشه بندی می کند. انتخاب آستانه برای اجزای متصل بسیار مهم است. اگر آستانه انتخاب شده بیش از حد بالا باشد، منجر به تقسیم بیش از حد می شود، اگر آستانه خیلی پایین باشد، برعکس اتفاق می افتد. هر خوشه یک شی را نشان می دهد و خوشه بندی را می توان به عنوان تقسیم بندی شی در نظر گرفت. در شکل 4 ، هر خوشه با یک رنگ منحصر به فرد نشان داده شده است.
شکل 4. خوشه ها در صحنه بر اساس فاصله اقلیدسی محاسبه می شوند.
برخی از اشیاء قطعهبندی شده ممکن است جالب نباشند. به عنوان مثال، اشیاء کوچک ممکن است علائم ترافیکی جاده باشند و اشیاء بزرگ ممکن است ساختمان هایی باشند که حذف نشده اند. به طور مشابه، اجسام کوتاه ممکن است پوشش گیاهی باشند و اجسام بلند می توانند درخت باشند. بنابراین از یک فیلتر برای محدود کردن ارتفاع و ردپای اجسام استفاده می شود.
4.2. تطبیق شی
اگر اسکنر لیزری دو ابر نقطه را در دو دوره متوالی جمعآوری کند و هر ابر نقطه فیلتر و قطعهبندی شود، دو مجموعه از اشیا در یک صحنه وجود خواهد داشت. اگر یک شی در دو دوره مشاهده شود، نقاط موجود در ابر نقطه خوشهای را میتوان مطابقت داد. از آنجایی که سکو و اشیاء در حال حرکت هستند، ابرهای نقطه ای خوشه ای از اجسام ممکن است در دو دوره یکسان نباشند. ابرهای نقطه ای یک جسم در دو دوره متوالی می توانند بسیار متفاوت باشند اگر یک جسم به حسگر نزدیک باشد یا صلب نباشد، به عنوان مثال، قسمت های مختلف جسم ممکن است به طور مستقل حرکت کنند.
برای تطبیق نقاط یک شی در دو دوره متوالی، می توان فرض کرد که جسم خیلی سریع حرکت نمی کند و مکان شی در دوره قبلی نزدیک به مکان فعلی است. در حالی که این فرض در بسیاری از موارد به خوبی کار می کند، ممکن است هنگامی که چندین شی نزدیک به یکدیگر وجود داشته باشد، خطا ایجاد کند. این فرض را با این فرض جایگزین می کنیم که حرکت جسم ناگهانی نیست و مکان پیش بینی شده جسم نزدیک به مکان اندازه گیری شده فعلی آن است. بدیهی است که به یک فیلتر تخمینی نیاز دارد تا موقعیت شی را بر اساس مدل دینامیکی آن پیش بینی کند. در حالی که استفاده از فیلتر تخمین تطبیق اشیاء را بهبود می بخشد، تضمین نمی کند که اشیا به درستی مطابقت داشته باشند. بنابراین، ما اجازه میدهیم یک شی با چندین شی در دوره قبلی مطابقت داشته باشد.
4.3. تخمین پوس اشیاء
هنگامی که یک شی متناظر در دو دوره یافت می شود، بردار جابجایی و ماتریس چرخش جسم بین دو دوره قابل تخمین است. تخمین پوس هنوز یک چالش است زیرا اشیاء زمانی که از منظر اسکنر لیزری دیده می شوند (تا حدی) به خود مسدود می شوند. علاوه بر این، ابر نقطه ممکن است پر سر و صدا و به هم ریخته باشد و ممکن است مستعد خطاهای سیستماتیک باشد. به عنوان مثال، حرکت پلت فرم ممکن است یک خطای سیستماتیک به ابرهای نقطه ایجاد کند.
محبوب ترین الگوریتم تخمین پوس، نزدیکترین نقطه تکراری (ICP) است که فاصله بین نقاط اشیاء مطابقت را به حداقل می رساند. اگر ایکسمن∈oمتر��∈��نقاط روی سطح جسم است oمتر��و ایکسj∈on��∈��نقاط روی سطح جسم هستند on��و این نکات در دو دوره متوالی نقاط متناظر هستند، سپس:
که در آن T و R بردار ترجمه و ماتریس چرخش بین دو مجموعه نقطه و nمن��بردار نرمال به سطح در نقطه است ایکسمن��. راهحل این کمینهسازی بر اساس شیبدارترین نزول در یک طرح تکراری محاسبه میشود. فرض ICP سختی اشیایی است که در صورت دوچرخه سوار یا عابر پیاده بودن اشیاء ممکن است نقض شوند. هنگامی که انسداد شدید است، ICP ممکن است در تخمین وضعیت، حتی برای اجسام سفت و سخت، مانند اتومبیل، ناکام باشد. علاوه بر این، نقاط پر سر و صدا و نقطه هستند ایکسمن�منو اشاره کنید ایکسjایکس�ممکن است مطابقت نداشته باشد علاوه بر این، ICP مستعد حداقل محلی است، و مقادیر تقریبی چرخش و ترجمه بین دو ابر نقطه باید برای همگرایی به حداقل جهانی شناخته شوند.
روش دیگری که در برابر فرض صلبیت انعطاف پذیرتر است، تطبیق ویژگی است. مانند نقاط برجسته در تصاویر، و نقاط برجسته در ابرهای نقطه بر اساس منحصر به فرد بودن آنها انتخاب می شوند. این نقاط برجسته ویژگی نامیده می شوند و با هیستوگرام انحنا و سطح، عادی در آن نقطه و همسایگی آن توصیف می شوند و توصیفگر نامیده می شوند. اگر دو توصیفگر مشابه باشند، نقاط برجسته با هم تطبیق داده می شوند و وضعیت با استفاده از نقاط همسان تخمین زده می شود. متأسفانه، فرض صلبیت شی برای تعریف توصیفگرها، تطبیق آنها و تخمین موقعیت شی مورد نیاز است. علاوه بر فرض صلبیت، جسم ممکن است نقاط برجسته زیادی نداشته باشد و نقاط برجسته ممکن است نادرست مطابقت داشته باشند. دو نمونه از تطبیق ویژگی های سه بعدی نشان داده شده استشکل 5 . لازم به ذکر است که نتایج تطبیق همیشه به خوبی این نمونه ها نیست.
برخی از برنامه های افزودنی برای ICP وجود دارد که نتایج را بهبود می بخشد. ICP تعمیم یافته سعی می کند فاصله بین دو مجموعه از نقاط و بردارهای عادی آنها را به حداقل برساند. بر خلاف ICP که فاصله بین نقاط را به حداقل می رساند، بر اساس به حداقل رساندن فاصله بین صفحات است [ 8 ]. ICP تعمیم یافته با پشتیبانی از رنگ از فرض ثبات رنگ بین دو دوره استفاده می کند. در این روش فاصله بین دو نقطه در مجموعه نقاط با فاصله هندسی و رنگی جایگزین می شود، به طوری که د=(ایکسمن–ایکسj)تی(ایکسمن–ایکسj) +(سیمن–سیj)تی(سیمن–سیj)––––––––––––––––––––––––––––––––––––√د=(ایکسمن–ایکس�)تی(ایکسمن–ایکس�)+(سیمن–سی�)تی(سیمن–سی�)، جایی که سیمنسیمناطلاعات رنگ است [ 9 ]. برای انتقال رنگ به نقاط، ماتریس طرح ریزی، پپ، استفاده می شود. نکته ایکسمنایکسمندر مجموعه نقطه به تصویر پیش بینی می شود ایکسمن= پایکسمنایکسمن=پایکسمن، جایی که ایکسمنایکسمننقطه پرتاب شده در فضای تصویر است و محتوای رنگی نزدیکترین پیکسل در تصویر به نقطه اختصاص داده می شود.
در یک رویکرد سادهگرایانه میتوان از مرکز یک شی منطبق برای تخمین بردار جابجایی بین دو دوره استفاده کرد. با این حال، هنوز از هندسه تا حدی مسدود جسم رنج می برد. از آنجایی که از مرکز استفاده می شود، شکل اجسام نادیده گرفته می شود و جهت گیری را نمی توان تخمین زد. برای تخمین جهت گیری جسم بین دو دوره، مفروضاتی مانند فرض غیرهولونومیک برای حرکت جسم مورد نیاز است. بدیهی است که این فرض زمانی که جسم حرکت جانبی داشته باشد یا چرخش ناگهانی داشته باشد، ناکام می ماند.
شکل 5. تطبیق ویژگی ها: ( الف ) یک دوچرخه سوار. ( ب ) یک ماشین در دو دوره متوالی (قرمز و آبی). خطوط سبز نشان دهنده ویژگی های همسان است.
4.4. ردیابی اشیا
به منظور کاهش نویز در ردیابی و رفع انسداد کامل، از فیلترهای کالمن بانکی استفاده می کنیم. هر فیلتر کالمن وضعیت یک شی را در یک صحنه تخمین می زند. اگر یک شی برای اولین بار ظاهر شود، یک فیلتر کالمن به بانک فیلترهای کالمن اضافه می شود و بردار حالت آن مقداردهی اولیه می شود. موقعیت جسم در مرکز مجموعه نقطه و سرعت آن صفر در نظر گرفته می شود. به عبارت دیگر، همه اشیاء در یک صحنه در ابتدا ثابت فرض می شوند. جهت گیری جسم (زاویه انحراف) در جهت سرعت آن فرض می شود. بنابراین، فرض بر این است که جسم به جلو حرکت می کند و حرکت جسم در صحنه محدود به حرکت در صفحه زمین است.
ما از قوانین حرکت نیوتن برای تخمین دینامیک حرکت جسم استفاده کرده ایم. بر اساس این قوانین می توان موقعیت را بر اساس سرعت و شتاب و سرعت را بر اساس شتاب تخمین زد. بنابراین، قوانین حرکت نیوتن را می توان به گونه ای نوشت:
علاوه بر این، آزیموت را می توان بر اساس محدودیت غیرهولونومیک تخمین زد.
توجه داشته باشید که فیلتر کالمن می تواند مجهولات بیشتری داشته باشد، اما مدل دینامیکی پیچیده تر ممکن است نتایج را واگرا کند زیرا مشاهدات بسیار نویز و غیر قابل اعتماد هستند. در اینجا، بردار حالت به گونه ای انتخاب می شود که:
مدل دینامیکی فیلتر کالمن به این صورت نوشته شده است که:
جایی که Φk − 1 ، kΦک–1،کماتریس حالت گذار بین دوره k-1 و epoch k است ، جیکجیکیک ماتریسی است که نویز سیستم را به بردار حالت و μک�کنویز سیستم در دوره k است. در اینجا، ما فرض می کنیم که سرعت یک فرآیند پیاده روی تصادفی است، یعنی احتمال یکسانی برای افزایش یا کاهش سرعت وجود دارد. مدل دینامیکی شی به نوع آن بستگی دارد. به عبارت دیگر، مدل دینامیکی عابر پیاده با مدل دینامیکی یک وسیله نقلیه متفاوت است و تطبیق فیلتر کالمن بدون اطلاع از نوع جسم، بی اهمیت نیست.
جایی که wآ�آنویز سیستم است با فرض اینکه سرعت فرآیند پیاده روی تصادفی است و Δ tΔتیفاصله زمانی بین دو دوره است. مدل مشاهده فیلتر کالمن به این صورت نوشته شده است که:
جایی که zک�کبردار مشاهده است، اچکاچکماتریسی است که مشاهده را با بردار حالت و υک�کسروصدای مشاهده در عصر k است. در اینجا از مرکز مجموعه نقطه یک شی استفاده می کنیم [جE،جن]تی[ج�،جن]تیبرای به روز رسانی بردار حالت به گونه ای که:
جایی که εE�Eو εن�نسر و صدای مشاهده هستند. ما فیلترهای کالمن پیچیدهتری را با پارامترهای بیشتر در بردار حالت آنها آزمایش کردهایم و از الگوریتمهای تخمین پوز مختلف استفاده کردهایم، اما این رویکرد سادهسازی را کارآمدترین و قابل اعتمادترین روش یافتیم.
4.5. منابع خطا
استفاده از سنسورهای متعدد می تواند یک راه حل ردیابی قوی ارائه دهد، اما نویز و خطاهای سیستماتیک هر سنسور ممکن است نتایج نهایی را بدتر کند. داده های اسکنر لیزری ممکن است نویز، درهم و برهم و مستعد خطاهای سیستماتیک باشند. هنگامی که سکو و اشیاء در حال حرکت هستند، ابر نقطه ممکن است جابجا شود. علاوه بر این، خطای برد اسکنر لیزری می تواند قابل توجه باشد. از آنجایی که لیزر در دوره های مختلف دقیقاً به یک نقطه برخورد نمی کند، اجسام متخلخل مانند درختان می توانند در دو دوره بسیار متفاوت باشند. انسداد می تواند باعث درک ناقص اشیا شود. تصاویر همچنین مستعد نویز، خطاهای سیستماتیک و انسداد هستند. اثر تاری حرکت می تواند در سکوهای متحرک قابل توجه باشد. علاوه بر این، اکثر الگوریتم های پردازش تصویر در مناطق بدون بافت با شکست مواجه می شوند.
GPS نقش کلیدی در خط لوله ردیابی ما دارد. موقعیت پلت فرم را با توجه به سیستم مختصات جهانی فراهم می کند. استفاده از نقشه های GIS بستگی به موقعیت دارد که توسط GPS تخمین زده می شود. ضمناً برای یافتن اجسام متحرک باید حرکت سکو توسط GPS رصد شده و از رصد خارج شود. دقت موقعیت یابی GPS به فناوری اعمال شده و همچنین دریافت سیگنال در منطقه بستگی دارد. اگر از مشاهده فاز حامل استفاده شود، دقت آن در چند سانتی متر است. اگر از فناوری GPS مستقل استفاده شود، دقت آن ممکن است از چند متر فراتر رود. علاوه بر این، انسداد سیگنال و خطای چند مسیری ممکن است در یک محیط شهری رخ دهد که بر دقت موقعیتیابی تأثیر منفی میگذارد. سنسورهای IMU را می توان برای تخمین موقعیت و جهت سکو در غیاب GPS استفاده کرد. با این حال، IMU مستعد نویز، بایاس و خطاهای فاکتور مقیاس است و دقت آن به سرعت در طول زمان بدتر می شود، به خصوص IMU های ارزان قیمت. در غیاب GPS، ممکن است اشیاء ثابت از اجسام متحرک در تصاویر و دادههای اسکنر لیزری جدا شوند و از اجسام ساکن برای تخمین موقعیت و جهت سکو استفاده شود. موقعیت یابی پلت فرم در محیط شهری در هنگام انسداد سیگنال GPS یک مشکل باز است. و اشیاء ساکن ممکن است برای تخمین موقعیت و جهت سکو استفاده شوند. موقعیت یابی پلت فرم در محیط شهری در هنگام انسداد سیگنال GPS یک مشکل باز است. و اشیاء ساکن ممکن است برای تخمین موقعیت و جهت سکو استفاده شوند. موقعیت یابی پلت فرم در محیط شهری در هنگام انسداد سیگنال GPS یک مشکل باز است.
اطلاعات GIS نیز مستعد خطا هستند. ممکن است ضعیف ثبت شده باشد، اشیا به درستی قرار نگرفته باشند، و غیره. به عنوان مثال، OSM حدود پنج متر خطای ثبت در منطقه آزمایش دارد. علاوه بر این، برخی از ویژگی ها وجود دارد که به درستی در نقشه های GIS جمع آوری یا بازیابی نشده اند یا به اشتباه برچسب گذاری شده اند. به عنوان مثال، یک دوربرگردان در منطقه آزمایش وجود دارد که در نقشه GIS ذخیره نمی شود. ثبت در حین پرواز ممکن است بر اساس تطبیق اشیاء ثابت از مشاهدات و نقشه GIS انجام شود. با این حال، بی اهمیت نیست و ما در اینجا از ثبت نام در حین پرواز استفاده نمی کنیم.
ابر نقطه ممکن است نویزدار باشد و خطاهای سیستماتیک ممکن است به عنوان نتایج حرکت پلت فرم به ابر نقطه معرفی شود. از فیلتر حداقل مربعات متحرک (MLS) می توان برای صاف کردن سطح اجسام و سرکوب نویز استفاده کرد. MLS بر اساس برازش یک سطح چند جمله ای به نقاط همسایه است [ 24 ]. توجه داشته باشید که MLS ممکن است تغییرات محلی را در ابر نقطه حذف کند و می تواند جزئیات سطح را بدتر کند. علاوه بر این، ممکن است لبه ها و گوشه های اجسام را صاف کند.
5. آزمایشات
به منظور ارزیابی الگوریتم های ما، از معیار KITTI [ 25 ، 26 ] استفاده می شود. داده های حسگر شامل دو توالی تصویر تک رنگ و رنگی، ابر نقطه جمع آوری شده از اسکنر لیزری و راه حل ناوبری یکپارچه GPS/IMU است. در طول جمعآوری دادهها، دو دوربین PointGrey Flea2 در مقیاس خاکستری و دو دوربین PointGrey Flea2 رنگی در جهت آیندهنگر نصب شدند. Velodyne HD-64E با یک محور چرخشی در جهت عمودی نصب شد. دارای خطای برد دو سانتی متری با وضوح زاویه ای 0.09 درجه است. سیستم یکپارچه OXTS RT 3003 راه حل ناوبری را با دقت دو سانتی متر در موقعیت و 0.1 درجه در جهت گیری ارائه می دهد [ 25 ، 26 ]]. به گونه ای نصب شده است که محورهای x و z به ترتیب به سمت محورهای جلو و محور عمودی هدایت شوند. پیکربندی سنسور در شکل 6 نشان داده شده است .
شکل 6. پیکربندی حسگر بر روی پلت فرم (با احترام از [ 25 ، 26 ]).
مجموعه داده شماره 5، جمع آوری شده در 26 سپتامبر 2011، برای ارزیابی نتایج ردیابی استفاده می شود. در مجموعه داده شماره 5، پلت فرم یک دوچرخه سوار و یک ماشین را در یک منطقه شهری دنبال می کند. ساختمانها، علائم جادهای و ماشینهای پارک شده، اشیاء ساکن در صحنه هستند. شکل 7 تصاویر گرفته شده در دو دوره از مجموعه داده شماره 5 را نشان می دهد.
شکل 7. مجموعه داده شماره 5 KITTI; ( الف ) دوره اول، ( ب ) پس از 10 ثانیه.
6. نتایج
همانطور که قبلا ذکر شد، اشیاء قطعه بندی شده در ابتدا ثابت فرض می شوند. شکل 8 a اشیاء ایستا از مجموعه داده شماره 5 را نشان می دهد که با آبی روشن در اولین دوره مشخص شده اند. اجسام متحرک، یک دوچرخه سوار و یک ماشین اندکی پس از (0.4 ثانیه)، که در شکل 8 ب نشان داده شده است، شناسایی می شوند. همانطور که در شکل 7 الف مشاهده می شود، یک عابر پیاده در صحنه (در سمت راست تصویر) وجود دارد که به عنوان یک جسم متحرک تشخیص داده نمی شود. دو دلیل احتمالی وجود دارد: اول اینکه حرکت عابر پیاده قابل توجه نیست و دوم اینکه عابر پیاده به زودی نامرئی می شود.
رنگی که در شکل ها نشان داده شده است، به طور تصادفی به اشیاء جدید اختصاص داده می شود. اگر یک شی ردیابی شود، رنگ در دوره قبلی برای دوره فعلی استفاده می شود. بنابراین، اگر رنگ یک شی بدون تغییر باقی بماند، شی با موفقیت ردیابی می شود. در شکل 9 الف، ب، اجسام متحرک، دوچرخه سوار و ماشین، به درستی ردیابی شده اند و رنگ آنها حفظ شده است، اما برخی از اجسام ساکن به اشتباه به عنوان اجسام متحرک در چند دوره برچسب گذاری شده اند. از آنجایی که این حرکت ساختگی اجسام ساکن تصادفی است، فیلتر کالمن می تواند آن را فیلتر کند.
دوچرخه سوار و ماشین ردیابی شده به ترتیب در شکل 10 a,b نشان داده شده اند. دوچرخه سوار در طول آزمایش جلوی سکو است. ماشین در ابتدای آزمایش به پلت فرم نزدیک است، اما در نهایت سرعت آن افزایش می یابد و دورتر می رود. از آنجایی که رویکرد ما بر حرکت اجسام نزدیک به پلت فرم متمرکز است، هنگامی که خودرو بیش از حد فاصله میگیرد، ردیابی آن را متوقف میکنیم.
دوچرخه سوار در طول آزمایش توسط سکو به دقت دنبال می شود. این آزمایش 154 دوره دارد و دوچرخه سوار در همه دوره ها قابل مشاهده است. الگوریتم ردیابی ما می تواند دوچرخه سوار را در 150 دوره شناسایی و ردیابی کند. ماشین جلوی سکو است، اما سرعتش زیاد می شود و از سکو دور می شود و به این ترتیب، دیگر آن را دنبال نمی کنیم. بنابراین، ما وسیله نقلیه را تنها در 76 دوره شناسایی و ردیابی می کنیم.
موقعیت حقیقت زمینی دوچرخه سوار در مجموعه داده KITTI ارائه شده است. ما نتایج ردیابی رویکرد خود را با حقیقت زمین مقایسه کردیم و نتایج در شکل 11 نشان داده شده است. خطای ردیابی فاصله اقلیدسی بین موقعیت دوچرخه سوار ردیابی شده و حقیقت زمین است. در ابتدا، دوچرخه سوار به عنوان یک جسم ثابت در نظر گرفته می شود و الگوریتم آن را به عنوان جسم متحرک پس از چهار دوره تشخیص داد. در دوره های اول، فیلتر کالمن همگرا می شود و خطای ردیابی به طور قابل توجهی کاهش می یابد. پس از تثبیت فیلتر کالمن، خطای ردیابی ممکن است بسته به شدت انسداد، دقت راهحل ناوبری و پویایی حرکت جسم تغییر کند. فیلم ردیابی اجسام متحرک در مطالب تکمیلی ارائه شده است.
شکل 8. ( الف ) ردیابی نتایج در دوره اول (مجموعه داده شماره 5). تمام اشیاء برچسب ثابت. ( ب ) ماشین (شکل L قهوه ای) و دوچرخه سوار (نقطه سبز) به عنوان اجسام متحرک پس از 0.4 ثانیه برچسب گذاری می شوند.
شکل 9. ( الف ، ب ) دوچرخه سوار و ماشین به درستی ردیابی می شوند. با این حال، تعداد کمی از اشیاء ساکن به اشتباه به عنوان اجسام متحرک برچسب گذاری شده اند.
شکل 10. ردیابی ( الف ) یک دوچرخه سوار و ( ب ) یک خودرو در طول زمان. ماشین بعد از چند ثانیه خیلی دور می شود و دیگر مورد توجه نیست.
شکل 11. خطای ردیابی دوچرخه سوار.
7. نتیجه گیری
در این مقاله، چندین حسگر برای ردیابی اجسام متحرک در اطراف یک پلت فرم در صحنههای زندگی واقعی، با استفاده از راهحل ناوبری GPS/IMU، تصاویر، ابر نقطهای و اطلاعات قبلی (نقشههای GIS) استفاده میشوند. چارچوب مرجع برای ردیابی اجسام متحرک بر اساس راه حل ناوبری GPS/IMU تعریف شده است و بازوهای اهرمی کالیبره شده و سوراخهای سوراخ برای به دست آوردن حالت سنسورهای تصویربرداری استفاده شدهاند. اطلاعات قبلی از OpenStreetMap بازیابی شده و برای فیلتر کردن نقاط غیر ضروری از ابرهای نقطه استفاده می شود. در نهایت، بانکی از فیلترهای کالمن برای ردیابی هر شی در یک صحنه استفاده می شود.
نتایج نشان می دهد که اشیاء را می توان پس از چند دوره ردیابی و به عنوان جسم متحرک برچسب گذاری کرد. اگرچه اشیاء ساکن پر سر و صدا و به هم ریخته ممکن است به عنوان اجسام متحرک برچسب گذاری شوند، احتمالاً پس از چند دوره توسط فیلتر کالمن فیلتر می شوند. آزمایشات با استفاده از مجموعه داده KITTI نشان داده است که اجسام متحرک را می توان به طور دقیق در طول زمان ردیابی کرد.
بدون نظر