تشخیص اشیا در ویدئو چگونه انجام می‌شود؟

تشخیص اشیا در ویدئو (Video Object Detection) یکی از مهم‌ترین کاربردهای بینایی کامپیوتر است که به سیستم‌های هوشمند اجازه می‌دهد اشیای مختلف را در فریم‌های ویدئویی شناسایی و دنبال کنند.

برای مثال، یک سیستم هوشمند می‌تواند در ویدئوی یک خیابان، خودروها، عابران پیاده، دوچرخه‌ها و چراغ‌های راهنمایی را تشخیص دهد. علاوه بر این، می‌تواند موقعیت آن‌ها را در طول زمان دنبال کند.

به همین دلیل، تشخیص اشیا در ویدئو یکی از فناوری‌های کلیدی در خودروهای خودران، سیستم‌های امنیتی، رباتیک و شهرهای هوشمند محسوب می‌شود.

تفاوت تشخیص اشیا در تصویر و ویدئو

در نگاه اول ممکن است تشخیص اشیا در تصویر و ویدئو یکسان به نظر برسند. با این حال، تفاوت مهمی میان آن‌ها وجود دارد.

در تشخیص اشیا در تصویر، سیستم فقط یک تصویر ثابت را تحلیل می‌کند. اما در ویدئو، صدها یا هزاران فریم پشت سر هم وجود دارد.

در نتیجه، سیستم باید علاوه بر شناسایی اشیا، تغییر موقعیت آن‌ها را نیز در طول زمان مدیریت کند.

برای مثال، تشخیص یک خودرو در یک عکس نسبتاً ساده است؛ اما دنبال کردن همان خودرو در طول یک ویدئوی چند دقیقه‌ای چالش بسیار بزرگ‌تری محسوب می‌شود.

تشخیص اشیا در ویدئو چگونه کار می‌کند؟

این فناوری معمولاً از چند مرحله اصلی تشکیل شده است.

مرحله اول: تبدیل ویدئو به فریم‌های جداگانه

ویدئو در حقیقت مجموعه‌ای از تصاویر متوالی است.

برای مثال:

• ویدئوی ۳۰ فریم بر ثانیه
• شامل ۳۰ تصویر در هر ثانیه است.

بنابراین، اولین مرحله این است که سیستم هر فریم را به‌صورت جداگانه دریافت کند.

پس از آن، هر فریم وارد الگوریتم بینایی کامپیوتر می‌شود.

مرحله دوم: تشخیص اشیا در هر فریم

در این مرحله، مدل هوش مصنوعی اشیای موجود در هر تصویر را پیدا می‌کند.

معمولاً خروجی مدل شامل موارد زیر است:

• نوع شیء
• موقعیت شیء
• میزان اطمینان مدل

برای مثال:

علاوه بر این، سیستم یک کادر یا Bounding Box دور هر شیء رسم می‌کند.

مرحله سوم: رهگیری اشیا (Object Tracking)

یکی از مهم‌ترین تفاوت‌های ویدئو با تصویر در همین مرحله است. فرض کنید یک خودرو در فریم اول شناسایی شده است. در فریم بعدی نیز همان خودرو وجود دارد. سؤال اینجاست که سیستم چگونه متوجه می‌شود این همان خودرو قبلی است؟ برای حل این مشکل از الگوریتم‌های رهگیری استفاده می‌شود.

این الگوریتم‌ها حرکت اشیا را در طول زمان دنبال می‌کنند.

در نتیجه:

• هر شیء یک شناسه اختصاصی دریافت می‌کند.
• مسیر حرکت آن ذخیره می‌شود.
• موقعیت آینده آن قابل پیش‌بینی خواهد بود.

مرحله چهارم: تحلیل رفتار اشیا

در سیستم‌های پیشرفته‌تر، فقط تشخیص شیء کافی نیست. به همین دلیل، الگوریتم‌ها رفتار اشیا را نیز تحلیل می‌کنند.

برای مثال:

• آیا خودرو در حال توقف است؟
• آیا فرد وارد منطقه ممنوعه شده است؟
• آیا شیء خاصی رها شده است؟
• آیا فردی در حال دویدن است؟

این اطلاعات برای سیستم‌های امنیتی و نظارتی بسیار ارزشمند هستند.

نقش شبکه‌های عصبی کانولوشنی در تشخیص اشیا

بیشتر سیستم‌های مدرن تشخیص اشیا بر پایه شبکه‌های عصبی کانولوشنی یا CNN ساخته شده‌اند. CNN می‌تواند ویژگی‌های مهم تصویر را استخراج کند.

برای مثال:

• خطوط
• لبه‌ها
• بافت‌ها
• اشکال

در لایه‌های عمیق‌تر، این ویژگی‌ها با یکدیگر ترکیب می‌شوند تا اشیای پیچیده‌تر شناسایی شوند.

به همین دلیل، CNN یکی از مهم‌ترین فناوری‌های مورد استفاده در تشخیص اشیا است.

مهم‌ترین الگوریتم‌های تشخیص اشیا در ویدئو

امروزه چند الگوریتم مشهور در این حوزه استفاده می‌شوند.

YOLO

YOLO یا You Only Look Once یکی از سریع‌ترین مدل‌های تشخیص اشیا است. این الگوریتم تصویر را تنها یک بار پردازش می‌کند و به همین دلیل سرعت بسیار بالایی دارد.

مزایای YOLO:

• مناسب برای زمان واقعی
• سرعت بالا
• عملکرد خوب در ویدئو

به همین دلیل، در خودروهای خودران و دوربین‌های نظارتی کاربرد گسترده‌ای دارد.

Faster R-CNN

این مدل نسبت به YOLO دقت بیشتری دارد. با این حال، سرعت آن کمتر است. بنابراین، معمولاً در پروژه‌هایی استفاده می‌شود که دقت از سرعت مهم‌تر باشد.

SSD

SSD تلاش می‌کند تعادل مناسبی بین سرعت و دقت ایجاد کند. در نتیجه، برای بسیاری از کاربردهای صنعتی گزینه مناسبی محسوب می‌شود.

Vision Transformer

در سال‌های اخیر مدل‌های مبتنی بر Transformer نیز وارد حوزه تشخیص اشیا شده‌اند. این مدل‌ها می‌توانند روابط پیچیده بین بخش‌های مختلف تصویر را بهتر درک کنند. به همین دلیل، انتظار می‌رود نقش آن‌ها در سال‌های آینده افزایش یابد.

رهگیری اشیا چگونه انجام می‌شود؟

پس از تشخیص شیء، سیستم باید آن را در فریم‌های بعدی دنبال کند.

چند الگوریتم معروف برای این کار وجود دارند:

SORT

یکی از سریع‌ترین الگوریتم‌های رهگیری است.

Deep SORT

نسخه پیشرفته‌تر SORT محسوب می‌شود.

علاوه بر موقعیت، ویژگی‌های ظاهری شیء را نیز بررسی می‌کند.

ByteTrack

یکی از محبوب‌ترین روش‌های جدید رهگیری اشیا است که دقت بسیار بالایی دارد.

در نتیجه، امروزه در بسیاری از سیستم‌های حرفه‌ای استفاده می‌شود.

کاربردهای تشخیص اشیا در ویدئو

این فناوری در صنایع مختلف کاربرد دارد.

خودروهای خودران

خودروهای خودران باید بتوانند:

• خودروها را تشخیص دهند.
• عابران پیاده را شناسایی کنند.
• علائم راهنمایی را ببینند.
• موانع را پیدا کنند.

بنابراین، تشخیص اشیا یکی از اجزای اصلی این سیستم‌ها است.

سیستم‌های نظارتی

دوربین‌های امنیتی از این فناوری برای:

• شناسایی افراد
• تشخیص ورود غیرمجاز
• تحلیل رفتار مشکوک

استفاده می‌کنند.

ورزش

در مسابقات ورزشی از تشخیص اشیا برای:

• تحلیل حرکت بازیکنان
• محاسبه سرعت
• بررسی تاکتیک‌ها

استفاده می‌شود.

رباتیک

ربات‌ها برای تعامل با محیط باید اشیا را ببینند و موقعیت آن‌ها را تشخیص دهند.

به همین دلیل، بینایی کامپیوتر بخش مهمی از رباتیک مدرن است.

فروشگاه‌های هوشمند

در فروشگاه‌های مدرن، دوربین‌ها می‌توانند:

• تعداد مشتریان را بشمارند.
• رفتار خریداران را تحلیل کنند.
• مسیر حرکت افراد را بررسی کنند.

چالش‌های تشخیص اشیا در ویدئو

با وجود پیشرفت‌های زیاد، هنوز چالش‌هایی وجود دارد.

تغییر نور

نور کم یا نور شدید می‌تواند دقت مدل را کاهش دهد.

انسداد اشیا

گاهی یک شیء پشت شیء دیگری قرار می‌گیرد.

در نتیجه، رهگیری آن دشوار می‌شود.

حرکت سریع

حرکت ناگهانی یا بسیار سریع اشیا می‌تواند باعث خطا شود.

مصرف منابع پردازشی

پردازش هم‌زمان صدها فریم نیازمند سخت‌افزار قدرتمند است.

به همین دلیل، بهینه‌سازی مدل‌ها اهمیت زیادی دارد.

آینده تشخیص اشیا در ویدئو

پیشرفت هوش مصنوعی باعث شده است سیستم‌های تشخیص اشیا هر سال هوشمندتر شوند.

در آینده انتظار می‌رود:

• دقت مدل‌ها افزایش یابد.
• سرعت پردازش بیشتر شود.
• نیاز به داده آموزشی کاهش پیدا کند.
• تحلیل رفتار انسان‌ها پیشرفته‌تر شود.

علاوه بر این، ترکیب بینایی کامپیوتر با مدل‌های هوش مصنوعی مولد می‌تواند قابلیت‌های کاملاً جدیدی ایجاد کند.

جمع‌بندی

تشخیص اشیا در ویدئو یکی از مهم‌ترین کاربردهای بینایی کامپیوتر است که امکان شناسایی و رهگیری اشیا را در فریم‌های متوالی فراهم می‌کند. این فناوری با استفاده از الگوریتم‌هایی مانند YOLO، Faster R-CNN و Deep SORT می‌تواند خودروها، افراد و سایر اشیا را به‌صورت خودکار تشخیص دهد و حرکت آن‌ها را دنبال کند. امروزه از این فناوری در خودروهای خودران، سیستم‌های امنیتی، رباتیک، ورزش و فروشگاه‌های هوشمند استفاده می‌شود و انتظار می‌رود در سال‌های آینده نقش آن پررنگ‌تر شود.