تشخیص حرکت شارپی

داده های ویدئویی مبتنی بر نشانگر و نشانگر کمتر از فیلم: مقایسه شناسایی شخص و فعالیت بر اساس رویکردهای یادگیری ماشین

Syeda Binish Zahra 1 ، 2 ، محمد عدنان خان 2 ، * ، Sagheer Abbas 1 ، Khalid Masood Khan 2 ، Mohammed A. Al-Ghamdi 3 and Sultan H. Almotiri 3

1 دانشکده علوم کامپیوتر ، دانشکده ملی مدیریت و اقتصاد ، لاهور ، 54000 ، پاکستان 2 گروه علوم کامپیوتر ، دانشگاه گاریسون لاهور ، لاهور ، 54792 ، پاکستان 3 گروه علوم کامپیوتر ، دانشگاه ام القرا ، شهر مکه ، عربستان سعودی* نویسنده مسئول: محمد عدنان خان. ایمیل: madnankhan@lgu. edu. pk دریافت: 12 ژوئیه 2020 ؛پذیرفته شده: 28 اوت 2020

چکیده: بیومکانیک مطالعه خصوصیات فیزیولوژیکی داده ها و اندازه گیری رفتار انسان است. در شرایط عادی ، خصوصیات رفتاری به صورت پایدار با استفاده از ورودی های مختلف فعالیتهای انسانی ناخودآگاه/آگاهانه مانند سبک گفتار ، حرکات بدن در الگوهای پیاده روی ، سبک نوشتن و آهنگ های صوتی ایجاد می شود. نمی توان هیچ تغییری در این ورودی ها انجام داد که نتایج را قابل اطمینان می کند و دقت را افزایش می دهد. هدف از مطالعه ما انجام تجزیه و تحلیل مقایسه ای بین سیستم ضبط حرکت مبتنی بر نشانگر (MBMCS) و سیستم ضبط حرکت کمتر نشانگر (MLMC) با استفاده از زاویه های مفصل بدن پایین الگوهای راه رفتن انسان است. در هر دو MLMC و MBMC ، ما مسیرهای همه شرکت کنندگان را جمع آوری کردیم و محاسبات زاویه ای مشترک را برای شناسایی یک شخص و تشخیص یک فعالیت (پیاده روی و دویدن) انجام دادیم. با استفاده از پنج الگوریتم یادگیری ماشین ART ، ما به ترتیب با استفاده از MBMC و MLMC به ترتیب با الگوریتم گروه (دو زاویه به عنوان ویژگی) دقت 44. 6 ٪ و 64. 3 ٪ را به دست آوردیم. در مجموعه دوم آزمایشات ، ما از شش الگوریتم یادگیری ماشین برای به دست آوردن دقت 65. 9 ٪ با الگوریتم K-Nearest همسایه (KNN) (دو زاویه به عنوان ویژگی) و دقت 74. 6 ٪ با یک الگوریتم گروه استفاده کردیم. همچنین ، با افزایش ویژگی ها (6 زاویه) ، ما در MBMC برای تشخیص شخص و دقت 98. 1 ٪ در MBMC برای تشخیص فعالیت با استفاده از الگوریتم KNN دقت بیشتری به دست آوردیم. MBMCS از نظر محاسباتی گران است و اگر دوباره مدل Openpose را با بیشتر نقاط مشترک بدن طراحی کنیم و از ویژگی های بیشتری استفاده کنیم ، MLMCS (سیستم کم هزینه) می تواند یک رویکرد مؤثر برای تجزیه و تحلیل داده های ویدئویی در یک فرآیند شناسایی و شناسایی فعالیت باشد.

کلمات کلیدی: سیستم ضبط حرکت مبتنی بر نشانگر ؛سیستم ضبط حرکت کمتر نشانگر ؛دستگاه بردار پشتیبانی ؛همسایه K-Neara

سیستم ضبط حرکت برای اندازه گیری و ضبط تغییر وضعیت بدن با زمان استفاده می شود. حرکت انسان با استفاده از پارامترهای بدن سوژه از جمله جهت گیری و موقعیت سوژه ، نمایندگی سه بعدی را ایجاد می کند. در ضبط حرکت ، یا از سیستم نشانگر کمتر یا نشانگر استفاده می کنیم. سیستم کمتر نشانگر از تکنیک های بینایی رایانه استفاده می کند در حالی که سیستم های مبتنی بر نشانگر از سنسورها یا نشانگرها (فعال یا منفعل) استفاده می کنند ، که در بدن یک موضوع قرار دارد [1]. ما از سیستم های ضبط حرکت برای اندازه گیری و ضبط راه رفتن انسان (اندام تحتانی بدن) برای تجزیه و تحلیل حرکت هر سوژه برای تشخیص او و فعالیت های مختلف انجام شده توسط وی استفاده کردیم. از نظر فنی ، تجزیه و تحلیل راه رفتن مطالعه حرکات بدن در جهت رو به جلو است ، هنگامی که یک پا در هوا (مرحله نوسان) قرار دارد و مرحله دوم (مرحله موضع) از روند حرکت به صورت رو به جلو یا عقب پشتیبانی می کند تا از کل پشتیبانی کندوزن بدن (کل وزن بدن با عملکرد مراحل نوسان و موضع تغییر می کند). به طور کلی ، راه رفتن چرخه مراحل نوسان و موضع است. برنامه های متعدد برای تجزیه و تحلیل راه رفتن شخص از جمله صنعت انیمیشن ، علوم ورزشی ، تأیید و شناسایی شخص استفاده می شود [2-5].

1. 1 سیستم ضبط حرکت مبتنی بر نشانگر (MBMCS)

MBMCS داده ها را در طی مراحل سنجش و پردازش استخراج می کند. در مرحله سنجش ، جهت گیری مشترک و داده های موقعیت با استفاده از نشانگرهایی که با بدن سوژه وصل شده اند جمع آوری می شود و از دوربین های پر سرعت برای ضبط داده ها استفاده می شود. در مرحله پردازش ، یک نمایش سه بعدی از داده های مشترک با استفاده از مسیرها استخراج می شود. سیستم های الکترو مغناطیسی ، الکترومکانیکی و نوری مبتنی بر یک رویکرد مبتنی بر نشانگر برای تجزیه و تحلیل حرکت هستند. در تحقیقات ما ، داده ها با استفاده از سیستم ضبط حرکت ویکون برای رویکرد مبتنی بر نشانگر ضبط می شوند.

1. 2 سیستم ضبط حرکت کمتر نشانگر (MLMCS)

MLMC ها ، بر اساس یک سری دوربین های فیلمبرداری (از جمله نرم افزار مبتنی بر بینایی) ، داده های مسیرهای مشترک را بدون اتصال نشانگرها یا سنسورها به بدن سوژه (به عنوان مثال ، نظارت بصری) استخراج می کنند. MLMC عملکرد خود را در سه مرحله انجام می دهد. مرحله اول ردیابی و تشخیص موضوع است که از الگوریتم های پیش بینی شده برای ردیابی و تخمین پارامترهای متحرک سوژه استفاده می کند. برای ردیابی روشهای پیش بینی ، فیلتر ذرات ، میانگین تغییر ، الگوریتم تراکم و فیلتر کالمن استفاده می شود. در مرحله دوم ، استخراج ویژگی سوژه با استفاده از پیکربندی تمام بدن یا بدن برای تخمین مجموعه ای از اندازه گیری های ویژگی انجام می شود. مقادیر تخمین زده شده از ویژگی در تشخیص راه رفتن (به عنوان اندازه گیری زاویه های مشترک) ، تکنیک های حرکات محور (پیکربندی دستی) و تشخیص و تشخیص ویژگی مبتنی بر شبح استفاده می شود. مرحله سوم طبقه بندی حرکت با استفاده از فرآیند برچسب زدن است. این مرحله از انواع روشهای تشخیص برای حرکت انسان (که در سیستم های دید رایانه ای استفاده می شود) مانند روش KNN ، SVM و شبکه های عصبی (NN) استفاده می کند. تجزیه و تحلیل راه رفتن به ابزاری گسترده تر در تحقیقات برای دسترسی و ارزیابی حرکات انسانی و توصیف اختلالات حرکتی تبدیل شده است. در این تحقیق ، از ابزار TensorFlow برای توصیف حرکات انسانی استفاده می شود. همچنین ، برای جلوگیری از سیستم های گران قیمت (سیستم ضبط حرکت) و از بین بردن شرایط آزمایشگاهی سخت ، داده های تحقیق ما با استفاده از الگوریتم ضبط حرکت Openpose (MLMCS) ضبط می شود.

چند سهم عمده در تحقیقات ما به شرح زیر گردآوری شده است:

1. ما برای شناسایی و شناخت فعالیت وی از زوایای مشترک پایین یک شخص استفاده کرده ایم. به بهترین دانش ما ، هیچ کس تاکنون از این پارامترهای راه رفتن زاویه ای برای شناسایی یا شناخت فعالیت شخص استفاده نکرده است.

2. تکنیک های یادگیری ماشین به تکنیک های یادگیری بدون نظارت و تحت نظارت جدا می شوند [6،7]. ما از الگوریتم های یادگیری ماشین نظارت شده مانند گروه ، KNN ، درخت ، تبعیض آمیز خطی (LD) ، رگرسیون لجستیک (LR) ، SVM و حافظه کوتاه مدت بلند (LSTM) برای شناسایی و شناخت فعالیت فرد در داده های سری زمانی استفاده کرده ایم. نرخ دقت بالاتری کسب کرد (همانطور که در زبانه ها ذکر شد. 2-7).

3. در آزمایشات ، روش های جمع آوری و ترسیم داده ها با استفاده از رویکردهای مبتنی بر نشانگر استاندارد طلا و نشانگر ، نتایج پیشرفته را نشان می دهد.

جدول 2: 2 زاویه مبتنی بر نشانگر: فعالیت

جدول 3: نشانگر کمتر از 2 زاویه: فعالیت

جدول 4: 6 زاویه مبتنی بر نشانگر: فعالیت

جدول 5: 2 زاویه مبتنی بر نشانگر: شخص

جدول 6: نشانگر کمتر از 2 زاویه: شخص

جدول 7: 6 زاویه مبتنی بر نشانگر: شخص

2 مقایسه بین رویکردهای نشانگر کمتر و نشانگر

برای مقایسه عملکرد هر دو سیستم ، رویکردهای بدون نشانگر و نشانگر ، پارامترهای راه رفتن را محاسبه کرده ایم. در تحقیقات قبلی با استفاده از پارامترهای راهپیمایی ، ایمان و همکاران.[8] روشی را برای پارامترهای راه رفتن دقیق با استفاده از رویکرد مبتنی بر نشانگر 2D ارائه داده اند. Labbe و همکاران با استفاده از "مدل مخلوط گاوسی" از یک تصویر.[9] پارامتر راه رفتن به نام "زاویه زانو" (عملکرد مشترک) را برای ارزیابی آسیب زانو محاسبه کرده است. در رویکرد مبتنی بر نشانگر ، ما از شش زاویه استفاده کرده ایم و 16 نشانگر را در بدن تحتانی اعمال کرده ایم. برای مقایسه ، ما فقط از دو زاویه (زاویه زانو و زاویه لگن) استفاده کرده ایم ، همانطور که در مدل ساختار رویکرد نشانگر کمتر ، فقط 6 نشانگر مجازی در بدن تحتانی موجود است ، بنابراین ما فقط دو زاویه را با استفاده از این روش محاسبه کرده ایم. نکته مفید مفاصل بدن انسان این است که همه نقاط با استفاده از "بدنه سفت و سخت" تبدیل می شوند و تمام نقاط مفصل بدن با استفاده از جابجایی زاویه ای منتقل می شوند [10].

برآورد زاویه های مشترک یک جنبه مهم با استفاده از فریم های تعبیه شده مشترک در رویکرد سه بعدی مبتنی بر نشانگر است [11] ، در حالی که در روش نشانگر کمتر ، فقط از قاب های فنی استفاده می شود.

مسئله دیگر در مورد نرخ فریم مختلف در هر دو رویکرد است. در رویکرد مبتنی بر نشانگر ، ما باید کالیبراسیون را انجام دهیم تا فریم های دقیق بدست آوریم ، در حالی که در رویکرد نشانگر کمتر ، چنین کالیبراسیون لازم نیست. رویکرد مبتنی بر نشانگر مبتنی بر راه اندازی کامل آزمایشگاه با اتصال مناسب دوربین های مادون قرمز ، دوربین های فیلمبرداری با سرعت بالا ، نرم افزار مبتنی بر نشانگر و سرور است که هزینه کل پروژه را افزایش می دهد. در حالی که ، رویکرد کمتر نشانگر به چنین تنظیمات گران قیمت احتیاج ندارد و این یک رویکرد مقرون به صرفه است. دستیابی به استاتیک برای ردیابی موضوع توسط هر دو سیستم مورد نیاز است. در هر دو رویکرد ، مسیرهای هر موضوع را دریافت می کنیم. از Matlab برای جمع آوری مسیرهای رویکرد مبتنی بر نشانگر استفاده می شود و پایتون در رویکرد کمتر نشانگر استفاده می شود.

سیستم نظارت می تواند روشی طبیعی تر و عملی تر برای شناسایی افراد در فیلم ها فراهم کند. شناسایی مجدد یک شخص با استفاده از اطلاعات مکانی و مکانی انجام نمی شود زیرا فیلم های نظارت فاقد الگوریتم ها یا مدل هایی هستند که می توانند اطلاعات مکانی مکانی را محاسبه کنند [12]. برای محاسبه پارامترهای راه رفتن ، ما از رویکرد مبتنی بر نشانگر استاندارد طلا استفاده کرده ایم. با استفاده از این روش ، ما تمام مسیرها را با سرعت فریم بالاتر به دست آورده ایم و از این مسیرها [13] برای شناسایی شخص استفاده کرده ایم. وانگ و همهم[14] و لیو و همکاران.[15] ، شناسایی شخص با استفاده از فیلم ها اما آنها ویژگی های شخص را از یک دنباله ویدیویی دریافت نکردند یا یاد نگرفتند. نکته مهم دیگر تحقیقات آنها این است که آنها با ویژگی های سطح پایین کار کرده اند اما در تحقیقات ما از تمام ویژگی های Gait استفاده می شود.

در تحقیقات تشخیص راه رفتن با استفاده از داده های "ضبط حرکت" چند حفره وجود دارد. هیچ کار پژوهشی روی قدرت تبعیض آمیز ویژگی ها و تمرکز ندارد و قبلاً فقط دو یا سه پارامتر راه رفتن برای تجزیه و تحلیل استفاده نمی شود. در تحقیقات قبلی ، داده های ویدئویی با استفاده از دوربین های معمولی جمع آوری شده و تمام داده ها در قالب دو بعدی (2D) بوده و فقط تجزیه و تحلیل مبتنی بر تصاویر انجام شده است.

در این تحقیق ، از داده های ویدئویی سه بعدی (3D) توسط آخرین "سیستم ضبط حرکت" با بالاترین نرخ فریم و دوربین های ویژه (دوربین های DV با سرعت بالا و دوربین های مادون قرمز) برای جمع آوری داده ها استفاده می شود. ایده اصلی شناسایی شخصی است که از راهپیمایی خود استفاده می کند. برای دستیابی به شناسایی راه رفتن ، ما پارامترهایی را از راه رفتن شخص استخراج کرده ایم. این پارامترها برای تشخیص فعالیت و شناسایی شخص مورد تجزیه و تحلیل قرار می گیرند.

3. 1 دستیابی به داده ها

در این تحقیق ، فرایند ضبط حرکات سوژه به صورت سه بعدی با استفاده از دوربین های پر سرعت با تکنیک ضبط حرکت سیستم ویکون انجام می شود. از مواد منعکس شده در نشانگرهای منفعل استفاده می شود زیرا آنها امواج مادون قرمز را منعکس می کنند. در مرحله دستیابی به داده ها ، چراغ های مادون قرمز توسط دوربین های دیجیتال (14 عدد) با نرخ فریم 250 فریم در ثانیه تولید می شوند و نشانگرها این نور را منعکس می کنند.

3. 1. 2 تنظیم آزمایشی برای MBMC

تمام اندازه گیری ها در آزمایشگاه بیومکانیک در یک پیاده روی 3 متر برای ضبط قاب های ویدیویی انجام می شود زیرا ما از 14 دوربین مادون قرمز با نرخ نمونه برداری 250 هرتز استفاده کرده ایم. از دو دوربین DVD ویدیویی با سرعت بالا نیز استفاده و نصب می شود تا حرکت جلو و سمت راست را با سرعت 125 f/s ضبط کند. این مسیر پیاده روی فضای کافی را برای یک موضوع برای حرکات به روشی طبیعی و طبیعی فراهم می کند. 07 نفر در این آزمایشات مورد استفاده قرار گرفتند (همه مرد ، M1 تا M5 هستند). شکل 1 (a) کل سیستم تجزیه و تحلیل حرکت ویکون را نشان می دهد. در مرحله قبل از پردازش ، 16 نشانگر به قسمتهای پایین بدن یک فرد در سمت چپ و راست (لگن ، زانو ، مچ پا ، ران ، استخوان درشت ، پاشنه و انگشتان) وصل می شوند. هر موقعیت نشانگر با نام قسمت مناسب بدن برچسب گذاری شده است که سمت چپ و راست بدن را متمایز می کند ، همانطور که در شکل 1 (b) نشان داده شده است و این موقعیت های نشانگر در Nexus ویکون مشخص شده است. از پروتکل قرار دادن دقیق نشانگر بدنه پایین برای فعال کردن شناسایی قطعات پایین بدن استفاده شد. 16 نشانگر بازتاب در بدن تحتانی با استفاده از نوار دو طرفه وصل شدند. ما "مسیرهای حرکتی" یک دنباله معین از قاب های ویدیویی را تشکیل دادیم و هر مقدار موقعیت را برای هر زاویه در هواپیمای x ، y و z بدست می آوریم ، همانطور که در شکل 1 (c) نشان داده شده است. فرمولاسیون آماری برای تجزیه و تحلیل پویا و محاسبه ریاضی برای تجزیه و تحلیل زاویه ای می تواند با استفاده از مقادیر نقطه مشترک انجام شود در حالی که از مقدار واحد در هر سینماتیک مفصل زاویه ای استفاده می شود که یک الگوی منحصر به فرد از حرکت اندام تحتانی در هر "موقعیت" با گذشت زمان ایجاد می کند. Eq(1) فرمول برای زاویه و معادلات را دارد.(2) و (3) وکتور محاسبه (U و V به ترتیب) برای داده های سه بعدی. ما 6 زاویه اندام تحتانی را محاسبه کرده ایم و پارامترهای زیر را استخراج کرده ایم.

شکل 1: (الف) ویکون ، سیستم ضبط حرکت ، (ب) 16 نام نشانگر منعکس کننده با موقعیت نشانگر ، (ج) سینماتیک زاویه ای در طول 6 زاویه و موقعیت آنها

1. زاویه لگن به زانو (ASI-TIB-KNE)

2. استخوان درشت نی (Tib-kne-thi)

3. مچ پا به زانو (AKN-TIB-KNE)

4- انگشتان پا به تیبیا (انگشتان پا)

5. پاشنه پا به تیبیا (Hee-ank-tib)

6. پاشنه پا به پا (Hee-ank-toe).

برای مقایسه با MLMC ها ، دو زاویه ، زاویه زانو و زاویه لگن را نیز محاسبه کرده ایم.

در این تحقیق ، ما برای ضبط حرکات یک موضوع از Openpose استفاده کرده ایم. Openpose کاربرد قابل اجرا برای تشخیص و ارائه نقاط صورت و بدن مانند بازوها ، پاها ، باسن ، نقاط مفصل بدن مچ پا در 2D است [16،17]. اشکال Openpose این است که اگر نتواند بدن را تشخیص دهد ، هیچ منبع بهبودی در جریان زنده وجود ندارد. مشکل دوم هزینه مانند رویکرد در زمان واقعی و برای تشخیص نقطه بدن چند نفره ، هزینه این برنامه زیاد است. فرآیند Openpose با الگوریتم تشخیص شروع می شود که نقاط کلید بدن را تشخیص می دهد [18]. سپس به مقادیر کلید نقطه می پیوندد و با استفاده از درون یابی و تقریب شبکه ای برای هر نقطه ایجاد می کند [17].

3. 1. 4 تنظیم آزمایشی برای MLMC

Open Pose تشخیص نقطه کلید را بر اساس معماری شبکه اصلی کلید اصلی بدنه اولیه انجام می دهد. در تحقیقات ما از معماری شبکه قسمت Affinity Field (PAF) استفاده کرده ایم. قسمت PAF به قسمت فدراسیون با استفاده از تشخیص نقشه اعتماد به نفس تکراری انجام می شود. بردارها در PAF به عنوان جهت 2D تعریف می شوند و این نقطه بردار از یک نقطه کلید بدنه به نقطه کلید دیگر بدست می آید ، همانطور که در شکل 2 ذکر شده است. شبکه Convolutional N تصویر اولیه را که به عنوان i نشان داده شده است تجزیه و تحلیل می کند و یک مجموعه ویژگی FS را ایجاد می کند (درزاویه مورد ما). در مرحله بعدی ، از FS به عنوان ورودی به مرحله شبکه I استفاده می شود ، که پیش بینی (حاوی برخی از مقادیر) را در هر مجموعه از PAF (معروف به مقدار LV) انجام می دهد. در هر سطح از PAF ، مقدار قبلی مقدار LV I-1 به FS هماهنگ می شود و سطح فعلی LV I تصفیه می شود. این مقادیر (معادله. (4) - (6)) به شبکه N ارسال می شوند که پیش بینی PV Eq را انجام می دهد.(7) (مقدار نقطه کلید پیش بینی شده) در مقادیر کلید. سرانجام ، تشخیص کامل بدن نقاط برای هر موضوع با استفاده از "تطبیق نمودار دو طرفه" انجام می شود [19].

شکل 2: معماری شبکه زمینه وابستگی قسمت در Openpose

کتابخانه های مختلف مانند آلفا-پوز [20] و ماسک R-CNN برای "تخمین مطرح" در 2D در دسترس هستند. با اجرای این کتابخانه ها ، در "فریم خوان" خود (پخش ویدیو یا تصاویر) کار می کند و نتایج مستقیم در فرم های بصری و مقادیر کلید در 2D ایجاد می کند که منجر به پرونده خروجی می شود (در مورد ما پرونده های . csv را تولید می کند)بشرکتابخانه های Openpose می توانند بر روی سیستم عامل های مختلف (سیستم های جاسازی شده ، Mac ، Windows و Ubuntu) اجرا شوند ، در حالی که در آزمایش های ما ، ما از ویندوز و پلت فرم پایتون استفاده کرده ایم. داده های ویدئویی انتخاب شده به عنوان یک ورودی ارائه می شود و فیلم خروجی با برچسب های کلید بدنه به دست می آید که حاوی یک فایل . csv با مقادیر مختصات x و y هر فریم است.

برای گرفتن داده های راه رفتن ، 07 شرکت کننده سالم (از همه مردان ، 21 تا 26 سال ، ارتفاع 5 تا 6 فوت) در آزمایشات ما استفاده شد. خلاصه شرکت کنندگان در برگه نشان داده شده است. 1. آزمایشات در شرایط بسته و کنترل در آزمایشگاه بیومکانیکی در LUMS انجام شد. ارتفاع و جرم بدن به ترتیب با استفاده از استادیومتر و مقیاس وزن به درستی اندازه گیری شد. ارزیابی های عملکردی با استفاده از تجزیه و تحلیل راه رفتن بیومکانیکی ، (پیاده روی و دویدن استاتیک ، جهت عقربه های ساعت و در جهت عقربه های ساعت) با سیستم های ویکون مبتنی بر 14-دوربین انجام می شود.

جدول 1: خلاصه شرکت کنندگان

• سیستم ضبط حرکت Vicon in برای جمع آوری داده ها با طرح مبتنی بر نشانگر استفاده می شود.

• OpenPose (با TensorFlow) برای جمع آوری داده ها با طرح نشانگر کمتر استفاده می شود.

• از Matlab برای شبیه سازی این کار استفاده می شود.

4 نتیجه آزمایشی

ما از دو سیستم ضبط حرکت استفاده کرده ایم ، یکی مبتنی بر نشانگر و دیگری کمتر نشانگر است. برای MBMC ها از سیستم ویکون استفاده کرده ایم و تمام داده های حرکت پایین بدن را جمع آوری کرده ایم. برای MLMCS ، ما از داده های ویدیویی از حرکات موضوع استفاده کرده ایم. هر موضوع دو فعالیت (1) پیاده روی و (2) در حال اجرا را انجام می دهد. برای MBMCS ، ما از Matlab استفاده کردیم تا تمام مسیرهای حرکتی را در 3D و برای MLMC ها بدست آوریم ، از پایتون استفاده کردیم تا تمام مسیرهای حرکتی را در 2D بدست آوریم. ما دو زاویه (1) زاویه زانو و (2) زاویه لگن را محاسبه کردیم و از این محاسبات زاویه ای در شناسایی حضوری و تشخیص فعالیت استفاده کردیم. برای شناسایی شخص ، ما از پنج الگوریتم یادگیری ماشین به نام الگوریتم گروه ، KNN ، درخت تصمیم ، SVM و تجزیه و تحلیل LD استفاده کردیم. برای شناخت فعالیت ، ما از شش الگوریتم یادگیری ماشین به نام گروه ، KNN ، درخت تصمیم ، SVM ، تجزیه و تحلیل LD و LR استفاده کرده ایم. برای شناسایی شخص ، ما در MBMC ها با الگوریتم گروه ، همانطور که در شکل 6 و TAB ذکر شده است ، به 44. 6 ٪ دقت رسیده ایم. 5- برای شناسایی شخص ، ما در MLMC ها با یک الگوریتم گروه ، همانطور که در شکل 7 و TAB ذکر شده است ، به دقت 64. 3 ٪ در MLMC ها رسیده ایم. 6. برای تشخیص فعالیت ، سطح دقت 65. 9 ٪ در MBMC با الگوریتم KNN همانطور که در شکل 3 و TAB ذکر شده است ، حاصل می شود. 2. برای تشخیص فعالیت ، سطح دقت 74. 6 ٪ در MLMC ها با یک الگوریتم گروه همانطور که در شکل 4 و TAB ذکر شده است ، حاصل می شود. 3. یافتن نتیجه اصلی ما نشان می دهد که MBMCS پرهزینه است (همانطور که قبلاً نیز اشاره کردیم که به آزمایشگاه و تجهیزات گران قیمت نیاز دارد) و عملکرد از نظر دقت کم است. رویکرد MLMCS هنگامی که آن را با MBMC ها مقایسه می کنیم ، دقت بالایی را ایجاد می کند ، و در صورت بهبود مدل Openpose با استفاده از نقاط مشترک بیشتر بدن (با اضافه کردن نقاط مشترک بدن بیشتر ، ما در واقع می توانیم ویژگی ها را افزایش دهیم) سپس می توانیم با استفاده از MLMC ها به دقت بیشتری برسیم که تأیید می کند که تأیید می کند که تأیید می کند. این یک رویکرد مؤثر از نظر هزینه است و حتی هیچ آزمایشگاهی لازم نیست.

شکل 3: 2 زاویه مبتنی بر نشانگر: فعالیت

شکل 4: نشانگر کمتر از 2 زاویه: فعالیت

شکل 6: 2 زاویه مبتنی بر نشانگر: شخص

شکل 7: نشانگر کمتر از 2 زاویه: شخص

ما شش زاویه را برای افزایش دقت سیستم خود محاسبه کرده ایم. بدیهی است که پس از افزایش ویژگی ها (6 زاویه به جای 2 زاویه) دقت بیشتری را با الگوریتم KNN برای شناسایی شخص همانطور که در شکل 8 و TAB نشان داده شده است ، با الگوریتم KNN بالاتری کسب می کنیم. 7. ماتریس سردرگمی در شکل 9 و 98. 1 ٪ دقت با الگوریتم KNN برای تشخیص فعالیت همانطور که در شکل 5 و TAB نشان داده شده است ارائه شده است. 4 در حالی که ماتریس سردرگمی آنها در شکل 10 نشان داده شده است. ما این 6 زاویه را در MBMC ها گرفتیم زیرا نشانگرهای عظیم را روی بدن انسان افزایش می دهیم ، و این کار در MLMC ها انجام نمی شود.

شکل 5: 6 زاویه مبتنی بر نشانگر: فعالیت

شکل 8: 6 زاویه مبتنی بر نشانگر: شخص

شکل 9: نشانگر ماتریس سردرگمی بر اساس 6 زاویه

شکل 10: فعالیت 6 زاویه بر اساس نشانگر ماتریس سردرگمی

تحقیقات ما مقایسه ای بین MLMC ها و MBMC ها برای شناسایی الگوهای راه رفتن ارائه داده است. ما مسیرهایی را برای همه شرکت کنندگان محاسبه کرده ایم و محاسبه زاویه ای را برای شناسایی شخص و تشخیص فعالیت (پیاده روی و دویدن) انجام داده ایم. برای شناسایی شخص ، ما از پنج الگوریتم استفاده کرده ایم در حالی که برای تشخیص فعالیت ، از شش الگوریتم یادگیری ماشین استفاده کرده ایم. برای شناسایی شخص ، ما در MBMC ها به 44. 6 ٪ دقت و دقت 64. 3 ٪ در MLMC ها با یک الگوریتم گروه را بدست آورده ایم. برای شناخت فعالیت ، ما 65. 9 ٪ دقت در MBMC ها با استفاده از الگوریتم KNN و دقت 74. 6 ٪ در MLMC ها با استفاده از الگوریتم گروه حاصل می شود. ما همچنین شش زاویه را برای افزایش دقت سیستم خود محاسبه کرده ایم. بدیهی است که افزایش تعداد ویژگی ها (6 زاویه به جای 2 زاویه) ، می توانیم برای شناسایی شخص 99. 3 ٪ به دقت بالاتر و 98. 1 ٪ برای تشخیص فعالیت با استفاده از تنها الگوریتم KNN در هر دو روش دست یابیم. MBMCS از نظر محاسباتی گران است و از آزمایشگاه های پر هزینه استفاده می کند. اگر ما مدل Openpose را با نقاط مفصل دقیق تر بدن دوباره طراحی کنیم ، بنابراین ویژگی های بیشتری را ضبط می کنیم ، این سیستم کم هزینه یک رویکرد مؤثر برای تجزیه و تحلیل داده های ویدیویی در مشکل شناسایی و تشخیص فعالیت فرد خواهد بود.

بیانیه بودجه: این کار توسط داده ها و صندلی علمی اطلاعات مصنوعی در دانشگاه ام القورا پشتیبانی می شود.

تضاد منافع: نویسندگان اعلام می کنند که هیچ تضاد منافع برای گزارش در مورد مطالعه حاضر ندارند.

منابع

1. S. Mohammed ، A. Samé ، L. Oukhellou ، K. Kong ، W. Huo et al.(2016).، "شناخت مراحل چرخه راه رفتن با استفاده از سنسورهای پوشیدنی" ، سیستم های روباتیک و خودمختار ، جلد. 75 ، صص 50-59.
2. A. Nandy ، S. Bhowmick ، P. Chakraborty and G. C. Nandi.(2014)."بیومتریک راه رفتن: رویکردی برای سرعت بخشیدن به تجزیه و تحلیل راه رفتن انسان برای شناسایی شخص ،" پیشرفت در سیستم های هوشمند و محاسبات ، جلد. 236 ، صص 729-737.
3. 3. M. Jarolav.(2013)."پایگاه داده های راهپیمایی انسانی هنجاری ،" نامه های تحقیقاتی آماری ، جلد. 2 ، نه. 3 ، صص 69-74.
4. 4. P. Chandra ، G. Kanika ، M. Anshul ، K. Rajesh ، L. Vijay و همکاران.(2015).، "سیستم نوری مبتنی بر نشانگر منفعل برای سینماتیک راه رفتن برای اندام تحتانی ،" در Proc. int. کنفرانسدر فن آوری ها و برنامه های محاسباتی پیشرفته (ICACTAPP. 176-185.
5. A. Frizera ، A. Elias ، A. J. Del-Ama ، R. Ceres ، T. F. Bastos و همکاران.(2012).، "خصوصیات پارامترهای فضایی-زمانی از راه رفتن انسان به کمک یک واکر روباتیک" ، در 4 IEEE Int. کنفرانسدر مورد روباتیک های زیست پزشکی و زیست شناسی (Biorob) ، صص 1087-1091.
6. O. Simeone.(2018)."یک مقدمه بسیار مختصر برای یادگیری ماشین با برنامه های کاربردی به سیستم های ارتباطی ،" IEEE در ارتباطات شناختی و شبکه سازی ، جلد. 4 ، نه. 4 ، صص 648-664.
7. C. Turkay ، R. Laramee و A. Holzinger.(2017)."در مورد چالش ها و فرصت های تجسم برای یادگیری ماشین و استخراج دانش: یک برنامه تحقیق ،" در Proc. int. CONF CROUMAIN CONT. برای استخراج دانش یادگیری ماشین ، چم ، سوئیس: اسپرینگر ، صص 191-198.
8. E. F. Mashagba ، F. F. Mashagba و M. O. Nassar.(2014)."رویکرد ساده و کارآمد مبتنی بر نشانگر در تجزیه و تحلیل راه رفتن انسان با استفاده از مدل مخلوط گاوسی ،" مجله علوم اصلی و کاربردی اتریشی ، جلد. 8 ، نه. 1 ، صص 137 147.
9. D. R. Labbe ، A. Fuentes ، J. A. De Guise ، R. Aissaoui و N. Hagemeister.(2016)."ارزیابی بیومکانیکی سه بعدی پارگی رباط زانو" ، در بیومکانیک و مواد بیولوژیکی در ارتوپدی ، P. D. لندن ، ویرایش ، اسپرینگر ، صص 509-527.
10. A. Phinyomark ، S. T. Osisa و R. Ferber.(2016)."تجزیه و تحلیل داده های بزرگ در اجرای بیومکانیک: کاربرد تجزیه و تحلیل چند متغیره و روشهای یادگیری ماشین ،" در Proc. از 39 مهندسی پزشکی و بیولوژیکی کانادا ، کلگری ، کانادا ، صص 1-4.
11. E. Ceseracciu ، Z. Sawacha ، S. Fantozzi ، M. Cortesi ، G. Gatta et al.(2011).، "تجزیه و تحلیل بدون نشانگر از شنا خزیدن جلو ،" مجله بیومکانیک ، جلد. 44 ، نه. 12 ، صص 2236 2242.
12. B. Prosser ، W. S. Zheng ، S. Gong ، T. Xiang ، Q. Mary et al.(2010).، "شناسایی مجدد شخص توسط رتبه بندی وکتور پشتیبانی" ، در دستگاه بریتانیا Vision Conf.، صص 21. 1-21. 11.
13. T. Wang، S. Gong، X. Zhu و S. Wang.(2014)."شناسایی مجدد شخص بر اساس رتبه بندی ویدئویی" در سیزدهمین کنفرانس اروپایی. در کامپیوتر ویژن، زوریخ، سوئیس، صفحات 688-703.
14. K. Liu، B. Ma، W. Zhang و R. Huang.(2015)."بازنمایی ظاهری مکانی-زمانی برای شناسایی مجدد افراد مبتنی بر ویدئو" در Int. Conf. در کامپیوتر ویژن، صفحات 3810-3818.
15. R. Zhao، W. Ouyang و X. Wang.(2013)."شناسایی مجدد شخص با تطبیق برجسته" در Proc. از IEEE Int. Conf. در کامپیوتر ویژن، صفحات 2528-2535.
16. ال. پیشچولین، ای. اینسفوتدینوف، اس. تانگ، بی. اندرس و ام. اندریلوکا.(2016)."Deepcut: پارتیشن و برچسب گذاری مشترک زیر مجموعه برای تخمین پوز چند نفره" در IEEE Conf. در کامپیوتر بینایی و تشخیص الگو، صفحات 4929-4937.
17. اس. جانسون و ام. اورینگهام.(2010)."مدل های حالت خوشه ای و ظاهر غیرخطی برای تخمین وضعیت انسان،" British Machine Vision Conf., Leeds, UK, pp. 1-5.
18. K. He، X. Zhang، S. Ren و J. Sun.(2016)."یادگیری عمیق باقیمانده برای تشخیص تصویر،" در IEEE Conf. در کامپیوتر بینایی و تشخیص الگو، صفحات 770-778.
19. E. Levinkov، J. Uhrig، S. Tang، M. Omran، E. Insafutdinov و همکاران.(2017).، "تجزیه گراف مشترک و برچسب گذاری گره: مسئله، الگوریتم ها، برنامه ها"، بنیاد بینایی کامپیوتر، صفحات 6012-6020.
20. A. Newell، Z. Huang و J. Deng.(2017)."جاسازی انجمنی: یادگیری سرتاسری برای تشخیص و گروه بندی مشترک،" در پیشرفت ها در سیستم های پردازش اطلاعات عصبی، صفحات 2277-2287.

این اثر تحت مجوز Creative Commons Attribution 4. 0 بین المللی مجوز دارد که استفاده، توزیع و تکثیر نامحدود را در هر رسانه ای مجاز می سازد، مشروط بر اینکه اثر اصلی به درستی ذکر شده باشد.