New-Tech Magazine | APR 2024 | Digital Edition

המבוסס על תמונות בשתי תצורות, כפי בתצורה הראשונה 2 שניתן לראות באיור לצורך אימון מודל מסווג נדרש לרכוש מידע מתיוג של תמונות הכוללות הצבעה או אי הצבעה. בתצורה השנייה נאסוף את המידע בעזרת מרקרים הממוקמים על האצבע של המשתמש ועל המצלמה כך שהמערכת מצלמות אשר לוכדות תנועה יזהו את המרקרים ובכך נוכל לתייג את המידע שנרכש אשר יכלול תמונה, מיקום ) ואת כיוונה בעזרת הזוויות x , y הצבעה ( ). המידע של Yaw ) ו-סבסוב ( Pitch עלרוד ( המודל זיהוי נרכש בסביבות מגוונות, בתוך מבנים ובחוץ עם רקעים שונים ומגוון משתמשים. לעומת זאת, כתוצאה מאילוצי מערכת המידע של המודל המשערך נרכש במעבדה בלבד עם מספר רב של משתמשים. יתרה מכך, תהליך רכישת התמונות נעשתה בעזרת מצלמת אינטרנט אחת פשוטה. במחקר אנו מציעים שיטה ייחודית המבוססת על שלושה מודלים של למידה עמוקה ושילוב של מידע הכולל תמונות והסגמנטציה שלהם. את שלבי המסגרת הכללית המוצעת בזמן אמת ניתן לראות , כאשר תחילה אנו מקבלים רצף 3 באיור של תמונות, המודל המסווג מחליט האם קיימת הצבעה או לא, במקביל התמונה עוברת תהליך סגמנטציה ומשולבת כקלט למודל הזיהוי והשערוך. במידה וקיימת הצבעה, המודל שערוך מקבל כקלט את התמונה ואת הסגמנטציה שלה ומשערך את מיקום וזוויות ההצבעה. לבסוף, הרובוט מתכנן את הכיוון ליעד הרצוי על פי המידע שניתן לו (מיקום וזוויות). מודל הסגמנטציה אשר תכננו מזהה את הזרוע של המשתמש ומפלח אותה משאר התמונה במטרה להסיר את הרקע ולהשאיר רק את הזרוע של המשתמש, במהלך בחינת המודל המסווג ראינו שסיווג בעזרת תמונות אלו הוא יעיל בהרבה יותר. כדי לאמן את מודל הסגמנטציה נדרש מאיתנו לבצע תיוג ידני על התמונות, כדי לאפשר למודל להבין מה עליו לחפש. איור מתאר את השיטה הייחודית אשר פיתחנו 4 לצורך פתרון הבעיה, כאשר מתקבל תמונה בודדת היא עוברת למודל הסגמנטציה לצורך פילוח הזרוע מהמשתמש וזאת

המשתמש מכווין את רובוט למיקום הרצוי על ידי הצבעה. הרובוט צופה :1 איור « במשתמש ומזהה את המחווה ומעריך את המיקום והכיוון של היעד הרצוי. לאחר זיהוי המטרה, הרובוט מתכנן תנועה ונע לכיוון המטרה.

) עבור מודל זיהוי על ידי תיוג תמונות עם הצבעה (שמאלי) a איסוף נתונים ( :2 איור « ) תיוג תמונות עם מרקרים ומערכת לכידת תמונה המזהה b או אי הצבעה (ימין), וכן ( את הסמן היושב על האצבע ביחס לסמן של המצלמה.

תיאור שלבי המסגרת המוצעת במחקר בה הרובוט מזהה את ההצבעה :3 איור « ומשערך את המיקום וזווית ההצבעה לפי מידע שנרכש בעזרת המצלמה ובנוסף תהליך סגמנטציה על התמונה. לבסוף, הרובוט מתכנן את מסלול ההתקדמות לצורך הגעה ליעד.

New-Tech Magazine l 38