שפת הסימנים של המחשב

חוקרים מאוניברסיטת צ'יבה (Chiba) ביפן בשיתוף פעולה עם מכון המחקר היפני Mizuho Information עובדים בימים אלו על פיתוח כלי חדשני, שיאפשר לחירשים וללקויי שמיעה לתקשר טוב יותר עם שומעים בריאים באמצעות תרגום ממוחשב, בזמן אמת, של תנועות שפת הסימנים לטקסט כתוב.

המערכת החדשה עושה שימוש בזיהוי תנועה באמצעות מכשיר ה־Kinect (בקר משחקי המחשב של חברת מיקרוסופט, שפותח במקור בשיתוף חברת PrimeSense הישראלית). ה־ Kinect מורכב ממקרן לייזר אינפרה־ אדום זעיר ומשתי מצלמות – האחת רגישה לאור אינפרה־אדום והשנייה רגילה. הוא מסוגל לעקוב אחר תנועה של בני אדם בחדר, לזהות פרצופים וקול. הצוות היפני בחר להשתמש ביכולת זיהוי התנועה של ה־Kinect, ובמיוחד ביכולת זיהוי תנועות הידיים, לצורך תרגום תנועות שפת הסימנים לטקסט.

המערכת היפנית כוללת ארבעה שלבים: בשלב הראשון קולט בקר ה־Kinect את תנועות האמה של הדובר בשפת הסימנים מן המרפק ועד כף היד; בשלב השני המערכת משווה את המידע למאגר תנועות שהוזן מראש; בהמשך מתבצע פענוח ומוצגת התוצאה כטקסט על גבי המחשב.

החוקרים ציינו כי בסקר שנערך ביפן בקרב לקויי שמיעה עלה כי אחד הקשיים המרכזיים שלהם היה בתקשורת עם גורמים שונים במוסדות ציבור ובבנקים. באמצעות הצבה של מערכת תרגום ממוחשבת יוכלו פקידים בבנק ובמוסדות אחרים לתקשר בצורה יעילה וטבעית יותר עם לקויי השמיעה, ולאפשר להם השתלבות טובה יותר בחברה.

בינתיים ביפנית בלבד

העבודה על המערכת החלה באפריל 2013, ובדיקות ראשוניות הראו כי הטכנולוגיה הנוכחית לזיהוי תנועה מדויקת מספיק כדי לספק פתרון אמין, שיאפשר להמיר תנועות של שפת הסימנים למידע ממוחשב שאפשר להציג כאותיות, מילים ומשפטים. אב טיפוס של המערכת תוכנן להיות מוצג ביפן במהלך אוקטובר 2013, וגרסה מלאה אמורה להיות מוכנה במהלך שנת 2014. בשלב זה מדובר בתרגום לשפת הסימנים היפנית בלבד.

בניגוד לתפישה הרווחת, אין בעולם שפת סימנים אוניברסלית (אם כי בשנות ה־70 של המאה הקודמת נעשה ניסיון לפתח שפה שכזו, המכונה Gestuno). במקום זאת אפשר למצוא במדינות שונות (ולעתים אף באזורים ובערים שונות) שפות סימנים מקומיות. שפות אלו שונות לעתים זו מזו אף יותר מהשוני בין השפות הרגילות, ודובר של שפת סימנים בריטית (BSL) לא בהכרח יבין דובר שפת סימנים אמריקאית (ASL). בשל ההבדלים הללו לא ברור באיזו קלות יוכל הצוות היפני להתאים את מתרגם שפת הסימנים שהוא מפתח גם לשפות סימנים נוספות, אך אפשר לקוות כי המהלך לא יהיה מורכב מדי.

מכשיר ה־Kinect העומד בבסיס המערכת היפנית החדשה זכה, מאז הגיע לשוק בשנת 2010, למגוון רחב של שימושים החורגים בהרבה מתחום המשחקים (בין השאר הודות לממשק הקוד הפתוח שלו). כך לדוגמה עשו חוקרים מאוניברסיטת MIT בארצות הברית שימוש ב־Kinect כדי לייצר מערכת ראייה ומיפוי תלת ממדית עבור רובוט. חוקרים משווייץ פיתחו מערכת אבטחה הכוללת כמה מכשירי Kinect המחוברים יחד ומאפשרים לעקוב אחר קבוצות אנשים הנעות בחשכה מוחלטת. מתכנתים אחרים פיתחו תוכנה מיוחדת שמאפשרת לעשות שימוש ב־Kinect כדי לשלוט בדפדפן כרום של גוגל באמצעות תנועות ידיים המזוהות על ידי ה־Kinect (בדומה לסצנה מסרטו של סטיבן ספילברג "דו"ח מיוחד"). שימושים נוספים פותחו במגוון תחומים אחרים, ובהם בידור, אופנה ורפואה.