من الإشارة إلى الكلمات.. غوغل تطور ميزة جديدة لهواتف بيكسل 11

حفظ

من الكلام إلى الإشارة

تختلف ترجمة لغة الإشارة عن تحويل الكلام إلى نص بصورة جوهرية، وتوضح غوغل ديب مايند أن لغات الإشارة ليست مجرد تمثيل حركي للغات المنطوقة، بل هي لغات طبيعية مستقلة تمتلك قواعد ومفردات خاصة بها، لذلك فإن النظام لا يستطيع الاكتفاء بالتعرف على كل حركة يد وتحويلها إلى كلمة مقابلة، بل يحتاج إلى فهم السياق والتركيب اللغوي وترجمة المعنى إلى لغة مكتوبة.

اقرأ أيضا

list of 2 itemsend of list

وتزداد صعوبة المهمة لأن المعنى في لغة الإشارة لا ينتج من اليدين وحدهما، إذ تشارك حركة الذراعين والجذع والرأس وتعابير الوجه في نقل الرسالة.

وبحسب غوغل، فإن تتبع هذه العناصر في الوقت المناسب وبمعدل إطارات مرتفع يمثل تحديا معقدا في مجال الرؤية الحاسوبية، وهو أحد الأسباب التي جعلت تطوير أنظمة ترجمة لغة الإشارة أصعب من أنظمة التعرف على الكلام.

كيف تعمل التقنية؟

تعتمد إس إل 2 تي على تحويل ما تراه كاميرا الهاتف إلى بيانات هندسية تمثل نقاطا على جسم المستخدم بدلا من إرسال تسجيل الفيديو الخام إلى نظام الترجمة. وتوضح غوغل أن نموذجا يعمل على الجهاز، باستخدام ميديا بايب هوليستيك (MediaPipe Holistic)، يتتبع مواقع هذه النقاط، ثم تُرسل الإحداثيات الهندسية إلى الخادم لمعالجة الترجمة، بينما يمكن التخلص من الفيديو الأصلي فورا، وتقول الشركة إن هذا التصميم يساعد في حماية خصوصية المستخدمين.

إعلان

بعد ذلك، يحول النموذج سلسلة الإحداثيات الخاصة بالحركة مباشرة إلى نص، متجاوزا مرحلة وسيطة تعرف باسم الرموز الشارحة (Glosses)، وهي طريقة شائعة في أبحاث ترجمة لغة الإشارة، وترى غوغل أن تجاوز هذه المرحلة يسمح للنظام بالتعامل بصورة أفضل مع الجوانب الغنية للغة الإشارة، ومنها العلامات غير اليدوية والتراكيب المكانية، بدلا من حصر الترجمة في مفردات محدودة.

أكثر من 100 ألف ساعة تدريب

تقول غوغل ديب مايند إن إس إل 2 تي دُرِّب على أكثر من 100 ألف ساعة من البيانات تغطي أكثر من 50 لغة إشارة، مع تخصيص نحو ربع البيانات للغة الإشارة الأمريكية. ووفق الشركة، فإن التدريب المشترك على لغات ولهجات ومستويات مختلفة من إتقان الإشارة ساعد النموذج على تعلم أنماط مشتركة، وحقق في تجاربها نتائج أفضل من نماذج مدربة على لغة واحدة فقط.

وفي اختبار فليرز-إيه إس إل (FLEURS-ASL)، وهو معيار لتقييم ترجمة لغة الإشارة الأمريكية إلى الإنجليزية، تقول غوغل إن النموذج حقق 70 درجة في تقييم بلورت (BLEURT) في اختبار صفر-اللقطة (Zero-shot)، وهي نتيجة تصفها بأنها أعلى بكثير من النتائج المعلنة سابقا. لكن الشركة تشير في الوقت نفسه إلى أن نتائج المختبر لا تكفي وحدها لضمان أداء جيد في الاستخدام اليومي.

ماذا يمكن للمستخدم أن يفعل؟

الفكرة الأساسية هي جعل الإشارة بديلا للكتابة التقليدية. فبدل فتح لوحة المفايتح وكتابة طلب بحث أو رسالة، يستطيع المستخدم الإشارة أمام الهاتف ليحول النظام ما يقوله إلى نص. ووفق غوغل، يمكن استخدام ذلك للبحث في الإنترنت، وكتابة الرسائل والمستندات، وحتى توجيه الأسئلة إلى جيميناي لتنفيذ مهام أو الإجابة عن استفسارات.

وفي تطبيق لايف ترانسكرايب (Live Transcribe)، يمكن للمستخدم أيضا استخدام لغة الإشارة للرد أثناء المحادثات، بدلا من الاعتماد على الكتابة ذهابا وإيابا. وتقول غوغل إن مختبرين لديها وجدوا أن الإشارة باللغة الأمريكية كانت أسرع وأكثر طبيعية من الكتابة بالإنجليزية في بعض هذه السيناريوهات.

بداية وليست نهاية

وتأتي هذه الخطوة ضمن توجه أوسع لدى غوغل لدمج تقنيات الذكاء الاصطناعي في أدوات إمكانية الوصول. وكانت الشركة قد وسعت سابقا قدرات النسخ المباشر (Live Transcribe) والتسميات التوضيحية المباشرة (Live Caption) لتوفير تحويل الكلام إلى نص، كما طورت أدوات أخرى لمساعدة ذوي الإعاقات المختلفة.

إعلان

لكن إن إس إل 2 تي يمثل انتقالا مختلفا، فالهاتف لا يكتفي بقراءة النصوص أو تفريغ الكلام، بل يحاول فهم لغة بصرية كاملة وتحويلها إلى لغة مكتوبة، وتقول غوغل إن إطلاق لغة الإشارة الأمريكية على بيكسل 11 ليس سوى البداية، إذ تعمل على إضافة لغات إشارة أخرى، إلى جانب تطوير قدرات توليد لغة الإشارة مستقبلا.

وبذلك، قد يصبح الهاتف الذكي في السنوات المقبلة أكثر من مجرد وسيلة للاتصال؛ فقد يتحول إلى مترجم شخصي فوري بين عالم الإشارة واللغة المكتوبة، مع بقاء التحدي الأكبر في توسيع الدعم للغات الإشارة المختلفة وتحسين الدقة والسياق والخصوصية قبل الوصول إلى تجربة عالمية متكاملة.