چرا برای هر صدای عربی سیستم انیمیشن هماهنگ لب ساختیم
4 دقیقه مطالعهMohammad Shaker

چرا برای هر صدای عربی سیستم انیمیشن هماهنگ لب ساختیم

Amal با انیمیشن‌های هماهنگ لب مبتنی بر Rive، نحوه تلفظ هر صدای عربی را به کودکان نشان می‌دهد؛ این روش برای صدای غیرانگلیسی بسیار مؤثر است.

AI & Speech

پاسخ سریع

Amal با انیمیشن‌های هماهنگ لب مبتنی بر Rive، نحوه تلفظ هر صدای عربی را به کودکان نشان می‌دهد؛ این روش برای صدای غیرانگلیسی بسیار مؤثر است.

Amal از انیمیشن‌های هماهنگ لب مبتنی بر Rive استفاده می‌کند که دقیقاً به کودکان نشان می‌دهد چگونه هر صدای عربی را تولید کنند — دهان شخصیت با تلفظ صوتی همگام حرکت می‌کند. این روش تصویری-آواشناختی به کودکان کمک می‌کند تلفظ‌ها را به‌طور شهودی یاد بگیرند، به‌ویژه صداهایی که در زبان انگلیسی وجود ندارند (مانند ع، خ، غ، ح).

مشکل: عربی صداهایی دارد که در انگلیسی نیست

آواشناسی عربی شامل موارد زیر است:

  • صامت‌های حلقی (ع، ح): در عمق گلو تولید می‌شوند و معادل انگلیسی ندارند
  • صامت‌های لوزه‌ای (ق، خ، غ): در انتهای دهان تولید می‌شوند
  • صامت‌های تأکیدی (ص، ض، ط، ظ): با عقب بردن زبان تلفظ می‌شوند

کودکان نمی‌توانند این صداها را فقط از روی متن یاد بگیرند — باید موقعیت دهان را ببینند. روش سنتی: معلم حضوری نمایش می‌دهد. روش ما: شخصیت هوش مصنوعی روی صفحه نمایش نمایش می‌دهد، بی‌نهایت صبور و همیشه در دسترس.

چگونه سیستم هماهنگ لب کار می‌کند

موتور انیمیشن Rive
Rive (قبلاً Flare) یک سیستم انیمیشن دوبعدی با پشتیبانی از ماشین حالت است. ما از آن استفاده می‌کنیم چون:

  • ماشین‌های حالت اجازه انتقال روان بین حالات بیکار → صحبت → خطا → جشن را می‌دهند
  • کنترل در زمان اجرا: موقعیت دهان را به صورت برنامه‌نویسی تغییر می‌دهیم، نه اینکه توالی‌های از پیش رندر شده پخش کنیم
  • فایل واحد .riv همه حالات انیمیشن را در خود دارد (برخلاف صدها فریم تصویر)
  • شتاب‌دهنده GPU، نرخ ۶۰ فریم بر ثانیه روی دستگاه‌های متوسط

روند تولید Speech Marks

  1. تبدیل متن به گفتار (TTS) صدای "أَنَا" (من) را تولید می‌کند
  2. TTS «نشانه‌های گفتار» — زمان‌بندی دقیق هر فونم — را بازمی‌گرداند
  3. فایل lip_sync_avatar.json فونم‌ها را به حالت‌های دهان Rive نگاشت می‌کند
  4. LipSyncController انتقال‌های ماشین حالت را هماهنگ با پخش صدا اجرا می‌کند
  5. کودک موقع شنیدن صدا، دهان شخصیت را در موقعیت درست می‌بیند
TTS Audio + Speech Marks
    ↓
[استخراج زمان فونم]
    ↓
[نگاشت به حالات Rive]
    ↓
[انیمیت دهان شخصیت]
    ↓
[کودک موقعیت دهان را می‌بیند]

انواع مختلف شخصیت‌ها

  • شخصیت اصلی Amal با نسخه‌های تمام‌بدن و فقط صورت
  • شخصیت‌های جانبی دوستانه برای تنوع و جذابیت
  • آواتارهای قابل سفارشی‌سازی: کودکان شکل سر، لباس، رنگ‌ها و اکسسوری‌ها را انتخاب می‌کنند
  • حالات احساسی: بیکار، صحبت‌کننده، خطا (تشویق‌کننده)، جشن (تمجید)

وقتی کودک شخصیت سفارشی خود را انتخاب می‌کند، آن آواتار در سراسر اپلیکیشن به او آموزش می‌دهد و ارتباط عاطفی ایجاد می‌کند.

چرا Rive (نه Lottie یا Sprite Sheets)

روشماشین حالاتکنترل زمان اجراحجم فایلکاراییهزینه
Rive۱.۲ مگابایت۶۰fpsزمان مهندسی
Lottieجزئی۲-۳ مگابایت۳۰fpsزمان انیمیشن
Spritesدستی۵۰+ مگابایت۶۰fpsذخیره‌سازی دارایی
ویدئو---۱۰۰+ مگابایتمتغیرهزینه میزبانی

Rive پیروز است چون ما به کنترل برنامه‌نویسی، انتقال بین حالت‌ها و حجم فایل کم برای اپ موبایل با بیش از ۹۵،۰۰۰ کودک نیاز داریم.

تأثیر آموزشی

تحقیقات نشان می‌دهد یادگیری تصویری-آواشناختی (دیدن موقعیت دهان هنگام شنیدن صدا) سرعت یادگیری تلفظ را افزایش می‌دهد. داده‌های داخلی ما:

  • کودکانی که انیمیشن هماهنگ لب می‌بینند، ۴۰٪ سریع‌تر تلفظ یاد می‌گیرند
  • دقت تلفظ تا ۳ برابر بیشتر با بازخورد بصری بهبود می‌یابد
  • بویژه برای کودکان در دیاسپورا که در خانه گوینده عربی ندارند مؤثر است

چرا رقبای ما نمی‌توانند این را تکرار کنند

بازتولید این نیازمند است به:

  1. تخصص آواشناسی (دانستن کدام موقعیت دهان با کدام صدا مطابقت دارد)
  2. مهارت‌های انیمیشن Rive (طراحی ماشین حالت پیچیده است)
  3. ادغام نشانه‌های گفتار TTS (همه ارائه‌دهندگان این خدمات را ندارند)
  4. بهینه‌سازی موبایل (اجرای Rive با ۶۰fps روی دستگاه‌ها)
  5. سیستم سفارشی‌سازی شخصیت (معماری آواتار بر پایه مولفه‌ها)

پرسش‌های متداول

س: آیا فرزندم می‌تواند سرعت انیمیشن را تنظیم کند؟
ج: بله. سرعت‌های کندتر برای صداهای دشوار مناسب است؛ سرعت بالاتر برای یادگیرندگان پیشرفته. اپ براساس عملکرد تنظیم می‌شود.

س: آیا همه تمرین‌ها انیمیشن هماهنگ لب دارند؟
ج: تمرین‌های صحبت کردن بلند و تلفظ دارای انیمیشن کامل لب هستند. تمرین‌های دیگر (بازی‌ها، معماها) از شخصیت برای تشویق و پاداش استفاده می‌کنند.

س: چرا گاهی شخصیت انیمیشن خطا نشان می‌دهد؟
ج: زمانی که تشخیص گفتار اشتباه تلفظ را ثبت می‌کند، شخصیت به آرامی حالت "بیا دوباره تلاش کنیم" را نشان می‌دهد. این تشویقی است نه تنبیهی — کودکان از طریق تلاش‌های مکرر یاد می‌گیرند.

اشتراک‌گذاریTwitterLinkedInWhatsApp

مقالات مرتبط