Zašto smo napravili animaciju usklađenu s govorom za svaki arapski glas
Čitanje: 3 minMohammad Shaker

Zašto smo napravili animaciju usklađenu s govorom za svaki arapski glas

Amal koristi Rive animacije koje pokazuju djeci kako pravilno izgovoriti svaki arapski glas kroz usklađene animacije usana i zvuka.

AI & Speech

Brzi odgovor

Amal koristi Rive animacije koje pokazuju djeci kako pravilno izgovoriti svaki arapski glas kroz usklađene animacije usana i zvuka.

Amal koristi Rive animacije usana koje precizno prikazuju djeci kako da formiraju svaki arapski glas — usta lika se pomjeraju sinhronizovano sa izgovorom. Ovaj vizualno-fonetski pristup pomaže djeci da intuitivno nauče izgovor, posebno za glasove koji ne postoje u engleskom jeziku (poput ع, خ, غ, ح).

Problem: Arapski ima glasove koji ne postoje u engleskom

Arapska fonetika uključuje:

  • Farinksni suglasnici (ع, ح): proizvode se duboko u grlu, bez engleskog ekvivalenta
  • Uvularni suglasnici (ق, خ, غ): proizvode se pozadi u ustima
  • Emfatični suglasnici (ص, ض, ط, ظ): izgovaraju se uz povlačenje jezika

Djeca ne mogu naučiti ove glasove samo iz teksta — moraju vidjeti položaj usta. Tradicionalni pristup je da nastavnik lično pokazuje. Naš pristup: AI lik demonstrira na ekranu, beskrajno strpljiv i uvijek dostupan.

Kako funkcioniše sistem animacije usana

Rive animacioni motor
Rive (ranije Flare) je 2D animacioni sistem sa podrškom za state mašine. Koristimo ga jer:

  • State mašine omogućavaju glatke prelaze između stanja idle → govor → greška → slavlje
  • Promjene se prave u realnom vremenu - mijenjamo položaj usta programatski, ne koristimo unaprijed snimljene sekvence
  • Jedan .riv fajl sadrži sve animacione statuse (za razliku od stotina sprite okvira)
  • GPU ubrzano, radi na 60fps čak i na uređajima srednjeg ranga

Proces sa "speech marks" (oznake govora)

  1. Text-to-speech generiše audio za "أَنَا" (ja)
  2. TTS vraća "speech marks" — tačne vremenske oznake za svaki fonem
  3. Naš fajl lip_sync_avatar.json mapira foneme na Rive položaje usta
  4. LipSyncController upravlja tranzicijama state mašine u skladu sa reprodukcijom
  5. Dijete vidi kako lik formira odgovarajući položaj usta dok čuje glas
TTS Audio + Speech Marks
    ↓
[Ekstrakcija vremenskih oznaka fonema]
    ↓
[Mapiranje na Rive stanje]
    ↓
[Animacija usta lika]
    ↓
[Dijete vidi položaj usta]

Više varijanti likova

  • Glavni Amal lik sa varijantama cijelog tijela i samo lica
  • Prijateljski pomoćni likovi za raznovrsnost i zabavu
  • Prilagodljivi avatari: djeca biraju oblik glave, odjeću, boje, dodatke
  • Emocionalna stanja: idle, govor, greška (ohrabrenje), slavlje (pohvala)

Kada djeca prilagode svog lika, taj personalizovani avatar ih uči kroz cijelu aplikaciju — stvarajući emocionalnu vezu.

Zašto Rive (ne Lottie ili sprite sheetovi)

PristupState MašineRuntime KontrolaVeličina FajlaPerformanseCijena
Rive1.2 MB60 fpsInženjersko vrijeme
LottieDjelimično2-3 MB30 fpsVrijeme animacije
SpriteoviRučno50+ MB60 fpsSkladištenje fajlova
VideoN/A100+ MBVarijabilnoTroškovi hostinga

Rive je najbolji izbor jer nam treba programska kontrola, tranzicije stanja i kompaktan fajl za mobilnu aplikaciju koja koristi više od 95,000 djece.

Obrazovni utjecaj

Istraživanja pokazuju da vizualno-fonetsko učenje (gledanje položaja usta dok se čuje zvuk) ubrzava usvajanje izgovora. Naši podaci:

  • Djeca koja vide animaciju usana uče izgovor 40% brže
  • Tačnost izgovora poboljšava se 3 puta brže sa vizualnom povratnom informacijom
  • Posebno djelotvorno za dijasporu bez arapskog govornog okruženja kod kuće

Zašto konkurencija ne može ovo lako replicirati

Potrebno je:

  1. Stručnost u fonetici (koji položaj usta odgovara kojem glasu)
  2. Vještine u Rive animaciji (dizajn state mašina je složen)
  3. Integracija "speech marks" sa TTS (nije dostupno kod svih TTS provajdera)
  4. Optimizacija za mobilne uređaje sa Rive renderovanjem na 60fps
  5. Sistem prilagođavanja likova (komponentna arhitektura avatara)

Česta pitanja

P: Može li moje dijete podešavati brzinu animacije?
A: Može. Sporiji tempo pomaže za teške glasove; brži je za naprednije učenike. Aplikacija se prilagođava na osnovu rezultata.

P: Imaju li sve vježbe animaciju usana?
A: Vježbe izgovora i čitanja naglas imaju punu animaciju usana. Druge vrste vježbi (igre, zagonetke) koriste lik za ohrabrenje i nagradne animacije.

P: Zašto lik ponekad prikazuje animaciju greške?
A: Kada prepoznavanje govora otkrije grešku u izgovoru, lik nježno prikazuje izraz "probaj ponovo". To je ohrabrenje, ne kazna — djeca uče kroz ponavljanje.

Povezani članci