Amal使用Rive驱动的唇形同步动画,向孩子们精确展示每个阿拉伯语音的发音方式——角色的嘴巴与音频发音完全同步。这个视觉与语音相结合的方法帮助孩子直观地学习发音,尤其对英语中不存在的声音(例如 ع, خ, غ, ح)特别有效。
问题所在:阿拉伯语有英语没有的发音
阿拉伯语语音包括:
- 咽音辅音(ع, ح):发音时深处喉咙,英语中无对应音
- 舌根辅音(ق, خ, غ):口腔后部发音
- 重音辅音(ص, ض, ط, ظ):舌头向后缩发音
孩子们仅靠文字无法学习这些发音 —— 他们必须看到口型。传统方法是老师现场示范。我们的办法是:AI角色屏幕上示范,耐心且随时可用。
唇形同步系统如何工作
Rive动画引擎
Rive(前身Flare)是一款支持状态机的2D动画系统。我们选择它因为:
- 状态机实现闲置→说话→错误→庆祝的平滑转换
- 运行时动态调整口型,而非播放预渲染序列
- 单个
.riv文件涵盖所有动画状态(无需数百帧精灵图) - GPU加速,普通设备上60fps流畅运行
语音标记流程
- 文本转语音生成“أَنَا”(我)的音频
- TTS返回“语音标记”——每个音素的精准时间戳
lip_sync_avatar.json将音素映射到Rive口型状态LipSyncController根据播放进度驱动状态机切换- 孩子看到角色嘴巴随着声音形成正确口型
TTS音频 + 语音标记
↓
[提取音素时间]
↓
[映射到Rive状态]
↓
[动画演示角色口型]
↓
[孩子看到口型变化]
多角色变体设计
- Amal主角配全身和面部变体
- 辅助友好角色增加趣味性和互动
- 可定制头像:孩子选择头型、服装、颜色、配饰
- 情绪状态:闲置、说话、错误(鼓励)、庆祝(表扬)
当孩子定制角色后,个性化头像将在APP中陪伴学习,增强情感投入。
为何选择Rive而非Lottie或精灵图
| 方式 | 状态机支持 | 运行时控制 | 文件大小 | 性能 | 成本 |
|---|---|---|---|---|---|
| Rive | ✔ | ✔ | 1.2 MB | 60fps | 工程时间 |
| Lottie | ✗ | 部分 | 2-3 MB | 30fps | 动画制作 |
| 精灵图 | ✗ | 手动 | 50+ MB | 60fps | 资源存储 |
| 视频 | 不适用 | ✗ | 100+ MB | 不稳定 | 托管费用 |
Rive胜出,因我们需要编程式控制、状态转换,且需确保移动端的文件体积小巧,支持面向9.5万+儿童的APP。
教学效果
研究表明,视觉与语音结合的学习(看到口型同时听发音)能加快发音习得。我们的内部数据:
- 有唇形同步显示的孩子发音学习速度提升40%
- 带视觉反馈的发音准确率提升3倍
- 对家中无阿拉伯语环境的海外儿童尤其有效
为何竞品难以复制
复制此系统需:
- 语音学专业知识(了解各发音对应的口型)
- Rive动画技能(状态机设计复杂)
- TTS语音标记整合(并非所有TTS供应商支持)
- 移动端性能优化(确保Rive 60fps渲染)
- 角色定制系统(基于组件的头像架构)
常见问题
问:孩子可以调整动画速度吗?
答:可以。慢速帮助发音困难的孩子,快速适合高级学者。应用根据表现自动调整。
问:所有练习都有唇形同步动画吗?
答:发声和发音练习提供完整唇形同步,其他游戏和拼图类练习则用角色的鼓励和奖励动画。
问:角色为何有时显示错误动画?
答:当语音识别检测到发音错误,角色温和地显示“再试一次”的表情,属于鼓励性质,不惩罚,帮助孩子通过反复尝试学习。



