Come Alphazed Misura i Risultati di Apprendimento

Come Alphazed Misura i Risultati di Apprendimento (Non Solo i Click)

A differenza della maggior parte delle app EdTech che monitorano solo click e tempo sullo schermo, il data lake di Alphazed segue i risultati effettivi dell'apprendimento: miglioramenti nella pronuncia nel tempo, passaggi di livello nella padronanza dei concetti (principiante → intermedio → avanzato), efficacia della ripetizione dilazionata (le sessioni di revisione riducono l'oblio?) e progressione nei livelli della Tassonomia di Bloom. Questi dati consentono di migliorare il curriculum e dimostrano ai genitori che i bambini stanno veramente imparando, non solo giocando.

Architettura Analitica a Tre Livelli

Livello 1: Eventi Mobile (in tempo reale dall'app)
Quando un bambino completa un esercizio, l'app invia un evento:

{
  "event_type": "attempt_complete",
  "concept_id": "letter_ba",
  "exercise_type": "select",
  "accuracy_score": 0.89,
  "attempt_number": 3,
  "session_id": "session_abc123",
  "timestamp": "2026-03-28T14:35:22Z",
  "is_correct": true,
  "response_time_ms": 2400
}

Livello 2: Arricchimento Backend (contesto aggiunto lato server)
Il backend integra con proprietà utente:

{
  "...event...",
  "user_id": "user_456",
  "age_group": "5-7",
  "persona": "intermediate",
  "days_since_signup": 34,
  "total_practice_minutes": 487,
  "app_name": "amal",
  "device_type": "Android",
  "country": "US"
}

Livello 3: Data Lake Analitico (asincrono, interrogabile via SQL)

Backend invia evento arricchito → coda SQS (fire-and-forget)
    ↓ (non attende analytics)
    ↓ (esperienza utente non impattata)
Kinesis Firehose (batch ogni 5 min o 100MB)
    ↓
S3 (partizionato: s3://alphazed-analytics/amal/2026/03/28/events.parquet)
    ↓
AWS Glue (scansiona S3 ogni ora, rileva schema)
    ↓
Athena (motore SQL Presto per interrogazioni)
    ↓
Dashboard (dashboard genitori in tempo reale + analytics interni)

Metrica dei Risultati di Apprendimento Monitorate

Tipo Evento 1: Completamento Tentativo
Scatenato quando un bambino completa un esercizio.

SELECT
  user_id,
  concept_id,
  ROUND(AVG(accuracy_score), 2) as avg_accuracy,
  COUNT(*) as total_attempts,
  SUM(CASE WHEN is_correct THEN 1 ELSE 0 END) as correct_count,
  DATE(FROM_UNIXTIME(timestamp / 1000)) as date
FROM analytics_lake.attempt_complete
WHERE app_name = 'amal'
  AND concept_id = 'letter_ba'
GROUP BY user_id, concept_id, date
ORDER BY date DESC

Risultato: "Lettera ب: user_456 è migliorato da 72% accuratezza (settimana 1) a 94% (settimana 3)"

Tipo Evento 2: Transizione nella Padronanza del Concetto
Scatenato quando un concetto cambia livello di padronanza (principiante → intermedio).

{
  "event_type": "mastery_transition",
  "concept_id": "word_kitab",
  "from_level": "beginner",
  "to_level": "intermediate",
  "hlr_half_life_before": 4.0,
  "hlr_half_life_after": 8.0,
  "timestamp": "2026-03-20T10:15:00Z"
}

Monitorare queste transizioni aiuta a valutare l'efficacia del curriculum:

Quanti bambini raggiungono il livello intermedio per ogni concetto?
Tempo medio per arrivarci?
Quali concetti sono più difficili?

Tipo Evento 3: Crescita dell'Emivita HLR
Durante la ripetizione dilazionata, monitoriamo la forza della memoria:

SELECT
  user_id,
  concept_id,
  DATE(FROM_UNIXTIME(timestamp / 1000)) as date,
  MAX(hlr_half_life_hours) as max_half_life,
  COUNT(DISTINCT CASE WHEN is_correct THEN 1 END) as correct_reviews,
  COUNT(DISTINCT CASE WHEN NOT is_correct THEN 1 END) as incorrect_reviews
FROM analytics_lake.hlr_update
GROUP BY user_id, concept_id, date

Risultato: "Juz Amma Al-Ikhlas: user_789 ha raggiunto 256 ore di emivita (stabilità di 2 settimane) dopo 7 revisioni corrette"

Tipo Evento 4: Tendenze di Accuratezza nel Riconoscimento Vocale
Miglioramento della pronuncia nel tempo:

SELECT
  user_id,
  DATE_TRUNC('week', FROM_UNIXTIME(timestamp / 1000)) as week,
  AVG(similarity_score) as avg_pronunciation_accuracy,
  APPROX_PERCENTILE(similarity_score, 0.5) as median_accuracy
FROM analytics_lake.speech_recognition_result
WHERE concept_type = 'letter'
GROUP BY user_id, week
ORDER BY week DESC

Risultato: "L'accuratezza della pronuncia dell'utente è migliorata del 18% in 8 settimane di pratica costante"

Tipo Evento 5: Progressione nella Tassonomia di Bloom
Monitoraggio dell'avanzamento cognitivo:

{
  "event_type": "blooms_level_completion",
  "concept_id": "word_kitab",
  "blooms_level_achieved": 4,
  "user_age_group": "5-7",
  "time_to_level_days": 14,
  "attempt_count": 47,
  "timestamp": "2026-03-25T16:45:00Z"
}

Monitoraggio:

Quanti bambini raggiungono il livello 4 di Bloom (Analizzare)?
Tempo medio per arrivarci?

Come Questo Guida le Decisioni sul Prodotto

Decisione 1: Riprogettare un Contenuto

Query: "Quali contenuti hanno >40% di tentativi errati?"
Risultato: "Esercizio di formazione parole con cluster consonantici ha 52% errori"
Azione: Il team crea una versione con più supporto e progressione più lenta
Validazione: Ripetere la query dopo 2 settimane, errore dovrebbe scendere sotto 25%

Decisione 2: Regolare Mix di Esercizi

Query: "Quali tipi di esercizi hanno maggior coinvolgimento e risultati di apprendimento?"
Risultato: "Giochi di fisica hanno +30% coinvolgimento e +15% miglioramento accuratezza"
Azione: Aumentare frequenza giochi di fisica nelle lezioni adattive

Decisione 3: Identificare Concetti Difficili

Query: "Concetti con >30% utenti che non raggiungono livello intermedio?"
Risultato: "Consonanti enfatiche (ص, ض, ط, ظ) sono difficili"
Azione: Creare contenuti supplementari con più esercizi di pronuncia e progressione lenta

Confronto con i Competitor

Metrica	Duolingo	Amal/Thurayya
Traccia click	✓ XP, streak	✓ (ma secondario)
Traccia accuratezza	✗	✓ Per concetto
Traccia oblio memoria	✗	✓ Emivita HLR
Traccia risultati apprendimento	✗	✓ Transizioni di padronanza
Traccia pronuncia	✗	✓ Tendenze accuratezza vocale
Decisioni prodotto data-driven	Focus su coinvolgimento	Focus su apprendimento

FAQ

D: I dati di mio figlio sono nel data lake?
R: Sì, anonimizzati. Tracciamo metriche di apprendimento, non dati personali identificabili. Puoi vedere i dati di tuo figlio nella dashboard genitori; i ricercatori non hanno accesso ai nomi dei bambini.

D: Per quanto tempo vengono conservati i dati?
R: Dati live (ultimi 12 mesi) disponibili in Athena per query. Storico archiviato in S3 per 7 anni (conformità). La conservazione è configurabile a seconda del tipo di dato.

D: Posso esportare le analisi di apprendimento di mio figlio?
R: Sì. La dashboard ha un pulsante "Esporta Report" che genera un PDF con i risultati personalizzati degli ultimi 3 mesi.

Come Alphazed Misura i Risultati di Apprendimento