Como Nosso Analytics Analisam Resultados de Aprendizagem

Como Nosso Analytics Analisam Resultados de Aprendizagem (Não Apenas Cliques)

Diferentemente da maioria dos apps EdTech que rastreiam apenas cliques e tempo na tela, o analytics lake da Alphazed acompanha resultados reais de aprendizagem: melhoria na pronúncia com o tempo, transições no domínio dos conceitos (iniciante → intermediário → avançado), eficácia da repetição espaçada (as revisões estão reduzindo o esquecimento?) e progressão nos níveis da Taxonomia de Bloom. Esses dados impulsionam melhorias no currículo e comprovam aos pais que seus filhos estão efetivamente aprendendo, não apenas brincando.

Arquitetura Analítica em Três Camadas

Camada 1: Eventos Mobile

(Em tempo real pelo app)
Quando uma criança conclui um exercício, o app envia um evento:

{
  "event_type": "attempt_complete",
  "concept_id": "letter_ba",
  "exercise_type": "select",
  "accuracy_score": 0.89,
  "attempt_number": 3,
  "session_id": "session_abc123",
  "timestamp": "2026-03-28T14:35:22Z",
  "is_correct": true,
  "response_time_ms": 2400
}

Camada 2: Enriquecimento no Backend

(Contexto adicionado no servidor)
O backend adiciona propriedades do usuário:

{
  "...event...",
  "user_id": "user_456",
  "age_group": "5-7",
  "persona": "intermediate",
  "days_since_signup": 34,
  "total_practice_minutes": 487,
  "app_name": "amal",
  "device_type": "Android",
  "country": "US"
}

Camada 3: Analytics Lake

(Assíncrono, consultável via SQL)

Backend envia evento enriquecido → fila SQS (fire-and-forget)
    ↓ (não espera analytics)
    ↓ (experiência do usuário sem impacto)
Kinesis Firehose (agrupa eventos a cada 5 min ou 100MB)
    ↓
S3 (particionado: s3://alphazed-analytics/amal/2026/03/28/events.parquet)
    ↓
AWS Glue (analisa S3 a cada 1 hora, infere esquema)
    ↓
Athena (motor SQL Presto para consultas)
    ↓
Painel de controle (dashboard real-time para pais + análises internas)

Métricas de Resultados de Aprendizagem Monitoradas

Tipo de Evento 1: Tentativa Concluída

Disparado sempre que uma criança termina um exercício.

SELECT
  user_id,
  concept_id,
  ROUND(AVG(accuracy_score), 2) as avg_accuracy,
  COUNT(*) as total_attempts,
  SUM(CASE WHEN is_correct THEN 1 ELSE 0 END) as correct_count,
  DATE(FROM_UNIXTIME(timestamp / 1000)) as date
FROM analytics_lake.attempt_complete
WHERE app_name = 'amal'
  AND concept_id = 'letter_ba'
GROUP BY user_id, concept_id, date
ORDER BY date DESC

Resultado: "Letra ب: user_456 melhorou de 72% de precisão (semana 1) para 94% (semana 3)"

Tipo de Evento 2: Transição de Domínio do Conceito

Disparado quando um conceito muda de nível de domínio (iniciante → intermediário).

{
  "event_type": "mastery_transition",
  "concept_id": "word_kitab",
  "from_level": "beginner",
  "to_level": "intermediate",
  "hlr_half_life_before": 4.0,
  "hlr_half_life_after": 8.0,
  "timestamp": "2026-03-20T10:15:00Z"
}

Monitorar essas transições revela a eficácia do currículo:
- Quantas crianças alcançam o nível intermediário por conceito?
- Tempo médio para chegar ao intermediário?
- Quais conceitos são gargalos?

Tipo de Evento 3: Crescimento da Meia-Vida HLR

Durante a repetição espaçada, acompanhamos a força da memória:

SELECT
  user_id,
  concept_id,
  DATE(FROM_UNIXTIME(timestamp / 1000)) as date,
  MAX(hlr_half_life_hours) as max_half_life,
  COUNT(DISTINCT CASE WHEN is_correct THEN 1 END) as correct_reviews,
  COUNT(DISTINCT CASE WHEN NOT is_correct THEN 1 END) as incorrect_reviews
FROM analytics_lake.hlr_update
GROUP BY user_id, concept_id, date

Resultado: "Juz Amma Al-Ikhlas: user_789 atingiu meia-vida de 256 horas (estabilidade de 2 semanas) após 7 revisões corretas"

Tipo de Evento 4: Tendências de Precisão no Reconhecimento de Fala

Melhora da pronúncia ao longo do tempo:

SELECT
  user_id,
  DATE_TRUNC('week', FROM_UNIXTIME(timestamp / 1000)) as week,
  AVG(similarity_score) as avg_pronunciation_accuracy,
  APPROX_PERCENTILE(similarity_score, 0.5) as median_accuracy
FROM analytics_lake.speech_recognition_result
WHERE concept_type = 'letter'
GROUP BY user_id, week
ORDER BY week DESC

Resultado: "Precisão de pronúncia do usuário melhorou 18% em 8 semanas de prática consistente"

Tipo de Evento 5: Progressão na Taxonomia de Bloom

Acompanhando o avanço nos níveis cognitivos:

{
  "event_type": "blooms_level_completion",
  "concept_id": "word_kitab",
  "blooms_level_achieved": 4,
  "user_age_group": "5-7",
  "time_to_level_days": 14,
  "attempt_count": 47,
  "timestamp": "2026-03-25T16:45:00Z"
}

Monitoramento: Quantas crianças chegam ao Nível 4 de Bloom (Analisar)? Em média, quanto tempo levam?

Como Isso Guia Decisões do Produto

Decisão 1: Redesenhar um Conteúdo

Consulta: "Quais conteúdos têm >40% de tentativas incorretas?"
Resultado: "Exercício de formação de palavras com grupos consonantais tem 52% de erros"
Ação: Equipe de conteúdo redesenha o exercício (mais apoio, progressão mais lenta)
Validação: Repetir consulta em 2 semanas, taxa de erro deve cair para <25%

Decisão 2: Ajustar Mix de Exercícios

Consulta: "Quais tipos de exercícios têm maior engajamento + resultado de aprendizagem?"
Resultado: Jogos de física têm 30% mais engajamento e 15% mais melhora em precisão
Ação: Aumentar frequência dos jogos de física nas lições adaptativas

Decisão 3: Identificar Conceitos Difíceis

Consulta: "Conceitos onde >30% dos usuários nunca alcançam nível intermediário?"
Resultado: "Consoantes enfáticas (ص, ض, ط, ظ) são difíceis consistentemente"
Ação: Criar conteúdo suplementar (mais exercícios de pronúncia, progressão mais lenta)

Comparação com Concorrentes

Métrica	Duolingo	Amal/Thurayya
Rastrea cliques	✓ XP, sequência	✓ (mas secundário)
Rastrea precisão	✗	✓ Por conceito
Rastrea decaimento da memória	✗	✓ Meia-vida HLR
Rastrea resultados de aprendizagem	✗	✓ Transições de domínio
Rastrea pronúncia	✗	✓ Tendências de precisão na fala
Decisões baseadas em dados	Foco em engajamento	Foco em aprendizagem

Perguntas Frequentes

P: Os dados do meu filho estão no analytics lake?
R: Sim, de forma anonimizada. Monitoramos métricas de aprendizagem (não informações pessoais identificáveis). Você pode ver os dados do seu filho no dashboard dos pais; pesquisadores não têm acesso a nomes individuais.

P: Por quanto tempo os dados são armazenados?
R: Dados recentes (últimos 12 meses) ficam disponíveis para consultas no Athena. Dados históricos são arquivados no S3 por 7 anos (conforme regras). O período pode ser configurado conforme o tipo de dado.

P: Posso exportar as análises de aprendizagem do meu filho?
R: Sim. O dashboard oferece um botão "Exportar Relatório" que gera um PDF com os resultados personalizados dos últimos 3 meses.

Como Nosso Analytics Analisam Resultados de Aprendizagem