Spero Science Innovation
Relatório de Pesquisa · Spero Science Innovation
📅 Atualizado em 11 de junho de 2026

Status do modelo
Spero Osteoartrite

Onde o projeto está hoje e o que avançou nos últimos dias — o modelo de indicação cirúrgica com rótulo clínico revisado pelo Dr. Tiago, explicabilidade e modo probabilístico.

Executive Summary (atualizado em tempo real)

Onde estamos agora

Modelo em produção
🆕 Modelo Spero indicação cirúrgica
4 fatores · AUC 0.932 [0.86-0.98] · precisão 0.915 · SHAP
Dataset (label clínico Dr. Tiago)
Coorte-ouro N=69
46 Pronto p/ cirurgia vs 23 Sem necessidade
Próximo passo
Validação prospectiva
20-30 pacientes novos (70/30)
✓ Marco 09/06: rótulo clínico oficial revisado pelo Dr. Tiago (planilha 01-06) destravou o modelo definitivo. Label agora é a indicação cirúrgica clínica (opera/não-opera), não inferência por janela temporal. Coorte limpa: 46 "Pronto para cirurgia" vs 23 "Sem necessidade". Uso experimental — validação prospectiva em andamento.
ⓘ Limitações & caveats (clique pra expandir)
  • N=69 ainda é pequeno — IC 95% bootstrap [0.87-0.99] reflete a incerteza; validação com 20-30 novos pacientes em curso
  • Desbalanceado — 46 Pronto vs 23 Sem necessidade (67% positivos); class_weight balanceado no RF
  • Operados excluídos do clínico — dor pós-op melhora e contamina o sinal (decisão Dr. Tiago); ficam só para genética
  • SHAP não é causal — importância estatística, não efeito clínico
  • F0.5 / PPV como métrica primária — priorizamos precisão (Dr. Tiago 2026-05-31: o erro mais grave é indicar cirurgia desnecessária)
🆕 Updates de 10 de junho de 2026

O que avançou hoje

✓ Comparação dos 3 modelos publicada (atual · clínico · americano)
Nova página ⚖️ Comparação: modelo Spero enxuto (AUC 0.93) vs versão com questionário clínico validado vs modelo americano OAI. O americano inverte no Brasil (0.36) — prova quantitativa da necessidade de modelo nacional.
✓ Questionário com versão rápida (8) ou completa (22)
Toggle no questionário: 8 perguntas essenciais (suficientes para o modelo) ou 22 completas com WOMAC/KOOS/SF-36 (questionário validado, para credibilidade científica junto a clientes).
✓ Modelo probabilístico no ar (caminho 2, aprovado pelo Dr. Tiago)
O questionário entrega probabilidade contínua num termômetro visual — 'X% de chance de indicação cirúrgica' — em vez de só opera/não-opera. O médico decide o corte conforme o caso.
✓ Incerteza por paciente (faixa do ensemble)
Cada predição vem com faixa de incerteza (percentil 10–90 das 400 árvores). Paciente limítrofe mostra faixa ampla + aviso de que a avaliação presencial é decisiva — o modelo declara quando não sabe.
✓ Nested CV confirma o número honesto
Validação cruzada aninhada (20×5-fold): AUC 0,926 vs 0,932 do CV simples — sem otimismo escondido na métrica reportada.
✓ Curva de calibração publicada
Reliability diagram (Brier 0,096) na página SHAP: '70% predito' corresponde a ~70% observado. Probabilidades confiáveis para uso clínico.
✓ Smoke test automatizado pré-deploy
Teste obrigatório antes de todo deploy: paciente grave deve dar >70%, leve <30%, com monotonia entre perfis. Proteção permanente contra regressões silenciosas.
Updates de 09 de junho de 2026
✓ Modelo definitivo treinado com rótulo clínico oficial
A planilha revisada pelo Dr. Tiago (52 operados / 46 prontos / 23 sem necessidade / 57 sem dados) virou o gold standard. Saímos da inferência por janela temporal para a indicação cirúrgica clínica.
✓ Modelo em produção: AUC 0,932 · precisão 0,915
Algoritmo opera/não-opera, 4 fatores (dor atual, frequência da dor, infiltração, idade). Coorte-ouro N=69. Threshold otimizado para minimizar indicação cirúrgica desnecessária.
✓ Explicabilidade SHAP — treino e por paciente
Cada resultado do questionário agora mostra quanto cada fator pesou. Figuras de importância e decomposição individual disponíveis na página SHAP.
✓ Validação científica adversarial
Teste de permutação confirma sinal real (p=0,005). Identificamos que o modelo formaliza/padroniza a decisão do especialista — próximo passo para agregar valor: incorporar grau radiográfico (Kellgren-Lawrence) ou modelo de desfecho pós-operatório.
✓ Decisão de framing fechada com o Dr. Tiago
Operados ficam só para a análise de genética (não para o clínico nem validação — viés de melhora pós-cirúrgica). Validação prospectiva com 20-30 pacientes novos, lógica 70/30.

O modelo Spero atual — rótulo clínico oficial + explicabilidade SHAP

O marco que destravou o projeto: o Dr. Tiago e a equipe (Rebeka, Dr. Jhonne) revisaram paciente por paciente e produziram o rótulo clínico oficial de indicação cirúrgica. Saímos da inferência por janela temporal para o gold standard humano.

Definição do problema (framing A, fechado em 09/06)
  • Y=1 = "Pronto para cirurgia" (46 pacientes)
  • Y=0 = "Sem necessidade de cirurgia no momento" (23)
  • Operados (52) — excluídos do clínico (dor pós-op melhora e contamina o sinal); ficam só para a análise de genética
  • Sem dados (57) — excluídos

Confirmação empírica da contaminação: dor atual média dos operados = 4.4 (já melhoraram), Pronto = 7.5, Sem necessidade = 2.6.

0.932
AUC [0.86-0.98]
0.915
Precisão (min FP)
SHAP
Explicável treino+paciente
N=69
Coorte-ouro

4 fatores clinicamente plausíveis (Dr. Tiago): Dor atual (importância 0.56), Frequência da dor (0.28), Idade (0.10), Infiltração (0.06). As duas primeiras dominam — exatamente os "dados firmes" que ele apontou. Removemos Sexo (contribuição nula) após validação científica. Smoke test: paciente grave 92%, leve 3%.

🔬 Validação científica — honestidade metodológica

Testamos o modelo contra baselines. Permutation test p=0.005 (sinal real, não artefato de N pequeno). Porém, uma regra de 1 variável (só dor atual) já atinge AUC 0.927 — o modelo formaliza e padroniza a decisão do especialista (dor + frequência), em vez de descobrir um padrão oculto. Para agregar valor além disso, o próximo passo é incorporar um fator independente da decisão clínica (grau radiográfico Kellgren-Lawrence) ou um modelo de desfecho pós-operatório (prever melhora — não-circular).

Validação prospectiva: 20-30 pacientes novos chegando, lógica 70/30 treino/validação. Operados reservados para genética, não para validação clínica (decisão Dr. Tiago: viés de resposta).

Considerações finais

Modelos próprios para populações próprias

Populações diferentes precisam de modelos próprios. O paciente brasileiro que opera está em estágio clinicamente diferente do americano — por isso o modelo nacional, treinado com o rótulo clínico revisado pelo Dr. Tiago, é o caminho. Próximo passo: validação prospectiva com novos pacientes (70/30) e a comparação com o questionário clínico validado.

Testar o modelo →

Relatório técnico interno — atualizado em 11 de junho de 2026 conforme avanços do projeto
Spero Science Innovation · iaparamedicos@gmail.com