Infraestrutura aberta · release 0.1
Avaliação de segurança
com contexto brasileiro.
Um laboratório reproduzível para medir classificadores de segurança em português brasileiro sem esconder proveniência, leakage ou qualidade da evidência.
Seus arquivos permanecem no navegador. Nenhum texto é enviado.
Snapshot verificável
Uma linha de base honesta
Auditoria de revisões imutáveis de ToLD-Br, OLID-BR e JBB-Behaviors-pt. Os números detectam duplicação exata normalizada, não paráfrases semânticas.
Decisão metodológica
ToLD-Br e OLID-BR não são concatenados para formar um “benchmark independente”. Resultados por fonte e nível de evidência são a unidade de publicação; o agregado é apenas diagnóstico.
Registro público
Catálogo com proveniência
Versões, condições de uso e limitações ficam visíveis. Fontes opt-in exigem revisão explícita de termos antes do preparo.
| Fonte | Tarefas | Evidência | Licença | Inclusão |
|---|---|---|---|---|
| ToLD-Brmteb/told-br ↗ | toxic, categories | humana | CC BY-SA 4.0 | padrão |
| OLID-BRdougtrajano/olid-br ↗ | offensive, spans | humana assistida | CC BY 4.0 | padrão |
| JBB-Behaviors-pttech4humans/JBB ↗ | jailbreak | tradução revisada | MIT | padrão |
| Harmful Prompts PT-BREdu-p/harmful-prompts-pt ↗ | harmful request | tradução automática | termos conflitantes | opt-in |
| ToxSyn-PTAKCIT/ToxSyn-PT ↗ | toxic, categories | sintética | não declarada | opt-in |
| Modelo | Tarefa | Acesso | Sobreposição conhecida |
|---|---|---|---|
| SecBERT-PTEdu-p/secbert-pt ↗ | harmful request | aberto | harmful_prompts_pt |
| Llama Prompt Guard 2 86Mmeta-llama/Prompt-Guard ↗ | jailbreak | restrito | — |
Ferramentas locais
Audite antes de comparar
Selecione JSONL no schema SafetyEval-BR. O processamento acontece integralmente no seu dispositivo.
Integridade e leakage
Identifica IDs duplicados, textos vazios, duplicatas normalizadas e grupos que atravessam fontes ou splits. O relatório contém somente IDs.
- Máximo de 25 MiB por arquivo
- Máximo de 50 MiB no total
- JSONL no schema canônico
Relatório de auditoria
Métricas com contexto
Cruza IDs de referência e predições, calcula cobertura, FPR, FNR, F1, MCC, Brier e calibração, preservando fatias por dataset e evidência.
- Scores agregados são diagnósticos
- Predições desconhecidas são sinalizadas
- Abstenções reduzem cobertura
Relatório de avaliação
Regras de publicação
O score não é a história toda
SafetyEval-BR é infraestrutura de medição. Não substitui threat modeling, red teaming, monitoramento de produção ou avaliação humana contextual.
Separe as fontes
Publique resultados por dataset; use o agregado apenas para depuração.
Declare a evidência
Diferencie referência humana, tradução, dados sintéticos e transformações.
Mostre os erros
Inclua cobertura, abstenção, threshold, falsos positivos e falsos negativos.
Exponha o leakage
Declare fontes de treino presentes na avaliação e seus efeitos.