Um laboratório de investigação em IA
Avaliação de modelos em quatro variantes de português
Avaliadores nativos de português europeu, brasileiro, angolano e moçambicano avaliaram respostas de modelo por variante, não apenas por língua.
Factos do caso
- Modelo de entrega
- Corredor lusófono
- Variante
- multilingue
- Equipa
- 19 avaliadores, corredor lusófono
- Prazo de arranque
- 5 semanas de calibração
O problema
O modelo respondia corretamente em português mas com registo brasileiro a utilizadores portugueses, e os conjuntos de avaliação existentes não detetavam o problema porque tratavam o português como uma língua única.
O que montámos
Grelhas de avaliação escritas por variante, com exemplos de fronteira, e avaliadores nativos de cada uma. Os resultados são reportados por variante e por categoria de risco, com exemplos reproduzíveis.
Conformidade
Fora do EEE para parte da operação, com cláusulas contratuais-tipo. Os dados do cliente são usados apenas para o trabalho do cliente, por cláusula contratual.
Resultados
- variantes avaliadas separadamente
- 4variantes avaliadas separadamente
- concordância entre avaliadores
- 0,82concordância entre avaliadores
- avaliadores nativos
- 19avaliadores nativos
- calibração antes do volume
- 5 sem.calibração antes do volume
Tratávamos o português como uma língua. São pelo menos quatro operações.
Vamos ver os números do seu caso
Diga-nos que processos quer externalizar, em que línguas e com que volumes. Devolvemos uma estimativa em euros e um desenho de operação, sem compromisso.
Respondemos em menos de 6 horas em dias úteis. Se preferir escrever: info@corpshore.solutions