Avaliação e segurança

Porque esconde exactamente aquilo que interessa. Um sistema com noventa por cento de acerto global pode ter setenta numa categoria de caso ou numa variante de língua, e a média não o revela. A pergunta que um regulador faz é sobre o grupo em que o sistema se comporta pior, e é a que a média impede de responder.

Medimos por categoria de caso, por variante e por segmento de utilizador quando é relevante. Isso exige um conjunto de avaliação construído para cobrir essas divisões, o que por sua vez exige decidir antecipadamente quais são as divisões que importam, e é uma decisão de negócio e não técnica.

E medimos contra a concordância humana, que é o tecto. Se dois avaliadores experientes discordam em quinze por cento dos casos, nenhum sistema vai passar de oitenta e cinco, e anunciar noventa é sinal de que a avaliação está a medir outra coisa.

Com avaliação humana cega, que é o único instrumento que capta registo de forma fiável. Falantes nativos da variante comparam saídas sem saber qual veio de onde e pontuam adequação, e a diferença entre sistemas aparece com clareza mesmo em amostras relativamente pequenas.

Com marcadores automáticos como complemento e não como substituto: frequência de construção com gerúndio, colocação pronominal e incidência de vocabulário da outra variante são mensuráveis automaticamente e detectam degradação grosseira entre avaliações humanas.

O erro a evitar é medir apenas o que é fácil. Exactidão factual mede-se com facilidade e adequação de registo não, e uma operação que optimiza o que consegue medir acaba com um sistema factualmente correcto que soa estrangeiro ao seu próprio mercado.

Uma descrição do conjunto de avaliação, dos resultados por categoria e por variante, e das limitações conhecidas do sistema. Essa última parte é a que falta em quase toda a documentação de sistemas automatizados e é a que responde à pergunta que alguém faz quando alguma coisa corre mal.

O registo de alterações e do seu efeito medido: quando o sistema mudou, porquê, e o que aconteceu aos números depois. Um sistema que muda sem registo torna qualquer análise histórica inválida, e a primeira vez que isso importa é sempre durante uma investigação.

E o material que sustenta as obrigações do Regulamento da Inteligência Artificial conforme o nível de risco: gestão de risco, qualidade de dados, documentação técnica e evidência de supervisão humana efectiva. Produzimos o material; a responsabilidade de gestão fica com o cliente, porque não é delegável.

Normalmente um número pior do que o que a organização esperava, e é esse o valor. Uma avaliação que confirma o que já se acreditava não acrescentou informação, e a resistência que encontramos com mais frequência não é técnica: é que alguém já comunicou um número que a medição não sustenta.

Entregamos o número com o contexto necessário para o interpretar, incluindo o tecto imposto pela concordância humana, que frequentemente explica boa parte da diferença. O objectivo não é mostrar que o sistema é mau; é saber onde falha para decidir o que fazer com essa informação.