Serviços geridos de IA

Porque o protótipo é a parte fácil. O que falha depois é a operação: quem corrige quando o sistema erra, quem reavalia quando os dados mudam, quem responde ao cliente que recebeu a resposta errada, e quem documenta tudo isto para o regulador. Nenhuma destas perguntas se resolve com uma demonstração.

Falha também por falta de conjunto de avaliação. Uma equipa que constrói sem ter separado antes um conjunto de casos reais já decididos não consegue dizer se o sistema melhorou ou se apenas se ajustou aos exemplos que viu, e a diferença entre as duas coisas aparece em produção.

Num serviço gerido, essas responsabilidades estão atribuídas antes de começar, e o conjunto de avaliação é construído na primeira fase e mantido separado. É a diferença principal e vale mais do que qualquer ganho de exactidão.

Com uma regra explícita sobre que casos exigem aprovação antes de sair, escrita por tipo de caso e não por limiar de confiança. Limiares são úteis e não são critério defensável sozinhos: um sistema pode estar muito confiante e muito errado, e a diferença não é observável de fora.

Com tempo suficiente para que a revisão seja real. Se o desenho implica que cada revisor aprove uma proposta a cada dez segundos, a supervisão é nominal. Dimensionar a camada de revisão pelo tempo que uma revisão honesta demora é o que separa conformidade de teatro.

E com casos de controlo conhecidos inseridos na fila, que medem se a revisão está de facto a acontecer. É a única forma de detectar a deriva para o carimbo automático, que acontece sempre e nunca se anuncia.

Pelo tempo total do processo e pela taxa de reabertura, não pela percentagem de casos automatizados. Automatizar oitenta por cento e reabrir metade é pior do que automatizar quarenta e fechar quase todos, e o segundo cenário parece pior em qualquer painel que meça só automação.

Medimos também o tempo que a supervisão consome. Um sistema que automatiza metade do volume e obriga a uma camada de revisão do tamanho da equipa anterior não libertou capacidade, apenas mudou o tipo de trabalho, e isso só aparece se alguém contar as horas dos dois lados.

E sinais de travagem: reclamações concentradas num tipo de caso, taxa de reabertura a subir com a automação, e revisores humanos que deixaram de discordar. Qualquer um destes leva a suspender a automação desse tipo de caso enquanto se investiga, e não a ajustar um limiar global e esperar.

Entregamos o conjunto de avaliação, a documentação do sistema com as suas limitações conhecidas, o registo de alterações e o seu efeito medido, e as diretrizes de anotação. É o material que torna o sistema operável por outra equipa, e é vosso por contrato desde o início.

O que é mais difícil de transferir é o julgamento acumulado sobre os casos limite, e por isso a entrega inclui um período de acompanhamento em que a vossa equipa opera e nós observamos, em vez de lermos a documentação juntos. Ler não é o mesmo que saber operar.