IA
Dados de treino
Recolha, anotação e revisão de dados para treino de modelos, incluindo português europeu e variantes africanas.
O que é entregue
Diretrizes de anotação calibradas antes do volume, não durante
Concordância entre anotadores medida e reportada
Cobertura de PT-PT, PT-BR e das variantes de Angola e Moçambique
Porque é que o português europeu escasseia nos dados?
Pela demografia da internet. O Brasil tem cerca de vinte vezes a população de Portugal e uma presença digital proporcionalmente maior, pelo que qualquer recolha que pese por volume acaba esmagadoramente brasileira, e a etiqueta de língua raramente distingue a variante.
O efeito prático aparece no atendimento: construções com gerúndio onde o português europeu usa infinitivo preposicionado, vocabulário do Brasil em contextos portugueses, e um registo de proximidade onde o cliente espera cortesia formal. São erros que nenhum teste de exactidão factual apanha.
As variantes africanas estão ainda menos representadas. Angola, Moçambique e Cabo Verde seguem a norma escrita europeia com vocabulário local próprio, e a terminologia administrativa difere o suficiente para que usar a errada seja lido como desconhecimento do país.
Como se constrói um conjunto de avaliação?
A partir de casos reais já decididos, escolhidos para cobrir a distribuição real e não a distribuição conveniente. Entre quinhentos e dois mil exemplos bem escolhidos chegam para medir com confiança útil se um sistema se comporta de forma diferente nas duas variantes.
A parte que se faz mal é a rotulagem. Se dois anotadores experientes discordam sobre a resposta correcta em quinze por cento dos casos, nenhum sistema vai fazer melhor do que isso, e esse número é informação valiosa: mede quanto do problema é genuinamente ambíguo.
O conjunto é construído antes de qualquer trabalho de afinação e mantido separado. Um conjunto usado para afinar deixa de servir para avaliar, e a tentação de o reutilizar é mais forte precisamente quando os resultados começam a ser bons.
Como é que a variante é identificada e verificada?
Com marcadores que não são ambíguos, aplicados sobre uma amostra rotulada manualmente. A construção com gerúndio contra infinitivo preposicionado é o mais fiável: está a fazer contra está fazendo aparece em qualquer texto de alguma extensão e não tem sobreposição entre variantes.
Depois, pares lexicais de alta frequência que servem bem para texto de serviço, e a colocação pronominal, que difere sistematicamente e é difícil de imitar sem conhecimento nativo. Três marcadores independentes concordantes dão uma classificação em que se pode confiar.
O que não serve é a ortografia. O Acordo Ortográfico aproximou a grafia o suficiente para que classificar por grafia produza falsos positivos em quantidade, e um classificador construído sobre ortografia parece funcionar em teste e falha em produção.
Que questões legais se levantam na recolha?
A base legal para tratar dados pessoais que apareçam no material. Transcrições de chamadas, mensagens de apoio e correio electrónico contêm quase sempre dados pessoais, e usá-los para treinar um sistema é uma finalidade distinta daquela para que foram recolhidos.
E o direito de autor sobre o texto recolhido. Conteúdo público não é conteúdo livre, e a recolha em massa a partir da internet tem enquadramento próprio na União Europeia, com excepções para prospecção de textos e dados sujeitas a reserva de direitos pelo titular.
A abordagem que evita a maior parte destes problemas é começar pelos dados próprios do cliente, pseudonimizados antes da anotação e com base legal documentada para a nova finalidade. É menos material do que a internet inteira e descreve exactamente o domínio em que o sistema vai funcionar.
Como é que a qualidade da anotação é assegurada?
Com diretrizes escritas antes de começar e com exemplos dos dois lados de cada fronteira. A diferença entre anotadores bem instruídos e mal instruídos é maior do que a diferença entre anotadores bons e medianos, e custa muito menos corrigir.
Com calibração regular: sessões em que vários anotadores marcam os mesmos casos e discutem as divergências. Revelam ambiguidades nas diretrizes que nenhuma revisão isolada revela, e devem acontecer no início e periodicamente, porque a interpretação deriva com o tempo.
E em condições que sustentem a atenção. A anotação é repetitiva e a qualidade cai mensuravelmente ao fim de algumas horas contínuas. Operações que medem apenas volume por hora obtêm volume por hora, e a degradação só aparece quando alguém audita uma amostra tardia.
Onde é que este trabalho é feito?
Anotação de português europeu é feita por falantes nativos de Portugal, o que na prática significa Portugal. Não é uma preferência: é o requisito, e um anotador que não é nativo da variante não detecta de forma fiável o que está a avaliar.
Para as variantes africanas, o corredor lusófono, com anotadores de Angola, Moçambique e Cabo Verde. Nenhum destes países tem decisão de adequação, pelo que o material anotado circula sob cláusulas contratuais-tipo e avaliação de impacto, ou é sintético e a questão não se coloca.
Onde o material contém dados pessoais e a pseudonimização não é suficiente, propomos o modelo europeu e dizemos porquê. Anotação é trabalho em que uma pessoa lê o conteúdo integralmente, o que torna a questão de residência mais sensível do que em processamento automático.
Quem é dono do que é produzido?
Vós, incluindo as anotações, as diretrizes e o conjunto de avaliação. É escrito no contrato antes de começar, porque é o ponto que mais frequentemente fica ambíguo em trabalho de dados e o mais caro de resolver depois de existir material em quantidade.
As diretrizes de anotação são a parte cujo valor é mais subestimado. Descrevem como decidir nos casos difíceis, foram construídas contra casos reais e calibradas entre anotadores, e reconstruí-las do zero custa mais do que a anotação inicial. São o activo e não o subproduto.
Onde pode ser operado o dados de treino
Nem todos os modelos de entrega servem todos os serviços. A tabela indica apenas os que fazem sentido para este trabalho, com a situação de residência de dados de cada um.
| Modelo | Onde | Quando faz sentido | Dados pessoais |
|---|---|---|---|
| Corredor lusófono | Coordenação em Lisboa, operação em Luanda, Maputo e Praia | Quando opera em Angola ou Moçambique e precisa de governação europeia | A camada de Lisboa fica no EEE. A operação local exige cláusulas contratuais-tipo. |
| Rede global | Uzbequistão, Filipinas, Polónia, República Dominicana, México, Colômbia, Turquia e África | Quando precisa de cobertura contínua, de línguas específicas ou do menor custo | A Polónia fica no EEE. Os restantes exigem cláusulas contratuais-tipo. |
A coluna de dados é uma descrição do enquadramento aplicável e não aconselhamento jurídico. O detalhe está em transferências internacionais de dados.
Este serviço exige uma decisão de variante
Serve clientes em Portugal, no Brasil ou nos dois? A resposta muda o desenho da operação, os guiões, quem revê a qualidade e a forma como os resultados são reportados.
Serviços relacionados
- Serviços geridos de IAOperação continuada de fluxos assistidos por IA, com pessoas no circuito onde o risco o exige.
- Agentes e automaçãoAutomação de processos repetitivos e agentes assistidos, com supervisão e limites definidos.
- Avaliação e segurançaAvaliação de respostas de modelos, testes adversariais e revisão de segurança, por falantes nativos.
- Inteligência documentalExtração e classificação de informação a partir de documentos, com verificação humana onde importa.
Perguntas frequentes
Os anotadores são nativos da variante?
São. Um anotador que não é nativo não detecta de forma fiável o que está a avaliar.
Que volume de dados é preciso?
Para avaliação, quinhentos a dois mil exemplos bem escolhidos. Para correcção, muito mais, e por isso a avaliação vem primeiro.
Como identificam a variante de um texto?
Por marcadores estruturais como a construção verbal e a colocação pronominal. A ortografia não serve desde o Acordo Ortográfico.
Usam os nossos dados ou recolhem?
Preferimos os vossos, pseudonimizados e com base legal documentada para a nova finalidade. Descrevem exactamente o domínio.
Cobrem as variantes africanas?
Cobrimos, pelo corredor lusófono, com anotadores de Angola, Moçambique e Cabo Verde.
Como asseguram consistência entre anotadores?
Com diretrizes escritas antes de começar e sessões de calibração periódicas, porque a interpretação deriva com o tempo.
O conjunto de avaliação é reutilizado?
Não. Um conjunto usado para afinar deixa de servir para avaliar, e a tentação de o reutilizar é maior quando os resultados melhoram.
Há questões de direito de autor?
Há, na recolha a partir da internet. Conteúdo público não é conteúdo livre, e começar pelos dados próprios evita a maior parte disso.
Vamos ver os números do seu caso
Diga-nos que processos quer externalizar, em que línguas e com que volumes. Devolvemos uma estimativa em euros e um desenho de operação, sem compromisso.
Respondemos em menos de 6 horas em dias úteis. Se preferir escrever: info@corpshore.solutions