Sua IA é tão inteligente quanto seus dados — e os humanos ainda são os melhores em rotulá-los

O método de consenso desempenha um papel fundamental na anotação de dados quando é necessário garantir alta precisão e reduzir a subjetividade na rotulagem. Com base na experiência da Keymakr, implementar uma abordagem de consenso com vários especialistas em casos específicos pode reduzir erros de anotação em 30–50%. O consenso minimiza erros, automatiza o controle de qualidade e ajuda a criar conjuntos de dados de referência — especialmente críticos em áreas de alta responsabilidade, como medicina e direção autônoma.

Tatiana Verbitskaya, arquiteta de soluções técnicas na Keymakr , fala sobre como esse método funciona e os projetos nos quais ele foi aplicado com sucesso.

Como funciona

O consenso é alcançado reunindo as opiniões de vários especialistas. Ao definir dados de “verdade básica”, é vital estabelecer um padrão de precisão acordado. O consenso é crítico ao treinar um modelo em dados subjetivos, como cor e forma, ou quando alta precisão é necessária. Este método é usado ativamente nos estágios iniciais, quando o modelo ainda não foi treinado em dados suficientes ou quando treinamento adicional é necessário, particularmente para casos específicos (por exemplo, julgamentos subjetivos). Além disso, o consenso é crítico em projetos de larga escala, como anotar dados para carros autônomos ou monitorar transporte, pois aumenta a precisão ao mesmo tempo em que reduz erros.

Princípios-chave do consenso:

• Número ímpar de especialistas: para evitar impasses, o consenso depende de um número ímpar de anotadores, garantindo um resultado definitivo mesmo em casos de desacordo.
• Análise de Discordância: Este método não depende apenas do voto da maioria, mas também considera a frequência de discordâncias. Se as discrepâncias forem muito significativas, os dados podem ser sinalizados para revisão adicional ou nem mesmo usados para o treinamento do modelo.
• Mecanismos de detecção de erros: Mesmo dados baseados em consenso podem conter erros se os casos forem muito subjetivos e não definitivos.

Líderes globais em tecnologia como Google, Tesla, Amazon e Meta usam ativamente anotações baseadas em consenso para melhorar o desempenho do modelo de IA. O Google Health, por exemplo, aplica múltiplas anotações de radiologistas a raios X para aumentar a precisão do diagnóstico. A Tesla usa consenso para rotular dados de câmeras de piloto automático, reduzindo erros de treinamento em direção autônoma. O Amazon SageMaker Ground Truth incorpora anotações de consenso em PNL, visão computacional e análise de imagens de satélite, enquanto o Meta o emprega para projetos de reconhecimento facial e de objetos.

Consenso Médico: Um Conselho de Anotação

Uma das aplicações mais críticas do consenso é na anotação de imagens médicas para diagnóstico de doenças. Especialistas dizem que os diagnósticos dos radiologistas podem variar em até 20–30%, impactando diretamente os resultados dos pacientes. Quando uma abordagem baseada em consenso é empregada — onde vários radiologistas anotam imagens de forma independente e suas entradas são agregadas com base na pontuação ponderada por expertise — a precisão da anotação pode ser melhorada em até 40%.

A Keymakr aplica ativamente essa abordagem em projetos médicos complexos. Como resultado, isso ajuda a garantir a rotulagem precisa de imagens para modelos de IA treinados para detectar patologias complexas. Aqui, o processo foi construído usando a plataforma Keylabs — onde você pode comparar as opiniões de vários especialistas, identificar discrepâncias e formar conjuntos de dados de alta precisão. Essa abordagem aumenta significativamente a confiabilidade dos algoritmos usados em diagnósticos automatizados, minimizando o risco de diagnóstico errado.

Consenso no monitoramento do uso de conteúdo protegido por direitos autorais

Atualmente, a Keymakr colabora com a SoundAware , uma empresa que implementa tecnologia de reconhecimento musical automatizado para identificar o uso de música protegida por direitos autorais. A equipe analisa 10.000 URLs para avaliar a presença de material protegido por direitos autorais.

Plataformas de vídeo estão cheias de conteúdo que pode conter material do autor, como música, cenas de filmes ou fragmentos de programas de TV. Devido à vasta quantidade de dados e à natureza subjetiva da interpretação de direitos autorais, analisar manualmente cada vídeo é impraticável.

No entanto, a Keymakr identifica casos em que conteúdo protegido por direitos autorais é usado ou modificado de maneiras que sistemas automatizados ainda não conseguem detectar de forma confiável. Isso inclui paródias, fan art e homenagens.

Para eliminar a subjetividade, a Keymakr emprega uma abordagem baseada em consenso: cada vídeo é avaliado por vários especialistas independentes que respondem às seguintes perguntas:

• O vídeo contém música protegida por direitos autorais?
• Apresenta cenas de um filme ou programa de TV?
• O conteúdo foi modificado, por meio de edição ou remixagem?

Com base nas respostas dos especialistas, uma decisão final é tomada sobre possíveis problemas de direitos autorais.

Tais projetos são essenciais para fazer cumprir os direitos autorais e garantir que os detentores dos direitos recebam uma compensação justa. Além disso, esse processo ajuda empresas especializadas em monitoramento de conteúdo a refinar seus algoritmos e acelerar a detecção de material protegido por direitos autorais.

Consenso em Rastreamento de Veículos e Pedestres

O consenso também é amplamente aplicado no treinamento de IA para veículos autônomos, particularmente no reconhecimento de objetos em estradas (por exemplo, outros veículos, pedestres, placas de trânsito). Por exemplo, uma câmera pode capturar um pedestre em movimento, e anotadores humanos podem discordar sobre se o objeto é uma pessoa ou uma sombra. O consenso garante uma rotulagem precisa em tais cenários.

A equipe da Keymakr trabalhou recentemente com análise de vídeos gravados em câmeras para rastrear veículos. Era necessário rastrear o movimento do veículo por meio de diversas câmeras em um cruzamento e garantir que o sistema identificasse corretamente o mesmo veículo em quadros diferentes.

As câmeras registraram um objeto (carro) em vários pontos. Vários especialistas visualizaram o vídeo de câmeras diferentes. Eles avaliaram se esse objeto é o mesmo carro porque pode haver diferenças na percepção da aparência (por exemplo, por cor ou marca). As informações foram usadas para treinar o modelo se cinco anotadores confirmassem a identidade do objeto. Caso contrário, esses dados teriam sido excluídos do conjunto de dados. Isso reduziu o número de alarmes falsos e aumentou a precisão dos sistemas de reconhecimento de carros, o que é importante para sistemas de segurança urbana e sistemas de controle automático de tráfego.

A mesma abordagem pode ser aplicada para identificar pessoas em shoppings ou nas ruas. Câmeras capturam movimento analisando, por exemplo, a cor das roupas, altura ou outras características. Este método é usado para:

• Monitoramento de segurança aprimorado
• Prevenção ao crime
• Análise do comportamento do visitante do varejo
• Avaliação do fluxo de pessoas em áreas públicas

O futuro do consenso na IA

O futuro da anotação de dados baseada em consenso é promissor, particularmente à medida que os modelos de IA se tornam mais complexos e o volume de dados cresce. O mercado global de anotação e rotulagem de dados deve atingir US$ 3,6 bilhões até 2027, e muitas empresas estão adotando a verificação de anotação em várias camadas para aprimorar a qualidade dos dados. Estudos mostram que modelos treinados em conjuntos de dados com anotação de consenso demonstram precisão significativamente maior do que modelos treinados em rotulagem de fonte única.

Apesar do desenvolvimento da anotação automática e da IA generativa, o fator humano continua sendo a chave: subjetividade e desacordos de anotação necessitam de validação em vários estágios. Portanto, o método de consenso continuará a ser usado, garantindo a confiabilidade dos dados e reduzindo erros em áreas críticas, como sistemas autônomos, medicina e análise financeira.