Google Bard é treinado por humanos – e eles “chutam” as respostas certas
Terceirizados precisam escolher a melhor resposta entre as sugeridas pelo Bard, mas ganham por pergunta e não têm tempo para pesquisar
O Google correu para lançar o Bard e reagir a todo o burburinho em torno do ChatGPT. Porém, parece que a ele não estava pronto. Humanos estão precisando treinar o chatbot para que ele dê as respostas certas. O problema é que, às vezes, nem esses humanos sabem quais são as respostas certas. Aí, eles fazem o que a gente fazia em algumas provas da escola: “chutam”.
As informações são de uma reportagem da Business Insider. A publicação conversou com quatro funcionários contratados pela Appen, empresa que presta serviços ao Google. Eles falaram sob condição de anonimato.
Os funcionários da Appen são “raters”, ou “avaliadores”, em tradução livre. Geralmente, eles julgam o posicionamento de anúncios e a precisão dos algoritmos de busca.
Desde janeiro, porém, grande parte do trabalho deles vem sendo revisar as respostas que o Bard dá a usuários, para garantir que elas estejam atualizadas e sejam precisas, de acordo com os padrões do Google.
Não sabe? “Chuta”
O trabalho acontece da seguinte forma: o sistema mostra o prompt do usuário (um pedido, uma pergunta, uma tarefa, entre outras possibilidades) e duas respostas sugeridas pelo Bard.
O avaliador escolhe a melhor entre as duas e escreve uma justificativa. A própria inteligência artificial usa essa justificativa para aprimorar suas capacidades.
Para cada avaliação, os raters têm entre 60 segundos e muitos minutos.
O problema é que, às vezes, nem o funcionário sabe dizer qual é a resposta certa, principalmente se for um assunto que ele não domina.
Só que os trabalhadores recebem por avaliação. Então, demorar demais para encontrar a resposta certa significa menos dinheiro na conta.
O que eles fazem, então? Simples: “chutam” a resposta que parece mais correta e partem para a próxima.
Um dos funcionários ouvidos pela Business Insider disse que é frustrante não ter tempo suficiente para pesquisar e descobrir qual a opção correta.
“[Precisamos de] três horas de pesquisa para completar uma tarefa de 60 segundos”, lamenta. “É um bom jeito de explicar o problema que temos que lidar no momento.”
Bard (e outras IAs) têm problemas de precisão
Desde que o ChatGPT foi lançado, especula-se que ele poderá, algum dia, substituir os motores de busca tradicionais. O Google, então, entrou em estado de alerta.
Em fevereiro, a empresa anunciou seu chatbot: o Bard. O que era para ser uma mostra de que a companhia estava no páreo, no entanto, virou uma enorme dor de cabeça.
Os problemas começaram logo na apresentação. Uma das respostas fornecidas pelo Bard estava errada. Os investidores reagiram mal, e o Google perdeu US$ 100 bilhões de valor de mercado.
Justiça seja feita: o ChatGPT também erra, e erra feio às vezes.
O Google, então, passou a pedir para que seus próprios funcionários tirassem um tempinho do expediente para escrever respostas para o robô, de acordo com assuntos que dominavam.
Internamente, toda essa sequência de fatos causou irritação, já que os trabalhadores consideram que o Bard não estava pronto e não está à altura dos padrões de qualidade do Google.
A companhia precisou recuar e dizer que não via o Bard como substituto da busca, mas sim um complemento. Mesmo assim, Sundar Pichai, CEO do Google, garante que sua IA é a melhor do mercado.
Ao que tudo indica, o Bard e os funcionários terão muito trabalho pela frente.
Com informações: Business Insider
