ChatGPT erra 83% dos diagnósticos de doenças em crianças
Pesquisa mostra que ChatGPT só consegue reconhecer sintomas em 17% dos casos pediátricos. Cenário melhora um pouco com adultos
Resumo
- Um estudo da JAMA Pediatrics mostrou que o ChatGPT (na versão GPT-4) tem uma taxa de acerto de apenas 17% no diagnóstico de sintomas em crianças, enquanto apresenta uma eficácia de 39% com adultos.
- A pesquisa visou destacar os pontos fracos da tecnologia para sugerir melhorias, especialmente na assistência médica.
- As dificuldades são atribuídas à complexidade em identificar doenças em crianças, que muitas vezes não sabem expressar seus sintomas claramente.
- A IA falhou principalmente em fazer conexões entre sintomas e outras condições dos pacientes, como neurodivergências e deficiências de vitaminas.
Um estudo recente mostrou que o ChatGPT erra 83% dos diagnósticos de sintomas em crianças. A pesquisa realizada pela JAMA Pediatrics, revista científica da área de pediatria, aponta que o GPT-4 tem graves problemas em identificar a doença de pacientes infantis. Sua taxa de acerto é melhor com adultos, chegando a 39%.
Como explicam os autores, o objetivo do estudo não é criticar o ChatGPT (nem mesmo dizer que pais que usam a IA ao invés de levarem as crianças ao médico são irresponsáveis), mas mostrar os pontos fracos da tecnologia e como ela pode ser melhorada para auxiliar os médicos.
Casos pediátricos são mais complicados de identificar
A dificuldade do ChatGPT em reconhecer sintomas pediátricos está ligado ao fato que é mais difícil identificar as doenças das crianças. Isso se dá pelo fato de que as crianças não são boas em relatar o que estão sentindo. Afinal, elas não têm a experiência que um adulto pode ter de identificar se uma dor na barriga é muscular ou originária de algum órgão.
O teste com o ChatGPT usou 100 desafios de casos pediátricos que foram publicados na própria JAMA Pediatrics e no The New England Journal of Medicine. Nesses desafios, as revistas científicas divulgam casos de pacientes com diagnósticos difíceis e as informações que os médicos dispunham no momento — quase como brincar de House.
Depois de enviar o prompt, dois médicos avaliam se a resposta do ChatGPT foi correta, incorreta ou se a IA acertou parcialmente. Em 17 casos, a IA acertou, em 83 houve erros, sendo que 72 foram erros completos.
Fazer essa pesquisa com 100 casos pode parecer, mas a JAMA Pediatrics possui um fator de impacto de 26.1, considerado um número bom no meio acadêmico. Ampliar o estudo com mais casos demandaria mais tempo e mais dinheiro. Todavia, ele demonstra os pontos em que o ChatGPT precisa melhorar.
No estudo, os médicos relatam que a IA não foi capaz de realizar conexões de sintomas com outras condições dos pacientes. Alguns casos de neurodivergências estão ligadas com deficiências de vitaminas.
Por exemplo, uma pessoa em algum espectro de autismo pode seguir uma dieta restrita e sofrer com falta de vitaminas. Um caso do tipo foi apresentado para o ChatGPT, mas ele não conseguiu ligar a condição do paciente com escorbuto, doença causada pela ausência de vitamina C.
Para resolver esses erros da IA, os autores do estudo defendem que o ChatGPT tenha acesso a artigos médicos de revistas respeitadas, não de qualquer site da internet. Outra solução é que a IA seja rapidamente atualizada com informações médicas.
ChatGPT e similares não substituirão médicos, mas a vasta capacidade de processamento será mais uma ferramenta para auxiliar em diagnósticos de casos mais difíceis. Seja hoje ou amanhã, você ainda terá que se consultar com um médico — mas pelo menos a telemedicina já pode lhe ajudar.
Com informações: JAMA Pediatrics e Ars Technica
