Um estudo do Centro Singular de Investigación en Tecnoloxías Intelixentes da Universidade de Santiago de Compostela (CiTIUS) assinala que os motores de busca, entre os primeiros vinte resultados, oferecem entre 60 e 70 % de respostas corretas, enquanto modelos de IA apresentaram “uma taxa mais elevada”, entre 80 e 90 %.
No entanto, os autores do estudo publicado na revista científica NPJ Digital Medicine, do grupo Nature, alertam para o facto de as respostas da IA “poderem incorrer num problema característico deste tipo de sistemas”, como “a geração de respostas falsas expressas com grande certeza, que conhecemos como alucinações”.
A publicação analisa o grau de veracidade das respostas obtidas na Internet a perguntas relacionadas com a saúde, com base numa amostra de motores de busca da ‘Web’ e em modelos de IA para analisar o comportamento destes sistemas em resposta a perguntas médicas feitas pelo público em geral.
O estudo avaliou o desempenho de quatro motores de pesquisa tradicionais (Google, Bing, Yahoo e DuckDuckGo) e de sete modelos de IA de conversação, incluindo sistemas de utilização geral como o ChatGPT e o LLaMA3, ou o MedLLaMA, um modelo especificamente treinado para dar respostas a questões médicas.
Os investigadores mediram a capacidade de todas estas tecnologias para dar respostas médicas corretas a um conjunto de perguntas normalizadas, utilizando uma bateria de perguntas médicas reais.
Os motores de busca de inteligência artificial apresentam “uma percentagem mais elevada de respostas corretas, embora o estudo alerte para o facto de a sua utilização não ser isenta de riscos”, acrescenta.
A análise dos erros efetuada ao longo do estudo agrupa os erros em três categorias principais: os que contradizem o consenso médico estabelecido (os mais preocupantes); os que resultam de uma má interpretação da IA da pergunta feita (normalmente porque lhe faltam conhecimentos básicos sobre como as coisas funcionam no mundo real, aquilo a que nós, humanos, costumamos chamar senso comum), e os que resultam em respostas demasiado vagas ou imprecisas que, na prática, não fornecem uma verdadeira ajuda a quem dela necessita.
Um dos autores, Juan Carlos Pichel, sublinha a importância da forma como as perguntas são formuladas porque “um dos riscos mais graves da utilização de IA é que, se não compreenderem bem a pergunta ou não tiverem contexto suficiente, podem dar conselhos inseguros”.
“E o mais preocupante é que o fazem com grande assertividade, o que pode levar a erros fatais, com consequências diretas para a saúde das pessoas”, afirma o especialista.
Para David Losada, Professor de Informática e Inteligência Artificial, uma parte fundamental do trabalho explora a forma de enriquecer as IA com resultados obtidos pelos motores de busca, utilizando técnicas de geração aumentada por recuperação.
