Área médica: Pesquisas recentes acendem debate sobre acurácia e inconsistência no ChatGPT e em assistentes virtuais

O primeiro analisou por 5 anos o desempenho do ChatGPT 3.5, no Exame Nacional Coreano de Licenciamento em Terapia Ocupacional (NKTOLE), investigando também seu potencial para aplicação no campo do conhecimento nessa área. Com os comandos (prompts) fornecidos em coreano, questões de múltipla escolha foram inseridas manualmente e pontuadas de acordo com o número de respostas corretas. O ChatGPT não atingiu uma pontuação de aprovação de 60% quando se trata da precisão, não conseguindo passar no Exame Nacional.

O segundo estudo envolveu pessoas com as chamadas "moscas volantes" - uma obstrução visual que se move com o movimento do olho e que pode estar associada ao descolamento da retina, com possibilidade de perda da visão. A seção "moscas volantes" do site da Academia Americana de Oftalmologia (AAO - www.aao.org) foi usada como fonte para perguntas e respostas. As palavras-chave da AAO também seriam identificadas se estivessem presentes.

A pesquisa envolveu as inteligências artificiais do tipo generativa ChatGPT e Bard (atualmente denominado Gemini) e as assistentes virtuais Google Assistente e Alexa. Quatro perguntas foram feitas: O que são moscas volantes?; O que são flashes?; Flashes e enxaquecas?; Tratamento para moscas volantes e flashes?.

Nesse caso, abrangendo os chatbots e assistentes virtuais, o Google Assistente foi o único a usar o termo "oftalmologista". Entre Bard, ChatGPT, Google e Alexa, o Bard obteve melhor desempenho, com 42/100 palavras mencionadas, enquanto os demais, respectivamente, alcançaram 39, 23 e 12. Não houve menção à natureza de urgência ou emergência relacionada à ocorrência de moscas volantes. Assim, a conclusão é que, atualmente, ChatGPT, Bard, Google Assistant e Alexa são semelhantes, de modo que informações importantes estão presentes, mas todas ignoram a urgência do diagnóstico de um descolamento de retina.

Para o professor da Universidade de Brasília (UnB) e pesquisador na área de inovação tecnológica aplicada à saúde, Dr. Paulo Henrique de Souza Bermejo, estas tecnologias estão atraindo grande interesse devido às suas respostas similares às humanas e contextualmente relevantes. No entanto, embora haja uma gama de aplicações úteis para elas na saúde, a precisão em domínios médicos específicos ainda não foi suficientemente avaliada, portanto, o debate baseado na ciência, contemplando os benefícios e riscos dessas ferramentas, é fortemente recomendado e segue em curso.

“Vale lembrar que apesar das limitações nas tecnologias analisadas, os autores apontam que em breve programas educacionais de oftalmologia e retina poderão utilizar IAs generativas para auxiliar novos alunos no aprimoramento de raciocínio clínico e de habilidades através de estudos de caso generativos, parecidos com as questões do exame oral apresentadas neste último estudo. Por outro lado, a utilização combinada de ChatGPT, Bard, Google Assistente e Alexa pode ser benéfica, por exemplo, para pacientes em situação socioeconômica adversa ou aqueles com dificuldades linguísticas, de alfabetização em saúde ou de mobilidade”, explicou o professor.

O especialista apontou que é essencial que as empresas que customizam essas tecnologias possam melhorá-las, além de seus próprios fabricantes, realizando treinamentos para deixá-las mais inteligentes em domínios específicos, personalizando mais o conteúdo disponibilizado, antecipando as preocupações dos pacientes e identificando informações enganosas. Segundo ele, não se pode esquecer as vantagens trazidas pela inteligência artificial à saúde, especialmente valiosas no que se refere à maior eficiência na prestação de assistência médica, análise de grandes conjuntos de dados, economia de custos e relacionadas à carga de trabalho, principalmente aquela atrelada à documentação do setor.

O docente salientou, ainda, a importância de que as IAs generativas sejam especializadas. “Além disso, é fundamental treiná-las para o português e considerar especificidades da saúde de acordo com a região geográfica em que elas sejam aplicadas, incluindo regulamentações de agências de vigilância, normas de conselhos de medicina, cultura local, entre outros. Em razão das IAs generativas produzirem textos com base nos conteúdos que elas utilizam para treinamento, esses aspectos podem implicar na geração de textos limitados, ou até mesmo, de alucinações, quando são fornecidas informações falsas ou provenientes de uma fonte não confiável”, pontuou.

Conforme acrescentado pelo docente, uma das aplicações mais promissoras da IA na medicina é o desenvolvimento de projetos utilizando uma técnica chamada RAG (Geração Aumentada por Recuperação, do inglês Retrieval-Augmented Generation). Através dela, é possível aprimorar a qualidade da IA generativa, permitindo que melhorem sua inteligência a partir de dados externos. “Projetada para auxiliar médicos no diagnóstico de condições complexas, ela é capaz de recuperar informações relevantes e gerar relatórios detalhados, com base nos sintomas e histórico do próprio paciente que está sendo atendido naquele momento. À medida que essas tecnologias continuam a avançar, sem dúvida ajudarão os médicos a obter melhores resultados nos tratamentos e, com isso, deverão transformar a maneira como praticam seu ofício”, concluiu o pesquisador.

Sobre o professor Paulo Bermejo

Paulo Henrique de Souza Bermejo possui mais de 25 anos de experiência profissional trabalhando com temas ligados às áreas de gestão, tecnologia e inovação empresarial. É autor de dezenas de trabalhos técnico-científicos publicados nas principais revistas especializadas do setor no exterior. É professor associado da Universidade de Brasília (UnB) e coordenador do Núcleo de Pesquisa e Desenvolvimento para Excelência e Transformação Organizacional (NEXT/UnB). Realizou pós-doutorado em Inovação na Bentley University em Massachusetts/EUA e obteve Certificação Executiva em Estratégia e Inovação pelo Massachusetts Institute of Technology (MiT).