I chatbot sanno davvero fare diagnosi corrette? / Can chatbots really make accurate diagnoses?

mikitaly (80)modin Italy • 28 days ago

Secondo uno studio pubblicato su JAMA Network Open, se è vero che l'IA se la cava piuttosto bene a formulare diagnosi quando ha tutte le informazioni necessarie, non è per nulla affidabile nella fase iniziale con pochi dati alla mano.

I ricercatori hanno chiesto a 21 LLM, tra cui ChatGPT, DeepSeek, Claude, Gemini e Grok, di fingersi medici in 29 scenari clinici.

I chatbot si rivelavano medici validi in oltre il 90% dei casi quando venivano fornite loro tutte le informazioni utili contemporaneamente.

Faticavano invece nelle fasi preliminari del processo diagnostico, quelle nelle quali bisogna redigere una lista di diagnosi differenziali da verificare, non sono in grado di arrivare a diagnosi differenziali corrette in oltre l'80% dei casi.

Le diagnosi differenziali sono centrali nel ragionamento clinico e sono alla base della medicina, che l'intelligenza artificiale non è ancora in grado di replicare.

Leggi l'articolo completo di seguito:

I chatbot sanno davvero fare diagnosi corrette?

Riferimenti:

Focus

. . . . . . . . . .

Mi piace utilizzare questo spazio su steemlinks per condividere gli articoli che ritengo utili e interessanti e che provengono da fonti attendibili.

. . . . . . . . . .

ENGLISH VERSION

Source

According to a study published in JAMA Network Open, while AI is quite good at making diagnoses when it has all the necessary information, it is not at all reliable in the initial phase with little data.

The researchers asked 21 LLMs, including ChatGPT, DeepSeek, Claude, Gemini, and Grok, to pose as doctors in 29 clinical scenarios.

The chatbots proved to be effective doctors in over 90% of cases when they were provided with all the relevant information at once.

However, they struggled in the preliminary phases of the diagnostic process, where a list of differential diagnoses must be compiled and verified; they were unable to arrive at correct differential diagnoses in over 80% of cases.

Differential diagnoses are central to clinical reasoning and are the foundation of medicine, which artificial intelligence is not yet able to replicate.