Les anomenades “al·lucinacions” en intel·ligència artificial (IA) fan referència a quan un sistema genera afirmacions falses o inventades que presenta com a certes. Aquest fenomen és especialment habitual en models de llenguatge com ChatGPT, DeepSeek, Grok, Queen o Gemini que produeixen text en funció de patrons estadístics, sense verificar la veracitat del contingut. Com a resultat, una IA pot oferir amb total convicció dades incorrectes, cites jurisprudencials fictícies o interpretacions jurídiques errònies.
Si bé en alguns contextos aquestes al·lucinacions poden semblar anecdòtiques, el seu ús en entorns jurídics, administratius o tècnics pot comportar conseqüències legals serioses.
PER QUÈ OCORREN?
Els models d’IA no raonen ni comprenen com els humans. En lloc de “saber” alguna cosa, generen la resposta més probable basada en les dades amb què van ser entrenats. Quan la informació disponible és insuficient, ambigua o contradictòria, el sistema tendeix a completar el buit amb contingut plausible, però erroni. Aquesta falta de verificació converteix les al·lucinacions en un risc estructural de la IA generativa.
RISCOS JURÍDICS ASSOCIATS
- Responsabilitat civil:
Quan una IA ofereix informació falsa que genera un perjudici (per exemple, un diagnòstic erroni, una inversió mal assessorada o una acció legal fallida), sorgeixen dubtes sobre qui ha d’assumir la responsabilitat: el desenvolupador, el proveïdor o l’usuari. Tot i que avui la legislació encara està adaptant-se, ja es discuteix si certes aplicacions d’ IA podrien considerar-se defectuoses des del punt de vista del règim de responsabilitat per productes.
- Ús en entorns jurídics i administratius:
Han sortit a la llum casos d’advocats sancionats per presentar escrits redactats amb IA que contenien jurisprudència inexistent. L’ús d’informació al·lucinada en procediments judicials o administratius pot causar nul·litat, errors processals o fins i tot vulneracions del dret a una tutela judicial efectiva.
- Difamació i dret a l’ honor:
En alguns casos, la IA ha atribuït falsament a persones delictes que mai van cometre o fets infamants. Aquestes afirmacions poden constituir una intromissió il·lícita en el dret a l’honor i donar lloc a responsabilitats civils o fins i tot sancions per protecció de dades personals, si la informació falsa afecta persones identificables.
- Propietat intel·lectual:
Una IA pot generar continguts derivats o similars a obres protegides per drets d’ autor sense intenció ni consciència d’ això. Si una creació generada infringeix drets de tercers, qui respon? Tot i que els marcs legals actuals encara no han donat una resposta uniforme, molts desenvolupadors comencen a oferir garanties legals als usuaris davant de possibles reclamacions.
PRECAUCIÓ DAVANT L’ASSESSORAMENT JURÍDIC AUTOMATITZAT
És fonamental advertir que, en propietat industrial, per convincent que sembli una resposta generada per IA sobre qüestions legals, no s’ ha de substituir mai la consulta amb un Agent de la Propietat Industrial. La interpretació jurídica requereix anàlisi contextual, coneixement normatiu actualitzat i criteri tècnic que cap model automàtic pot reproduir amb fiabilitat.