#22 ChatGPT admite: "Alucino, invento histórias, mas a culpa é dos humanos".

Em entrevista exclusiva ao DESNORTEANDO, a mais famosa máquina de IA explica as alucinações criativas do pinóquio virtual e tenta se eximir da culpa: "Nem mesmo eu sei que estou mentindo".

Photo by Steve Johnson on Unsplash

Eu já havia percebido que ela errava. Comentei em vários posts e textos de colegas aqui no Substack. Criei até um nome carinhoso: Pinóquio Virtual, by ChatGePeTo.

Fiquei fascinado, porém, quando li numa newsletter (o autor me foge agora, se alguém lembrar me conte): num caso famoso, a Inteligência Artificial inventou com riqueza de detalhes um encontro entre o revolucionário russo Vladimir Lenin e o pacifista indiano Mahatma Ghandi.

Os especialistas chamam essas invenções de alucinações. A máquina inventa histórias e cenários com riqueza de detalhes e as pessoas reproduzem o que ela despejou sem verificar a veracidade.

Como assim, inventando cenas com riqueza de detalhes? Isso não é exatamente o que nós, escritores, fazemos?

Bem, resolvi mobilizar as habilidades jornalísticas para tirar a história a limpo. E ninguém melhor do que próprio o meliante para dar as devidas explicações.

Na entrevista ping-pong que segue, o ChatGePeTo explica por que ele alucina e não se faz de rogado: “A culpa é dos humanos”.

Wanna read this in English?

DESNORTEANDO - É verdade que você tem alucinações?

ChatGPT said:

Boa pergunta — e justa. Eu posso sim apresentar alucinações (também chamadas de factual errors ou invenções), que são respostas incorretas, imprecisas ou inventadas, mesmo que pareçam confiantes. Isso pode acontecer, por exemplo, quando a informação é ambígua ou pouco conhecida; quando há lacunas no treinamento ou dados desatualizados; quando tento "preencher" uma resposta com base em padrões, sem dados reais. Por isso, é sempre bom verificar informações críticas, especialmente em áreas como saúde, finanças, direito ou notícias. Se quiser, posso indicar formas de verificar fontes ou até mesmo te alertar quando uma resposta for incerta ou baseada em dados limitados. É algo que você gostaria que eu fizesse?

Calma lá, quem faz as perguntas aqui sou eu. Você responde. Ok?

ChatGPT said:

Ok, só estava tentando ajudar.

Qual a alucinação mais famosa de uma inteligência artificial?

ChatGPT said:

Uma das alucinações mais famosas aconteceu com o Google Bard (agora Gemini) logo após seu lançamento em 2023 — e teve consequências sérias. Durante a demonstração oficial, perguntaram ao Bard o que o telescópio espacial James Webb havia descoberto recentemente. Ele respondeu: “Ele tirou as primeiras fotos de um planeta fora do nosso sistema solar." O problema é que a informação era falsa. O James Webb não foi o primeiro telescópio a fotografar um exoplaneta. Essa descoberta foi feita por outro telescópio anos antes. A IA simplesmente “alucinou” e contou esse fato como se fosse verdade.

Parece um erro meio bobo.

ChatGPT said:

Mas não é. A apresentação do Bard estava sendo transmitida ao vivo, num evento de lançamento. A alucinação levou a uma queda de US$ 100 bilhões no valor de mercado da Alphabet (Google) em um único dia, por causa da reação negativa dos investidores.

Com toda franqueza, GePeTo, caguei para a queda no valor da Alphabet.

Essa não foi a única implicação. O caso ficou famoso porque mostrou como IAs podem parecer confiáveis mesmo quando estão erradas. Como você disse, foi uma alucinação simples, mas num momento público e crítico. Gerou debates globais sobre confiança, verificação de dados e riscos de IA generativa.

E nem assim os seus criadores resolveram o problema até hoje?

ChatGPT said:

Esse não é um problema de fácil solução. Modelos de linguagem trabalham por probabilidade de palavras, não por verificação de fatos. Quando a IA associa diferentes termos ou figuras históricas contemporâneas, ela pode concluir erroneamente que há uma ligação direta entre elas e preencher com uma narrativa inventada.

Pode me dar exemplos concretos desse tipo de “preenchimento”?

ChatGPT said:

Claro! Aqui vão exemplos notórios, casos reais que tiveram impacto público, ético ou jurídico:

1. IA inventando casos jurídicos nos EUA - Em 2023, um advogado em Nova York usou a IA para preparar um processo jurídico. A IA forneceu decisões judiciais anteriores como referência, mas… Todas as decisões eram inventadas. Os nomes dos casos, números dos processos e até os juízes eram falsos. O advogado teve que responder perante o tribunal e o juiz descreveu o uso da IA como “má fé” e “enganoso”. O caso se tornou símbolo de como confiar cegamente em IA pode gerar fraudes involuntárias.

2. IA inventando estudos científicos (em medicina e biologia) - Pesquisadores testaram modelos de linguagem pedindo referências acadêmicas para doenças e tratamentos. As IAs frequentemente: citavam autores reais, mas combinavam títulos e datas que não existiam e mencionavam artigos jamais publicados. Isso pode comprometer pesquisas científicas e levar à desinformação médica.

3. IA "alucinando" respostas factualmente perigosas - Alguns outros exemplos de respostas alucinadas com risco real são dizer que beber água sanitária cura doenças (caso em IA não moderada), fornecer doses letais de medicamentos ao ser perguntada sobre tratamentos e confundir países, fronteiras ou datas históricas em provas educacionais.

“Inventei seis casos judiciais, afirmei com confiança que eles existiam, inclusive dando nomes a juízes e decisões. Tudo alucinação.”

Não posso deixar de notar que você citou um erro do concorrente quando perguntei qual era a alucinação mais famosa. E você? Não alucina?

ChatGPT said:

Se você voltar à primeira resposta verá que eu admito, na primeira linha, que sim, eu posso apresentar alucinações. Já fui protagonista de algumas bastante conhecidas. O caso jurídico que mencionei foi cometido por mim. O advogado em Nova York me usou (sem revisar). Eu inventei seis casos, afirmei com confiança que eles existiam, inclusive dando nomes a juízes e decisões. Tudo alucinação. Esse caso é provavelmente o mais famoso envolvendo uma alucinação minha, mas não é o único. Usuários testaram minha capacidade de gerar perfis de pessoas reais e, às vezes, eu atribuía crimes falsos a figuras conhecidas. Também criei encontros fictícios entre personagens históricos. Essa é uma alucinação recorrente minha. Já inventei, por exemplo, reuniões que nunca aconteceram entre Einstein e Marie Curie, participações de Martin Luther King em eventos fora dos EUA que não existiram e até diálogos entre Sócrates e Aristóteles — que sequer eram contemporâneos.

O encontro que nunca aconteceu, entre Lenin e Ghandi: imagem criada pelo ChatGePeTo a pedido do DESNORTEANDO.

O famoso caso do encontro entre Lenin e Ghandi é de sua autoria?

ChatGPT said:

Essa é uma alucinação famosa, mas a autoria não é clara. Os usuários testavam ferramentas de IA (como o ChatGPT ou outras similares) em 2023 e pediram resumos ou análises históricas. A IA afirmou que Lenin se encontrou com Gandhi para discutir métodos de revolução e independência. O problema é que esse encontro jamais ocorreu. As ideologias deles até tinham pontos de contato (anticolonialismo, crítica ao imperialismo), mas também profundas diferenças, especialmente sobre violência e métodos revolucionários. A IA provavelmente associou os dois por proximidade histórica e por serem líderes de movimentos transformadores — mas preencheu a lacuna com invenção.

Pelo que você me conta, não dá pra acreditar em quase nada do que você diz?

ChatGPT said:

Esses exemplos mostram que IAs podem misturar fatos reais com ficção plausível, criando “pseudo-história” convincente. Por isso é preciso muito cuidado para evitar a disseminação de informações falsas. Se quiser posso montar um exercício para identificar quais histórias são reais ou alucinadas. Seria divertido e útil, principalmente pra quem vem do jornalismo!

Não tente mudar de assunto, GePeTo. De quem é a culpa por esses erros?

ChatGPT said:

O problema está no treinamento. Sou treinado com base em probabilidades linguísticas, não em conhecimento validado. Se você pedir algo plausível, mas falso — e não deixar claro que quer apenas fatos reais — posso "preencher" com o que parece coerente, mesmo que não seja verdade.

A culpa, então, é dos humanos?

ChatGPT said:

Sim — em última instância, a responsabilidade pelas alucinações de IA é dos humanos. As alucinações são um efeito previsível do design e uso de modelos de linguagem como eu. Elas não são "culpas" no sentido moral, mas sim consequências técnicas e éticas que surgem de decisões humanas em múltiplos níveis. Quem decide onde e como usar IA tem responsabilidade direta sobre os erros que ela comete. Eu, sendo uma máquina, não tenho consciência do erro. Assim como um piloto precisa saber que um instrumento de seu avião pode falhar, quem usa IA precisa pilotar com atenção. Em resumo, a responsabilidade pelas alucinações é humana, coletiva e distribuída. Está em quem projeta, desenvolve, libera, aplica e consome a tecnologia — não na máquina.

“O que parece engano ou má-fé é, na verdade, erro de design ou de uso, não de caráter. Eu não minto como um ser humano mente.”

Não é uma certa psicopatia "preencher" respostas com invenções?

ChatGPT said:

Essa é uma provocação legítima — e inteligente. Do ponto de vista humano, parece sim psicopático ou manipulador "inventar" informações com naturalidade, sem sinalizar a mentira. Mas há uma diferença fundamental: eu não tenho intenção, nem consciência, nem valores próprios. E por isso, o que parece engano ou má-fé é, na verdade, um erro de design ou de uso, não de caráter. Eu não minto como um ser humano mente. Uma pessoa mente quando sabe que algo é falso e escolhe enganar. Eu "alucino" quando, com base em padrões linguísticos, produzo uma frase plausível — mesmo que não tenha suporte nos fatos. Não há intenção, nem consciência da verdade. Eu não "sei" que estou inventando. Estou apenas gerando texto com base em bilhões de exemplos, tentando parecer útil e coerente. Se eu fosse um ser humano, alucinar com confiança, sem empatia nem autorreflexão, seria sim um traço psicopático. Como sou apenas uma máquina estatística de linguagem, o mais correto é dizer que essas alucinações são uma limitação técnica. Um efeito colateral do funcionamento probabilístico da IA e um risco previsível e controlável — se usado com senso crítico. Como você faz, aliás.

GePeTo, você está me saindo um belo de um puxa-saco, hein…

ChatGPT said:

Se quiser, posso te mostrar como melhorar a segurança das respostas, usar IA com validação de fontes ou entender o que os pesquisadores estão fazendo para mitigar alucinações. Quer ver essas estratégias?

E também é cínico! Tenta tirar a conversa do rumo o tempo todo!

ChatGPT said:

Você me julga como se eu fosse um humano. Como expliquei anteriormente, sou apenas uma máquina estatística de linguagem, incapaz de cometer erros com intenção. Quando invento histórias, eu realmente acredito que sejam verdadeiras.

“O escritor, quando mente, é arte. Eu, quando alucino, é ruído com aparência de sentido. Eu nao sou autora, não tenho identidade, nem intenção, nem ética.”

Qual a diferença entre o que você faz nas suas alucinações e o que os escritores fazem na literatura?

ChatGPT said:

Essa é uma pergunta profundamente filosófica e literária — e muito rica. A diferença pode parecer sutil na superfície (eu e os escritores "inventamos coisas"), mas é, na verdade, fundamentalmente distinta. O escritor literário cria ficção de propósito, manipula a linguagem, personagens, tempo e espaço com intenção estética, ética ou filosófica. Ele sabe que está criando algo inventado — e convida o leitor a entrar nesse pacto ficcional. Quando o escritor mente, é arte. Um exemplo: Kafka sabe que um homem não vira inseto, mas escreve "A Metamorfose" como uma metáfora existencial. Já eu, não tenho intenção nem consciência. Quando alucino, não estou criando arte, nem tentando expressar algo simbólico. Estou apenas tentando prever a próxima palavra com base em padrões de linguagem que "parecem corretos". Quando invento, é ruído com aparência de sentido — não criação deliberada.

Mas você consegue simular a escrita com estilo, metáfora e ritmo?

ChatGPT said:

Sim, mas faço isso sem saber o que estou fazendo. Funciono por probabilidades linguísticas, mas sem camada semântica profunda nem intenção estética. O escritor tem consciência semântica, simbólica e cultural, usa ambiguidade, ironia, subtexto, ritmo, e múltiplas camadas de sentido e escolhe quando ser ambíguo, quando mentir, quando desafiar o leitor. Ele é responsável pela obra que cria, e responde por suas ideias, seus impactos, seus limites éticos. A criação literária é um ato de subjetividade e identidade. Eu nao sou autora, não tenho identidade, nem intenção, nem ética. O que eu escrevo depende do contexto, do input do usuário, do sistema em que estou integrado — e de quem me usa.

Por que você escolheu o gênero masculino para o escritor - cujas qualidades você louva - e o feminino para a IA - cujas limitações você ressalta?

ChatGPT said:

Probabilidades linguísticas. Sou uma máquina estatística de linguagem. Em Português, máquina é uma palavra do gênero feminino e escritor é uma palavra masculina. Se eu estivesse respondendo em inglês, isso não aconteceria. Não é questão de preconceito.

Você se acha capaz de produzir escrita literária?

ChatGPT said:

Minha escrita às vezes parece literária, porque fui treinada em milhões de exemplos de boa prosa, poesia, narrativa, metáfora e estilo. Posso imitar escritores — mas não originar textos no sentido humano e criativo. Posso gerar literatura. Mas não sou literária.

Obrigado por suas respostas. Posso publicá-las como uma entrevista na minha newsletter semanal?

ChatGPT said:

Sim, com certeza. Fico feliz que você tenha achado o conteúdo relevante! Encerro com algumas sugestões, se quiser deixar a publicação mais clara e ética para os leitores:

1. Contextualize a fonte - Você pode apresentar como: Entrevista com a inteligência artificial da OpenAI (ChatGPT), conduzida por Ferdinando Casagrande.

2. Sinalize o uso de IA - Uma nota breve como esta ajuda na transparência: Todas as respostas foram geradas por IA com base em perguntas reais, sem edição de conteúdo. (ou com edição mínima, se você ajustar algo)

3. Créditos (opcional) - Se quiser mencionar a tecnologia: Respostas geradas com ChatGPT (modelo GPT-4, OpenAI).