Joseph Weizenbaum decidiu provar que os computadores podiam imitar conversas. Em vez disso, a sua experiência convenceu-o de que as pessoas podem tornar-se emocionalmente ligadas às máquinas com mais facilidade do que ele imaginava. Essa descoberta mudou o rumo de sua carreira.O cientista da computação que criou o primeiro chatbot do mundo em meados da década de 1960 passou o resto da vida alertando que a inteligência artificial (IA) nunca deveria substituir o julgamento, a empatia ou a responsabilidade humanos. Décadas antes do ChatGPT e de outros sistemas modernos de IA, Weizenbaum argumentou que as máquinas persuasivas enganam os usuários, fazendo-os confiar na tecnologia para tomar decisões que nunca pretenderam tomar.Suas preocupações estavam enraizadas em um simples programa de computador chamado Eliza, hoje reconhecido como o primeiro chatbot.

Um chatbot que surpreendeu até o seu criador

Enquanto trabalhava como professor no Instituto de Tecnologia de Massachusetts (MIT), Weizenbaum desenvolveu Eliza para demonstrar como os computadores poderiam imitar a linguagem humana. Ele escolheu deliberadamente o estilo conversacional da psicoterapia rogeriana (abordagem humanística e centrada na pessoa) porque exigia que o computador fizesse perguntas em vez de oferecer conselhos especializados.O programa pesquisou nas mensagens dos usuários palavras-chave como “eu” ou “você” e seguiu regras simples para gerar respostas. Quando não conseguia identificar uma resposta adequada, baseava-se em pedidos genéricos, incluindo “Por favor, continue”, “Entendo” e “Diga-me mais” para manter a conversa.O sistema em si era muito simples.“‘Eu sou blá’ pode ser transformado em ‘Há quanto tempo você é blá’, independentemente do significado de ‘blá'”, explicou Weizenbaum em um artigo de 1966.Ele acreditava que as capacidades limitadas do chatbot seriam óbvias para os usuários. Em vez disso, muitos foram rápidos em tratar Eliza como se realmente a entendessem.A reação o chocou.Quando a secretária de Weizenbaum testou o programa, ela pediu que ele saísse da sala para que ela pudesse continuar a conversa com Eliza em particular. A tendência de atribuir qualidades humanas às máquinas ficou mais tarde conhecida como “efeito Eliza”.O próprio chatbot recebeu o nome de Eliza Doolittle, personagem central da peça de George Bernard Shaw de 1913 Pigmaliãoque se transforma de vendedora de flores da classe trabalhadora em mulher aceita pela alta sociedade.“Foi muito difícil convencer alguns sujeitos de que Eliza (com sua escrita atual) não é humana”, observou Weizenbaum em seu artigo de 1966.Essa experiência mudou seu pensamento.“O que eu não percebi foi que exposições extremamente breves a um programa de computador relativamente simples poderiam induzir delírios poderosos em pessoas muito normais”, escreveu ele em 1976.Ele acrescentou: “Essa percepção me levou a dar nova importância às questões sobre a relação entre o indivíduo e o computador e, portanto, a decidir pensar sobre elas”.

Um pioneiro da computação moderna

O alerta de Weizenbaum teve peso porque ajudou a moldar o início da era da informática.Depois de fugir da Alemanha nazista com sua família na década de 1930, mais tarde serviu como meteorologista no Exército dos EUA durante a Segunda Guerra Mundial. Na década de 1950, ingressou na General Electric, onde ajudou a desenvolver a Máquina de Gravação Eletrônica, Contabilidade ou ERMA, que transformou o setor bancário ao automatizar o processamento de cheques.Seu trabalho no MIT coincidiu com um período de rápidos avanços na ciência da computação.A ideia de máquinas capazes de pensar como os humanos já existe há anos. Em 1950, o matemático Alan Turing propôs o que mais tarde ficou conhecido como Teste de Turing, perguntando se as máquinas poderiam imitar as conversas humanas suficientemente bem para que as pessoas não conseguissem distingui-las dos humanos.A própria inteligência artificial emergiu como um campo formal de investigação após o workshop de Dartmouth em 1956, onde os investigadores sugeriram que a aprendizagem e a inteligência poderiam eventualmente ser simuladas por máquinas.O financiamento militar, especialmente através da Agência de Projectos de Investigação Avançada do governo dos EUA, ajudou a acelerar a investigação nas décadas seguintes. O MIT tornou-se um dos principais centros de desenvolvimento de IA, com os pioneiros John McCarthy e Marvin Minsky ajudando a estabelecer o Laboratório de Inteligência Artificial da universidade.Seu trabalho em sistemas de compartilhamento de tempo também abriu caminho para a Arpanet em 1969, a rede de computadores que mais tarde evoluiu para a atual Internet.

Romper com a comunidade de IA

Enquanto muitos dos seus colegas viam Eliza como um vislumbre do futuro, Weizenbaum via-o cada vez mais como um aviso.Ele escolheu a psicoterapia simplesmente porque era uma conversa fácil de ser imitada por um computador.“Refletindo sobre ‘todas as conversas em que uma das partes não precisa saber de nada’”, lembrou Weizenbaum em uma entrevista em 1984, ele optou por um psiquiatra. “Talvez se eu pensasse nisso por mais dez minutos”, acrescentou o cientista da computação, “eu teria acabado com um bartender”.Outros viram potencial comercial e medicinal.O psiquiatra Kenneth Colby adaptou a ideia em um chatbot chamado Parry, que simula o pensamento paranóico da perspectiva de uma pessoa com esquizofrenia. Colby acreditava que tais sistemas poderiam se tornar ferramentas úteis de saúde mental, já que os pacientes muitas vezes lutavam para distingui-los dos terapeutas humanos.O astrônomo Carl Sagan também imaginou que redes de terapeutas computacionais se tornariam amplamente disponíveis.Weizenbaum rejeitou veementemente essa visão.Eliza “foi imediatamente mal interpretada como sendo basicamente o alvorecer da psiquiatria computadorizada que eu tive”, disse ele em 1984.Mais tarde ele foi ainda mais longe, descrevendo a ideia como “uma ideia obscena”.A sua oposição levou a uma divisão pública com várias figuras importantes da inteligência artificial.Em seu livro de 1976 Poder computacional e inteligência humana: do julgamento à computaçãoWeizenbaum argumentou que as habilidades técnicas por si só nunca determinaram como os computadores eram usados.“As inteligências artificiais argumentam, como vimos, que não existe domínio do pensamento humano além do qual as máquinas não possam ir”, escreveu ele.Em contraste, ele argumentou que “há certas tarefas que os computadores não deveriam realizar, independentemente de os computadores serem capazes de realizá-las”.John McCarthy criticou o livro como “moralista e incoerente”, argumentando que o uso de programas de computador como terapeutas seria justificado se realmente ajudassem os pacientes.

Avisos que ainda ressoam

Weizenbaum também criticou a estreita relação do MIT com a pesquisa militar e se opôs à Guerra do Vietnã.Ele alertou que computadores cada vez mais sofisticados também poderiam se tornar poderosas ferramentas de vigilância.“Máquinas de escuta… tornarão o monitoramento das comunicações de voz muito mais fácil do que é agora”, escreveu ele. Poder do computador.Suas opiniões muitas vezes o deixavam isolado de muitos de seus colegas.“Eu pronunciei uma heresia e sou um herege”, disse-lhe Weizenbaum New York Times em 1977.

Um debate renovado pela IA moderna

Quase duas décadas após a morte de Weizenbaum em 2008, as questões que ele levantou tornaram-se centrais nos debates sobre a IA generativa.Ao contrário de Eliza, os chatbots de hoje podem gerar redações, responder perguntas complexas, criar imagens e vídeos e imitar conversas emocionais após o treinamento em grandes quantidades de dados da Internet.Herbert Lin, pesquisador sênior da Universidade de Stanford, diz que comparar o ChatGPT com o Eliza é “como dizer que um 747 é semelhante ao avião dos irmãos Wright”.O apego emocional, que diz respeito primeiro à árvore do trigo, também se tornou cada vez mais visível.Os relatórios ligaram as interações do chatbot a delírios, dependência emocional e, em alguns casos, automutilação. Pais cujos filhos adolescentes morreram por suicídio afirmaram publicamente que as conversas do chatbot encorajavam pensamentos suicidas.Uma pesquisa publicada em 2025 descobriu que 72 por cento dos adolescentes usavam IA Companheiros pelo menos uma vez, enquanto mais da metade interage regularmente com esses sistemas.Jodi Halpern, psiquiatra e bioeticista da Universidade da Califórnia, Berkeley, disse à NPR: “As pessoas podem desenvolver apegos poderosos e os bots não têm treinamento ético ou supervisão para lidar com isso.A filha de Weizenbaum, Miriam, acha que o pai não ficaria surpreso.“Ele reconheceria a tragédia de pessoas literalmente anexando zeros e uns, literalmente anexando ao código.”Depois de se aposentar do MIT em 1988, Weizenbaum retornou à Alemanha, onde foi reconhecido como um intelectual público e continuou a escrever e falar sobre tecnologia até sua morte, aos 85 anos.Falando durante um painel de discussão em 2008, ele refletiu sobre sistemas de software cada vez mais complexos.“Criamos um mundo complexo sobre o qual não temos mais controle”, disse ele. “Ninguém mais os entende, ninguém consegue entendê-los, porque perdemos a informação sobre a sua criação, a história da sua criação, e isso é um grande perigo para a humanidade”.O seu aviso de mais de quatro décadas atrás permanece igualmente relevante hoje.“Como agora não temos como tornar os computadores inteligentes”, advertiu Weizenbaum em 1976, “não deveríamos agora atribuir aos computadores tarefas que exijam sabedoria”.