Um prato pronto não te conta nada sobre a cozinha de onde ele saiu.
Você senta, o prato chega, com uma cara ótima. O gosto melhor ainda. Você não tem como saber que o molho foi requentado de terça, que alguém derrubou a carne no chão e empratou mesmo assim, ou que o cozinheiro pulou a parte de lavar as mãos depois de ir no banheiro. O cliente só conhece o prato. O prato é o resultado projetado pra ser consumido. Tudo que te faria desistir de comer já aconteceu atrás de uma porta onde você não pode entrar.
Com software é a mesma coisa. Você vê o app, a tela de login com um belo cadeadinho e crê (ou espera) que ele seja seguro e confiável. Você não vê o código que alguém aprovou sem ler às 18h de uma sexta, nem o “a gente arruma depois” que nunca virou uma tarefa, nem a decisão que alguém tomou de publicar agora e pensar nas consequências depois. Você conhece o prato. Você nunca conhece a cozinha. Pelo menos não como um mero usuário.
Quem está dentro da cozinha sabe quais ingredientes não estavam frescos e quais passos foram pulados, muito antes do prato chegar na mesa. E muitas vezes sabe quais problemas vão surgir muito antes deles acontecerem. Particularmente, essa é uma das minhas maiores frustrações como engenheiro (ou cozinheiro nessa analogia). Saber que algo vai gerar problemas, comunicar isso para a gerência e ser ignorado, pois não é prioridade arrumar algo que só quem está do lado de dentro sabe.
Eu já trabalhei em times com diferentes tamanhos e níveis de qualidade. Em todos eles as pessoas se gabam de como os sistemas são seguros e inteligentes, e eu, conhecendo o código e os processos internos, nem sempre compartilho da visão. Alguns desses lugares se importam de verdade. Outros nem tanto. Mas a confiança no slide de vendas é idêntica nos dois casos.
Um bom exemplo disso é a Meta. Parte das FAANG, a empresa dos sonhos de muita gente, o lugar onde você devora LeetCode por anos pra conseguir uma vaga. A cozinha que todo mundo assume ser impecável porque exige os mais altos padrões de engenharia.
Alguns dias atrás, hackers assumiram o controle de contas do Instagram de pessoas proeminentes nos EUA conversando com o próprio chatbot de suporte da Meta. Sem malware, sem senha roubada, sem brute force. Simplesmente pedindo. Eles pediram pro bot adicionar um novo email à conta da vítima, o bot emitiu um código de verificação, eles devolveram o código, e o bot proativamente perguntou se o hacker não queria também alterar a senha e entregou um botão de reset. O mais revoltante desse hack é que em nenhum momento alguém precisou obter acesso ao email da vítima. Foi necessário apenas pedir educadamente.
A Meta diz que já corrigiu o problema. Mas eu me pergunto quantas contas foram afetadas por essa falha e há quanto tempo isso estava acontecendo. Digo mais, será que ninguém questionou internamente a decisão de dar acesso aos sistemas de autenticação para um agente de IA? Todo mundo na indústria de TI já tá ciente dos perigos de prompt injection. Eu literalmente falei sobre isso ontem. Será que ninguém pensou que isso podia acontecer?
Não estou dizendo que todo mundo mente. Nem que todo erro é imperdoável (eu seria o primeiro a estar na rua). Nem que não existe gente fazendo a coisa certa por aí, existe, e muita. Estou dizendo que, de fora, você não tem como distinguir uma cozinha boa de uma ruim. O prato é construído pra inspirar confiança, e confiança é justamente a coisa que o prato não consegue provar.
No final das contas, o prato é apenas uma peça de marketing. A cozinha é onde mora a verdade, e você só vê a cozinha se trabalhar nela.