Existe uma fada no canto inferior direito desta página
Neste momento, uma pequena fada está flutuando no canto inferior direito deste artigo. O nome dela é Pixie. Fale com ela e ela responde.
(Pode testar. Normalmente ela responde em dois ou três segundos.)
Essa fada não usa nenhum serviço de IA externo. O que você digita não é enviado para lugar nenhum. Uma única máquina que nós administramos recebe o texto, pensa e responde ali mesmo.
Ou seja, a conta de luz dessa fada é paga por nós.
Por que alguém teria esse trabalho todo? É disso que este artigo trata.
Começou com “e aí, ela é boa mesmo?”
Rodar uma IA dentro de um servidor administrado pela própria empresa. Isso se chama private LLM, e a gente já sabia há um tempo que essa opção existia.
O que não dava para saber era a capacidade real. Você pode ler todos os artigos de introdução do mundo e ainda assim não conseguir julgar se aquilo aguenta trabalho de verdade. Isso só se resolve rodando.
O que nos empurrou foi o dinheiro.
Hoje, todo sistema que construímos vem acompanhado da pergunta “dá para colocar IA nisso também?”. Ficamos felizes em ouvir isso. O detalhe é que APIs de IA cobram por uso. Em projetos de cliente, esse custo fica com o cliente, então a conta é simples. Nos nossos próprios produtos, a história muda. Você constrói uma vez, mas o dinheiro continua saindo enquanto aquilo estiver rodando.
Com as assinaturas de IA para desenvolvimento é a mesma coisa. Uma licença não é nada. Multiplique pelo tamanho do time e o número deixa de ter graça.
Ficamos presos, então, em um laço. Não dá para saber se serve sem testar — mas testar, por si só, custa dinheiro.
Nesse ponto, colocar uma na nossa própria mesa começou a parecer a decisão sensata.
Resposta curta: ela faz quase tudo
Foi a maior surpresa.
Quase tudo o que um serviço de IA externo faz, um private LLM também faz.
Quando as pessoas ouvem “self-hosted”, costumam imaginar uma versão capada. Pelo menos até agora, não foi essa a nossa experiência.
- Escrever, resumir e ajustar o texto
- Traduzir
- Extrair a única coisa que interessa de uma conversa longa
- Ler fotos e capturas de tela
- Receber um PDF, Word ou Excel do jeito que está e responder sobre o conteúdo
- Responder a partir dos documentos internos da empresa, e não de conhecimento genérico
- Ser embutida como funcionalidade nos nossos próprios aplicativos e serviços
A gente imaginava algo mais próximo de “uma busca um pouco mais esperta, só com texto”. Na primeira vez em que entregamos uma imagem e ela simplesmente leu, ficamos meio sem graça.
Claro, comparando de frente com os melhores modelos do mundo, existe uma diferença. Para qualquer coisa que envolva projetar algo complexo do zero, continuamos apoiados nos bons serviços externos. Mas a maior parte do que queremos delegar no dia a dia já está coberta pela IA que roda na nossa própria máquina. Essa foi a impressão honesta.
Dito isso, não foi um caso de ligar na tomada e funcionar bem.
Qual modelo usar, como configurar, como alimentar os documentos internos — tudo isso teve de ser lapidado item por item, e deixar o ambiente redondo também deu trabalho. Embora o processo em si tenha sido divertido. Estudar o equipamento, ajustar, descer na masmorra e testar. Parecia um jogo hack and slash.
Escrever tudo isso deixaria o texto longo demais, então a parte de construção vai virar outro artigo.
O que mudou não foi a qualidade, foi a frequência com que testamos
Mais do que a capacidade bruta, o que pesou foi experimentar ter ficado livre.
Parece óbvio, mas: por mais que se use, a conta não cresce.
Antes, dez tentativas significavam pagar por dez tentativas. Então sempre havia aquele instante em que você se perguntava “vale a pena tentar isso?”. Esse instante aparecia toda vez.
Agora não aparece mais.
O efeito mais claro foi nos nossos próprios produtos. Quando alguém pensa “seria interessante deixar a IA cuidar desta parte”, dá para simplesmente testar. Antes, a ideia esbarrava imediatamente na conversa sobre custo, e normalmente morria ali mesmo.
A conta de luz, aliás, veio bem abaixo do que tínhamos nos preparado para pagar. Uma surpresa agradável.
O que ela está fazendo hoje
Alguns exemplos do que está rodando.
Guia do site A fada lá do começo do artigo. Ela responde “quais serviços vocês têm?” e “que empresa é essa?”. Ninguém precisa ficar de plantão, e ela não reclama de ser consultada às duas da manhã.
Transformar conversa em tarefa Conectamos o private LLM ao aplicativo de chat que construímos para nós mesmos, e ele pesca o que precisa ser feito no meio da conversa. Aquilo que antes sumia depois de um “então tá decidido” agora fica registrado de verdade.
Encurtar a distância entre idiomas Japonês, inglês e malaio circulam pelo time, então tradução acontece todo dia. E em volume — exatamente o tipo de trabalho que vai se acumulando em silêncio quando jogado numa API externa.
Além disso, entregamos também tarefas menores por inteiro: chatbots simples, uma triagem inicial do tipo “dá para publicar isso?”.
Colocando tudo lado a lado, há dois pontos em comum.
O primeiro é que nenhuma delas funciona sem entregar informação interna de verdade. Nome de cliente, valores, coisas que ainda não são públicas. Nem um caractere disso pode ir para um serviço de fora.
O segundo é que nenhuma delas exige nível de inteligência 100. O que pesou foi a diferença entre zero e um. Nenhuma tradução, contra uma tradução que se lê bem o bastante. Ninguém conferindo, contra uma primeira conferência existindo. Essa diferença é a grande, e tudo o que vem depois — “mas mais inteligente” — é, honestamente, bônus.
Acabou existindo muito menos trabalho que só a melhor IA do mundo dá conta. Depois que isso ficou claro, a variedade de coisas que passamos a delegar cresceu rápido.
(O aplicativo de chat em si também é nosso, mas isso é assunto para outro artigo.)
E também é ótimo para privacidade
O obstáculo real para colocar IA no trabalho não é a tecnologia. É decidir o que se pode dar de entrada. Nome de cliente, valores de proposta, desenhos que ainda não saíram, conversas de RH. Boa parte do trabalho em que mais queremos ajuda envolve justamente informação que não pode sair de casa.
Muitas empresas respondem proibindo IA no trabalho. Só que isso só interrompe o uso dentro da empresa.
Quem está com prazo apertado pega o próprio celular e resolve por ali. Não há má intenção nisso. Já vivemos em uma época em que a IA faz parte do jeito de trabalhar. E a empresa fica sem qualquer maneira de saber o que saiu.
É a mesma coisa que a proibição de fumar. Proibir não faz aquilo desaparecer. Faz aquilo ficar invisível.
Um private LLM é, na nossa visão, uma resposta concreta para isso — e quanto mais pesada a informação que a empresa manuseia, maior o benefício. Uma companhia de capital aberto precisa conseguir explicar depois quem colocou o quê. Um escritório de advocacia ou contabilidade tem sigilo profissional. Um órgão público precisa definir onde os dados dos cidadãos podem ficar. Na saúde, onde um erro pesa de verdade, o primeiro passo simplesmente nunca é dado. Nenhum desses casos está travado em como usar IA. Estão travados em onde colocá-la.
Ainda assim, não trouxemos tudo para dentro
Para deixar claro: não paramos de usar IA externa.
Para o trabalho de desenvolvimento, continuamos pagando IA externa. Para os problemas difíceis, perguntar ao modelo mais forte é simplesmente mais rápido. Usamos os dois.
Então não se trata de discutir qual dos dois está certo.
O trabalho que pode sair, sai. O que não pode, fica aqui.
O que importa é quem traça essa linha. Se é você quem traça, dá para movê-la quando quiser.
Também estamos, discretamente, ajustando um agente de programação que roda sobre o private LLM, com o objetivo de um dia desenvolver inteiramente na nossa própria máquina.
”A gente não manda para fora” não é algo que boa vontade sustente
Uma palavra sobre o mecanismo. De vez em quando aparece a explicação “nossa política é não transmitir para fora”. Boa intenção nunca sustentou essa linha. Precisa ser impossível, não desencorajado.
O que fazemos é bem simples: existe um único posto de controle entre o usuário e a IA. Tudo o que passa e o que não passa é decidido ali. O ponto importante é que esse posto fica do nosso lado — e é também por isso que as regras podem ser mudadas depois.
Em linhas gerais, foi isso que definimos:
- Saída bloqueada por padrão. O que for liberado é nomeado explicitamente
- Quem perguntou o quê fica registrado — não para pegar ninguém, mas para conseguirmos responder se perguntarem
- Cada uso tem um escopo definido, e a IA não sai dele
- Se não está nos documentos, a resposta é “isso não consta aqui”
Esse último é discretamente excelente. Dá para configurar para que ela não finja saber. É a resposta mais prática que encontramos para a preocupação que todo mundo levanta: “e se ela inventar com toda a confiança?”
Feita a lista, sendo honesto: nenhuma arquitetura reduz o risco a zero. Em vez de prometer garantia perfeita, é mais realista decidir de antemão o que sai e até onde.
Para encerrar
Talvez você esteja pensando que tudo isso é grande demais para a sua empresa. Começamos com uma máquina só. Acrescentamos um nobreak para que ela não caísse em uma falta de energia, mas é mais ou menos isso.
Por último, fale com a fada no canto inferior direito.
O ponto dessa fada é que conseguimos deixá-la aberta para qualquer pessoa, de graça. Se ela rodasse numa API cobrada por requisição, cada conversa engordaria uma conta, e não daria para ser tão generoso. Ela vive de energia elétrica, então dá para deixar a porta aberta.
Nos poucos segundos que ela leva para responder, nada do que você escreveu sai do nosso prédio. É só isso mesmo.
Só que já vimos empresas demais deixarem de começar com IA unicamente porque essa única questão nunca foi resolvida. Parece desperdício.
Se este artigo deixou você curioso sobre como ficaria na sua própria empresa, a página de infraestrutura de private LLM também pode ajudar. E fale com a gente quando quiser — vai ser um prazer conversar.