Pular para o conteúdo

ARTIGO · ARQUITETURA

LLM dentro de casa ou em nuvem — o que decide a escolha

A escolha não é binária e não se decide por preferência técnica. Existem quatro arranjos possíveis, e três perguntas independentes que apontam para um deles. Este texto separa as três perguntas e mostra o que cada arranjo transfere de responsabilidade para a empresa.

Por Carlos Eduardo de Souza Soares · CTO da Avia Hub

Publicado em . Revisamos este texto quando a fonte citada muda.

Não são dois arranjos, são quatro

A pergunta chega como escolha entre dois extremos: usar a API de um fornecedor, ou montar servidor próprio. Entre os dois há dois arranjos intermediários que resolvem a maior parte dos casos reais — e a discussão binária os esconde.

ArranjoOnde o dado é processadoQuem controla a versão do modelo
API pública do fornecedorInfraestrutura do fornecedor, na região que ele ofereceO fornecedor. Atualiza e deprecia no calendário dele
API com residência regional contratadaRegião escolhida entre as que o fornecedor documentaO fornecedor, com prazos de depreciação contratuais
Modelo aberto em nuvem dedicadaInstância com placa de vídeo, na conta de nuvem da empresaA empresa. O modelo só muda quando ela trocar
Modelo aberto em servidor próprioDentro do perímetro físico da empresaA empresa, integralmente

Os dois arranjos do meio são os mais escolhidos e os menos discutidos. O terceiro — modelo aberto rodando em instância dedicada de nuvem — dá autonomia sobre versão sem exigir sala, energia nem compra de equipamento. É, na maioria dos diagnósticos que fazemos, o ponto de equilíbrio.

As três perguntas que decidem

A escolha erra quando se tenta resolvê-la com uma pergunta só. São três, e são independentes: uma pode apontar para um arranjo e outra para outro. Quando isso acontece, é sinal de que a empresa precisa segmentar o uso, não escolher um arranjo único.

1. O dado pode sair do perímetro? Não é uma pergunta de preferência, é de enquadramento. Dado pessoal processado fora do país é transferência internacional, com regra própria na LGPD e regulamentação da ANPD que traz cláusulas contratuais-padrão a serem adotadas sem modificação. Nenhum dos grandes fornecedores documenta residência de dados no Brasil — conferimos as páginas oficiais de residência dos quatro principais. Se a resposta for “não pode sair”, os dois primeiros arranjos caem.

2. A empresa aceita que a versão do modelo mude sem o aval dela? Fornecedor de API atualiza e deprecia modelo no calendário dele. Se há um fluxo interno calibrado sobre o comportamento de uma versão — extração de campo, classificação com limiar ajustado, resposta em formato fixo —, a atualização é um evento de risco que a empresa não agenda. Se a resposta for “não aceita”, o modelo precisa ser aberto e a versão precisa ficar congelada na mão da empresa.

3. A empresa tem — ou quer construir — equipe para operar isso? Modelo próprio não é instalação, é serviço em produção: atualização, monitoramento, plantão, capacidade. Se a resposta for “não tem e não quer”, servidor próprio é uma dívida operacional que vai vencer.

O que cada arranjo transfere de responsabilidade

Aqui está o que a comparação técnica costuma omitir. A escolha não move só onde o dado fica: move de quem é a responsabilidade quando algo dá errado.

SituaçãoAPI do fornecedorModelo próprio
O serviço fica fora do arResponsabilidade do fornecedor, com o nível de serviço contratado. A empresa esperaResponsabilidade da empresa. Alguém precisa estar de plantão
A qualidade da resposta caiPode ser mudança de versão do fornecedor. Diagnóstico limitado ao que ele expõeA empresa tem o modelo, os registros e o histórico. Diagnóstico completo
Chega uma auditoriaÉ preciso apresentar o contrato, a política do fornecedor e o enquadramento da transferência internacionalÉ preciso apresentar o próprio controle: acesso, registro, retenção. O perímetro é da empresa
A demanda dobraEscala sozinho, dentro do limite de uso contratadoExige capacidade planejada. Não escala por si
O fornecedor muda a políticaA empresa se adapta ou migraNão se aplica ao modelo já em operação

Repare que a coluna da direita não é melhor: é diferente. Ela troca dependência de terceiro por trabalho próprio. Empresa que não quer o trabalho próprio e escolhe a coluna da direita por receio de dependência acaba com o pior dos dois — dependência de um servidor que ninguém opera bem.

O erro mais comum: escolher um arranjo para tudo

Uma empresa raramente tem um só tipo de dado. Tem o contrato com cláusula de sigilo, o e-mail comercial, o material de treinamento interno e a base de clientes — e cada um deles tem exigência diferente.

Tratar todos com o arranjo mais restritivo trava o uso e faz a ferramenta ser abandonada. Tratar todos com o mais permissivo cria exposição onde não podia haver. A saída não é escolher entre os dois: é classificar o dado antes e permitir arranjos diferentes por classe.

Na prática isso costuma virar dois caminhos coexistindo: uma ferramenta de mercado, contratada em plano empresarial, para o uso amplo de produtividade; e um arranjo fechado, com modelo aberto sob controle da empresa, para o subconjunto de dado que não pode sair. É mais trabalho de governança e menos trabalho de infraestrutura — e é a configuração que se sustenta.

Essa classificação é decisão de negócio com apoio do jurídico, não de tecnologia. A área técnica implementa o que a classificação determinar; ela não deveria estar decidindo sozinha o que é sigiloso.

O que o modelo aberto não resolve sozinho

Três avisos, para que a escolha por modelo aberto seja feita com o escopo real na mesa.

Peso aberto não é licença livre. As licenças das famílias abertas mais usadas trazem condições — restrições de uso, exigências de atribuição, limites por porte do licenciado. Cada uma é diferente e cada uma precisa ser lida antes da decisão, não depois da implantação.

Rodar o modelo é a parte menor. O que faz a ferramenta responder sobre a empresa é a camada de recuperação de informação: indexar o que existe, respeitar a permissão de quem pergunta, montar o contexto certo e medir se a resposta está correta. Essa camada existe igual nos quatro arranjos, e é onde está a maior parte do esforço.

Perímetro fechado não dispensa registro. Modelo dentro de casa não elimina a obrigação de saber quem acessou o quê. Se qualquer pessoa da empresa pode perguntar qualquer coisa à base interna sem controle de permissão, o problema de exposição continua — mudou só de endereço.

Uma sequência de decisão que funciona

A ordem importa. Invertê-la é o que produz projeto de infraestrutura que ninguém usa.

  1. Escolher o processo, não a tecnologia. Um processo com volume, com regra estável e com resultado verificável.
  2. Classificar o dado que esse processo usa. Sai do país? Sai da empresa? Tem base legal registrada?
  3. Rodar a prova com o arranjo mais simples que a classificação permitir. Se o dado do piloto permite API, use API. O objetivo da prova é descobrir se o processo se resolve, não validar arquitetura.
  4. Medir com critério definido antes. Sem métrica combinada previamente, a avaliação vira opinião de quem testou.
  5. Só então dimensionar. Com o processo funcionando e o volume conhecido, o dimensionamento de infraestrutura deixa de ser chute.

Empresas que começam pelo passo cinco compram capacidade antes de saber para quê, e frequentemente descobrem que o processo escolhido não se sustentava — mas o equipamento já está lá.

Perguntas frequentes

Rodar dentro de casa é mais seguro?

É mais controlado, que não é a mesma coisa. O dado deixa de sair do perímetro, e isso resolve uma classe de risco. Em troca, toda a responsabilidade de segurança passa a ser da empresa: atualização, acesso, registro, isolamento de rede. Um servidor interno mal administrado é menos seguro que uma API de fornecedor com certificação e equipe dedicada.

Se nenhum fornecedor documenta residência no Brasil, é obrigatório rodar dentro de casa?

Não. Significa que o uso configura transferência internacional de dados, que tem regra própria na LGPD e regulamentação da ANPD. É um enquadramento a cumprir e registrar, não uma proibição. Rodar dentro de casa é uma das formas de não ter esse enquadramento; não é a única resposta possível.

Dá para começar em nuvem e migrar depois para servidor próprio?

Dá, e é o caminho que recomendamos com mais frequência — desde que a camada de recuperação e a integração sejam construídas sem depender de recurso exclusivo de um fornecedor. Se o fluxo é escrito contra uma interface padrão, a troca do que está por trás é uma decisão de infraestrutura, não uma reescrita.

Qual arranjo é mais barato?

A pergunta não se responde em abstrato, porque os arranjos deslocam esforço de lugar em vez de eliminá-lo: o que se economiza em serviço de terceiro reaparece como trabalho de operação, e vice-versa. O que se pode afirmar é que o arranjo mais caro é sempre o que foi escolhido antes de saber qual processo seria atendido.

E se a empresa não tiver equipe de infraestrutura?

Então servidor próprio não deveria estar na mesa como primeira opção. O arranjo de modelo aberto em instância dedicada de nuvem dá autonomia sobre versão e sobre modelo sem exigir plantão de hardware, e é a resposta usual para esse caso.

Continue por aqui

Servidor para rodar IA

A conta de memória que decide o dimensionamento.

Ver a página

ChatGPT, Copilot, Claude e Gemini

O que a documentação oficial de cada um compromete.

Ver a página

IA privada para empresas

Como estruturamos o arranjo quando o dado não pode sair.

Ver a página

A classificação do dado vem antes da arquitetura

Trinta minutos para separar que dado pode sair e que dado não pode. É essa separação que aponta o arranjo — não o contrário.

Respondemos em até 1 hora útil. Confirmação no mesmo dia útil.

Falar pelo WhatsApp