AI21 Labs lança Jamba Reasoning 3B e promete cortar custos da IA local

AI21 Labs apresentou o Jamba Reasoning 3B, novo modelo de linguagem de código aberto concebido para executar tarefas de inteligência artificial diretamente em dispositivos dos utilizadores. A empresa aposta numa mudança de paradigma que poderá reduzir de forma significativa a dependência dos centros de dados e os custos associados ao processamento de IA.

Arquitetura híbrida e janela de contexto alargada

Com apenas três mil milhões de parâmetros, o Jamba Reasoning 3B integra a arquitetura Transformer com a tecnologia Mamba, baseada em modelos state space. Segundo a empresa, esta combinação garante ganhos de eficiência entre duas e cinco vezes superiores aos de outros modelos leves, como Qwen 3.4B, Gemma 3.4B, Llama 3.2 3B, Granite 4.0 Micro e Phi-4 Mini.

O modelo opera inicialmente com uma janela de contexto de 256 000 tokens, podendo atingir até um milhão graças à técnica rope scaling, que expande o mecanismo de atenção sem exigir recursos adicionais de computação.

Foco em dispositivos e agentes autónomos

Liberado sob licença Apache 2.0, o Jamba Reasoning 3B foi projetado para ser personalizado com métodos de geração aumentada por recuperação (RAG), adicionando conhecimento contextual conforme a necessidade de cada empresa. A AI21 Labs refere estudos que indicam que entre 40 % e 70 % das tarefas de IA corporativa podem ser resolvidas por modelos de menor porte, permitindo poupanças entre dez e trinta vezes.

Em fluxos de trabalho agentic, o SLM pode atuar como controlador local, acionando modelos maiores na nuvem apenas quando requerido. Essa abordagem promete latência inferior, autonomia offline e maior privacidade de dados, além de libertar centros de dados para problemas realmente complexos.

AI21 Labs lança Jamba Reasoning 3B e promete cortar custos da IA local - Imagem do artigo original

Impacto económico e casos de uso

Para o co-CEO Ori Goshen, a indústria enfrenta hoje um desfasamento económico: “Os investimentos em data centers cresceram mais do que as receitas geradas”. Segundo o executivo, distribuir a computação entre dispositivos e nuvem alivia o problema. Contact centers são citados como exemplo prático: um agente virtual pode decidir se resolve a solicitação localmente, se encaminha a tarefa a um modelo mais potente ou se envolve um operador humano.

Especialistas como Brad Shimmin observam que os conceitos de state space existem há décadas, mas apenas recentemente a tecnologia permitiu sua aplicação em larga escala. A AI21 Labs defende que o avanço marca o início de uma “era descentralizada da IA”, comparável à transição dos mainframes para os computadores pessoais nos anos 80, oferecendo desempenho competitivo com custos muito inferiores.

Eu sou apaixonado por escrever e pesquisar assuntos fascinantes. Com uma mente curiosa e inquieta, busco constantemente explorar novas ideias e descobrir insights inspiradores.