Tudo que você precisa saber sobre GPU, LLMs e IA

<p>GPU, LLMs e infraestrutura de IA: esses três termos estão na boca de todo mundo, mas poucos conseguem explicar o que de fato acontece por baixo do capô quando você roda um modelo de linguagem ou monta um pipeline de inteligência artificial. Se você já tentou rodar um LLM localmente e se perguntou por que sua máquina não aguenta, ou ficou com o olho arregalado na fatura do cloud depois de escalar um agente, este episódio foi feito exatamente para você. O Wellington Cruz traz uma conversa que vai do zero ao avançado, desmistificando de vez por que a GPU virou o coração da IA moderna, como funciona o processamento paralelo de redes neurais e o que separa uma implementação mediana de uma absurdamente eficiente.O convidado desta vez é Jomar Silva, Developer Relations Manager da NVIDIA para a América Latina e um dos profissionais mais afiados do Brasil quando o assunto é computação acelerada. Ao longo de quase duas horas, Jomar explica desde os fundamentos de redes neurais e multiplicação de matrizes até temas como transformers embarcados em hardware, a arquitetura Grace Blackwell, o framework NIM para inferência de LLMs, fine tuning de SLMs, a tecnologia DeepStream para visão computacional e o DGX Spark como workstation definitiva para desenvolvimento de IA. O papo também passa por casos reais de empresas brasileiras que estão usando clusters de GPU para revolucionar finanças e saúde, além de dicas práticas de como acessar modelos no build.nvidia.com para testar, experimentar e prototipar sem gastar nada. Um dos momentos mais reveladores é quando Jomar mostra como trocar um simples import em Python pode acelerar um algoritmo em 450 vezes, sem tocar em uma linha de lógica.Jomar Silva é engenheiro eletrônico, programador desde os 12 anos e uma das vozes mais respeitadas no ecossistema de desenvolvedores de IA na América Latina. Se você é desenvolvedor, arquiteto de soluções, gestor de tecnologia ou simplesmente um entusiasta que quer entender como o mundo da inteligência artificial funciona de verdade, este episódio vai mudar a forma como você enxerga infraestrutura de IA. ConvidadosJomar Silvahttps://www.linkedin.com/in/homembit/00:00:00 Teaser: O que você vai aprender sobre GPUs e LLMs hoje00:00:46 Apresentação: Jomar Silva, Dev Relations da NVIDIA para a América Latina00:05:23 Caso Real: Rodando LLMs em Casa e o Problema de Custo na Nuvem00:09:33 O Segredo da Performance: Software Otimizado + GPU (TensorRT, NIM e VLLM)00:22:36 Por Que a GPU Domina a IA? CPU