Waarom lokale AI vooral een hardwarehobby is

Ivo geeft zijn agent geheugen. Tristan laat Kimi K3 draaien op anderhalve terabyte RAM. Lokale AI blijkt vooral een hardwarehobby.

Een AI-agent die je mail beantwoordt, taken onthoudt en zichzelf verbetert klinkt al snel als sciencefiction. Ivo Toby bouwt hem gewoon zelf. Met Talon geeft hij modellen gereedschap en grenzen; Postgram maakt zijn notities, vergaderingen en taken doorzoekbaar voor elke agent. Tristan Suerink kijkt naar de andere kant: het ijzer dat al dat denkwerk mogelijk maakt. Hij draaide Kimi K3 op een IBM Power11-machine met twee terabyte werkgeheugen en nam een halve AI-winkel mee naar de studio. Van tweedehands AMD-kaarten en een DGX Spark tot een 800-gigabitnetwerkkaart, alles komt op tafel. We bespreken wanneer lokale modellen goed genoeg zijn, waarom goedkope modellen betere opdrachten nodig hebben, hoe je een AI-server voor vijftig collega's bouwt en waarom datacenters straks zelfs hun restwarmte en algenproblemen moeten temmen.

Over Ivo Toby

Ivo Toby is Senior (AI) Software Engineer bij Contentful. Hij bouwt opensourcehulpmiddelen voor AI-agents, waaronder Talon en meerdere MCP-servers, en schreef bij Contentful over vectordatabases. In deze aflevering laat hij zien hoe hij lokale modellen, modelroutering en een centraal agentgeheugen inzet.

- LinkedIn: https://www.linkedin.com/in/ivotoby/

- Website: https://github.com/ivo-toby

Over Tristan Suerink

Tristan Suerink is IT-architect en netwerkarchitect bij Nikhef. Hij bouwt en test reken-, opslag- en netwerkinfrastructuur voor deeltjesfysica, waaronder snelle dataverbindingen voor CERN-onderzoek. In deze aflevering legt hij uit hoeveel hardware lokale AI echt vraagt en waarom tweefasekoeling onvermijdelijk wordt.

- LinkedIn: niet gevonden

- Website: https://www.nikhef.nl/focusblokken/nikhef-it-architect-tristan-suerink-legt-zijn-werk-uit/

In deze aflevering

0:00:00 Intro: agentgeheugen, VRAM en een tafel vol hardware