Waarom deze combinatie werkt
Voor een nieuwe applicatie wilde ik experimenteren met AI-functionaliteit zonder direct afhankelijk te zijn van een externe cloudservice. Daarbij kwam ik uit op Ollama als lokale runtime en Hermes als model om mee te werken.
Wat mij aanspreekt, is de eenvoud. Met Ollama heb je snel een lokale API draaien en kun je modellen beheren zonder ingewikkelde setup. Hermes voelt daarbij als een model dat goed bruikbaar is voor praktische taken zoals samenvatten, tekstgeneratie en het ondersteunen van flows in een applicatie.
Van experiment naar productfeature
De grootste winst zit voor mij in de snelheid van itereren. Ik kan lokaal prompts testen, gedrag vergelijken en direct zien hoe een feature zich gedraagt in de context van de applicatie. Daardoor wordt AI geen los experiment, maar gewoon een onderdeel van de ontwikkelworkflow.
In de praktijk denk ik dan niet alleen aan een chatvenster. Je kunt deze combinatie ook inzetten voor:
- het genereren van eerste conceptteksten;
- het samenvatten van invoer van gebruikers;
- het ondersteunen van interne workflows;
- het sneller verwerken van ongestructureerde data.
Wat ik belangrijk vind in de architectuur
Als ik hiermee bouw, houd ik de AI-laag graag klein en overzichtelijk. De applicatie praat met een eigen service, en die service roept Ollama aan. Zo blijft de rest van de codebase netjes gescheiden van model-specifieke keuzes.
Dat maakt het ook makkelijker om later te wisselen van model, prompts aan te scherpen of bepaalde functionaliteit uit te zetten. De AI-integratie moet ondersteunend zijn, niet allesbepalend.
Mijn ervaring tot nu toe
Ik merk dat Ollama en Hermes vooral sterk zijn wanneer je snel wilt leren, lokaal wilt ontwikkelen en controle wilt houden over je setup. Voor mij is dat precies de reden om ermee te bouwen: minder frictie, meer experimentruimte en sneller van idee naar werkende functionaliteit.