llms.txt: het nieuwe robots.txt — wat het is en of je het nodig hebt

llms.txt is een plattetekstbestand in de root van je domein (jouwsite.nl/llms.txt) dat in gewone taal — met markdown-koppen en links — samenvat wat je site is, welke pagina's ertoe doen en waar welke informatie staat. Waar robots.txt een bot vertelt wat hij mag ophalen, vertelt llms.txt een taalmodel waar hij moet kijken. Het is geen wet, geen W3C-standaard en geen garantie op een citaat — wel een goedkope manier om een model het uitpluizen van je hele site te besparen.

Heb je het nodig? Op een kleine, overzichtelijke site met een paar pagina's en goede schema.org-markup levert het weinig op — de structuur is al duidelijk. Zodra je site uitdijt tot tientallen pagina's, meerdere producten of showcases (zoals hier), wordt llms.txt de kortste route naar een model dat in één oogopslag snapt wat je aanbiedt, in plaats van dat het zelf tien pagina's moet doorkruisen om daarachter te komen.

Waar komt llms.txt vandaan?

Het voorstel is afkomstig van Answer.AI (Jeremy Howard) en werd in 2024 geopperd als reactie op een concreet probleem: taalmodellen krijgen een beperkt contextvenster, en een volledige website — met navigatie, footers, cookiebanners en opmaak — is voor een model een dure en ruizige manier om aan de kern te komen. Het idee: geef er een schone, door mensen én machines leesbare index bovenop, in hetzelfde platte-tekstformat waar een model toch al goed in is.

Het leent zijn naam en plek bewust van robots.txt — al 30 jaar de plek waar bots als eerste kijken — maar het doel is anders. robots.txt is een toestemmingsbestand: crawl dit wel, dat niet. llms.txt is een navigatiebestand: dit is waar de content staat die ertoe doet. Ze werken complementair, niet als vervanging van elkaar.

Hoe ziet een llms.txt eruit?

De voorgestelde opbouw is simpel markdown: een H1 met de sitenaam, een korte blockquote-samenvatting van wat de organisatie doet, en daaronder H2-secties met gelinkte paginanamen en een kort zinnetje uitleg per link. Sommige sites voegen een uitgebreidere variant toe op /llms-full.txt, met de volledige markdown-inhoud van de belangrijkste pagina's erin geplakt — zodat een model niet eens hoeft door te klikken.

Geen JSON, geen schema, geen verplichte velden — dat is bewust. Het bestand moet net zo makkelijk met de hand te schrijven zijn als een robots.txt, en net zo makkelijk te onderhouden wanneer een pagina verdwijnt of van naam verandert.

Werkt het ook echt?

Eerlijk antwoord: het is nog geen officiële standaard, en niet elke AI-crawler haalt het bestand op of gebruikt het actief bij het beantwoorden van vragen. Het is geen vervanging voor de dingen die al langer bewezen werken — indexeerbare pagina's, heldere koppenstructuur, schema.org-markup en een robots.txt die AI-crawlers toegang geeft. Zie het als een extra, goedkope laag bovenop die basis, niet als het fundament zelf.

Waarom dan toch de moeite? Omdat de kosten verwaarloosbaar zijn — één statisch bestand, een paar regels markdown — terwijl de kans dat het ergens een model helpt alleen maar toeneemt naarmate meer AI-systemen het actief gaan raadplegen. Wij houden het bestand op neuralex.nl daarom actueel naast onze robots.txt, schema.org-markup en agent-cards; hoe die andere drie technische lagen samen in elkaar zitten, staat uitgewerkt in ons stuk over wat GEO wél is.

Zelf een llms.txt maken: de korte versie

Begin met de vraag die een model zichzelf stelt als het je domein tegenkomt: wat doet deze organisatie, en welke pagina beantwoordt welke vraag? Vertaal dat naar een H1 met je organisatienaam, één blockquote van twee zinnen die samenvat wat je doet, en per onderdeel van je site een H2 met een lijstje links — elk met een half zinnetje uitleg in plaats van kale URL's. Laat oude of dunne pagina's weg; het bestand moet een samenvatting zijn, geen sitemap.

Onderhoud het zoals je een sitemap onderhoudt: bij elke nieuwe pagina die het vermelden waard is, een regel erbij; bij een verwijderde of hernoemde pagina, de link eruit. Een verouderde llms.txt die naar dode links wijst, is erger dan geen llms.txt — het ondermijnt precies het vertrouwen dat je ermee wilde opbouwen.

Conclusie

llms.txt is geen wondermiddel en geen ranking-factor — het is een klein, goedkoop navigatiebestand dat een taalmodel scheelt om je hele site te moeten doorzoeken. Voor een site van enige omvang is het een kwartier werk met weinig nadeel en een reële kans op voordeel. Hoe dat past in de bredere aanpak — van crawler-toegang tot citeerbare alinea's — lees je in ons pilaarartikel over GEO.