# llms.txt Generator NL — Volledige AI-Agent Documentatie

> Uitgebreide technische documentatie, API-referenties en architectuurbeschrijving van de llms.txt Generator NL — een open-source tool voor het valideren, genereren en simuleren van AI-agent ontdekkingsbestanden volgens de llmstxt.org specificatie.

## Core Applicatie Functionaliteit

- [Start Pagina](https://llmstxtgenerator.nl/): De hoofdpagina waar gebruikers direct een domeinnaam kunnen invoeren. De applicatie voert een real-time scan uit op het opgegeven domein, controleert de aanwezigheid van /llms.txt, /llms-full.txt en /robots.txt, en retourneert een gedetailleerd validatierapport met scores, aanbevelingen en AI-crawler toegangscontroles.
- [Live Editor & Generator](https://llmstxtgenerator.nl/editor): Een interactieve split-screen editor waar gebruikers zowel llms.txt als robots.txt bestanden kunnen schrijven, bewerken en direct valideren. De editor biedt syntax highlighting, een ingebouwde template generator voor Nederlandse websites, en live feedback met groen/rode keuringskaarten per specificatie-eis.
- [Specificatie & Uitleg](https://llmstxtgenerator.nl/guide): Een uitgebreide informatiepagina die de llmstxt.org standaard uitlegt, inclusief de vijf kerncontroles die de validator uitvoert: H1 hoofdtitel, blockquote samenvatting, H2 sectie-indeling, link-syntax met beschrijvingen, en absolute URL verificatie.

## API Endpoints & Technische Specificaties

- [POST /api/validate](https://llmstxtgenerator.nl/api/validate): Accepteert een JSON body met `{ "domain": "example.com" }`. Voert server-side HTTP requests uit naar het opgegeven domein om /llms.txt, /llms-full.txt en /robots.txt op te halen. Parseert de robots.txt voor 16 target AI-crawlers (GPTBot, ClaudeBot, Google-Extended, MistralAI, Applebot-Extended, CCBot, Bytespider, Amazonbot, Amzn-SearchBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, Meta-ExternalAgent, TikTokSpider, Cohere-ai). Retourneert een volledig ValidationReport object met score (0-100), grade (A+ tot F), checks, sections, stats en recommendations.
- [POST /api/validate-raw](https://llmstxtgenerator.nl/api/validate-raw): Accepteert `{ "content": "...", "domain": "...", "robotsTxt": "..." }`. Valideert de meegeleverde markdown content direct zonder externe HTTP calls. Ideaal voor de live editor functionaliteit.
- [GET /api/presets](https://llmstxtgenerator.nl/api/presets): Retourneert een JSON array van PresetDomain objecten met voorgeconfigureerde demo-domeinen (llmstxt.org, anthropic.com, ucpscanner.nl, bol.com).

## Architectuur & Technologie-stack

- [Frontend](https://llmstxtgenerator.nl/): React 19 met TypeScript, Vite 6 als build tool, Tailwind CSS 4 voor styling met dark/light mode ondersteuning via CSS custom properties. De UI volgt een Vercel/Linear/Stripe-geïnspireerd minimalistisch design met neutral kleurenpalet.
- [Backend](https://llmstxtgenerator.nl/): Node.js Express server met TypeScript, gecompileerd via esbuild. Bevat SSRF-bescherming via DNS-resolutie validatie, rate limiting, Helmet security headers, en een LRU cache voor HTTP responses.
- [Robots.txt Simulator](https://llmstxtgenerator.nl/): Een ingebouwde simulator die de robots.txt parsing logica van de backend spiegelt in de frontend. Gebruikers kunnen een user-agent en pad selecteren om te testen of een specifieke AI-crawler toegang heeft tot bepaalde URL's.

## Ontwikkeling & Bijdragen

- [GitHub Repository](https://github.com/CathyVW/llmstxtgenerator.nl): Volledige broncode onder MIT licentie. Bevat de complete React frontend, Express backend, TypeScript types, Tailwind configuratie en deployment scripts.
- [llmstxt.org Officiële Specificatie](https://llmstxt.org): De officiële standaard en specificatie voor het /llms.txt bestandsformaat, ontwikkeld door Answer.AI.
- [UCP Scanner](https://ucpscanner.nl): De eerste Nederlandse UCP (Universal Compliance Protocol) scanner, die websites controleert op AI-agent toegankelijkheid en compliance.

## UCP Compliance & Well-Known Endpoints

- [.well-known/ucp Manifest](https://llmstxtgenerator.nl/.well-known/ucp): Het UCP manifest bestand dat de capabilities en namespaces van deze applicatie beschrijft volgens de Universal Compliance Protocol standaard.
- [robots.txt](https://llmstxtgenerator.nl/robots.txt): Het robots.txt bestand met expliciete Allow-regels voor alle 16 target AI-crawlers die door de validator worden gecontroleerd.
- [sitemap.xml](https://llmstxtgenerator.nl/sitemap.xml): De XML sitemap met alle publieke pagina's van de llms.txt Generator NL applicatie.