Kort svar
Det viktigste er at siden leveres som ferdig HTML. De fleste AI-crawlere kjører ikke JavaScript, så en nettside som bygges opp i nettleseren er helt tom for dem, selv om den ser fin ut for deg. Utover det hjelper tre ting: en llms.txt i roten, strukturerte data om hva bedriften gjør og hvor den holder til, og overskrifter som er formulert som spørsmål med svaret rett under. Det er avsnitt som siteres.
Slik jobber jeg med søkÅpne siden din, høyreklikk og velg «vis kilde». Det du ser der er det roboten ser. Finner du teksten fra forsiden, er du i orden. Ser du bare noen script-tagger og en tom div, bygges siden opp i nettleseren og roboten får ingenting. Mange moderne sider ser helt ferdige ut for deg og er helt tomme for en AI-crawler, og forskjellen er usynlig fra utsiden.
Det er en tekstfil i roten av nettstedet, etter samme mønster som robots.txt, som lister opp hva bedriften gjør og hvilke sider som er de viktigste. Ingen søkemotor krever den, og Google bruker den ikke. Den er billig å lage og gir modellen en ryddig oppsummering å hente fra, men den redder ikke en side roboten ikke får lest. Rekkefølgen er alltid HTML først, llms.txt etterpå.
En modell som skal svare på «hva koster en nettside i Oslo» leter etter et avsnitt som besvarer akkurat det. Har du en overskrift som stiller spørsmålet og et avsnitt rett under som svarer med et tall i første setning, er du et lett sitat. Har du samme informasjon spredd over fire avsnitt i en brosjyretekst, er du det ikke. Denne siden er bygget etter den regelen.
Send meg spørsmålet, så svarer jeg selv. Er det noe flere lurer på, havner det på denne siden etterpå.