Mange nettsteder som benyttes i dag, er bygget og konstruert av selskap som ikke lengere er i drift eller har forandret seg en stor del siden første versjon ble publisert. Løsningene har blitt utviklet av utviklere og designere, som for lengst har byttet jobb eller sluttet i stillingen sin. Det er nye folk som drifter og vedlikeholder. Derfor er det mye jobb å gjøre når det kommer til både oppussing og rehabilitering, om man kan bruke en byggmesterterm.

Sett litt i perspektiv så er det i mange tilfeller slik, at både byggmestre og vaktmestre for mange nettsteder har blitt skiftet ut inntil flere gange i løpet av et nettsteds levetid. Det samme gjelder hele markedsavdelinger etter IT ansvarlige. Oftest er tekniske hindringer og mangel på kunnskapsoverføring typiske årsaker til de utfordringer som mange opplever med synlighet i søkemotorer.

For å avdekke svakheter og problemer, kan du som nettstedseier få foretatt en avansert teknisk crawl samt en søkerobot analyse av ditt nettsted. Det betyr at det gjennomføres en egen website crawl på nettstedet og at det samtidig samles inn alle data om Googles robotbesøk til minste detalje. Disse data legges sammen med data fra Google Analytics eller andre eksterne data om nettstedet, i flere lag. Dette kan benyttes for å kartlegge hvilke sider som Google oftest besøker, hvor oftes de indekseres og blir prioritert for indeksering i Googles søkeresultater, sett i forhold til trafikk på nettstedet. Nå hvor Google går over til Mobile First indeksering, er det derfor enda viktigere å vite om nettstedet er optimalt forberedt for Googles Bot for Smartphones.

En crawlanalyse viser om man har strukturert sitt nettsted optimalt og hvor man skal prioritere forbedringstiltak rent teknisk.

Hva er crawling?

Crawling startet som kartlegging av internett og handlet om hvordan hver nettside var koblet til hverandre. Det ble også brukt av søkemotorer for å oppdage og indeksere nye nettsider. Webcrawlere blir også brukt til å utforske nettsteders sikkerhetsproblemer ved å gjennomsøke og analysere om det oppstår problemer.

Google Crawl prosess:

Crawlere samler inn informasjon som deretter kan brukes og behandles for å klassifisere dokumenter og gi innblikk i dataene som samles inn. En god crawl som strukturerer output data på en oversiktlig og smart måte kan være med på å gjøre det enklere å ta beslutninger. Googles søkeresultater er et eksempel på resultater som er klassifisert ved hjelp av crawleren GoogleBot. For å forstå seg bedre på Google søkeresultater og hvilke data som GoogleBot legger vekt på, er det nødvendig å forstå hvordan GoogleBot opererer.

Det skal nevnes at det finnes flere Google Crawlere som alle kan betegnes som GoogleBot: Vi har bl. a. GoogleBot for Smartphones, GoogleBot for Desktop, GoogleBot-Image (for bilder), GoogleBot-video (for bilder), GoogleBot-News (for nyheter), Adsbot-Google med flere. Hele listen med Google Crawlere kan finnes her

Vår crawlanalyse tjeneste

Dette er en ny tjeneste som primært fokuserer på teknisk SEO og som gir en tydelig forståelse for hvordan Google crawler et nettsted. På denne måten kan man raskt kartlegge elementer som forhindrer optimal indeksering i Google indeksen (søkeresultatene).

For mange bedrifter er dette noe som kan virke uklart, og det skaper også ofte konflikt mellom IT, innhold og markedsavdeling da alle har sine synspunkter og erfaringer.

Dette er derfor et område som viktig for de fleste bedrifter å få mer kunnskap om, og selvsagt også helt konkret og riktig kunnskap, i stedet for meninger og synspunkter.

Det er mulig å få helt presis kunnskap om hvilke sider Googles prioriterer høyest på et nettsted og finner relevante hver gang og hvilke sider den enkelte GoogleBot prioriterer lavere på samme nettsted.

Med en god crawlanalyse kan man finne svake punkter, og forbedre innholdshieraki, templates og navigasjonsstrukturer, for bedre og raskere indeksering og dermed synlighet i Google.

Ikke bare et supplement til søkeordsanalyse og konkurrentanalyse

Nettpilot tilbyr i forveien SEO konkurrentanalyse basert på søkeordsanalyse, innhold og popularitet (målt i backlinks og omtale i sosiale medier), men ettersom flere eldre nettsteder vokser seg stadig større og bygger på bit for bit med ulike webmastere og designere, så øker også risikoen for fallgruver og rot i strukturer og rammeverk (lenkestrukturer, manglende foreldresider, glemte redirects, dårlig gjennomførte canonicals, mixed content osv).

Samtidig så blir Googles crawl budsjett strammere og strammere, og vi vet at GoogleBot ikke crawler alle sider på et nettsted hver gang av hensyn til kapasitet. Google Search Console gir oss aldri det fulle bilde på HVILKE sider som blir crawlet, bare antall sider og dato. Og nå hvor Google legger om til sin mobile first indeks, vil det være enda viktigere å vite om nettstedet er optimalt for Googles mobile indekseringsrobot.

Nettpilot bruker verktøy/systemer som kan avdekke hvilke enkeltsider og filer Googlebot crawler, og også i hvilken rekkefølge og frekvens dette foregår. Samtidig kan vi også se om konkurrenter crawler nettstedet for å finne svakheter.
Vi kan også avdekke om det finnes eksterne søkeroboter som besøker nettstedet, og hvorvidt tyngden av alle disse besøk har betydning for serverresponstid osv.

Hvordan få dette til raskt og smertefritt?

Får å få utført en crawl og logganalyse som gir foretningsmessig mening, kreves det at man deler data med oss.
1) Vi signerer i første omgang en NDA avtale som sikrer begge parter
2) Vi får tilgang til Google analytics
3) Vi får tilgang til Google Search Console
4) Vi kontrollerer at Google Search Console og Google Analytics er satt opp riktig
5) Vi samarbeider med kundes webmaster om å få tilgang til nettstedets rootfolder og loggfiler

Kontakt oss om dette er noe dere vil gjennomføre. Dette vil kreve maks en times dialog med Webmaster og en times dialog med SEO ansvarlig. Resultatet av analysen kan presenteres skriftlig, men mest utbytte får man ved en workshop over et par timer i kundens lokaler der SEO ansvarlig, Markedsansvarlig og Webmaster er tilstede.

Prisen på tjenesten varierer alt etter størrelse på nettstedet og inkluderer i utgangspunktet bearbeiding, evaluering og prioritering av viktigste innsatsområder.