Website Crawler og Googlebot analyse kombinert med Google Analytics data. Den ultimative Crawlanalyse

Google Crawl

Mange nettsteder som benyttes i dag, er bygget og konstruert av selskap som ikke lengere er i drift eller har forandret seg en stor del siden første versjon ble publisert. Løsningene har blitt utviklet av utviklere og designere, som for lengst har byttet jobb eller sluttet i stillingen sin. Det er nye folk som drifter og vedlikeholder. Derfor er det mye jobb å gjøre når det kommer til både oppussing og rehabilitering, om man kan bruke en byggmesterterm.

Sett litt i perspektiv så er det i mange tilfeller slik, at både byggmestre og vaktmestre for mange nettsteder har blitt skiftet ut inntil flere gange i løpet av et nettsteds levetid. Det samme gjelder hele markedsavdelinger etter IT ansvarlige. Oftest er tekniske hindringer og mangel på kunnskapsoverføring typiske årsaker til de utfordringer som mange opplever med synlighet i søkemotorer.

For å avdekke svakheter og problemer, kan du som nettstedseier få foretatt en avansert teknisk crawl samt en søkerobot analyse av ditt nettsted. Det betyr at det gjennomføres en egen website crawl på nettstedet og at det samtidig samles inn alle data om Googles robotbesøk til minste detalje. Disse data legges sammen med data fra Google Analytics eller andre eksterne data om nettstedet, i flere lag. Dette kan benyttes for å kartlegge hvilke sider som Google oftest besøker, hvor oftes de indekseres og blir prioritert for indeksering i Googles søkeresultater, sett i forhold til trafikk på nettstedet. Nå hvor Google går over til Mobile First indeksering, er det derfor enda viktigere å vite om nettstedet er optimalt forberedt for Googles Bot for Smartphones.

En crawlanalyse viser om man har strukturert sitt nettsted optimalt og hvor man skal prioritere forbedringstiltak rent teknisk.

Hva er crawling?

Crawling startet som kartlegging av internett og handlet om hvordan hver nettside var koblet til hverandre. Det ble også brukt av søkemotorer for å oppdage og indeksere nye nettsider. Webcrawlere blir også brukt til å utforske nettsteders sikkerhetsproblemer ved å gjennomsøke og analysere om det oppstår problemer.

Google Crawl prosess:

Google Crawl prosess
Google Crawl prosess

Crawlere samler inn informasjon som deretter kan brukes og behandles for å klassifisere dokumenter og gi innblikk i dataene som samles inn. En god crawl som strukturerer output data på en oversiktlig og smart måte kan være med på å gjøre det enklere å ta beslutninger. Googles søkeresultater er et eksempel på resultater som er klassifisert ved hjelp av crawleren GoogleBot. For å forstå seg bedre på Google søkeresultater og hvilke data som GoogleBot legger vekt på, er det nødvendig å forstå hvordan GoogleBot opererer.

Det skal nevnes at det finnes flere Google Crawlere som alle kan betegnes som GoogleBot: Vi har bl. a. GoogleBot for Smartphones, GoogleBot for Desktop, GoogleBot-Image (for bilder), GoogleBot-video (for bilder), GoogleBot-News (for nyheter), Adsbot-Google med flere. Hele listen med Google Crawlere kan finnes her

Vår crawlanalyse tjeneste

Dette er en ny tjeneste som primært fokuserer på teknisk SEO og som gir en tydelig forståelse for hvordan Google crawler et nettsted. På denne måten kan man raskt kartlegge elementer som forhindrer optimal indeksering i Google indeksen (søkeresultatene).

For mange bedrifter er dette noe som kan virke uklart, og det skaper også ofte konflikt mellom IT, innhold og markedsavdeling da alle har sine synspunkter og erfaringer.

Dette er derfor et område som viktig for de fleste bedrifter å få mer kunnskap om, og selvsagt også helt konkret og riktig kunnskap, i stedet for meninger og synspunkter.

Det er mulig å få helt presis kunnskap om hvilke sider Googles prioriterer høyest på et nettsted og finner relevante hver gang og hvilke sider den enkelte GoogleBot prioriterer lavere på samme nettsted.

Med en god crawlanalyse kan man finne svake punkter, og forbedre innholdshieraki, templates og navigasjonsstrukturer, for bedre og raskere indeksering og dermed synlighet i Google.

Ikke bare et supplement til søkeordsanalyse og konkurrentanalyse

Nettpilot tilbyr i forveien SEO konkurrentanalyse basert på søkeordsanalyse, innhold og popularitet (målt i backlinks og omtale i sosiale medier), men ettersom flere eldre nettsteder vokser seg stadig større og bygger på bit for bit med ulike webmastere og designere, så øker også risikoen for fallgruver og rot i strukturer og rammeverk (lenkestrukturer, manglende foreldresider, glemte redirects, dårlig gjennomførte canonicals, mixed content osv).

Samtidig så blir Googles crawl budsjett strammere og strammere, og vi vet at GoogleBot ikke crawler alle sider på et nettsted hver gang av hensyn til kapasitet. Google Search Console gir oss aldri det fulle bilde på HVILKE sider som blir crawlet, bare antall sider og dato. Og nå hvor Google legger om til sin mobile first indeks, vil det være enda viktigere å vite om nettstedet er optimalt for Googles mobile indekseringsrobot.

Nettpilot bruker verktøy/systemer som kan avdekke hvilke enkeltsider og filer Googlebot crawler, og også i hvilken rekkefølge og frekvens dette foregår. Samtidig kan vi også se om konkurrenter crawler nettstedet for å finne svakheter.
Vi kan også avdekke om det finnes eksterne søkeroboter som besøker nettstedet, og hvorvidt tyngden av alle disse besøk har betydning for serverresponstid osv.

Hvordan få dette til raskt og smertefritt?

Får å få utført en crawl og logganalyse som gir foretningsmessig mening, kreves det at man deler data med oss.
1) Vi signerer i første omgang en NDA avtale som sikrer begge parter
2) Vi får tilgang til Google analytics
3) Vi får tilgang til Google Search Console
4) Vi kontrollerer at Google Search Console og Google Analytics er satt opp riktig
5) Vi samarbeider med kundes webmaster om å få tilgang til nettstedets rootfolder og loggfiler

Kontakt oss om dette er noe dere vil gjennomføre. Dette vil kreve maks en times dialog med Webmaster og en times dialog med SEO ansvarlig. Resultatet av analysen kan presenteres skriftlig, men mest utbytte får man ved en workshop over et par timer i kundens lokaler der SEO ansvarlig, Markedsansvarlig og Webmaster er tilstede.

Prisen på tjenesten varierer alt etter størrelse på nettstedet og inkluderer i utgangspunktet bearbeiding, evaluering og prioritering av viktigste innsatsområder.

Gratis SEO software instruksjonsvideo: Analytics SEO velkomstprogram

Analytics SEO velkomst videoer

Etter mange henvendelser har vi fått laget nye videoinstruksjoner til Analytics SEO slik at det er enda enklere å komme i gang med en gratis startkonto og få noe igjen med en gang. Les mer

Kan Nettpilot jobbe med Magento? Ja, vi kan:)

Magento Nettbutikk

Jeg forteller dette fordi fler og fler stiller oss spørsmål om Magento, og om Magento vs WordPress WooCommerce. Jeg vil ikke utgi hele min utredning her, men du er velkommen til å spørre meg om hva jeg mener. Men da får du nesten benytte kommentarfeltet nedenfor innlegget.
magento_logo_600
. Les mer

President Barack Obamas innsettelse og innsettelsestale

Barack Obamas Innsettelsestale toppet listen over mest sete vidoer på Youtube

En samleside med analyse og søkerelatert informasjon om Barack Obamas Innsettelse.

Se video av Barack Obamas innsettelsestale fra 2013 nedenfor.

President Barack Obama Inaugural address – Innsettelsestale 2013


I blogg-innlegget Breakout: Inauguration! Når Obama innsettes som President spådde jeg at videoen av innsettelsestalen til Barack Obama ville være Internettets mest ettersøkte video i dagene etter innsettelsen. Et blikk på Youtube onsdag d. 21.januar kl. 12.30 2009, viste dette tydelige bilde:

Barack Obamas Innsettelsestale toppet listen over mest sete vidoer på Youtube
Barack Obamas Innsettelsestale toppet listen over mest sete på Youtube

Se Youtube video av Barack Obamas innsettelsestale fra 2009 nedenfor.

President Barack Obama Inaugural address – Innsettelsestale

Google Trends viser dette søkebilde:

Google søk og markedsføring med Obama

Obamas kampanje estimeres til å ha brukt omkring 8 millioner US dollar på online annonsering.
Les også: Obama’s Online Ad Spend Approached $8 Million (clickz.com)

«Obama» var et av det mest søkte og omtalte ordene i 2008 og dette ble benyttet/utnyttet av mindre kanaler som kunne levere innhold som var timet i forhold til nettbrukernes søkevaner.

Før under og etter hhv. talen etter valgseieren og pressekonferansen etter valget var disse blant de mest søkte begivenhetene på Internett. Dette ga rum for at bloggere med forstand på søkemotoroptimalisering kunne tiltrekke tusenvis av besøkende på kort tid, fordi de hadde optimalisert sidene sine til akkurat de søkeord som var forventet.

På siden hadde de utover presist og relevant innhold også plassert annonser fra Google via Google Adsense, som i mange tilfelle annonserte for Obama-merchandise og støtte-effekter.

Et eksempel på denne Obama-snylting finner du hos Bittenandbound.comthe not so pretty side og Hollywood som betegner seg selv som «the go-to place? for the most up-to-date celebrity gossip, entertainment and pop culture news. Hvis du kobler sammen søketrender og innholdet i denne bloggen finner du sikkert mye samsvar.

Når du så ser Adwords annonser fra Google koblet til denne siden via Google Adsense, så er det ikke for å tjene penge, men for å undersøke hvilke annonser som vises og hvilke som vurderes så relevante at de klikkes på av leserne av denne siden.

Om valgseieren til USAs president: Barack Obama:

4 days in Denver

Sett snart 1 million gange på Youtube:

[box type=»info» style=»rounded»]

Norske analyser og kommentarer

Det fleste eksperter innen markedsføring og kommunikasjon er enige om at denne kampanje vil bli skrevet lærebøker om, her er et utdrag av gode norske analyser og kommentarer:

Internasjonale analyser og kommentarer

Barack Obama i Internasjonale medier

[/box]

Dette innlegg ble første gang publisert i janaur 2009 på nettstedet mediakoordinator.no. Redigert senest 21. januar 2013 av samme forfatter.

 

Negativ SEO i Norge: På tide å vekke SEO spam cops igjen?

Negativ SEO med søkeordet Billig SEO

Har du noen ide om hvem som kan finne på å lage Negativ SEO mot Nettpilot.no?

Sjekk denne siden http://www.passet.jp/ohashi/2009/06/59gi.php og lenken med teksten «Billig SEO». Det er ganske enkelt et tydelig forsøk på Negativ SEO. Jeg har ikke laget denne lenke, og har heller ikke bedt noen om å gjøre det.

Hvorfor skulle jeg ønske å bli assosiert med søkefrasen «Billig SEO»?

Og så en japansk blogg?

Tidligere på året fant jeg en utrolig spooky kommentar i en av de lengste trådene jeg har undersøkt for sære tilbakelenker: Sjekk kommentar nummer 5000 i denne spammede kommentarttråd: http://www.ufmg.br/congressodesaude/noticias/congresso-comeca-com-lotacao-esgotada.html med lenketeksten Norsk SEO som lenker til nettpilot.no.

Forsøk på negativ SEO i kommentar nummer 5000 i en ukontrollert blogg?
Forsøk på negativ SEO i kommentar nummer 5000 i en ukontrollert blogg? Til de som lurer: Jeg har kontor i Ørsta – på Sunnmøre.

Jeg har ikke gjort dette.

Hvem i det norske SEO miljøet ønsker å lage slike avanserte hilsner? Hva skulle de ønske å få igjen for dette??

Har du opplevd eksempler på slike tilbakelenker til ditt nettsted og kjenner du igjen metoden så hjelp meg gjerne med å sirkle inn hvem i H.. som fortsetter å gjøre dette! Dette er bare to eksempler – det er mange, mange fler i mine backlinks.

Hvis du er bekjent med Negativ SEO så gå gjerne direkte til kommentarfeltet og legg igjen din mening, hvis du ønsker å vite mer om fænomenet, så les mer nedenfor.

Hva er Negativ SEO – tenker du?

Negativ SEO er kort sagt det motsatte av den normale SEO.

Vanligvis handler SEO om å gjøre tiltak som kan øke synligheten til et nettsted i søkemotorenes organiske resultater. Fortrinnsvis Googles søkeresultater.

Negativ SEO handler om det stikk motsatte, og er tiltak som kan skade konkurrenters synlighet på Google.

Tidligere brukte man utrykket Black Hat SEO om tiltak som ble brukt for å manipulere Google sine søkeresultater. Dette forekommer fortsatt, men Googles jobber iherdig på å finne metoder som kan avsløre manipulative trekk, men desverre kan noen av Googles tiltak  i enkelte tilfelle møtes med enkelte og smarte motgrep av folk som ønsker å manipulere søkemotorens oppfattelse av et nettsteds relevans.

Ifølge Google skulle de ha OK systemer for å fange opp slikt, men da søkeresultatene baseres på algoritmer er det de som knekker algoritmene først som får et forspring. Jeg har falt et par plasser på et par viktige søkeord – det er ikke så viktig for meg akkurat nå.

Men jeg ønsker gjerne å høre om du har opplevd noe liknende – et pludselig fall i søkeresultatene eller webtrafikk fra obskure kilder?

Har du forslag til hvordan dette bør håndteres? Hvilke muligheter har vi i Norge for å håndtere slikt?

Og ikke minst: Ville du kjøpe negativ SEO av en norsk SEO aktør?

Som Mikkel Demib skriver her så kan nettoresultatet

«selvsagt ende opp med å bli det samme – du scorer en større andel av synlighet i markedet»

– dvs. hvis du altså klarer å skyve bort konkurrenten fra gode plasseringer.

Er Negativ SEO lov?

Det har i kølvannet på muligheten for å utføre Negativ SEO også også oppstått diskusjoner om hvorvidt dette er lov eller ikke og dette er opp til de juridiske myndigheter i hvert land å vurdere. Det sir seg selv at Negativ SEO kan være meget vanskelig å avsløre kilden på da sporene og lenkene oftest plasseres på nettsteder som eies og hostes av selskap eller enkeltpersoner som har lite lyst, evne eller ressurser til å hjelpe til i jakten på de som utfører dette.

Og en av de eneste måtene å kunne avsløre kilden til slike negative tiltak er å be om få utlevert IP adressen, som er tilknyttet de poster som inneholder Negativ SEO. Og utlevering av dette krever en retskjennelse. Så det skal opprettes en sak – og å opprette en sak koster penger, mange penger.

Derfor må vi søke etter andre metoder å bekjempe dette på. Første steg handler om å synliggjøre problemet og å forstå det. Derfor ber jeg om hjelp fra deg som leser dette.

Vil du hjelpe til med å synliggjøre og avsløre problemet?

Har du opplevd en unaturlig økning av lavkvalitetslenker inn til nettstedet ditt eller nettsteder du administrerer, som inneholder lenketekster som enten tyder på at de skal utgi seg for å være overoptimalisert eller fokusere på ord og tjenester som du ikke ønsker å bli assosiert med?

Hvis du har en mistanke om at dette har blitt utført mot et av dine nettsteder, så kom gjerne med eksempler i kommentarfeltet. Hvis du har lyst å hjelpe meg med å finne ut av hvem som lager Negativ SEO mot Nettpilot.no så vil jeg sette skikkelig stor pris på det. Kanskje det var på tide å gjenopplive SEO Spam Cops?

Hvis du ønsker å vite mer om hva Negativ SEO, eller ønsker å se hva andre skriver er kan du ikke finne så mye beskrevet på norske nettsteder og blogger.

Til gjengjeld har det danske SEO miljø vært opptatt av problemstillingene i et stykke tid.

Les gode danske innlegg og diskusjoner her:

Seoanalyst.dk: Negativ SEO – Godt eller skidt? (12.09.2012)

Demib.dk: Negativ SEO – er negativ SEO ved at blive mere udbredt? (17.06.2012)

Densynligemand.dk: Negativ SEO er ulovligt (3.07.2012)

Og et enkelt svensk innlegg:

Lindqvist.com: Kan man sänka en konkurrent med dåliga länkar? (8.09.2012)

Jeg vil sette stor pris på din kommentar eller deling. Takk for oppmerksomheten.

Eksempel på Automatisert Norsk SEO rapport (visitoslo.com)

Norsk SEO Analyse og Rapport (visitoslo.com)

Her er første versjon av en full rapport fra det splinternye Norske SEO verktøy. Eksemplet er VisitOslo.com. Les mer

Motiverende uttrekk fra brukerundersøkelsen for Høgskulen i Volda

Stikkord fra studenters omtale av medstudenter på Høgskulen i Volda.

«Dette er noko som kan nyttast både praktisk og grafisk. Det gir eit godt bilde på HVO-studenten. Vi kan bruke det i mange samanhengar.»

Ovenstående kommentar er en utttalelse informasjonskontoret ved Høgskulen i Volda. Undersøkelsens fase en med research og datainnsamling er overstått og i mellomtiden er det kommet Troll på nettsiden til Høgskulen i Volda.

Stikkord fra studenters omtale av medstudenter på Høgskulen i Volda.
Stikkord fra studenters omtale av medstudenter på Høgskulen i Volda.

Undersøkelsesdesignet så slik ut:

Primære målgruppe
18-24 år, heltidsstudent.

Sekundær målgruppe
25-50 år, deltidsstudent.

Motivasjon
Bedre brukeropplevelser på Høgskulen i Volda sine nettsider – og å få flere søkerer

Mål:
Optimalisering – Få resultat som vi kan bruke for å forbedre brukeropplevelsen online, samtå få konkrete forslag til dette.

Rammer
Områdene som er avsatt på www.hivolda.no framsiden
til studieinformasjon/studiekatalog www.hivolda.no/tilbod med undersider.

Problemformulering
Oppfyller vi det vi lover når det gjelder studere, leve og oppleve?

Metodebruk og aktiviteter
1. Pilotundersøkelse mellom studenter
2. Usabilitytest i Ørsta/Volda 5+5 personer i målgruppa
3. Stor nettbasert undersøkelse mellom om lag 50 respondenter i målgruppen
4. Åpen analyse: Diverse peer reviews og innspill fra fagfolk og studenter til både metode- og resultater.

Rapporten med forslag til tiltak ble levert tidlig i denne uke og skal presenteres for redaksjonsrådet ved Høgskulen i Volda i neste uke.

Under hele prosessen har vi benyttet Google docs aktivt til alle dokumenter. Selv surveys er foretatt via Google Docs sin skjema funksjon.

Fordelen ved å benytte Google Docs til slike prosjekt er at du kan trekke ut informasjon når som helst og behandle den som du vil.

En av oppgavene i den interne brukerundersøkelse var å bruke stikkord for å gi en beskrivelse sine medstudenter. Du ser resultatet ovenfor.

For å kunne presentere denne grafiske fremstillingen har jeg copy/pastet hele kollonnen med stikkord direkte over i Wordle.net sitt grensesnitt., og klikket på randomize et par gange.

Etterpå har jeg skrivet ut siden med cutepdf og trukket ut bildet fra pdf dokumentet med Photoshop.

Slik kan man med en enkelt målruppeanalyse få mye gode innspill og idéer til videre kommunikasjonsarbeide.

Slik setter du opp din konto i ditt nye SEO verktøy

Mediakoordinator SEO er første versjon av det Norske SEO verktøy

Mediakoordinator SEO er et eksempel en norsk brandet versjon av Nettpilot sitt SEO verktøy. Det er et tidsbesparende og økonomisk fornuftig SEO verktøy som fungerer for alle nettsteder store som små. Her er en video som forteller deg hvordan du kommer i gang.

Hvis du ønsker å vite hvor optimalt ditt nettsted er i forhold til Google, bør du prøve selv. Det er et helthetlig styringsredskap for nettstedsvedlikehold og markedsovervåking hvor du får råd om optimalisering løpende i forhold til ditt nettsteds aktuelle tilstand. Konstant.

SEO verktøyet er en SAAS (software as a service) tjeneste, som integreres sømløst med Google Analytics  og Googles verktøy for nettredaktører. Et smart grensesnitt gir deg SEO innsikt og overblikk i både søkemotorplasseringer, tilstand og muligheter, på en svært oversiktlig måte som andre vanlige SEO verktøy ikke kan matsje.

Du får samtidig en todoliste med mulighet for prioriteringer av oppgaver med estimat av tid til oppgaveløsning. Du kan føre inn kostnader til SEO og PPC opp i mot e-handelsporing for å vurdere hva du får ut av budsjettet for både søkemotoroptimalisering og søkemotormarkedsføring i samme grensesnitt.
Dette er ROI og ROMI styring som tatt ut av læreboka fra BI.

Et prosjekstyringsverktøy som optimaliserer søkemotoroptimaliseringen.

Når du er i gang, arbeider verktøyet automatisk for deg. Det varsler om viktige begivenheter, anbefaler tiltak, og hjelper deg å ta de riktige SEO beslutningene.

For webmastere gir Mediakoordinator SEO den optimale sjekkliste for løpende nettstedsvedlikehold og SEO-prosjektstyring.

For nettstedseiere som har eksterne leverandører av SEO-tjenester, er dette et uundværlig element for kontroll og kvalitetssikring av tjenestene.

For SEO og PPC konsulenter er det et verdifullt verktøy for å kunne dokumentere verdien og ROI av innsatsen med SEO og PPC arbeide. Det kutter samtidig ned tiden som går til rapportering, slik at du kan bruke den til synlighetskapende tiltak.

For media, PR og kommunikasjonbyråer er dette et alternativ til å leie inn et kostnads tungt SEO team hver gang du får nye oppdrag som relaterer seg til SEO og PPC styring.

Uansett ditt nivå vil du til hver en tid få prioriterte anbefalinger automatisk og gratis support. Kan dere ikke selv løse oppgaven som kreves vil vi alltid kunne hjelpe dere med å finne en løsning – eller en konsulent som kan hjelpe.

Verktøyet er ikke bare ment for det globale marked, men er tilpasset norske forhold, slik at det kan brukes for deg som utelukkende er på det norske marked.

Det finnes med norsk, svensk og engelsk språk.

  1. Du kan trekke ut automatiske rapporter i XLS, PPT og PDF format.
  2. Selv rapportene er norske, kan brandes med ditt firmanavn og stil og gir alt fra enkle vurderinger og anvisninger til kompliserte problemstillinger og oppgavelister.

Verktøyet er webbasert og utvikles løpende på bakgrunn av innspill fra brukere og bransjeledere. Brukernes feedback går direkte til utviklingsavdelingen, slik at alle som benytter verktøyet er med på å utvikle det i den retning som gavner brukerne mest.