Bad bots, part II
Som nævnt tidligere, har jeg her på bloggen et skævt øje til såkaldte bots, der ikke kan finde ud af at opføre sig ordentligt. De laver ravage i mine statistikker, hvilket en web analytiker som mig selvfølgelig har store problemer med at acceptere.
Jeg har haft besøg af bots lige fra Kina, Spanien, ja såvel en enkelt her fra Danmark. Og som denne graf viser har det en enorm indflydelse:
Visits, set over 8 dage
Efter at have kørt min egenudviklede bot honeytrap i passiv mode i kun 5 dage har jeg derfor valgt at slå den til (så ka' de lære det!). Det er sket samtidigt med at jeg fra flere kilder har fået rapporteret at min anti-comment-spam beskyttelse (Captcha) har fejlet, og jeg har derfor slået den fra. Men rent teoretisk set skulle honeytrap'en give mig beskyttelse nok.
Man kan derfor roligt sige at den nu får sin ilddåb :-)
Har dette overhovedet noget med nethandel at gøre?
Er "Bots Behaving Badly" overhovedet noget man bør tage stilling til, hvis man ejer en webshop?
Der er flere ting der taler for at man burde gå op i det:
- De kan påvirke dine web statistikker massivt, så du pludseligt får nogle totalt ukorrekte KPI'er. F.eks. talte hvert enkelt hit fra de ovennævnte bots som et unique visit, hvilket har katastrofale følger hvis du kigger på conversion rate.
- Bad Bots viser ingen nåde! De scanner hele dit site, og laver hits på alle dine sider inden for sekunder. Dette er noget der seriøst kan påvirke server performance, især hvis du driver en mindre shop hostet på en server du deler med andre.
Det er faktisk ofte sket at hvis flere Bad Bots har ramt en lille shop på samme tid, så har de lagt hele systemet ned. Også i en sådan grad at kun en manuel reboot har kunnet rede det.
- Enkelte bots har det formål at scanne shops for produkter, tage indholdet (også kaldet scraping), og bruge det til at lave Adsense finanserede katalog sites.
På overfladen er det egentligt ikke noget problem, da disse spam sites ofte linker ind til din shop. Du kan derfor "risikere" at få (mere eller mindre relevant) trafik fra dem.
Problemet er bare at du ikke selv kontrollerer i hvilken sammenhæng dine produkter bliver vist. Ofte bliver de vist sammen med Adsense annoncer, som nemt kan være for konkurrerende produkter eller shops.
- De fleste bots har dog til formål at scanne hele dit site for sårbarheder.
Hvilket jo sådan set er seriøst nok, hvis man ikke lige overvåger sikkerheden tæt...
Selvom det originalt kun tog mig et par timer at udvikle min honeytrap beskyttelse her på bloggen, så er det alligevel en relativt teknisk øvelse som kræver både indsigt og overvågning (du vil nødigt risikere at fange Google's bot ved et uheld). Derfor er det sjældent noget man ser i billige, serieproducerede shops, og endda heller ikke i større løsninger. Jeg har ihvert fald ikke hørt om en eneste her i Danmark, som har taget det seriøst.
Men ligemeget om du ejer en lille eller stor shop er det vigtigt lige at have i baghovedet. Som sagt, hvis du pludseligt i en kort periode ser at din conversion rate er faldet uden at du har gjort noget, ja så kan det have en ganske "naturlig" forklaring.
Hvis du har spørgsmål eller kommentarer hører jeg mægtigt gerne om det (læg en besked herunder). Det er et rimeligt teknisk og komplekst emne, men kan have massiv indflydelse på dig og din shop.
Save This PageEn comment spam bot er sluppet igennem, og lægger jævnligt kommentarer på én af mine artikler. Jeg jagter den på livet løs, men den benytter et kæmpe netværk af proxy servere. Dvs. at den skifter IP adresse næsten hver dag.
Hver gang det lykkedes den at spamme min blog med en comment er jeg dog hurtig til at bandlyse dens IP via min Honeytrap.
Og langt om længe er det begyndt at virke! Efter at have bandlyst 11 forskellige adresser er jeg nu begyndt at se at den forsøger at komme igennem igen med nogen af disse. Uden held :-)
Nu har du godt nok været så flink at sløre dit besøgstal, så jeg ved ikke lige hvor mange besøg det drejer sig om. Men kan det virkelig være et problem hvis man har en shop med 1000+ unikke besøgende om dagen?
Godt nok kan der være virkelig mange bots, men man skal alligevel rammes af mange af dem om dagen hvis det skal forstyre ens conversion rate betydeligt.
En anden ting er vel Google Analytics kontra ens egen webstatistik. Laver Google ikke en masse arbejde for at udelukke disse bots fra deres statistikker? Jeg har i hvert fald tidligere set store forskelle i mine egne statistikker og dem som Google Analytics viser.
ganske rigtigt, og noget jeg ikke lige var opmærksom på da jeg skrev denne post.
Google Analytics kører deres tracking via et clientside javascript, og da de fleste bots ikke understøtter dette vil bots ikke blive talt med i GA. Det samme gælder for IndexTools, Omniture og de fleste andre Web Analytics pakker.
Bruger man logfilsanalyser, eller noget indbygget som her på bloggen (ud over GA), så er sagen anderledes.
Her spores page views fra den samme session/bruger som regel via en cookie. Og understøtter bot'en ikke cookies, hvilket de fleste ikke gør, så vil hvert enkelt page view blive talt som værende fra en unik besøgende! Altså en enkelt bot der kommer forbi et site med 100 sider, vil blive talt som 100 unikke besøgende...
Det er selvfølgelig en smule mere komplekst en det. Det fleste analytics packages benytter efterhånden javascript til tracking, og har en fallback metode til at identificere unikke besøgende, hvis de ikke understøtter cookies (som regel en kombination af IP adresse, machine name og useragent string).
Jeg har nok råbt en lille smule "ulv" i posten, men jeg var lidt oppe og køre over at min Honeytrap nu skulle testes for alvor :-)
