Archive for the ‘Webmaster Tools’ Category

Google Bot kent geen grenzen

posted by admin
woensdag, februari 25, 2009

A friendly warning. Verhoog niet zomaar de crawl rate van de Google Bot in webmaster tools. De kans is namelijk groot dat GoogleBot ook echt zal doen wat je hem vraagt. En dat nagenoeg zonder grenzen. Ik heb een maand geleden de crawl rate voor een kleine site verdubbeld en GoogleBot is ook prompt twee keer zoveel langs gekomen.

Op een grotere site staat de crawl rate momenteel 2.5 pages/sec. Per dag geeft dit pieken boven de 200.000 pagina’s. So, Handle with care…   

GoogleBot : berekening van de bandbreedte kost

posted by admin
zondag, december 21, 2008

In mijn vorige post had ik het over de vernieuwde interface voor de crawlsnelheid settings in google webmaster tools. Je kan nu zelf deze snelheid verhogen, in sommige gevallen tot 10 per seconde.  De crawlsnelheid verhogen heeft een aantal positieve consequenties : meer pagina’s in de Google, meestal meer traffic uit Google,….  

Uiteraard heeft het ook een aantal negatieve consequenties. De duidelijkste is de zwaardere belasting van je servers, hiervoor waarschuwt Google ook. Een effect dat meestal vergeten wordt ik impact op de bandbreedte en de daarbij horende kosten. Een klein rekenvoorbeeld:

Als Googlebot je site 0.05 keer per seconde crawlt (ik heb er zo enkele) en een gemiddelde pagina is 100KB groot dan verbruikt Googlebot :

BandBreedte:  0.05 page/sec * 100KB/page =  5 KB/sec = 0.04 Mbps
Throughput: 0.05 * 3600 * 24 * 30 * 100KB = 12.36 GB/maand

Dit zijn cijfers die je niet direct aan je facturen zal zien, maar stel dat Googlebot 1 keer per seconde langskomt (zo heb ik er ook eentje) Dan krijg je:

Bandbreedte: 0.8 Mbps
Throughput: 250 GB/maand
 

Als je een server hebt met een 10Mbps uplink is 8% van de bandbreedte voor googlebot alleen al niet meer verwaarloosbaar. Stel dat je er meerdere sites op draait en MsnBot en Slurp ongeveer hetzelfde presteren dan raak je al snel in de problemen.

Stel nu dat je de crawlrate op 10 pagina’s per seconde zou zetten ( dat kan! zie vorige post ) dan krijg je:

Bandbreedte: 8 Mbps
Throughput: 2.5 TB/maand

 En dat voor GoogleBot alleen!

Webmaster tools : nieuwe look voor de FASTER option!

posted by admin
zondag, december 21, 2008

Ik had het al hier en daar gelezen, maar nu zie ik het ook inmijn eigen accounts. De crawl speed option in Google webmaster tools is veranderd van een radio box ( 2 of 3 opties afhankelijk van de grootte van de site ) naar een slider bar die ook de effectieve settings van de googlebot weergeeft. Als de balk iets voorbij de helft staat ( zie illustratie ) crawlt googlebot 1.75 pagina’s per seconde. De minimum en maximum waardes op de balk varieren van site tot site. Het hoogste dat ik momenteel al gezien heb is een maximum van 10 pagina’s per seconde!

 Ik heb alvast in een van mijn sites de waarde bij wijze van expirement verdubbeld. Benieuwd of Google de verandering ook zomaar zal doorvoeren…

 google webmaster tools faster

Nieuw: Bereken je positie in de Google index

posted by admin
maandag, december 8, 2008

Nieuw tooltje op http://tools.baare.com : Bereken je positie in Google. Geef je website URL en de zoekterm in en je krijgt de positie van je site in Google terug.  Het toolje doorzoekt de eerste 50 resultaten op www.google.com. Als je je wil beperken tot .be sites typ je gewoon site:.be naast je zoekterm.

Bereken je positie in Google

http://tools.baare.com/kmo-website/google-positie.aspx

Website snelheids tester beta 2.0

posted by admin
zaterdag, december 6, 2008

Ik heb een tweede (beta 2.0) versie van mijn website snelheid test tooltje online gezet. Belangrijkste aanpassingen zijn dat het rapport nu steeds zou moeten getoond worden ( ipv af en toe :)  ) en dat het nu ook werkt in FireFox.

Test hier de snelheid van je website.

weer faster in Google webmaster tools

posted by admin
woensdag, november 5, 2008

I love it when a plan comes together. Slechts 1 week na het live gaan van de SEO aanpassingen en Google wil alweer faster gaan. Dat belooft…

Faster please…(4)

posted by admin
zondag, september 28, 2008

fyi : piek naar 200.000 crawls per dag…

faster-optie-in-google-webm.jpg

Faster please…(3)

posted by admin
woensdag, september 17, 2008

De gevolgen van 4 maanden faster optie in Google webmaster tools:

nadelig:

1. Google indexeert de site nu gemiddeld 110.000 keer per dag met pieken boven 150.000
2. Dit is goed voor een bandbreedte piek van 7GB per dag

voordelig:

1. De organische inflow uit google is op die tijd maal 6 gegaan
2. Nieuwe data is binnen de 10 minuten terug te vinden in Google Search

Kortom, als je het aankan ( en alleen dan ) is het het echt waard. De optie activeren zonder voorbereid te zijn is problemen zoeken…

Faster please…(2)

posted by admin
donderdag, juni 12, 2008

Dit is het effect van de ‘faster’ option na 2 maand. Het gele vlak is de graffiek van mijn vorige post over deze optie.

De zwaarste piek ligt ondertussen al boven de 150.000 hits op 1 dag.

crawl rate googlebot

Faster please…

posted by admin
dinsdag, april 15, 2008

Wat gebeurt er als je in webmaster tools de crawl rate op ‘faster’ zet? Soms niks… soms dit:
googlebot webmaster central tools faster option

GoogleBot de toestemming geven om sneller te gaan komt je indexatie in elk geval ten goede. Je krijgt de optie namelijk pas als Google zelf oordeelt dat ze je site aan de huidige snelheid niet optimaal kunnen indexeren. Zet je de optie aan dan is dit nog geen garantie dat GoogleBot ook echt sneller zal gaan, maar gebeurt het wel dan kan je maar beter voorbereid zijn…