Webmarketing Tools

 Abonneer je op de webfeed van deze website.


ZWAAR onderschat!
Zoals sommigen weten heb wij (Fred en ik) een aantal maanden geleden, bij wijze van hobby, Feeds4all.com gelanceerd. Een leuk project, dat zeker, maar man-man-man wat hebben wij ons vergist in het verkeer, de omvang van de database en de problemen die daarbij kwamen (en komen) kijken.

Een week na 'lancering' ontving feeds4all.com zo'n 100 bezoekers, na een maand al 10.000 per dag. Nee geen pageviews, maar uniques! Nu is dit op zich niet zo'n groot aantal, echter je houdt er in zo'n beginfase geen rekening mee. In ons geval gebruikten wij een standaard ADSL lijntje en een heel klein servertje. Je kent ze wel: Die barebone PC's: klein, maar totaal niet geschikt voor zwaar werk.

Dat servertje had het echt heel erg zwaar. Het stond bij mij in de huiskamer en ik heb vanaf een week na de lancering mogen genieten van het onophoudelijk geratel van de hardeschijf. Het front van de server gaf de temperatuur van de kast aan: tussen de 59 en 67 graden. Vanaf 65 graden rende ik naar de server toe om bepaalde functionaliteiten uit te schakelen zodat de temperatuur kon dalen. Soms moest feeds4all gewoon even helemaal op 'zwart' om de temperatuur te laten dalen. Het was dweilen met de kraan open, want het werd maar drukker en drukker. Het mocht allemaal niet baten, want deze 'server' heeft het door de hitte begeven. Letterlijk een uitgefikte voeding en een kapotte hardeschijf. Best wel spannend om tijdens een verjaardagsfeest elders er achter te komen dat 'de websites' niet meer beschikbaar zijn om vervolgens met een noodvaart naar huis te rijden en in een blauw aangeslagen huis thuis te komen.

Tijdelijk is mijn eigen PC toen ingericht voor het zware werk, maar je gelooft het niet: Ook hiervan is de voeding doorgebrand. Gelukkig hadden we reeds een nieuwe machine staan en deze is toen ook binnen een dag operationeel gemaakt.

Dat de ADSL lijn het nog niet begeven heeft is ons een raadsel, want deze had (en heeft) het ook zwaar te verduren. De eerste maanden was een feeds4all-pagina, inclusief de plaatjes, al snel 100kb groot. 15000 pageviews en dus ca 1.5Gb aan dataverkeer per dag.
Dit was overigens niet het enige verkeer want ook de websites Dotnet4all.com en ZXZ.nl maakten gebruik van deze ADSL lijn en server. Toen gezamenlijk verantwoordelijk voor ook zo'n 4000 pageviews per dag en 500Mb dataverkeer.
Met wat 'kleine' overhead totaal ca twee-en-een-halve-Gigibatyes per dag, exclusief mijn eigen internet gebruik, op een lijn die technisch een max. heeft 6Gb per dag, maar ook nog eens tussen de 40 en 80 keer is overboekt.

Nu laat ik een kleinigheid buiten beschouwing. Wij nodigen onze
feeds4all.com bezoekers uit om een klein
bannertje op hun weblog te plaatsen zodra zij deze hebben aangemeld voor vermelding in de feeds4all.com directory. Binnen een maand genereerde dit bannertje ca 40000 hits per dag! De eerste maanden was dit bannertje ca 2kb groot en "Hoppa!" weer 80Mb per dag.

Ik schat dat wij op dat moment een kleine 150.000 hits per dag hadden te verwerken. Op dit verkeer, een maand na lancering, waren wij nog niet berekend.

Overigens wel leuk om te vermelden: het feeds4all-bannertje heeft ons wel binnen 4 maanden een Pagerank van 6 bezorgd. Een eenvoudig middel, maar o zo effectief.

Een ander element waar wij ons op hebben verkeken is de benodigde
rekenkracht voor een project als Feeds4all.com. Binnen een maand bevatte de database van Feeds4all.com meer dan 1 miljoen artikelen. Dit groeide op een gegeven moment met meer dan 100.000 artikelen per dag.
Niemand zit te wachten op een zoekmachine die meer dan 10 seconden nodig heeft om een bepaalde zoekactie uit te voeren. Echter het doorzoeken van een database van enkele Gigabytes behoorlijk veel tijd en dit begon aardig in de buurt te komen van het, in mijn ogen, psychologische maximum. Zeker op drukke momenten.
Paniek aan onze zijde, want voor dat je het weet komen de bezoekers niet meer terug. Om dit tegen te gaan hebben wij het maximum aantal artikelen tijdelijk beperkt tot 2.5 miljoen door de oudste artikelen weg te gooien. Niet geheel zoals we het willen, maar het is even niet anders.

Tijd voor maatregelen. Sinds kort hebben we een vaste SDSL lijn voor deze websites die we de komende week in gebruik gaan nemen. Daarnaast zal er zeer binnenkort een databasecluster komen. D.w.z. in ons geval een 3-tal servers die 1 database herbergen. Dit geeft onze huidige (wat ruimer bemeten) server de gelegenheid om fulltime als webserver te fungeren.

Met deze uitbreidingen hopen wij infrastructureel in ieder geval nog even rond te kunnen komen. Wij zijn namelijk van plan om dit jaar zeker nog een aantal websites te lanceren. Bijvoorbeeld Feedalley.

Regelmatig zal ik nog eens wat schrijven over de ervaringen.

Gepubliceerd op maandag, juli 25, 2005   [6 reacties]


6 Reacties:

3:36 PM, Anonymous Anoniem schreef onlangs...

:) volgende keer toch maar een betere computer kopen? Veel a-merken branden niet door bij erg zwaar gewicht. Goede koeling is voor servers bijzonder van belang.

  4:46 PM, Blogger XanderZe schreef onlangs...

Het apparaat bevatte enkel A-componenten. Helaas gewoon een te kleine kast geweest.

Nu hebben we gelukkig wel flinke machines. Zowel in specs als in formaat :).

  11:18 AM, Anonymous Ayalon schreef onlangs...

Leuk artikel! Waarom zet je alles niet gewoon lekker bij een provider neer, bespaard je een hoop tijd die je aan andere dingen kan gebruiken.. Wel grappig dat de site gewoon vanuit je huiskamer draait, denk niet dat iemand er iets van merkt!

  8:40 PM, Blogger Marco W.J. Derksen schreef onlangs...

"Regelmatig zal ik nog eens wat schrijven over de ervaringen"

Wat is de stand van zaken nu?

Ik zie trouwens dat de PageRank is inmiddels weer op 0 staat. Penalty gehad van Google of zijn jullie gestopt met het project?

  8:40 PM, Blogger Marco W.J. Derksen schreef onlangs...

"Regelmatig zal ik nog eens wat schrijven over de ervaringen"

Wat is de stand van zaken nu?

Ik zie trouwens dat de PageRank inmiddels weer op 0 staat. Penalty gehad van Google of zijn jullie gestopt met het project?

  9:41 PM, Blogger XanderZe schreef onlangs...

Hoi Marco,

Ik heb voor de verandering weer eens iets geschreven. Lees maar.

Ja een penalty gehad. Wij hebben Google nu al meerdere malen gevraagd naar een reden, maar je hebt dat vaak met zo'n mono-cultuur: Het blijft vrij stil vanaf de andere kant.

Op fredscapes.nl staat regelmatig iets over het re-inclusion traject waarin wij lopen.

 

Een reactie plaatsen