Haszprus

Aggregált log

©   Haszprus   |   fejlesztés

Na, most már van nekünk szépséges aggregált logunk, mely az eddigi egy logtábla helyett kapásból négyben terjeszkedik, és a 33 megás tábla minden lényegi adatát tartalmazza 4 megában. De ez önmagában még semmi, az igazán szép az, hogy az eddigi logtábla a folyamatosan növekvő látogatottság függvényében egyre gyorsabban bővült új rekordokkal, az új logtáblák egyike pedig nagyjából független lesz a látogatottságtól (egy másik pedig teljesen, a harmadik és negyedik pedig csak ideiglenes adattárolásra szolgál a gyors adatrögzítés érdekében).


(A lényeg az hogy ha Pistike egy hónapban 3000x letölti a blog főoldalát, az a négy új táblában hosszútávon pusztán egyetlen (nem 4x1 hanem 1) rekord lesz, ha pedig másik párezer regisztrálatlan userrel együtt teszi ezt többtízezres méretben, az is egyetlen rekord lesz - mert nem érdekel hónapokra visszamenőleg, hogy milyen ip-kről és pontosan hánykor, csak az, hogy melyik hónapban, melyik oldalt, melyik userid-vel (pl. 0 = bejelentkezetlenül) hányszor töltötték le). (Igazából hónapokra visszamenőleg ez sem érdekel, de bármikor jól jöhet )

hb_log

több napnyi részletes, indexelt log. eddig csak ilyen volt, és pár hónap alatt 30 megára duzzadt, állandóan törölgetni kellett a tartalmát, és a napi többezerszeres frissülés miatt nem volt célszerű indexelni. a lekérdezése emiatt lassú volt.

   l_id
   l_uid
   l_host
   l_datumido
   l_page
   l_referer
hb_lograw
ua mint a hb_log, de index nélkül. most ez frissül lapletöltéskor. tartalma naponta átmegy a hb_logba.
hb_logpages

az összes letöltött url listája

   lp_id
   lp_page
hb_logaggr

az aggregált log, melyben a tképpeni hosszútávra visszamenő log helyezkedik el. bontva url, user, év-hónap szerint.

   la_lpid
   l_uid
   hits
   ym

Mindeközben a legutolsó (értsd: aktuális) napi eseményeket (logot) nem kísérem mostantól figyelemmel (ennek éppen ideje volt már), és lehet hogy a megfigyelőközpontot is majd valamikor átrakom on-demand helyett napi frissítésűre.

A kommentekkel is akartam ilyen batchelést játszani, van is már batchmód a blogon, egy paraméter kérdése a dolog, de a jelenleginél jobban is meg lehetne oldani.

Minek? Mert vizsgaidőszakban meg olyankor amikor nem akarok foglalkozni a bloggal, jól jön, ha kicsit elnémul. A nyári vizsgaidőszakig (de legkésőbb utána) tökéletesíteni kell a dolgot.

RSS: hozzászólások ehhez a bejegyzéshez Rajtad a világ szeme

Szólj hozzá Te is!
Hozzászólásod:


Nem vagy bejelentkezve, de...

A)
hozzászólhatsz regisztrálatlanul...

B)
ha regisztrálva vagy, bejelentkezhetsz...