Na, most már van nekünk szépséges aggregált logunk, mely az eddigi egy logtábla helyett kapásból négyben terjeszkedik, és a 33 megás tábla minden lényegi adatát tartalmazza 4 megában. De ez önmagában még semmi, az igazán szép az, hogy az eddigi logtábla a folyamatosan növekvő látogatottság függvényében egyre gyorsabban bővült új rekordokkal, az új logtáblák egyike pedig nagyjából független lesz a látogatottságtól (egy másik pedig teljesen, a harmadik és negyedik pedig csak ideiglenes adattárolásra szolgál a gyors adatrögzítés érdekében).
(A lényeg az hogy ha Pistike egy hónapban 3000x letölti a blog főoldalát, az a négy új táblában hosszútávon pusztán egyetlen (nem 4x1 hanem 1) rekord lesz, ha pedig másik párezer regisztrálatlan userrel együtt teszi ezt többtízezres méretben, az is egyetlen rekord lesz - mert nem érdekel hónapokra visszamenőleg, hogy milyen ip-kről és pontosan hánykor, csak az, hogy melyik hónapban, melyik oldalt, melyik userid-vel (pl. 0 = bejelentkezetlenül) hányszor töltötték le). (Igazából hónapokra visszamenőleg ez sem érdekel, de bármikor jól jöhet )
- hb_log
több napnyi részletes, indexelt log. eddig csak ilyen volt, és pár hónap alatt 30 megára duzzadt, állandóan törölgetni kellett a tartalmát, és a napi többezerszeres frissülés miatt nem volt célszerű indexelni. a lekérdezése emiatt lassú volt.
l_id l_uid l_host l_datumido l_page l_referer
- hb_lograw
- ua mint a hb_log, de index nélkül. most ez frissül lapletöltéskor. tartalma naponta átmegy a hb_logba.
- hb_logpages
az összes letöltött url listája
lp_id lp_page
- hb_logaggr
az aggregált log, melyben a tképpeni hosszútávra visszamenő log helyezkedik el. bontva url, user, év-hónap szerint.
la_lpid l_uid hits ym
Mindeközben a legutolsó (értsd: aktuális) napi eseményeket (logot) nem kísérem mostantól figyelemmel (ennek éppen ideje volt már), és lehet hogy a megfigyelőközpontot is majd valamikor átrakom on-demand helyett napi frissítésűre.
A kommentekkel is akartam ilyen batchelést játszani, van is már batchmód a blogon, egy paraméter kérdése a dolog, de a jelenleginél jobban is meg lehetne oldani.
Minek? Mert vizsgaidőszakban meg olyankor amikor nem akarok foglalkozni a bloggal, jól jön, ha kicsit elnémul. A nyári vizsgaidőszakig (de legkésőbb utána) tökéletesíteni kell a dolgot.