Haszprus

Nagymennyiségű adat

©   Haszprus   |   barátok bme fejlesztés l0lzor
4

IRCQuote fight! In the ring:

Haszprus Haszprus
951570 pageload
vs
Haszprus?
Carl0s 21:27 szia
Haszprus
 jégcsákány
Carl0s nem tudsz nagy mennyiségű adat rendezésére valami toolt?
olyan ami nem fér be a memóriába
Haszprus
 ümm
algel könyv
+ eclipse
Carl0s 21:31 tuti van vmi progi erre
Carl0s 21:48 és szerinted ha én hegesztenék össze egy ilyet az hatékonyabb lenne mint egy meglévő megoldás?
kétlem
Haszprus
 nyugimá, vicc volt
nem tudok, az a lényeg
Carl0s bazz
pedig itt olvasom a könyvet
Haszprus
......
kész
4 hozzászólás

RSS: hozzászólások ehhez a bejegyzéshez 4 hozzászólás

Szólj hozzá Te is!

1) Carl0s (nem regisztrált)
A megoldás a következő lett:
szétdaraboltam az adatfájlt (105 millió soros, 840 MB) több kisebb részre, ezeket a kis fájlokat bepakoltam a memóriába (RAM Drive), majd GNU CoreUtils-ban található sort.exe-vel egyenként rendeztem, majd a kapott outputokat összemergeltem. Még jó hogy nem álltam neki a kódolásnak :-P
válasz

2) Tamás
Akkor erre a kérdésre tényleg adekvát megoldás volt az algel könyv, ott le van írva az összefésüléses külső táras rendezés.
Ha már GNU coreutils: akkor remélem a szétvágást is a benne lévő split.exe-vel végezted
válasz

3) Carl0s (nem regisztrált)
Tamás, Total Commanderrel :-D
válasz

4) naiv (nem regisztrált)
ez a kérdés magában is brutál, javaslom, h dolgozz fel egy 60 gigás adatfájlt és ha ez 1 napnál több időt vesz igénybe, akkor vagy gépet cserélj, sunra, vagy felhasználót értelmesre -Köszönjük Emese, próbáljon a saját posztjára szorítkozni, különben moderálva lesz. (Ez ugyanis a spammerem volt személyesen. )
Mainframe
válasz
Hozzászólásod:


Nem vagy bejelentkezve, de...

A)
hozzászólhatsz regisztrálatlanul...

B)
ha regisztrálva vagy, bejelentkezhetsz...