'shards' címke bejegyzései

Sharding a’la Virgo

A feladat, nagyon nagy mennyiségű adat tárolása – esetünkben 30G rekord –, viszont az adatok rendelkeznek azzal a kellemes tulajdonsággal, hogy bizonyos szempont szerint szeparálhatók.

Ilyen esetekben jöhet szóba valamiféle sharding megoldás, más néven horizontális particionálás. Az ilyen megoldások lényege, hogy az adatokat fizikailag külön adatbázisban tároljuk. A szükséges adatokat az egyes shardokról külön-külön visszanyerjük, majd elvégezzük az esetleges utófeldolgozást (pl.: a különböző shard-okról származó adatok rendezése). Itt rögtön meg is mutatkozik, hogy mikor nem jó a sharding technológia: ha az utófeldolgozás túl költséges. ‘Sharding a’la Virgo’ teljes szövege