Meglepetésként ért, hogy felkérést kaptunk egy előadásra MySQL témakörben az első OpenSource BI konferencián. Vajon a MySQL kész van a datawarehouse felhasználásra?
A részleteket itt találod.
Pásztor Lénárd bejegyzéseiAz iWiW beindulása, azaz a felhasználók és a forgalom drasztikus növekedése miatt a szoftver és hardver architektúra folyamatos bővítést igényelt. Az idő ellenünk dolgozott, így a gyors (bár nem mindig szép) megoldások voltak prioritásosak. Mostanra, hogy sikerült a forgalmat lekövetni és az igényt folyamatosan kiszolgálni (aki azt mondja lassú próbálja ki reklámok nélkül) fontos, hogy rendbe tegyük a dolgokat, kikalapáljuk az ideiglenes megoldásokat. Egy fő probléma volt üzemeltetési szinten, hogy több oprendszer különböző verziójával futottak az iWiW szerverei, melyek a maguk módján kezdtek külön életet élni. Ezt megoldandó tettünk ajánlatot majd készítettük el a CSCM-et (centralizált szoftver és konfiguráció management) az iWiW kiszolgáló farm részére. A CSCM lényegében egy koncepció és az ezt betartató architektúra átalakítás. Sajnos bővebbet nem írhatok róla, azért pár dolgot kiemelnék. Maga az iWiW kiszoláló farm mára már egy OS alatt fut, ezt read-only(!) HA-NFS kiszolgáló biztosítja és az, hogy minden szerverünk NFS rootja ugyanazon NFS megosztáson nyugszik. Az NFS-en lévő oprendszer SVN verziókezelő alá került így követhető minden változás az OS környezetben éppúgy ahogy egy alkalmazás feljesztésénél is (ugye nem kell ecsetelnem ez mennyire fontos). Az alap OS szinkronitás csak az első lépés volt a CSCM bevezetésében. Az egyes konfigurációk, programok és szolgáltatások amelyeknek adott kiszolgálókon futniuk kell “patch”-ként kerülnek fel a rendszerre. A kiszolgálók kiszolgáló csoportokra bonthatóak, ezek a csoportok döntik el, hogy a rendszer hogyan konfigurálja az adott hostot. Így jelen pillanatban új gép bevonása (vagy épp átpakolása) adott szolgáltatásba mára már nagyrészt csak operátori feladattá vált, a konfigurációról már a CSCM környezet automatikusan gondoskodik. Mivel maga a környezet jól bevált gondolkodunk egy v2 változaton amely már egy általánosabb, magas szintű programozási nyelvben írt a rendszergazdáink keze nyomán és általánosan használható lesz nagyobb szerverfarmok managelésére. Ha production fázisba kerül reményeim szerint opensource alkalmazásként közzétesszük, supportáljuk. Zárásként még annyit jegyeznék meg, hogy az iWiW jó példa arra, hogy egy rendszert üzemeltetési szinten is már adott méret és bonyolultság felett már nem konfigurálni, hanem programozni célszerű (kell). Immáron majd egy éve üzemeltetjük az iWiW portált az Origo számára, így lassan aktuális is, hogy írjak róla pár sort :). Az elmúlt időszak nagyon izgalmas és munkával teli volt. A folyamatos igény növekedés a rendszer minden funkciójában külön-külön új kihívást jelentett. Több architektúrális átalakuláson ment keresztül az oldal, hogy el tudja vinni a forgalmat. Mivel nem sok embernek van itthon nagyforgalmú (~70M PI/day 2000+ dinamikus(!) PI, 10k+ statikus PI/sec csúcsidőben) webportál fejlesztésében és üzemeltetésében (mi is így voltunk vele) így a legtöbb problémára nem volt jó “recept” amit követhetnénk, több irányba indulva kerestünk/találtunk megoldásokat. Fontos volt, hogy a fejlesztés és üzemeltetés szorosan együtt dolgozzon, tervezzen, csak így lehet kihozni a rendelkezésünkre álló (tehát nem végtelen…) gépparkból a maximumot. Sokszor olvasom itt-ott a véleményeket az oldalról és a kiszolgálás minőségéről… Jellemzően “okosok” tollából. Nem szállhatok vitába ezekkel a legtöbbször megalapozatlan (és idióta) kijelentésekkel egy olyan rendszer kapcsán aminek belső működését (korlátait) nem ismerik, értelmetlen is volna. Örülök, ha a site üzemeltetési és fejlesztési kérdései ennyi embert érdekelnek és szívesen várnám a hozzáértők CV-jét, mindkét területen folyamatosan veszünk fel embereket. Sajnos nehéz olyan embert találni aki kellő felkészültséggel rendelkezik ehhez. Tapasztalata egyáltalán nincs ilyen OLTP rendszerekben senkinek (legalábbis akikkel idáig találkoztam), így a felvételinél ez nem is elvárás. Terveim szerint ha a jelenlegi átalakításokon túl vagyunk alkalmanként egy-egy részről írok közelebbit, amit itt a blogon ki is tárgyalhatunk.. |
|
