Po delší době jsem si našel čas podívat se co se v našem "data frameworku" Keboola Connection odehrává.
V týdnu 22.12.2014 - 28.12.2014 to vypadalo následovně:
- naši klienti nebo interní extraktory k nám 303.502x poslali celkem 739GB dat (data nejsou žádné logy nebo kynuté soubory, jde z 99% o tabulky s obchodníma informacema)
- průměrný objem jednoho importu byl 2.5MB a měl kadenci cca 1x2vteřiny
- za stejné období jsme zpracováním dat (extrakce, transformace, obohacování, apod.) tavili procesory po dobu 3.5 milionu vteřin (cca 5.5 dne práce za den skutečného času)
- pracovních jobů v té době bylo 9559 (cca průměrně 6.1 minuty na jeden job)
Štědrý den na objemu dat neměl viditelný vliv - roboti evidentně neslaví a klientské systémy hrnou data pod parou, svátek nesvátek.
Ty samá čísla za aktuálních 24 hodin (2014-12-29 21:00 až 2014-12-30 21:00):
- počet importů (poslání dat): 46132
- objem poslaných dat: 136GB
- průměr na jeden import: 3MB
- doba práce: 616k vteřin (7.1 dne)
- počet pracovních jobů: 1409 (7.2 minuty na job)
Za posledních 30 dní máme 3.37TB přijatých dat. Tak schválně kdy dáme 100TB za měsíc? :)
P.S. Dřív jsem občas na Facebook šoup nějaké číslo. Psal jsem třeba, že za den odmakáme 110 dní práce, což obsahovalo i čekání než GoodData zpracuje náma poslaná data. Dneska to ve statistikách čistím na náma opravdu odvedenou aktivitu.