2.3. - Gartner vyhodnocoval cloud providery podle toho jak jsou vybaveni pro poskytování služeb ve 4 oblastech: application development, batch computing, cloud-native applications a general business applications. První je Amazon AWS (93.6% možných bodů), druhý je Google (72%), třetí je Microsoft (70.4%) a čtvrtý je Rackspace (69.8%). IBM, HP, GoGrid, VMware a spol se pak na první čtyřku dívají z hluboké propasti. Zdroj tady. Trochu nefér úsudek by mohl znít, že AWS je dneska nejlepší cloud.

• v kanclu v Singapore mají první podepsanou smlouvu a asi 4 dost zajímavé příležitosti. Stále platí, že hledáme někoho lehce technicky zaměřeného (nebojí se ovládat REST klienta, umí SQL a zvládne se naučit základy R + mu to pálí, není línej a kope víc za úspěch klienta než sebe), kdo by se v Praze vytrénoval a odjel tam alespoň na 2 roky pracovat.
• spustili jsme Google Drive Writer (Miro Čilík backend, Tomáč Kačur UI). Kromě toho že je teď možné zapojit lidi do ručního čistění (data se nasypou do Google Drive, lidi je nějak upravují a z jiného sheetu se tahají extraktorem zpět - super třeba pro unifikaci číselníků), může si tam kdokoliv sypat data jakoby do archivu (klidně co den to vlastní export do nějakého adresáře - Google Drive stojí $9 za 1TB) a nebo tímhle způsobem budeme moct poslat Tableau Data Extract (aka TDE) soubory komukoliv přímo na desktop. Podporujeme zápis do Sheetu a nebo do souboru.
  

  
• Kachna udělal na jeho Generic Extraktoru extraktor na GetStat.com a Linkdex.com
• Pavel s Milanem v Seattle docela zabodovali v Tableau kanclech. Je super, že tam je někdo, kdo požívá foťák, jinak by tyhle momentky zarostly pavučinama :-)
  

  
• vypadá to, že do 3 let už konečně spustíme novej web - škoda že jsme to nestihli dneska, je 30 let výročí .com domén. První doména se jmenovala Symbolics.com! Více k narozeninám .com domén tady.
• Poměrně zajímavá úvaha, tvrdící že Time-To-Value je nejdůležitější SaaS metrika. Argumenty jako že "switching costs are rapidly approaching zero" mě dost berou za srdce. Všechny produkty/služby by měly podporovat ukončení subscribce tak, aby klient necítil žádný "vendor lock-in". Věřím, že pak nikdy neodejdou (pokud vendor nezačne produk kurvit).
• sháníme člověka, co má zkušenosti s větší automatizací Amazon AWS

Amazon AWS nepomáhá v optimalizaci útraty. Pokud máme rezervaci serveru a k ní není žádné využití, není snadné se to dozvědět. Stejně tak není snadné získat kvalitní přehled o útratě (kolik za co). Pro detailní billing si platíme službu https://cloudability.com/ (zkoušel jsem ještě CloudHealth), ale stejně nám to nepomůže správně bidovat SPOT instance nebo optimalizovat útratu. Většina jejich doporučení na změny v infrastruktuře nefunguje. 

Dneska máme v produkcním prostředí (VPC v us-east) denní traffic lehce přes 2.5TB. Aktuálně nám "to" jede na 28 serverech (plus databázové backendy (RDS+Redshifty)), disky dávaj zhruba 300M I/O operací za den a letošní nejzatíženější den si vzal 11.03% CPU (letošní denní průměr 7.96%). Paradoxně vlastně samotný výkon není pro nás asi tolik podstaný. 

HR Okénko:

Pomalu koketujeme s myšlenkou, že by se nám hodil nějaký AWS admin, který by nám pomohl zamést náš nepořádek a připravit infrastrukturu na roztažení do Evropy a Asie (používáme CloudFormation). Jedem devOps, takže programátoři dneska plně přistupují k serverům. Baví-li vás Amazon API, umíte spravovat template v CloudFormation, víte co je MTU, jak funguje source routing, subnety a DNS, pak zbývá jen překypovat zájmem o nás samotné :) 

Moje únorové "top" highlighty v pracovním prostředí, bez zpráv o nových klientech.

Zahájili jsme kolonizaci velmi potenciálního regionu - od února funguje "Keboola Singapore Pte Ltd.”. Ještě tak 5~6 kanclů po světě a plány na globální gauč-surfing ve vlastních kancelářích je hotov! :) Náš "asijský startup" vede Jana Žižková, která má BI (a data obecně) v genech. Doteď nechápu, jak se nám povedlo ji zaujmout a nadchnout pro naše plány. Jsem pyšnej! V Singapuru stavíme plnohodnotnou údernou jednotku - kdyby měl někdo zájem dát si v Praze 3~4 měsíční trénink a v průběhu něj se kvalifikovat na přesun do Singapuru, hlašte se na petr@keboola.com. Zajímají nás jen chytrý lidi, co tam chtějí jít na delší dobu >18 měsíců (žádná letní dovolená).

Dali jsme se dohromady s excelentním Tableau partnerem, firmou Billigence. Jejich domovská krajina je Austrálie, kde sídlí na adrese "10 Help Street, Sydney" - což je nejvíc top ulice, když chcete dát najevo, že jsou vaši zákazníci to nejdůležitější, co máte :) Pro Billigence slouží Keboola Connection jako Data framework, DWH a staging layer pro cloudové zdroje dat určených k analýze. Pro nás je podobný vztah doslova požehnáním, protože není nikdo lepší, kdo by nám dal správný feedback na naše konektory pro Tableau. 

Spustili jsme další transformační backend v jazyce R. Bez nadsázky se dá říct, že každý zajímavý algoritmus má svojí reprezentaci v R. A jelikož je R jedním z nejrozšířenějších statistických nástrojů, nemohl dlouhodobě chybět. Možnosti, které to našim klientům dává, jsou téměř nekonečné. Rád teď leaknu, že připravujeme podporu Shiny frameworku, ve kterém běží hodně mocné aplikace pracující s daty. Samozřejmě máme před sebou ještě velké zlepšování okolní "R infrastruktury", ale věřím, že udržíme tempo! Tady proběhlo naše oficiální oznámení. UPDATE: Dal to dohromady Najloš, kterej se možná cejtí fakt uraženej, že jsem na něj jakoby zapoměl. Taky mu myslím s R pomáhal Odin, kterej se zatím uraženej asi necejtí, ale radši to sem napíšu. Teď jako čekám smršť potenciálně ukřivděnejch lidí, tak sem nalinkuju http://padak.keboola.com/dalsi-rok-za-mnou kde píšu že jsou všichni super. Snad to stačí :-)

3rd party app - náš transformační backend s R běží v Dockeru. Tady je náš Docker Hub a tady jsou zdrojáky našeho “demo dockeru” - a když už to takhle máme, je nasnadě, aby nám kdokoliv třetí dodal svojí “aplikaci / business nástroje” stejným způsobem. Mimochodem, Microsoft spustil Docker v Azure před pár dny do public beta a Amazon to rozjíždí v AWS jako Elastic Container Service, zatímco CoreOS řekl, že to je crap, a jede si svůj vlastní kontejner. No a u nás máme první dvě vlašťovky našich 3rd Docker aplikací: Yottly.com a Geneea.com. Yottly za náma poslal Vojta Roček - soustředí se na využití machine learning nástrojů v ecommerce. Geneea.com jsou zase experti na Natural language processing - tedy schopnost strojově popsat význam textu. Pro lepší představu co umí "stroje ovládající NLP" si pusťte AlchemyAPI demo - ve výsledcích si klikněte na “Relations” a pak na nějakou vybranou větu. Čeho všeho jde s pomocí NLP v našem prostředí docílit je totální úlet! Takové nejlépe dostupné API pro NLP jsou již zmíněné AlchemyAPI, Semantria a nebo IDOLonDemand (jádro HP Autonomy).

Erik zmigroval naší klíčovou komponentu (Orchestrátor) do kompletně asynchronního režimu. Trvalo nám to věčnost, ale proběhlo to téměř bez problémů a teď díky backendu v Elasticsearch můžeme začít dělat věci jako “notifikuj mě, pokud nějaký job běží o 20% déle, než je průměr za posledních 30 spuštění”. 

Když už o tom píšu - hodil by se nám na občasné konzultace někdo, kdo má zkušenosti s Elasticsearch - potřebujeme rady, abysme neimplementovali nějaké anti-patterny. Elasticsearch sám nabízí pouze support od 20kEUR na rok, což je pro nás lehce overkill...

Po skoro 3 měsíční pauze jsme obnovili testování Snowflake.net, který se chystáme zapojit jako další backend na uložení dat. Snowflake je naprostý úlet co se týče výkonu. Poslední, co nám zbývalo otestovat, jsou věci jako monitoring, provisioning, apod. 3 měsíce jsme čekali na nějaké dodělávky od Snowflake - teď je to hotové a já napjatě čekám, co z toho bude :)

Odin vykopnul K-Means segmentaci jako “Recept" běžící v Keboola Connection. Nejlepší popis K-Means, co jsem v poslední době našel, je tady. Pomocí K-Means můžete automaticky najít segmenty v datech, které od nás dostanete jako "další sloupeček", a k němu nákresy binárních stromů, abyste si mohli udělat představu, jak "stroj" k segmentu došel.

Marc udělal “Recept”, který dělá analýzu nákupního košíku. Řekne vám to, že když je v košíku tlačenka, bude tam z 73% i pivo a že se tahle kombinace vyskytuje v 64% všech objednávek, apod. Úplně se nabízí zkoumat profit těchle kombinací a případně je nabízet společně “v akci”. Případně řešit, jestli pochopíme návyky skupiny lidí, co si kupují tlačenku bez piva, apod. 

Milan domluvil se Zendeskem zapnutí Zendesk Insights (jo, jako správný socky si platíme nejlevnější tarif, ve kterém to normálně není :) - a tak jsem skočil do GoodData projektu se Zendesk datama a podíval se, jak na tom jsem. Od zavedení Zendesku jsem hlavní jouda L1 support týmu. Brutálně mě to 2. rokem otravuje, ale fakt, že každý ticket dostanu do mobilu a zároveň jich velkou část přímo odbavím, mě udržuje ve stavu, kdy mě nejde interně nabullshitovat, jak je něco super cool, zatímco nám zákazníci píšou, jaký s tím maj problémy. Je mi jasný, že to trvale nepůjde, ale doufám, že to vydržím dělat co nejdýl! Přísné tempo, kdy jsem prvních 6 měsíců zavíral skoro 60% všech ticketů, je dávno pryč, nicméně posledního 1/2 roku útočím na 40%, což je pořád dost a jsem na to pyšnej :)

Naše kanadská parta se hodně angažuje v ekosystému Zendesk.com. Velkou roli v tom hraje náš “školící" produkt Keboola Academy. Tady a tady Zendesk probírá, jak důležité je se daty kolem “customer care” zaobírat. 

Pavel Doležal je na tripu po US a mimo jiné zašel na Tableau Konferenci. 

Tableau 9 server je úplně jiný svět, má své specifické zákazníky, myslím že se to super doplňuje s GoodData. Oznámené novinky jsou nicméně hodně přísné - do detailů se nepustím a raději to nechám někomu fundovanějšímu :)

GoodData získala zlato za "best Customer Support Department of the Year" - je to určitě zasloužené. Jejich support je opravdu skvělý! Velké gratulace a respekt - určitě to nebylo zadarmo!

Moje lednové "top" highlighty v pracovním prostředí (že Tereza řekla včera ráno smysluplnou větu sem asi dávat nebudu, co? :)

Briskat.com Hynek Vychodil a Vladimír Makovský spustili interaktivní analytickou databázi MIA DB, která vypadá hodně perspektivně. Tady je demo a tady blogují. Hynek a Vladimír mají solidní track record na poli DB backendů a práce s datama. Jsem na to moc zvědavej a mohutně držím palce! 

Vertica se konečně přesunula do cloudu jako "Vertica on demand". Od ledna je možné si pronajmout tuhle analytickou databázi přímo od HP. Vertica mi tu figuruje ve dvou postech (první, druhý) a speciálně komentáře pod tím prvním stojí za pozornost.

KBC stats - za leden 2015 k nám přiteklo v 1.19M requestech 3.94TB dat. 

Keboola London - v tichosti “otevíráme” UK trh a prostřednictvím Martina Lepky máme od února full-time prezenci v Londýně. 

GoodData “Insights as a Service” - masivně oznámená novinka, co mi zaplavila všechny kanály. Jsem zvědavej, jak to bude dál - od spousty super věcí časem ztratili záběr (JS API třeba). Pokud “analytický designer” budou držet na špici, vydají nějaký popis metadat, aby mohl kdokoliv definovat “co” se dá s daty dělat a propojí ho víc se zbytkem GoodData, bude to super. Vypadá to velmi slibně, byť mě “air wars marketing” trochu tahá za uši :) Zároveň se obávám jedný věci - že potenciální odklon od MAQL vezme GoodData to co je na nich dobrý - za okny totiž číhá svět plný těhle tahacích klikátek, kde právě absence "AQE" z nich dělá hračky pro šašky. Držím palce a těším se na to!

Medio Interactive naskočilo na naší 'juchůů' vlnu a pustilo se do pokročilých analýz. My jim po pečlivém zaučení dáváme statut “Keboola Certified Partner”. 

Tady je k vidění záznam z jejich prvního webináře, vedeného Honzou Tichým. Časem ho snad přemluvím k rozhovoru, celebritu jednu! :-) Medio je, mimochodem, jediná schůdná cesta jak se u nás dostat ke Google AdWords datům, pokud nemáte vlastní Google Developer Token!

Breezy začalo programovat komponenty do Keboola Connection! Seznámili jsme se s nima jako s partou co technicky stála za projektem Gorila Mobil. Dneska pro naši platformu dělají konvertor z Excelu do CSV, extraktor z iTunes a podle posledních informací je uhání Vojta Roček z Rockaway, aby pro ně udělali nástroj na zpracování mandatorních filtrů do GoodData. Breezy k nám dává svoje aplikace zapouzdřené v Docker.com a pokud to klapne jak má, budeme z nich mít prvního “Keboola Certified Developer”!

Microsoft Power BI (http://www.powerbi.com/) je od konce ledna k dispozici zadarmo. Co nám to na Enterprise Data Hackathonu ukazovali kluci z Bits2s Intelligent Technologies, vypadá to hodně dobře. Myslím že to má potenciál zahýbat s trhem, zvlášť při integraci s MS Azure, kde je dost pěkných nástrojů na zpracování dat (Azure Machine Learning, např.).

UPDATE: Tak PowerBI ještě chvilku kartama míchat asi nebude :-)

Keboola Meetup - proběhl náš první MeetUp pro zákazníky. Brzo budou fotky a videa! Klobouk dolů před lidma co tam vystoupili a pustili nás všechny do svých obyváků. Například papírnictví McPen, projekt našeho partnera Ascoria.cz, tam naživo ukázal svoje dashboardy, všechny čísla, apod. Respekt!

Na wiki.keboola.com od začátku roku veřejně dumpujeme poznámky, návody, postřehy a dokumentaci. Teším se až tam začnou sypat non-Keboola lidi svoje znalosti!

Wishlist zapli jsme veřejný Trello board, ve kterém může kdokoliv hlasovat pro návrhy, co máme dodělat. Je to ideální studnice inspirace pro naší konkurenci :) a cesta jak naši zákazníci natlačí vývojářům vlastní potřeby/představ. Popsané je to na našem "Statusu".

Partneři nám přebírají klienty - na tohle jsem čekal 2 roky! Je to signál živého a fungujícího ekosystému. Doufám ve víc podobných situací - je jasné že my sami budeme nejlepší primárně v podpoře našeho "data frameworku” Keboola Connection a koncovou péči o zákazníka, včetně vysoké vertikální znalosti, musí převzít někdo lepší než jsme my.

Docker se zabydluje v Keboole - což znamená že kdokoliv může svojí business logiku (machine learning algoritmy, R aplikace, apod.) zabalit a nechat nad datama našich klientů monetizovat. Do budoucna budeme nejlepší místo na vydělávání peněz pomocí chytrých aplikací. Něco jako podtitulek Enterprise Data Hackathonu "Real data, from real enterprises, great tools, lots of fun!”. Zbývá dotáhnout jak propojit našeho klienta a 3rd aplikaci a značně vylepšit naší schopnost datům automaticky porozumět (<<HR okénko!). #realData #realMoney

Po delší době jsem si našel čas podívat se co se v našem "data frameworku" Keboola Connection odehrává. 

V týdnu 22.12.2014 - 28.12.2014 to vypadalo následovně:

• naši klienti nebo interní extraktory k nám 303.502x poslali celkem 739GB dat (data nejsou žádné logy nebo kynuté soubory, jde z 99% o tabulky s obchodníma informacema)
• průměrný objem jednoho importu byl 2.5MB a měl kadenci cca 1x2vteřiny
• za stejné období jsme zpracováním dat (extrakce, transformace, obohacování, apod.) tavili procesory po dobu 3.5 milionu vteřin (cca 5.5 dne práce za den skutečného času)
• pracovních jobů v té době bylo 9559 (cca průměrně 6.1 minuty na jeden job)

Štědrý den na objemu dat neměl viditelný vliv - roboti evidentně neslaví a klientské systémy hrnou data pod parou, svátek nesvátek.

Ty samá čísla za aktuálních 24 hodin (2014-12-29 21:00 až 2014-12-30 21:00):

• počet importů (poslání dat): 46132
• objem poslaných dat: 136GB
• průměr na jeden import: 3MB
• doba práce: 616k vteřin (7.1 dne)
• počet pracovních jobů: 1409 (7.2 minuty na job)

Za posledních 30 dní máme 3.37TB přijatých dat. Tak schválně kdy dáme 100TB za měsíc? :)

P.S. Dřív jsem občas na Facebook šoup nějaké číslo. Psal jsem třeba, že za den odmakáme 110 dní práce, což obsahovalo i čekání než GoodData zpracuje náma poslaná data. Dneska to ve statistikách čistím na náma opravdu odvedenou aktivitu.

Od mýho posledního "narozeninovýho" postu uběhl další rok - včera měl můj GoodData účet 5. narozeniny.

V jednu ráno mi zvoní mobil a volá kurýr z DámeJídlo, že má pro mě překvapení - od Pavla Doležala dorazil šampus. Sice mám horečku a jedu hodně sólo party v posteli, ale trochu dojatej jsem! 

Za ten uplynulej rok nebyl den, kdy by se mi nechtělo do práce a největší zásluhu na tom maj lidi v Keboole, bez kterejch bych dělal v TESCO na pokladně. Díky!

Vhodný moment se ohlédnout za uplynulým rokem. Bez chronologického pořadí:

• Začali jsme mluvit s kýmkoliv kdo má potřebu analyzovat data - už primárně neprodáváme GoodData, ale pomáháme připravit data k analýze. Komukoliv, i kdyby si chtěl kreslit vlastní grafy v highcharts.com - hrajeme pro klienta a kopeme za jeho analytiky.
• Do Keboola Connection zabudováváme další a další cesty, jak dostat data do jakéhokoliv BI. Vedle GoodData podporujeme dneska Tableau a Chartio a plánujeme zapojit podporu pro Birst, RJMetrics a Anaplan. Rád bych tam brzo měl i SAS. Pokud si něco umí sáhnout do DB, CSV z disku nebo z URL, dodáme tomu data už dnes.
• V tichosti jsme spustili "Aplikace", které zatím obsahují naší juvenilní komponentu "LuckyGuess" a transformační šablony, zrychlující denní práci. V budoucnu bysme rádi podporovali de-facto cokoliv, co přináší uživatelům/analytikům přidanou hodnotu tím, že "nějak" analyzuje data. Pokud někdo dovede dodat analytickou aplikaci v Dockeru, jsme nejlepší místo na její monetizaci - my máme výpočetní výkon, klienti mají u nás svoje data... Stačí to spojit. Dneska náš LuckyGuess používá primárně R a umí základní věci jako poznat vztahy mezi tabulkama, poznat datové typy, najít závislosti mezi sloupečkama ("rekni mi, které výdaje mi přinášejí nejvíce zákazníků") a nebo umí hledat seasonalitu v nákupních zvycích, čímž vám tipuje, kdy konkrétní zákazník znovu nakoupí (a vy za ním pošlete 2 dny předem obchodníka). Na dalších aplikacích makáme!

• Vrátil se nám po 2 letech z Japonska Marc Raiser. Když odjížděl za neodolatelnou nabídkou do Fujitsu Mission Critical Systems Ltd. (zpracovávat data z průmyslových zařízení a nad nima dělat A.I.), říkali jsme ze srandy, že tam jeden na stáž. Máme ho zpět a přidává se k vývoji LuckyGuess komponent!
• Pomalu finišujeme masivní přepis do kompletně asynchronního chování. Dává nám to neomezený výkon v horizontálním škálování.
• Martin Karásek nám namaloval nový design našeho UI. Už nebudeme jen holý Bootstrap! Při implementaci Martinova designu zároveň děláme nový koncept UI, kdy je vše jen jako SPA aplikace, která jako klient volá naše API. Kdokoliv (typicky náš partner) si to může vzít, přebarvit, přejmenovat a provozovat u sebe - takový easy whitelabeling). Sneak peek UI pro Transformace:

• Zorganizovali jsme první Enterprise Data Hackathon
• Trháme od sebe produktovou a servisní část firmy; kluci co dělají Keboola Connection už nemají žádného přímého zákazníka - vše se dělá přes partnery, kterých je aktuálně 7. Partnerem je někdo cizí, kdo má v datech svůj vlastní business a od nás si kupuje technologii. Za poslední měsíc za náma přišli sami od sebe 4 další firmy.
• S Milanem jsme přibrali Pavla Doležala - je náš třetinový společník a má za úkol kopat za rozšiřování partnerské sítě. 
• Odešel Vojta Roček a vydal se vlastní "BI" cestou. Dneska je zaparkovaný v Rockaway kde "formátuje" lidi, aby správně přemýšleli o datech. Keboola Connection tam podle všeho prorůstá všemi směry.
• Máme hotový extraktor-framework - prostředí ve kterém třetí strany mohou psát extraktory na data. Nám samotným zabere napojení na nové API asi 1/2 dne.
• Finišujeme aplikaci, co umí načíst Apiary Blueprint a tím se naučit ošahávat jakékoliv API, které má v Apiary dokumentaci.
• Připravujeme "schémata" - možnost pojmenovat data standardní nomenklaturou. Taková "datová ontologie". Díky tomu bude možné psát chytřejší Aplikace, protože roboti budou rozumět významu dat.
• Uvádíme do života TAGy - formu dialogu mezi váma, náma a datama. Stačí dát sloupečku v datech tag "location" a lusknutím prstu dostanete ke každé adrese data o počasí. Když řeknete že je nějaký sloupeček "currency" obratem vám data přepočítáme do zvoleného kurzu. Atd...
• Stále je nás cca 25 - svižně rosteme, aniž k tomu potřebujeme další a další lidi.
• Pro Zendesk jsem udělali online kurzy na Zendesk Insights
• V Kanadě jsme se přestěhovali do nového kanclu
• Publikujeme co nejvíc věcí jako opensource. Pokud to dává smysl, chceme to i zadarmo provozovat. Konvertor JSON2CSV je první vlaštovka (více zde). Líbilo by se mi, kdybysme ještě časem zadarmo provozovali nejvíc trendy extraktory.

Po 2 letech jsem se pustil do updatu starého postu Cloud - vyhazujeme peníze oknem?...

TL;DR je v starém článku, tady už jen soupis :-)

Komentář: je vidět, že jsme trochu posekali náklady a vypli nepoužívaný věci. Pořád je to ale dost macatý a nevím, jak bysme bez toho fungovali. Díky tomu je dneska úplně jedno, kde sedíme. Co se programátorů týče, tak dva jsou v Kanadě, jeden v Prostějově, jeden v Brně, čtyři v Praze a jeden v lese někde za Prahou - není možný mít v kanclu server, víc než půlka týmu by k němu nemohla. Na zimu se ještě jeden "kanaďan" přesune do snowparku a druhej odletěl někam k Montrealu - totální fragmentace :) K tomu je navíc další půlka český firmy někde mezi domovem, kanclem a klientama. Bez služeb v cloudu by tohle nefungovalo.

Nové

• CloudGates ($85) - FTP/SFTP vrstva nad naším Amazon S3, když nám někdo chce poslat data na FTP, uděláme mu tady účet a přijímaný data si vybíráme z Amazon S3; pro klienty co maj data v Adobe Marketing Cloud doslova nepostradatelný
• Cloudability ($189) - Hlídá útratu v AWS, denně dostaneme přehled nad nákladama za minulý den - díky tomu nemůžeme ustřelit do vesmírnejch částek
• Google Cloud (~$20) - hlavně BigQuery, v našem případě občasný hraní
• Slack ($80) - 10 lidí v placeným Slacku (>5 integrací s jinou službou) - nahradilo nám to hipchat.com; po pár týdnech nemáme de-facto žádnou emailovou komunikaci mezi programátorama
• Mailgun ($0) - API pro import dat z emailů, life-saver (díky za tip, Rasťa Turek)
• DigitalOcean (~$10) - občas si tam nahodíme server pro nějakej test, případně jednorázovej úkol, oproti AWS je to celé mnohem míň uklikané
• Posthaven ($10) - tady máme firemní blog.keboola.com a status.keboola.com
• Wunderkinder ($5) - takový rychlý task-listy, myslím, že to používám placené jen já
• Eventbrite - když něco pořádáme (třeba hackathon), tohle nám řeší věci kolem eventu
• GoDaddy/Ignum/Symantec - domeny, SSL

Zdražené

• papertrail ($150) - služba, kam posíláme logy a můžeme je tady analyzovat, nad logama se mohou pouštět různé dotazy, které je možné podle výsledku někam notifikovat, zkoušel jsem ještě Splunk Storm a Loggly, ale Papertrail nám sedl nejvíc; máme ho propojený s PagerDuty
• Paymo ($135) - tady trackujeme práci na placených projektech, data odsud taháme přes API
• Apiary for Teams ($99) - v něm máme dokumentaci všech API; šel jsem to spočítat a je jich tam 21
• Google Apps ($127) - emaily na doméně keboola.com (+dokumenty, hangouty, kalendáře, atd...)
• AWS (-) - sem nám teče nejvíc $$, v AWS máme servery, databáze, fronty, Redshift, DNS, CloudSearch, atd...
• GoodData (-) - srdce našeho podnikání :-)
• OVH (-) - nám dodává servery pro některé datové transformace, máme to na východě Kanady

Zlevněné

• NewRelic ($199) - serverový profiling aplikací, naprosto super věc, díky tomu vidíme, kde nám co vázne - přešli jsme tam na nějakej spešl tarif pro 8 serverů a asi 10 lidí, nemáme to nasazené všude
• Foocall ($15) - používáme na volání do zahraničí. v telefonu si tím vygenerujeme lokální telefonní číslo (pevnou linku), na kterou pak zavoláme a foocall hovor přesměruje kam potřebujeme. skvěle použitelné i na EDGE internetu, cena za minutu téměř zanedbatelná 
• Zendesk ($493) - supportní systém, tady řídíme věci na support@keboola.com (dneska 17 agentů, downgradováno na nejnižší tarif)

Zrušené

• Okta - kde to jde, používáme Google+ autorizaci
• Evernote - zrušil sponzorované programy, každý si to musí platit sám, nebo je Evernote for Business, což je nesmyslně drahé (a na spolupráci nad dokumenty to válcuje Google Drive)
• LiquidPlanner - to se vůbec neujalo :)

Stejné jako loni

• PagerDuty ($49) - používáme pro distribuci notifikací (zalogované problémy detekuje Papertrail, který založí v PagerDuty "problém" a postará se, že se o něm dozvíme)
• GitHub ($50)- repository zdrojových kódů, dáváme sem hlavně věci, co jsou veřejné
• BitBucket ($10) - repository zdrojových kódů privátních věcí
• sendgrid ($10) - tohle je náš centrální mail relay ze serverů, nikdo nás podle IP nepovažuje za spammery a email traffic se dobře monitoruje
• Pingdom ($10) - nám nezávisle hlídá dostupnost serverů, kterou veřejně publikujeme
• Trello ($20) - skvělá věc na správu projektů (hodně orientovaná na konkrétní úkoly), nediktuje vám žádnou metodiku, taková cloudová tabule s kartičkama
• Vimeo ($12)- videoserver pro Keboola Academy video tutoriály
• GoToMeeting ($49) - hodně jsme to používali před Google Hangoutem, postupně ustupuje, ale pořád imho mnohem lépe fungující věc na online schůzky (nahrávání, fullscreen mod, app v telefonu, i pro lidi co nemají Google účet, ovládání cizí klávesnice, atd...)
• OpenBrand ($0) - tady máme naše brand assety, ale spíš je to mrtvý, nikdo to moc nepoužívá (CI máme v Dropboxu :)
• Dropbox ($0)
• Mailchimp ($0) - všichni znáte
• + pár "devel" věcí, jako je Travis ($0), Packagist ($0), aj.

Nové v kategorii "koketování"

• Microsoft Azure - koketujeme s AzureML, máme nějaký trial, ale zatím žádné vážné použití
• Chartio - služba co kreslí grafy z dat získaných z našeho backendu
• Birst - CloudBI - chceme posloužit i těm, co už si tohle koupili - tak to zkoumáme
• Anaplan - CloudBI - chceme posloužit i těm, co už si tohle koupili - tak to zkoumáme
• RJMetrics - CloudBI - chceme posloužit i těm, co už si tohle koupili - tak to zkoumáme
• Snowflake - úplně čerstvě "pronajatý" data warehouse včetně analytické nadstavby, máme to zatím v trialu a cenu myslím nechtějí zveřejňovat, aby jim to dalo šanci osejlovat další zákazníky, ale je to dost příznivý!
• Flexibee - CZ účetnictví v cloudu
• QuickBooks - CA účetnictví v cloudu

Co používáte vy? Podělte se v komentářích :)

10.-11. dubna 2014 jsme jeli do San Francisco na hackathon, pořádaný v kanclech GoodData, zaměřený na používání jejich nových SDKček. Za 7 měsíců jsem si nenašel čas to sepsat, tak snad bez větších zkratek teď. Po dobu hackathonu jsme měli v Praze i San Francisco dropcam.com kamery - v textu jsou bez kontextu 2 timelapse videa.

Spustili jsme do takového semi-experimentálního provozu službu na parsování JSONů. 

Běží na json-parser.keboola.com:

Jde do ní nahrát JSON(y) a aniž znáte jejich strukturu - server vrátí ZIP ve kterém jsou CSVčka, vždy podle toho, jak rozprsklé to musí být.

Tady je 1000 JSONů (1.1MB), vždy jeden JSON na řádek. Můžete si zkusit to zkonvertovat - nechte to načíst přímo z URL (http://enterprise.hackathon.bi/sample_1000_obj.json) a zaškrtněte "Line delimited" - za pár vteřin se vám vrátí ZIP.

Jeden řádek v sample souboru obsahuje strukturované informace o tom, jaký dotaz někdo zadal na seznam.cz a co bylo odpovědí. Takhle to vypadá naformátované.

Služba je zadarmo a bez záruky. Má to API (nemusíte nic vyplňovat ručně), jakmile to Kachna popíše, dám sem odkaz do dokumentace. Technicky vzato by to mělo zkonvertovat třeba bambilión jsonů najednou, ale nijak to netestujeme a pokud tam pošlete 1GB zip, asi crashne spojení browseru a CSVčka zůstanou na serveru a nikdy se k nim nedostanete - to časem vylepšíme!

Začátkem července 2014 oznámilo O2, že kupuje Gorila mobil, firmu, která podobně jako Dáme Jídlo přišla do Kebooly pár měsíců před svým oficiálním startem a začala si domlouvat analýzu dat. Pokud si dobře vzpomínám, přišli nám jako parta pankáčů - není normální, že vám někdo zavolá, a když mu řeknete, že mu rádi pomůžete, pošle vám rovnou velkej balík peněz jako zálohu za (dosud oficiálně neobjednaný) služby… Jeden z pankáčů je Roman Nováček - mozek, co přemýšlí trošku jinak, než vy nebo já.

Střih o 1.5 roku dozadu.

Je 23.4.2013 a já jedu do TechSquare za Romanem, co toho času stojí za firmou tarifomat.cz. Upřímně se mi tam moc nechtělo. Z tarifomatu se vyklubala firma s neuvěřitelně těžkým postavením (dostávají provize od operátorů poté, co jima dohozený klient 1/2 roku bezchybně platí) a se složitým obchodním funnelem plným pastí typu “kurýr nenašel adresu udanou ve formuláři”. Vyloženě klient pro nás, jen by potřebovali sedět na 30x maržovějším produktu. Zatli jsme zuby a Vojta Roček celej projekt zpracoval k všeobecné spokojenosti. Jinak to nešlo - náš VP of Propaganda jasně napsal, že je na nás spolehnutí - a kdo by si s Goebbelsem zahrával, že? :)

Toho času získal tarifomat perfektní přehled nad celou svojí pipeline (až 1500 poptávek denně), dneska Roman říká, že prvně pochopili, co se ve firmě děje.

O 7 měsíců později zvoní telefon a volá Roman. Tajuplně mluví o virtuálním operátorovi a začíná s náma připravovat design firmy řízené metrikami. Jakmile se někdo takhle chová, přestávám být schopnej udržet pozornost při čemkoliv jiným a začne mě to zajímat. Ze začátku to vypadalo jako řeči, ale pak přišly peníze a hned za nima první zadání, schůzky a plánování, co přesně budem řešit.

Gorila mobil byl další virtuální operátor (v rámci sítě O2), co se snaží být cool - podívejte se na jeho YouTube kanál. Cool styl ale není ingredience úspěchu…

Roman si s naší pomocí postavil denně aktualizované dashboardy, ve kterých sledoval aktivační funnel s rozpadem na marketingové kampaně. V O2 na to koukali jako bacil do lékárny. Počet aktivovaných SIM roste, nákladová cena klesá - všichni slaví. Jen Romanův tým ne. Lidi tarify nepoužívají, jak si v Gorila Mobil představovali. Co teď?

Pátek: “Zavrtáme se do GoodData Dashboardů a vymyslíme to!”

Neděle večer: Claim “Gorila mobil - nejvíc internet, FUP you!” se mění na “Hodina volání za 5 Kč a tolik dat, kolik potřebuješ”.

Kompletní switch pozice značky, která se spoléhá pouze na data! Mrazí mě v zádech, a zatímco si v kanclu hrajeme ping-pong, Romanův tým válí dál! 5Kč/hod zafungovalo - mají tvrdá data k dalším vizím, jsou odvážný a plný energie. Romanova filozofie, že data slouží k popisu dnešního stavu a zároveň validaci, zda podnikáním točíme kormidlo správným směrem, se v praxi ukazuje jako super úspěšná. A stejně jako v Dáme Jídlo, i Gorila mobil prostupují data - "nebyl čas něco schovávat, všichni (call centrum, O2, investoři, partneři) ví všechno" - počty objednávek za den, srovnání oproti minulému týdnu/měsíci, ceny objednávek, ceny aktivací, počty lidí v zákaznické bázi, jak dobíjejí, kde dobíjejí… Bohužel tahle pouť  trvá jen 3 měsíce - projekt je tak úspěšný, že jej O2 kupuje a Roman chvíli na to odchází do svého nového působiště - a Keboola tím získává dalšího zákazníka, který vypadá neméně super - ostatně kdo máte kryt na mobil třeba z pravýho třešňovýho dřeva? Jsem zvědavej, jak se (datově) postaví k věcem jako je doživotní záruka bambusovýho pouzdra na iPad :-)

Roman je v těchto dnech v Číně a cpe se tam kuřecíma pařátama - takže jsem s ním udělal jen stručnej asynchronní rozhovor přes Google Docs :-)

PŠ: Romane, co bylo na začátku Gorila mobil nejtěžší?

RN: Přesvědčit O2, že musíme takhle agilně fungovat a že není čas na meetingy. Chtěli jsme firmu kompletně zaměřenou na marketing a 100% řízenou daty. Na začátku tomu nikdo (v O2) nevěřil. Dneska (po akvizici Gorila mobil) chtějí (O2) to samé, co jsme měli my (kolik včera stály aktivace a z jakých kanálů jsme je měli). Kope tam za to Dušan Šimonovič a Jiří Caudr - snad budou úspěšný! Když přesně víš, co se ve firmě děje, nemusíš spekulovat. To ti dává obrovskou sílu rozhodovat a makat, protože přesně víš, co děláš. Žádný bloudění ve tmě. Tohle odděluje zrna od plev :-)

PŠ: Jak to myslíš, “odděluje zrna od plev”?

RN: Když nemáš o co svoje rozhodnutí opřít, vytváří ti to - jako manažerovi - vůči investorům jistý polštář, takové semi-alibi. Když něco nevyjde, vždycky můžeš říct, že se změnil trh nebo zapůsobila nějaká externalita. Snadno věci okecáš. Pokud ti většinu rozhodnutí podkládají data a každý ti přes ramena kouká na tvoje výsledky, tak jdeš se svojí kůží na trh. Když něco poděláš, je v datech vidět, jaký okolnosti byly před rozhodnutím a jaké jsou dneska. Já to mám rád a nemůžu to dělat jinak - moje hlava takhle funguje :-)

PŠ: Jak se ti s náma dělal druhý projekt? 

RN: Jakmile jsme přesvědčili partnery, že budeme stavět “metric driven company”, byl největší kus dostat tam všechny data. Informace ze sítě, z marketingových tabulek, google analytics, pošty, kurýra, CMS atd. Hodně nám pomohl Martin Hakl a jeho firma Breezy, která dělala web a napojení všech našich dat na vás.

PŠ: Mohl bys něco ukázat?

RN: Jasně, trochu jsem zamazal osy… Asi se hned zeptáš, co to je a jak jsme s tím pracovali, co? :) V tom grafu je vidět, jak se nám dařilo aktivovat SIMkarty v čase. Přerušované čáry jsou lineární extrapolace - tedy zjednodušení průběhu (vyjádření trendu) - abys v grafu viděl, jestli to má “tendenci” růst nebo stagnovat. Tenhle graf jsme měli na dashboardu a mohl sis ho filtrovat podle kanálu, ze kterého SIMkarty přicházejí - například PNS (trafiky). Stejně tak jsme se mohli dívat, jaké aktivace máme podle marketingového kanálu. Kliknutím na body v grafu se otevřel jiný dashboard, kde bylo vidět, kolik peněz nám z daného balíku aktivací padá a jak se lidi chovají. Na obrázku se to špatně předvádí - lepší je to ukazovat :)

PŠ: Mám tendenci se lidí ptát, jaký byl jejich “aha moment” - takové to “Do p*či, kormidlo doleva!” - podělil by ses o něco?

RN: Utráceli jsme něco kolem 1,5MKč/měsíčně. Výkonost marketingu byla super! Když jsme ale různě daty drillovali, všimli jsme si, že máme v bázi několik kampaní, které jsou špatné a celé to táhnou dolů. Paradoxně to nebylo vidět, protože jiné věci byly naopak extra kvalitní. Kdybychom nedrillovali do detailů a dívali se jenom na průměrné výsledky, tak na to nikdy nepřijdeme. Prostě jsme měli extra kvalitní kampaně a extra špatné kampaně, v průměru to bylo OK. Když jsme ale šli do detailu a na tohle přišli, tak jsme okamžitě ty nefunkční kanály stopli a druhý den všechno dělali od znovu. Denně jsme expedovali 500 SIM karet a věděli jsme, kolik nás stojí, za jak dlouho se přihlásí do sítě, kolik utratí, jak dlouhou zůstanou. Mohli jsme “v klidu” spát :-)

PŠ: Takže data guy forever?

RN: Tak to si piš :-) V každý další firmě bude datová analytika to první, co budu řešit. Díky tomu, že do firmy vidíme, tak máme mnohem větší odvahu riskovat a zkoušet nový věci.