• 10k rows sample (400kB): https://s3.amazonaws.com/padak-share/randomData10.csv
• 50M rows sample (1.9GB): https://s3.amazonaws.com/padak-share/randomData.csv
• 50M gzip verze (770MB): https://s3.amazonaws.com/padak-share/randomData.csv.gz

Nad daty se provádí 2 testy:

• Test A - dělá agregaci po letech a dnech v roce, přičemž počítá počet záznamů každý den a jejich průměrnou, minimální a maximální hodnotu
• Test B - dělá to samé, ale filtrované na konkrétní hodinu

Zkusil jsem to samé (nebo co nejvíc podobné) provést na dalších databázích - Amazon Redshiftu, Google BigQuery, Volt DB, HP Vertica, Elasticsearch, GoodData, Postgres, MySQL. Nejde mi o to mlátit se po hlavě, kdo je rychlejší, proto moc neřeším, jaké byly HW konfigurace; navíc Google BigQuery je “unknown hw”. Dívám se víc po složitosti, s jakou toho dosáhnout. Na Redshiftu jsem ještě zkoušel 10x to samé - tedy 500.000.000 řádků, které jsou ale 10x opakování zdrojového datasetu. V případě GoodData (na konci) jsem to ještě na závěr zkomplikoval, aby bylo vidět, jak snadné je tam věci řešit.

MongoDB

Oracle

Redshift

1. vyrobit tabulku
2. naimportovat do ní data
3. nešlo mi tehdá při importu rozpoznat formát času ISO8601, tak jsem tabulku musel alterovat
1. přidat sloupec pro timestamp
2. nastavit jej podle timestampu v zdrojových datech
3. smazat původní sloupc s datumy
4. přidal jsem si tam SortKey, udělal analyze a vacuum
   

(tady je soupis přesných SQL příkazů a časů: https://s3.amazonaws.com/padak-share/blog/redshift.sql)

Test A 

Output

Test B

SELECT
     EXTRACT(YEAR FROM created_at),
     EXTRACT(DAYOFYEAR FROM created_at),
     EXTRACT(HOUR FROM created_at),
     COUNT(*),
     AVG(value),
     MIN(value),
     MAX(value)
FROM RandomData
WHERE
     created_at BETWEEN
     TIMESTAMP '2012-07-16 00:00:00'
     AND
     TIMESTAMP '2012-07-16 01:00:00'
GROUP BY
     EXTRACT(YEAR FROM created_at),
     EXTRACT(dayofyear FROM created_at),
     EXTRACT(HOUR FROM created_at)
ORDER BY
     EXTRACT(YEAR FROM created_at),
     EXTRACT(dayofyear FROM created_at),
     EXTRACT(HOUR FROM created_at);


Output:

1. Založit projekt v https://console.developers.google.com/ a pod API&auth povolit BigQuery (a mít tam platební kartu)
2. založit “projekt” v BigQuery
3. naimportovat do něj data (samotné nahrání dat trvalo docela dlouho, přesný čas jsem si omylem nezaznamenal)

./bq mk rad.randomData
--0s


./bq load --noallow_quoted_newlines --max_bad_records 500 --skip_leading_rows=1 rad.randomData ./randomData.csv created_on:timestamp,value
-- ~1500s (čas jsem bohužel přesně nezaznamenal)

Test A

SELECT
  YEAR(created_on) AS Year,
  DAYOFYEAR(created_on) AS DayOfYear,
  COUNT(*) AS Count,
  AVG(value) AS Avg,
  MIN(value) AS Min,
  MAX(value) AS Max
FROM [rad.randomData]
GROUP BY
  Year, DayOfYear
ORDER BY
  Year, DayOfYear;

-- 7s (1.3GB)

Test B

SELECT
  YEAR(created_on) AS Year,
  DAYOFYEAR(created_on) AS DayOfYear,
  HOUR(created_on) AS Hour,
  COUNT(*) AS Count,
  AVG(value) AS Avg,
  MIN(value) AS Min,
  MAX(value) AS Max
FROM [rad.randomData]
WHERE created_on >= '2012-07-16 00:00:00' AND created_on <= '2012-07-16 01:00:00'
GROUP BY
  Year, DayOfYear, Hour
ORDER BY
  Year, DayOfYear, Hour;

-- 2.9s / 1.6s (cached)

Read 50000001 rows from file and successfully inserted 50.000.000 rows (final)
Elapsed time: 1735.586 seconds

Test A:

SELECT
     EXTRACT(YEAR FROM create_on_ts) AS Year,
     EXTRACT(DAY_OF_YEAR FROM create_on_ts) AS DayOfYear,
     COUNT(*) as groupCount,
     SUM(value) as totalValue,
     MIN(value) as minimumValue,
     MAX(value) as maximumValue
FROM RandomData
GROUP BY
     EXTRACT(YEAR FROM create_on_ts),
     EXTRACT(DAY_OF_YEAR FROM create_on_ts);

-- 70ms

Test B:

-- 330 ms