Apache Pinot
Apache Pinot (Incubating) - распределенное хранилище данных OLAP в реальном времени
Amazon Athena
Amazon Athena – это интерактивный сервис запросов, позволяющий просто анализировать данные в хранилище Amazon S3 с помощью стандартного SQL
Описание
Amazon Athena – это интерактивный сервис запросов, позволяющий легко анализировать данные в хранилище Amazon S3 с помощью стандартных средств SQL.
Особенности Amazon Athena
- Athena – бессерверный сервис, где нет инфраструктуры, требующей настройки или управления, поэтому можно сразу же приступить к анализу данных. Не нужно даже загружать данные в Athena, поскольку сервис работает непосредственно с данными, хранимыми в S3.
- Сервис Amazon Athena использует Presto с полной поддержкой стандартных запросов SQL и работает с различными стандартными форматами данных, включая CSV, JSON, ORC и Apache Parquet и Avro.
- Amazon Athena идеально подходит для быстрой и спонтанной отправки запросов, легко интегрируется с Amazon QuickSight, обеспечивая удобную визуализацию, а также может выполнять сложные задачи анализа с использованием масштабных операций объединения, оконных функций и массивов.
- Amazon Athena помогает анализировать данные, хранящиеся в Amazon S3.
- Athena можно использовать для выполнения спонтанных запросов с помощью ANSI SQL – без необходимости объединять данные или загружать их в Athena.
- Amazon Athena может обрабатывать неструктурированные, полуструктурированные и структурированные пакеты данных. В их число входят CSV, JSON, Avro или столбцовые форматы данных, такие как Apache Parquet и Apache ORC.
- Сервис Amazon Athena интегрирован с Amazon QuickSight, что обеспечивает удобную визуализацию.
- Amazon Athena также можно использовать для формирования отчетов либо просмотра данных с применением инструментов бизнес-аналитики или SQL-клиентов, подключенных с помощью драйвера ODBC или JDBC.
-
OLAP БД
Ключевые особенности OLAP сценария работы
- Подавляющее большинство запросов - на чтение;
- Данные обновляются достаточно большими пачками (> 1000 строк), а не по одной строке, или не обновляются вообще;
- Данные добавляются в БД, но не изменяются;
- При чтении, вынимается достаточно большое количество строк из БД, но только небольшое подмножество столбцов;
- Таблицы являются «широкими», то есть, содержат большое количество столбцов;
- Запросы идут сравнительно редко (обычно не более сотни в секунду на сервер);
- При выполнении простых запросов, допустимы задержки в районе 50 мс;
- Значения в столбцах достаточно мелкие - числа и небольшие строки (пример - 60 байт на URL);
- Требуется высокая пропускная способность при обработке одного запроса (до миллиардов строк в секунду на один сервер);
- Транзакции отсутствуют;
- Низкие требования к консистентности данных;
- В запросе одна большая таблица, все таблицы кроме одной маленькие;
- Результат выполнения запроса существенно меньше исходных данных - то есть, данные фильтруются или агрегируются; результат выполнения помещается в оперативку на одном сервере.
Аналоги и альтернативы для Amazon Athena
Amazon Athena - похожие продукты (инструменты, решения, сервисы)
Apache Druid
Druid - это ориентированное на столбцы распределенное хранилище данных с открытым исходным...
MongoDB
MongoDB — документоориентированная система управления базами данных (СУБД) с открытым исходным кодом,...
ClickHouse
ClickHouse - столбцовая система управления базами данных (СУБД) для онлайн обработки аналитических...
Отзывы
Отзывов пока нет.