03067 г. Киев
бульвар Вацлава Гавела, 4
+38 (044) 333 65 51
+38 (067) 333 65 51
[email protected]
[email protected]

Обзор распределенной платформы обработки данных Apache Flink

Apache Flink создан как обработчик данных для использования их в больших приложениях; является платформой для пакетной обработки данных и распределенного потока.

Flink принимает исходные данные, обрабатывает их с помощью программ и далее выводит в реальном времени. На сегодняшний день это один из самых быстрых способов обработки больших объемов информации.

Платформа имеет ряд следующих особенностей:

  • Отказоустойчивость;
  • Потоковая модель передачи является непрерывной;
  • Управление памятью;
  • Поддерживаются временные и неисправные события;
  • Приложения для потоковой передачи данных DataStream API и пакетной обработки данных DataSet API;
  • Наличие библиотеки для машинного обучения и реляционной обработки данных.

Анализ больших данных является одной из самых гибких опций Apache Flink и в этом случае также имеется ряд своих достоинств:

Возможность выполнять анализ данных в двух режимах: потоковом и пакетном;

  • Низкое время ожидания и высокая производительность;
  • Наличие системы управления собственной памятью;
  • Совместимость с HDFS, YARN, потоками данных от Kafka, Apache HBase, Google Cloud Platform;
  • Способность выполнять программный код Hadoop.
Share

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *