Amazon MSK - streaming zarządzany przez Amazon dla Apache Kafka

Amazon MSK to w pełni zarządzalna usługa, której celem jest ułatwienie tworzenia i uruchamiania aplikacji wykorzystujących Apache Kafka do przetwarzania danych przesyłanych strumieniowo. Apache Kafka to platforma typu open source  która służy do tworzenia protokołów i aplikacji strumieniowych w czasie rzeczywistym. Dzięki Amazon MSK możesz używać natywnych interfejsów API Apache Kafka do wypełniania Data Lakes, przesyłania strumieniowego zmian do i z baz oraz wspomagania aplikacji służących do uczenia maszynowego i analityki.

Klastry Apache Kafka są trudne do skonfigurowania, skalowania i zarządzania w środowisku produkcyjnym. Samodzielne uruchomienie Apache Kafka wymaga od użytkownika aprowizacji serwerów, ręcznej konfiguracji, wymiany serwerów w przypadku awarii, ręcznej konfiguracji, projektu klastra pod kątem HA i wieleu innych. Amazon MSK ułatwia tworzenie i uruchamianie aplikacji produkcyjnych na platformie Apache Kafka bez konieczności posiadania wiedzy z zakresu zarządzania infrastrukturą Apache Kafka.

Za pomocą kilu kliknięć w konsoli Amazon MSK można tworzyć wysoce dostępne klastry Apache Kafka z ustawieniami i konfiguracją opartą na najlepszych praktykach wdrażania Apache Kafka. Amazon MSK automatycznie udostępnia i uruchamia klastry Apache Kafka, stale też monitoruje stan klastra i automatycznie zastępuje niesprawne węzły bez przestojów aplikacji. Ponadto Amazon MSK zabezpiecza klaster Apache Kafka, szyfrując dane w spoczynku.