Nowość – AWS DMS Serverless: automatycznie przydziela i skaluje pojemność na potrzeby migracji i replikacji danych

Przy ogromnej ilości tworzonych obecnie danych organizacje przenoszą się do chmury, aby skorzystać z bezpieczeństwa, niezawodności i wydajności w pełni zarządzanych usług baz danych. Aby ułatwić migracje baz danych i analiz, możesz skorzystać z usługi AWS Database Migration Service (AWS DMS). Uruchomiony po raz pierwszy w 2016 roku, AWS DMS oferuje prosty proces migracji, który automatyzuje projekty migracji baz danych, oszczędzając czas, zasoby i pieniądze.

Chociaż możesz rozpocząć migrację AWS DMS kilkoma kliknięciami w konsoli, nadal musisz przeprowadzić badania i zaplanować, aby określić wymaganą pojemność przed migracją. Wiedza o tym, jak odpowiednio skalować pojemność z wyprzedzeniem, może być trudna, zwłaszcza w przypadku jednoczesnej migracji wielu obciążeń lub ciągłej replikacji danych. Ponadto musisz stale monitorować użycie i ręcznie skalować pojemność, aby zapewnić optymalną wydajność.

Poznaj AWS DMS Serverless

Dziś autorzy z przyjemnością opowiedzą o AWS DMS Serverless, nowej bezserwerowej opcji w AWS DMS, która automatycznie konfiguruje, skaluje i zarządza zasobami migracyjnymi, aby migracje baz danych były łatwiejsze i bardziej ekonomiczne.

Oto krótki podgląd działania AWS DMS Serverless:

AWS DMS Serverless eliminuje domysły dotyczące określania wymaganych zasobów obliczeniowych i radzenia sobie z obciążeniami operacyjnymi niezbędnymi do zapewnienia wydajnej, nieprzerwanej migracji. Wykonuje automatyczne przydzielanie pojemności, skalowanie i optymalizację pojemności migracji, umożliwiając szybkie rozpoczęcie migracji przy minimalnym nadzorze.

W momencie uruchomienia AWS DMS Serverless obsługuje Microsoft SQL Server, PostgreSQL, MySQL i Oracle jako źródła danych. Jeśli chodzi o cele danych, AWS DMS Serverless obsługuje szeroką gamę baz danych i usług analitycznych, od Amazon Aurora, Amazon Relational Database Service (Amazon RDS), Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon DynamoDB i inne. AWS DMS Serverless nadal dodaje obsługę nowych źródeł i celów danych. Odwiedź stronę Supported Engine Versions, aby być na bieżąco.

Dzięki różnorodnym źródłom i celom obsługiwanym przez AWS DMS Serverless możliwe staje się wiele scenariuszy. Możesz użyć AWS DMS Serverless do migracji baz danych i pomocy w budowaniu nowoczesnych strategii danych poprzez synchronizację trwających replikacji danych w jeziorach danych (np. Amazon S3) lub magazynach danych (np. Amazon Redshift) z wielu, być może różnych źródeł danych.

Jak działa bezserwerowy AWS DMS?

Dowiedz się, jak zacząć korzystać z AWS DMS Serverless. W tym artykule autorzy migrują swoje dane ze źródłowej bazy danych działającej na PostgreSQL do docelowej bazy danych MySQL działającej na Amazon RDS. Poniższy zrzut ekranu pokazuje przykładową źródłową bazę danych z fikcyjnymi danymi:

Jeśli chodzi o cel, skonfigurowano bazę danych MySQL działającą w Amazon RDS. Poniższy zrzut ekranu pokazuje przykładową docelową bazę danych:

Rozpoczęcie pracy z AWS DMS Serverless jest podobne do dzisiejszego działania AWS DMS. AWS DMS Serverless wymaga wykonania zadań konfiguracyjnych, takich jak utworzenie wirtualnej chmury prywatnej (VPC) do zdefiniowania źródłowych i docelowych punktów końcowych. Jeśli pracujesz z AWS DMS po raz pierwszy, możesz dowiedzieć się więcej, odwiedzając stronę Prerequisites for AWS Database Migration Service.

Aby połączyć się z magazynem danych, AWS DMS potrzebuje punktów końcowych zarówno dla źródłowych, jak i docelowych magazynów danych. Punkt końcowy zapewnia wszystkie niezbędne informacje, w tym połączenie, typ magazynu danych i lokalizację do moich magazynów danych. Poniższy obraz przedstawia punkt końcowy, który utworzono dla przykładowej docelowej bazy danych:

Po zakończeniu konfigurowania punktów końcowych można rozpocząć tworzenie replikacji, wybierając przycisk Create replication na stronie Serverless replications. Replikacja to nowa koncepcja wprowadzona w AWS DMS Serverless do abstrakcyjnych instancji i zadań, które zwykle mamy w standardowym AWS DMS. Dodatkowo zasoby pojemności są zarządzane niezależnie dla każdej replikacji.

Na stronie Create replication musisz zdefiniować niektóre konfiguracje. Rozpoczyna się to od zdefiniowania nazwy, a następnie określenia punktu końcowego źródłowej bazy danych i docelowego punktu końcowego bazy danych. Jeśli nie możesz znaleźć swoich punktów końcowych, upewnij się, że wybierasz silniki baz danych obsługiwane przez AWS DMS Serverless.

Następnie musisz określić typ replikacji. W AWS DMS Serverless dostępne są trzy typy replikacji:

• Full load – jeśli musisz przeprowadzić migrację wszystkich istniejących danych w źródłowej bazie danych
• Change data capture (CDC) – jeśli musisz replikować zmiany danych ze źródłowej do docelowej bazy danych.
• Full load and change data capture (CDC) – jeśli musisz przeprowadzić migrację istniejących danych i zreplikować zmiany danych ze źródłowej do docelowej bazy danych.

W tym przykładzie autor wybrał Full load and change data capture (CDC), ponieważ musi przeprowadzić migrację istniejących danych i stale aktualizować docelową bazę danych pod kątem bieżących zmian w źródłowej bazie danych.

W sekcji Ustawienia możesz też włączyć logowanie za pomocą Amazon CloudWatch, co ułatwia mi monitorowanie postępu replikacji w czasie.

Podobnie jak w przypadku standardowego AWS DMS, w AWS DMS Serverless możesz również skonfigurować reguły wyboru w odwzorowaniach tabel, aby zdefiniować filtry, które musisz replikować z kolumn tabeli w źródłowym magazynie danych.

Możesz również użyć Transformation rules, jeśli musisz zmienić nazwę schematu lub tabeli albo dodać przedrostek lub sufiks do schematu lub tabeli.

W sekcji Capacity możesz ustawić zakres wymaganej pojemności do wykonania replikacji poprzez zdefiniowanie minimalnej i maksymalnej DCU (jednostek pojemności DMS). Minimalne ustawienie DCU jest opcjonalne, ponieważ AWS DMS Serverless określa minimalną wartość DCU na podstawie oceny obciążenia replikacją. Podczas procesu replikacji AWS DMS używa tego zakresu do skalowania w górę i w dół w oparciu o wykorzystanie procesora, połączenia i dostępną pamięć.

Ustawienie maksymalnej pojemności pozwala zarządzać kosztami, upewniając się, że AWS DMS Serverless nigdy nie zużywa więcej zasobów, niż przewidziano w budżecie. Definiując maksymalną liczbę DCU, upewnij się, że wybrałeś rozsądną pojemność, aby AWS DMS Serverless mógł obsłużyć duże wolumeny transakcji danych. Jeśli natężenie ruchu spada, AWS DMS Serverless ponownie zmniejsza pojemność, a Ty płacisz tylko za to, czego potrzebujesz. W przypadkach, w których chcesz zmienić minimalne i maksymalne ustawienia DCU, musisz najpierw zatrzymać proces replikacji, wprowadzić zmiany i ponownie uruchomić replikację.

Po zakończeniu konfigurowania replikacji wybierz opcję Create replication.

Kiedy Twoja replikacja zostanie utworzona, możesz wyświetlić więcej szczegółów mojej replikacji i rozpocząć proces, wybierając Start.

Gdy Twoja replikacja działa przez około 40 minut, możesz monitorować postęp replikacji na karcie Monitoring. AWS DMS Serverless posiada również metrykę CloudWatch o nazwie Capacity utilization, która wskazuje wykorzystanie pojemności do uruchomienia replikacji zgodnie z zakresem zdefiniowanym jako minimalna i maksymalna DCU. Poniższy zrzut ekranu pokazuje skalowanie pojemności na wykresie metryk CloudWatch.

Kiedy replikacja zakończy swój proces, możesz zauważyć, że pojemność zaczyna się zmniejszać. Oznacza to, że oprócz pomyślnego skalowania AWS DMS Serverless do wymaganej pojemności, może on również skalować w dół w zdefiniowanym przez Ciebie zakresie.

Na koniec wszystko, co musisz zrobić, to zweryfikować, czy Twoje dane zostały pomyślnie zreplikowane w docelowym magazynie danych. Musisz połączyć się z celem, uruchomić zapytanie wybierające i sprawdzić, czy wszystkie dane zostały pomyślnie zreplikowane ze źródła.

Już dostępne

AWS DMS Serverless jest teraz dostępny we wszystkich regionach komercyjnych, w których dostępny jest standardowy AWS DMS, i możesz zacząć z niego korzystać już dziś. Aby uzyskać więcej informacji o korzyściach, przypadkach użycia, rozpoczęciu pracy i szczegółach cenowych, zapoznaj się z AWS DMS Serverless.

Udanego migrowania!

źródło: AWS