Nowość – AWS DMS Serverless: automatycznie udostępnia i skaluje pojemność na potrzeby migracji i replikacji danych

W obliczu ogromnej ilości tworzonych obecnie danych organizacje przenoszą się do chmury, aby skorzystać z bezpieczeństwa, niezawodności i wydajności w pełni zarządzanych usług baz danych. Aby ułatwić migrację baz danych i analiz, możesz skorzystać z usługi migracji baz danych AWS (AWS DMS). Uruchomiony po raz pierwszy w 2016 roku, AWS DMS oferuje prosty proces migracji, który automatyzuje projekty migracji baz danych, oszczędzając czas, zasoby i pieniądze.

Chociaż migrację AWS DMS możesz rozpocząć kilkoma kliknięciami w konsoli, przed migracją nadal musisz przeprowadzić badania i zaplanować, aby określić wymaganą pojemność. Znajomość prawidłowego skalowania pojemności z wyprzedzeniem może stanowić wyzwanie, zwłaszcza w przypadku jednoczesnej migracji wielu obciążeń lub ciągłej replikacji danych. Ponadto należy stale monitorować wykorzystanie i ręcznie skalować pojemność, aby zapewnić optymalną wydajność.

Poznaj bezserwerowy system AWS DMS

Dzisiaj z autorzy z przyjemnością opowiedzą o AWS DMS Serverless, nowej opcji bezserwerowej w AWS DMS, która automatycznie konfiguruje, skaluje i zarządza zasobami migracyjnymi, aby migracja baz danych była łatwiejsza i bardziej opłacalna.

Oto krótki podgląd działania AWS DMS Serverless:

AWS DMS Serverless eliminuje domysły związane z określeniem wymaganych zasobów obliczeniowych i obsługą obciążeń operacyjnych niezbędnych do zapewnienia wysokiej wydajności i nieprzerwanej migracji. Wykonuje automatyczne udostępnianie, skalowanie i optymalizację pojemności migracji, umożliwiając szybkie rozpoczęcie migracji przy minimalnym nadzorze.

W momencie uruchomienia AWS DMS Serverless obsługuje Microsoft SQL Server, PostgreSQL, MySQL i Oracle jako źródła danych. Jeśli chodzi o cele danych, AWS DMS Serverless obsługuje szeroką gamę baz danych i usług analitycznych, od Amazon Aurora, Amazon Relational Database Service (Amazon RDS), Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon DynamoDB i nie tylko. AWS DMS Serverless nadal dodaje obsługę nowych źródeł i celów danych. Zapoznaj się z Supported Engine Versions, aby być na bieżąco.

Dzięki różnorodnym źródłom i celom obsługiwanym przez AWS DMS Serverless możliwych staje się wiele scenariuszy. Możesz użyć AWS DMS Serverless do migracji baz danych i pomóc w budowaniu nowoczesnych strategii dotyczących danych poprzez synchronizację bieżących replikacji danych w jeziorach danych (np. Amazon S3) lub hurtowniach danych (np. Amazon Redshift) z wielu, być może różnych źródeł danych.

Jak działa AWS DMS Severless?

Autorzy pokażą Ci, jak rozpocząć pracę z AWS DMS Serverless. W tym artykule przeprowadzają migrację moich danych ze źródłowej bazy danych działającej na PostgreSQL do docelowej bazy danych MySQL działającej na Amazon RDS. Poniższy zrzut ekranu przedstawia źródłową bazę danych z fałszywymi danymi:

Jeśli chodzi o cel, autorzy skonfigurowali bazę danych MySQL działającą w Amazon RDS. Poniższy zrzut ekranu przedstawia ich docelową bazę danych:

Rozpoczęcie pracy z AWS DMS Serverless jest podobne do dzisiejszego działania AWS DMS. AWS DMS Serverless wymaga ode twórców wykonania zadań konfiguracyjnych, takich jak utworzenie wirtualnej chmury prywatnej (VPC) w celu zdefiniowania źródłowych i docelowych punktów końcowych. Jeśli po raz pierwszy pracujesz z AWS DMS, możesz dowiedzieć się więcej, odwiedzając stronę Wymagania wstępne usługi migracji baz danych AWS.

Aby połączyć się z magazynem danych, AWS DMS potrzebuje punktów końcowych zarówno dla źródłowych, jak i docelowych magazynów danych. Punkt końcowy udostępnia magazynom wszystkie niezbędne informacje, w tym połączenie, typ magazynu danych i lokalizację. Poniższy obraz przedstawia punkt końcowy, który autorzy utworzyli dla docelowej bazy danych:

Po zakończeniu konfigurowania punktów końcowych możesz rozpocząć tworzenie replikacji, wybierając przycisk Create replication na stronie Serverless replications. Replikacja to nowa koncepcja wprowadzona w AWS DMS Serverless w celu abstrakcyjnych instancji i zadań, które zwykle znajdują się w standardowym AWS DMS. Dodatkowo zasoby pojemności są zarządzane niezależnie dla każdej replikacji.

Na stronie Create replication autorzy muszą zdefiniować pewne konfiguracje. Rozpoczyna się to od zdefiniowania nazwy, a następnie określenia punktu końcowego źródłowej bazy danych i docelowego punktu końcowego bazy danych. Jeśli nie możesz znaleźć swoich punktów końcowych, upewnij się, że wybierasz silniki baz danych obsługiwane przez AWS DMS Serverless.

Następnie należy określić typ replikacji. W AWS DMS Serverless dostępne są trzy typy replikacji:

• Full load – jeśli należy przeprowadzić migrację wszystkich istniejących danych w źródłowej bazie danych
• Change data capture (CDC) – jeśli należy replikować zmiany danych ze źródłowej do docelowej bazy danych.
• Full load and change data capture (CDC) – jeśli należy przeprowadzić migrację istniejących danych i replikować zmiany danych ze źródłowej do docelowej bazy danych.

W tym przykładzie autorzy wybrali opcję Full load and change data capture (CDC), ponieważ należy przeprowadzić migrację istniejących danych i stale aktualizować docelową bazę danych pod kątem ciągłych zmian w źródłowej bazie danych.

W sekcji Ustawienia możesz także włączyć logowanie za pomocą Amazon CloudWatch, co ułatwi monitorowanie postępu replikacji w czasie.

Podobnie jak w przypadku standardowego AWS DMS, w AWS DMS Serverless możesz również skonfigurować reguły wyboru w mapowaniach tabel, aby zdefiniować filtry, które należy replikować z kolumn tabeli w źródłowym magazynie danych.

Możesz także użyć Transformation rules, jeśli musisz zmienić nazwę schematu lub tabeli albo dodać przedrostek lub sufiks do schematu lub tabeli.

W sekcji Capacity możesz ustawić zakres wydajności wymaganej do przeprowadzenia replikacji, definiując minimalną i maksymalną jednostkę DCU (jednostki wydajności DMS). Ustawienie minimalnego DCU jest opcjonalne, ponieważ AWS DMS Serverless określa minimalne DCU na podstawie oceny obciążenia replikacją. Podczas procesu replikacji AWS DMS wykorzystuje ten zakres do skalowania w górę i w dół w oparciu o wykorzystanie procesora, połączenia i dostępną pamięć.

Ustawienie maksymalnej pojemności pozwala zarządzać kosztami. Zyskujesz pewność, że AWS DMS Serverless nigdy nie zużyje więcej zasobów, niż zaplanowano. Definiując maksymalną liczbę DCU, upewnij się, że wybrałeś rozsądną pojemność, aby AWS DMS Serverless mógł obsłużyć duże ilości transakcji danych. Jeśli natężenie ruchu spadnie, AWS DMS Serverless ponownie zmniejszy pojemność, a Ty płacisz tylko za to, czego realnie potrzebujesz. W przypadkach, w których chcesz zmienić minimalne i maksymalne ustawienia DCU, musisz najpierw zatrzymać proces replikacji, wprowadzić zmiany i ponownie uruchomić replikację.

Po zakończeniu konfigurowania replikacji wybierz opcję Create replication.

Po utworzeniu replikacji możesz wyświetlić więcej szczegółów replikacji i rozpocząć proces, wybierając opcję Start.

Po około 40 minutach działania replikacji możesz monitorować postęp replikacji na karcie Monitorowanie. AWS DMS Serverless ma również metrykę CloudWatch zwaną Capacity utilization, która wskazuje wykorzystanie wydajności do uruchomienia replikacji zgodnie z zakresem zdefiniowanym jako minimalne i maksymalne DCU. Poniższy zrzut ekranu przedstawia wzrost pojemności na wykresie metryk CloudWatch.

Kiedy replikacja zakończy proces, możesz zauważyć, że pojemność zaczyna spadać. Oznacza to, że oprócz tego, że AWS DMS Serverless pomyślnie skaluje się do wymaganej pojemności, może również skalować w dół w zdefiniowanym przez Ciebie zakresie.

Na koniec jedyne, co musisz zrobić, to sprawdzić, czy Twoje dane zostały pomyślnie zreplikowane do docelowego magazynu danych. Musisz połączyć się z celem, uruchomić zapytanie wybierające i sprawdzić, czy wszystkie dane zostały pomyślnie zreplikowane ze źródła.

Już dostępne

AWS DMS Serverless jest teraz dostępny we wszystkich regionach komercyjnych, w których dostępny jest standardowy AWS DMS i możesz zacząć z niego korzystać już dziś. Więcej informacji o korzyściach, przypadkach użycia, rozpoczęciu działań i szczegółach cenowych można znaleźć w artykule AWS DMS Serverless.

źródło: AWS