Desuso de la función de tablas gobernadas de Lake Formation

A posteriori de una cuidadosa consideración, hemos tomado la osadía de finalizar el soporte para Mesas Gobernadasa partir del 31 de diciembre de 2024, para centrarse en formatos de tablas transaccionales de código amplio como Iceberg apache, apache hudiy Charca Delta de la Fundación Linux. Esta osadía surge de la preferencia de los clientes por estas soluciones de código amplio, que ofrecen transacciones, compactación, viajes en el tiempo y otras funciones compatibles con ACID que anteriormente proporcionaba Governed Tables. Servicios web de Amazon (AWS) ha mejorado nuestra compatibilidad con estos formatos en varios servicios de examen, incluidos Atenea amazónica, Amazon EMR (Elastic MapReduce), Pegamento AWSy Desplazamiento al rojo del Amazonascon características que incluyen soporte de compactación cibernética para Apache Iceberg, retención y caducidad de instantáneas y asesinato de archivos huérfanos para Apache Icebergmejoras a API CreateTable del catálogo de datos de AWS Glue para crear tablas de Apache Icebergy compatibilidad con la detección de esquemas de AWS Glue Crawlers en Iceberg apache, apache hudiy Charca Delta de la Fundación Linux. Los clientes ahora pueden utilizar estos formatos de código amplio para conseguir transacciones compatibles con ACID con Servicio de almacenamiento simple de Amazon (Amazon S3) respaldados por datos, beneficiándose de sus ricas funciones y amplia compatibilidad.

A posteriori del 31 de diciembre de 2024, los clientes ya no podrán crear transacciones de Tablas Gobernadas (lakeformation:StartTransaction), escribir en las Tablas Gobernadas (lakeformation:UpdateTableObjects), o consulte sus tablas gobernadas mediante Amazon Athena. Los clientes aún podrán conseguir a la información del estado de su tabla llamando al lakeformation:GetTableObjects e información de transacciones llamando lakeformation:ListTransactions hasta el 17 de febrero de 2025. A posteriori del 17 de febrero de 2025, todas las API de tablas gobernadas comenzarán a decidir. Los metadatos de las tablas gobernadas seguirán existiendo internamente del catálogo de datos de AWS Glue y los datos de las tablas gobernadas permanecerán en sus depósitos de S3. Ningún otro tipo de tabla se verá afectado por este cambio, incluidas las tablas Hive (Apache Parquet, CSV, ORC, etc.), Iceberg, Hudi y Delta Lake.

Migrando sus tablas gobernadas

Los clientes pueden portar sus tablas de tablas gobernadas a uno de los formatos de código amplio copiando los datos de sus tablas gobernadas directamente a Apache Iceberg mediante Amazon Athena. Para portar datos a Iceberg, puede utilizar Amazon Athena CREAR TABLA COMO (CTAS) exposición, como se muestra en el sucesivo ejemplo de código.

CREATE TABLE my_iceberg_table WITH ( 
    table_type="ICEBERG",
    is_external = false,
    location = 's3://mybucket/myicebergdata/'
) AS 
SELECT * FROM my_governed_table

Puede especificar propiedades adicionales a nivel de tabla, que se enumeran en la Piloto del favorecido de Amazon Athena. Si especifica particiones o depósitos como parte de la definición de la tabla Apache Iceberg, es posible que se encuentre con la obstáculo de 100 particiones por depósito. En este caso, consulte Utilice CTAS e INSERT INTO para evitar el conclusión de 100 particiones.

Si necesita ayuda para portar sus tablas o tiene alguna pregunta, comuníquese con nosotros en [email protected].

Sobre el autor

Mert Hocanin es arquitecto principal de Big Data en AWS Lake Formation.