Apache Flink 2.1.0: IA Integrada para Decisiones en Tiempo Real

El Comité de Gestión de Proyectos (PMC) de Apache Flink ha anunciado el lanzamiento de Apache Flink 2.1.0, una actualización significativa de su motor de procesamiento de datos en tiempo real. Esta última versión introduce un soporte robusto para definir, gestionar e invocar modelos de IA en tiempo real, sentando las bases para flujos de trabajo de IA de extremo a extremo en tiempo real.

Una característica central de Flink 2.1.0 son sus capacidades de IA mejoradas. Los usuarios ahora pueden definir y gestionar modelos de IA de forma programática a través de la API de tabla Model DDL (Data Definition Language), disponible tanto para Java como para Python. Esto ofrece un enfoque flexible y basado en código para integrar y gestionar modelos dentro de las aplicaciones Flink. Complementando esto, la función con valor de tabla ML_PREDICT se ha ampliado, lo que permite una inferencia de modelos en tiempo real sin interrupciones directamente dentro de las consultas SQL. Esto permite aplicar modelos de aprendizaje automático a los flujos de datos a medida que llegan. La implementación es compatible con los proveedores de modelos integrados de Flink, como OpenAI, y ofrece interfaces para que los usuarios definan proveedores de modelos personalizados, lo que marca un cambio estratégico para Flink hacia convertirse en una plataforma unificada de IA en tiempo real.

Más allá de la integración de IA, Apache Flink 2.1 introduce las Process Table Functions (PTFs), descritas por el PMC como el tipo de función más potente para Flink SQL y la API de tabla. Las PTFs sirven como un superconjunto de todas las demás funciones definidas por el usuario, capaces de mapear cero, una o múltiples tablas de entrada a cero, una o múltiples filas de salida. Esta funcionalidad permite a los usuarios implementar operadores personalizados sofisticados que pueden rivalizar con la riqueza de características de las operaciones integradas, con las PTFs teniendo acceso al estado gestionado de Flink, el procesamiento de tiempo de evento, los registros de cambios de tabla y los servicios de temporizador.

Otra adición notable en Flink 2.1 es el tipo de datos VARIANT, diseñado para mejorar el manejo de datos semiestructurados como JSON. Este nuevo tipo permite almacenar cualquier dato semiestructurado, incluyendo matrices, mapas (con claves de cadena) y tipos escalares, mientras se preserva la información del tipo de campo en una estructura similar a JSON. A diferencia de los tipos ROW y STRUCTURED, VARIANT ofrece una flexibilidad superior para gestionar esquemas profundamente anidados y en evolución. Los usuarios pueden convertir datos de cadena con formato JSON a VARIANT utilizando las funciones PARSE_JSON o TRY_PARSE_JSON.

Otras mejoras en Apache Flink 2.1 incluyen:

• La introducción de un operador DeltaJoin para trabajos de procesamiento de flujos, acompañado de optimizaciones para canalizaciones de unión de flujos más simples.
• Soporte añadido para el formato binario Smile para planes compilados, proporcionando una alternativa de memoria eficiente a JSON para la serialización y deserialización.
• Un nuevo mecanismo de procesamiento por lotes conectable para Async Sink en tiempo de ejecución, que permite a los usuarios definir estrategias de escritura por lotes personalizadas adaptadas a requisitos específicos.
• Un nuevo conector para el estado con clave, que permite a los usuarios consultar el estado con clave directamente desde un punto de verificación o punto de guardado usando Flink SQL. Esto simplifica el proceso de inspeccionar, depurar y validar el estado de los trabajos de Flink sin requerir herramientas personalizadas.

Estas actualizaciones refuerzan colectivamente la posición de Apache Flink como un motor líder de procesamiento de datos en tiempo real, ahora con capacidades significativamente ampliadas para aplicaciones impulsadas por IA y una flexibilidad mejorada para diversos tipos de datos y necesidades operativas.