Apache Flink 2.1.0、AI統合でリアルタイム意思決定を加速

Apache Flink プロジェクト管理委員会 (PMC) は、リアルタイムデータ処理エンジンである Apache Flink 2.1.0 のリリースを発表しました。この最新バージョンは、AIモデルのリアルタイムでの定義、管理、呼び出しに対する堅牢なサポートを導入し、エンドツーエンドのリアルタイムAIワークフローの基盤を築きます。

Flink 2.1.0 の中心的な機能は、AI機能の強化です。ユーザーは、Java と Python の両方で利用できる Model DDL (Data Definition Language) Table API を通じて、AIモデルをプログラムで定義および管理できるようになりました。これにより、Flink アプリケーション内でモデルを統合および管理するための柔軟なコード駆動型アプローチが提供されます。これに加えて、ML_PREDICT テーブル値関数が拡張され、SQL クエリ内でシームレスなリアルタイムモデル推論を直接実行できるようになりました。これにより、データストリームが到着すると同時に機械学習モデルをデータに適用できます。この実装は、OpenAI などの Flink に組み込まれているモデルプロバイダーをサポートし、ユーザーがカスタムモデルプロバイダーを定義するためのインターフェースを提供することで、Flink が統一されたリアルタイムAIプラットフォームへと戦略的に移行していることを示しています。

AI統合に加え、Apache Flink 2.1 は Process Table Functions (PTF) を導入しました。PMC はこれを Flink SQL および Table API の中で最も強力な関数タイプと説明しています。PTF は、他のすべてのユーザー定義関数のスーパーセットとして機能し、ゼロ、1 つ、または複数の入力テーブルをゼロ、1 つ、または複数の出力行にマッピングできます。この機能により、ユーザーは組み込み操作の機能の豊富さに匹敵する洗練されたカスタム演算子を実装できます。PTF は Flink の管理状態、イベント時間処理、テーブル変更ログ、およびタイマーサービスにアクセスできます。

Flink 2.1 のもう 1 つの注目すべき追加機能は、JSON などの半構造化データの処理を改善するために設計された VARIANT データ型です。この新しいタイプは、配列、マップ (文字列キーを持つ)、およびスカラー型を含む任意の半構造化データを格納でき、JSON に似た構造でフィールド型情報を保持します。ROW および STRUCTURED 型とは異なり、VARIANT は深くネストされた進化するスキーマを管理するための優れた柔軟性を提供します。ユーザーは PARSE_JSON または TRY_PARSE_JSON 関数を使用して、JSON 形式の文字列データを VARIANT に変換できます。

Apache Flink 2.1 のさらなる機能強化には、以下が含まれます。

• ストリーム処理ジョブ用の DeltaJoin オペレーターの導入と、よりシンプルなストリーミング結合パイプラインの最適化。
• コンパイル済みプランの Smile バイナリ形式のサポートが追加され、シリアル化とデシリアル化のために JSON に代わるメモリ効率の高い代替手段が提供されます。
• 実行時に Async Sink 用の新しいプラグ可能なバッチ処理メカニズムが導入され、ユーザーは特定の要件に合わせてカスタムバッチ書き込み戦略を定義できます。
• キー付き状態用の新しいコネクタが追加され、ユーザーは Flink SQL を使用してチェックポイントまたはセーブポイントからキー付き状態を直接クエリできるようになりました。これにより、カスタムツールを必要とせずに Flink ジョブの状態を検査、デバッグ、および検証するプロセスが簡素化されます。

これらの更新は、Apache Flink が主要なリアルタイムデータ処理エンジンとしての地位を強化するものであり、AI駆動型アプリケーション向けに大幅に拡張された機能と、多様なデータ型および運用ニーズに対する柔軟性の向上がもたらされました。