注目★★★★★Hacker News
Polars 2.0 RC1、LazyFrameを5倍速のStreaming実行へ
30秒で把握
- 1Polars 2.0 RC1 公開、LazyFrame の既定実行を Streaming engine に変更
- 2Streaming engine は集計で容易に 5 倍高速化、メモリ使用量も大幅削減
- 3Join・group_by の行順序保証を解除、型変換と水平結合を厳格化
要約
Polars は 2.0 の最初のリリース候補版を公開した。正式版は数週間以内に提供する。LazyFrame の collect は Streaming engine が既定となり、集計では従来より容易に 5 倍高速化し、メモリ使用量も大幅に減る。Join や group_by などでは行順序を既定で保証しないため、必要なら maintain_order=True を指定するか、In-memory engine を選べる。2.0 は暗黙の型変換や長さの異なる水平結合をエラーにするなど、データ不整合を早期に検出する。移行向けに完全なガイドを用意し、RC1 は polars==2.0rc1 で導入できる。
あなたへの影響
Polars を利用する日本の開発チームは、RC1 を検証環境で試し、行順序依存や暗黙変換に依存する処理を移行前に洗い出すべきです。
推奨：Streaming engine はデータを逐次処理する実行方式で、In-memory engine への切り替えも可能です。