次世代列指向フォーマットF3、Wasm埋め込みでParquetの限界を突破

要約

研究チーム（Zeng et al.）はParquetやORCの設計上の欠点を克服する次世代オープンソースデータファイルフォーマット「F3（Future-proof File Format）」を発表した。F3の最大の特徴は、Wasmバイナリをファイル自体に埋め込むことで、ネイティブデコーダが存在しないプラットフォームでも互換性を保つ設計だ。埋め込みサイズはキロバイト単位で抑えられており、開発者が新しいエンコーディング方式を容易に追加できる汎用APIも提供する。評価実験ではF3のストレージレイアウトの有効性とWasm駆動デコードの利点を既存フォーマットと比較して確認した。現時点では研究プロトタイプ（MIT ライセンス）であり、本番環境での使用は非推奨とされている。