注目★★★★★Hacker News
125M パラメータ モデルで iPhone 上でピアノ自動補完、リアルタイム演奏
30秒で把握
- 1125M パラメータ Transformer で iPhone 15 上ピアノ自動補完実装・推論速度 108 音符/秒達成
- 2MIDI 入力で数音をプレイするとモデルが後続演奏を自動生成・全処理デバイス内完結
- 3訓練・実装・最適化の詳細が公開・他の楽器やクリエイティブツール応用への参考事例
要約
開発者が 125M パラメータの Transformer モデルを訓練し、iPhone 15 上でピアノ演奏をリアルタイムに自動補完するアプリを実装した。MIDI ピアノで数音を弾くと、モデルがその後の演奏を継続生成する仕組みで、GitHub Copilot のコード補完をピアノ演奏に応用した形態。推論速度は iPhone 15 上で約 108 音符/秒を達成し、すべての処理がデバイス内で完結する。アプリは無料で利用でき、モデル訓練・Core ML 実装・工夫点について情報公開されている。
あなたへの影響
ピアノ演奏に特化した事例だが、MIDI オートコンプリートの方式・Core ML での小型モデル最適化・オンデバイス推論速度の実現手段は、他の楽器やクリエイティブツール開発の参考になる可能性がある。
推奨：個人開発での実装ノウハウ共開によって、機械学習モデルの実用化過程がより透明になるケース。