注目★★★★★Hacker News
Storyteller v3、音声とEPUBを自動同期するCTC aligner
30秒で把握
- 1StorytellerがEPUBとaudiobookを自動同期し朗読箇所を強調
- 2MMSのCTC emissionsと10文字n-gramで章境界を探索
- 3約2,000文字間隔のアンカー後にCTC Viterbiで時刻確定
要約
Storytellerは、EPUBと audiobook の音声を自動照合し、朗読に合わせて文章をハイライトする同期EPUBを生成する。v3では、CTC emissionsをMMSで抽出し、RANSACした10文字n-gramで章の境界を探索する。続いて、一意な一致を約2,000文字間隔のアンカーとして分割し、CTC Viterbiアルゴリズムで単語や文の開始・終了時刻を求める。章の順序や欠落、朗読中の省略、別表現にも対応し、v3 betaでは新しいCTC alignerを利用できる。
あなたへの影響
音声付きEPUBや読書支援機能を実装するエンジニアは、MMS・CTC・Viterbiを組み合わせた同期処理を検証する価値がある。
推奨：CTC emissionsは音声を20ms単位の文字確率表現に変換したデータで、単純な文字列検索より揺らぎに対応しやすい。