LLM分類を特徴量化、ロジスティック回帰で精度と校正を改善

要約

LLMによる分類は、判定結果をそのまま使うのではなく特徴量として機械学習モデルに渡すべきだと著者は論じた。LLMのハードラベルは確率校正やprecision・recallの閾値調整が難しく、構造化データを十分に活用したかも検証しにくい。判定結果をロジスティック回帰に入力すれば、学習データに合わせた確率推定、追加の共変量、閾値制御、係数による解釈が可能になる。SemEval 2018の皮肉検出データセットでは、LLMの判定に19個の追加特徴量とルールベース特徴量を加えるほど性能が向上し、初期モデルのスコアは0.747で、コンペティション優勝手法の0.705を上回った。LLMの改善手段もプロンプト編集だけでなく、データ追加、特徴量の拡張、モデル変更として扱える。