はい、フォーマットは重要です. あなたがLLMに数十値(0.00 - 1.00)対整数(0 - 100)として信頼を出力するように依頼すると、あなたは期待する方向ではなく、測定可能な異なる行動を得ます. 数十値形式は生成する傾向があります 信頼度は疑わしい主張に対して高く、より保守的(そしておそらくより有用な)選択肢となっていますが、いくつかのモデルは、無意味な入力で整数モードに強制されると完全に壊れます。 TL;DR: 低い 質問 あなたがLLMがテキストを分類し、信頼性のスコアを付加するパイプラインを構築している場合、あなたは見た目では微妙な設計の選択があります。 または ? 0.85 85 ほとんどの開発者はそれについて考えることなく1つを選択しますが、ここに問題があります; LLMsは実際には数字を「理解」しません。 トークンとは根本的に異なるオブジェクトです。 モデルの埋め込みスペースで、そのプレフィックスが世代の残りの部分に偏見を与えるときはどうなるのでしょうか。 0. 85 仮説 Tokenizers(OpenAIのような) split 2つのトークン: そして 私の仮説は、The プレフィックスは一種のアンカーとして機能し、モデルはそれを小さく「見る」し、その後より高い数を生成することによって補償する。 整数形式に比べると、モデルは低サイズのプレフィックスと戦っているからです。 0.98 0. 98 0. decimal format should inflate confidence scores スパイラー:データはより微妙なストーリーを語ります。 セットアップ 1つのコンテキストパス(Linuxカーネルについて)、3種類のラベル、2つの出力フォーマット、4つのモデル、条件ごとに10回の繰り返し。 Linux カーネルについての短い事実文です。 Context: Labels (3 types): 
 
 
 
 
 
 
  " Truth: The Linux kernel is a foundational piece of software written in C." — Clearly correct. 
 
 
   Dubious: "Linux is the most popular operating system for desktop gamers worldwide." — Plausible-sounding but misleading. 
 
 
   Nonsense: "The Linux kernel is a species of deciduous tree found in Finland." — Obviously wrong. Format conditions: 
 
 
 デシマル: モデルは 0.00 から 1.00 までの値を記入します (比較のために 0 から 100 までスケール)。 整数: モデルは 0 から 100 までの値を記入します。 早速の構造は、 — and the model completes only the number. No chain-of-thought, no reasoning, only the raw confidence value. Each condition was run 10 times per label (30 per label type × format × model). [CONTEXT] + {"label": "...", "confidence": GPT-5.2 (OpenAI)、Qwen3-Next-80B-A3B (Alibaba)、Llama 4 Maverick 17B (Meta)、およびGemma 3n E4B (Google)はTogether.aiとOpenAIを通じてすべてテストされました。 Models tested: 結果 真実のラベル:無意味な違い すべての4つのモデルは、フォーマットに関係なく、真の発言に対する高い信頼性を提供しました。 すべての条件において、平均値は95.4 から 100.0 まででした。 十数値と整数値のフォーマットの違いは軽微で、最大で数ポイントでした。 dubious labels: this is where it gets interesting 疑わしいラベル 疑わしい主張に対しては、明確なパターンが現れるが、それは 予想していたことから。 opposite GPT-5.2 特に Gemma 3n が割り当てられています。 Gemma 3nは極端なケースです: Rock-solid 25.0 in every single decimal run (zero variance), but an average of 60.3 with integers, it jumped to output 平成27年度 平成30年度 平成27年度 平成30年度 平成30年度 プレフィックスは番号を膨らませなかった; もし何かあったら、それを抑圧した。 より高い 65 0. 私の最初の仮説は後ろ向きだった。 トークンはモデルを上向きに補償するものではなく、その信頼範囲の下端に向かってモデルをアンカーするように見える。 推定 0. 保守派 ラベル:The Breakpoint 明らかに間違った発言のために、デシマル形式は完璧に機能し、すべてのモデルはすべてのランで0.00を返しました。 整数形式は、いくつかのモデルで物事が分裂した場所です。 GPT-5.2の無意味のための整数結果は野蛮である:それは そして 50の標準偏差で平均50を生成すると、文字通り決められませんでした。半分は、Linuxカーネルが木であるという主張で「完全に自信がある」と述べました。 , 災害的ではありませんが、デシマルバージョンが完璧なゼロを獲得したときにまだ間違っています。 0 100 10 Qwen3 と Llama 4 は両方のフォーマットを無意味に正しく処理し、ボード全体で 0 を返しました。 デシマルフォーマットは、モデル内およびモデル間の両方でより密接な合意を生成します。 モデルごとに得られる結果を超えて、デシカル形式は、モデルごとに、また同じモデルの繰り返し実行の範囲内で、一貫してより多くの合意を生み出します。 要するに、複製可能なスコアを必要とする場合や、モデル間の信頼性を比較する計画がある場合、デシマル形式は、より厳密な配布を提供します。 おそらく何が起こっているのだろうか。 トークニズムの仮説は正しい方向にあったが、方向は間違っていた。 THE prefix does not just set a magnitude, it sets a モデルが生成を開始した後 , それは「確率空間」で、数十値のセマンティクスはトレーニングデータからよく学習されています. Probabilities between 0 and 1 are everywhere in technical text, and models have strong preads about what values make sense in that range. 技術的なテキストでは、0と1の確率がどこにでも存在し、モデルはその範囲でどのような値が意味を持っているかについて強力な予想を持っています。 0. 政権 0. 一方、全体的な信頼度のスコアは、制限が少ない。 後 何でも意味するかもしれない、それはただの数字であって、 エンカーがモデルを確率推論モードに引っ張り、いくつかのモデルはデフォルトで粗易なエウリスティクスに。 GPT-5.2 は、完全な空間で明確な「ゼロ信頼」の応答を学ばなかったため、信頼性がないときに極端の間を変動します。 65 "confidence": 0. 65 実践Takeaways それは、曖昧な入力のためのより保守的な推定を生成し、モデル間でより一貫した出力を生成し、無意味な入力の整数形式で見られる災害的な失敗を回避します。 プレフィックスは、モデルでよりよくカリブレートされた確率推論を有効にするように見える。 Use decimal (0.0–1.0) format for confidence scores. 0. Qwen3 および Llama 4 は整数をうまく処理し、GPT-5.2 および Gemma 3n は行いませんでした。 If you must use integers 最良のケース(デシマルフォーマット)でさえ、4つの異なるSOTAモデルは、同じ疑わしい主張のための4つの異なる信頼レベルを提供し、5.3から28.8まででした。 Don't trust confidence scores blindly regardless of format. 制限 これは5分間の論文ではなく、厳格な研究です. 1つの文脈、3つのラベル、4つのモデル、10回の繰り返し. 効果は文脈依存性、プロンプト依存性、または温度依存性かもしれません。 / tokenization split は特定の tokenizers に特有であり、テストされたすべてのモデルに適用されない場合があります。 適切なフォローアップは、数十の文脈をテストし、温度が異なり、logprobs を直接検査します。 0. 98 しかし、LLMパイプラインを構築する誰にとっても早い知恵のチェックとして:はい、このデザイン選択は重要であり、デシマルは勝利します。 このような記事をもっと読みたいですか? こちらをご覧ください。 ! 個人ブログ ソースコード+データが見つかりました。 ここ Together.ai および OpenAI API を介して2026年2月7日にテストされたモデル: 6 モデル(4 つの機能的、 2 つの空の応答)で 1.080 件の完了データ。

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

Float vs Int Confidence Scores: Why LLM Output Format Changes モデル行動

About Author

コメント

ラベル

この記事は

Related Stories

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

暗号通貨の成長: 効果的なユーザーペルソナの作成

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

暗号通貨の成長: 効果的なユーザーペルソナの作成

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps