Prompt Complexity Score

Ein Prompt Complexity Score (Komplexitäts-Score für Prompts) wird berechnet, um den kognitiven Aufwand, die Dichte der Anweisungen und die Struktur eines Prompts messbar zu machen. Da es keinen einzelnen, universellen Industriestandard gibt, nutzt man in der Praxis meist ein Heuristisches Scoring-Modell entlang mehrerer Achsen oder setzt ein LLM-as-a-Judge-Verfahren ein.


Hier ist das gängigste und effektivste Framework zur Berechnung:

1. Die 5 Bewertungsachsen

Um den Gesamt-Score zu ermitteln, bewerten Sie den Prompt in der Regel auf einer Skala von 1 bis 10 in fünf verschiedenen Dimensionen: [1, 2]

Dimension / AchseBeschreibungWas erhöht den Score?
1. Kognitive Tiefe(Cognitive Depth)Wie abstrakt oder vielschichtig ist die geforderte Denkleistung?Logische Ketten, strategische Analysen, kreatives Transferwissen.
2. Anweisungsdichte(Instruction Density)Wie viele explizite Aufgaben und Teilziele sind im Prompt verpackt?Mehrere sequenzielle Schritte („Erst tue X, filtere nach Y, dann formuliere Z“).
3. Restriktions-Last(Constraint Load)Wie streng und zahlreich sind die Verbote oder Regeln?Zeichenlimits, Formatvorgaben (z.B. „Keine Passivsätze“, „Nutze JSON-Schema X“).
4. Linguistische KomplexitätWie hoch ist der Grad an Fachsprache und Fachbegriffen?Spezialisierte Tech-Begriffe, juristische oder medizinische Terminologie.
5. Kontext- & Token-VolumenWie viel Input-Daten (Kontext) muss das Modell verarbeiten?Lange Hintergrundberichte, „Few-Shot“-Beispiele (Beispiel-Ergebnisse).

2. Formel (Gewichteter Score)

Der Prompt Complexity Score ist ein gewichteter Score, da Anweisungsdichte und kognitive Tiefe die LLM-Performance (Verarbeitungsoverhead) deutlich stärker beeinflussen als reine Textlänge.

Complexity Score=(W1⋅K)+(W2⋅D)+(W3⋅R)+(W4⋅L)+(W5⋅T)\text{Complexity\ Score}=(W_{1}\cdot K)+(W_{2}\cdot D)+(W_{3}\cdot R)+(W_{4}\cdot L)+(W_{5}\cdot T)
  • K = Kognitive Tiefe (1–10)
  • D = Anweisungsdichte (1–10)
  • R = Restriktions-Last (1–10)
  • L = Linguistische Komplexität (1–10)
  • T = Token-Volumen (1–10, z.B. skaliert nach log-Länge)
  • W = Gewichtungsfaktoren (z.B. W₁=0.3, W₂=0.3, W₃=0.2, W₄=0.1, W₅=0.1 – Summe muss 1.0 ergeben)

3. Wie berechnet man das konkret?

Es gibt zwei Wege, um dem Prompt Complexity Score zu berechnen A. programmatisch und B. systematisch.

Methode A: LLM-as-a-Judge (Am einfachsten & flexibelsten)

Sie nutzen ein leistungsstarkes Modell (wie GPT-4o oder Claude 3.5 Sonnet), um den Prompt zu analysieren und den Score direkt via JSON-Ausgabe zu berechnen. Beispiel für einen Evaluierungs-Prompt (System Prompt):

Du bist ein Prompt-Analyse-Tool. Analysiere den folgenden User-Prompt und berechne einen Prompt Complexity Score von 1 bis 10.
Gib das Ergebnis ausnahmslos im folgenden JSON-Format aus:
{
  "scores": {
    "cognitive_depth": 1-10,
    "instruction_density": 1-10,
    "constraint_load": 1-10,
    "linguistic_complexity": 1-10
  },
  "weighted_total_complexity_score": 1-10,
  "reasoning": "Kurze Begründung für die Scores"
}

Methode B: Hard-Coded Metriken (Code-basiert)

Wenn Sie keine API-Kosten verursachen wollen, können Sie statistische Näherungswerte über ein Python-Skript berechnen:

  • Token-/Wortanzahl: Ermittlung über Tokenizer (z. B. tiktoken). Höhere Tokenanzahl erhöht die Basis-Komplexität.
  • Indikatoren für Anweisungen: Zählen von imperativen Verben (z. B. „analysiere“, „schreibe“, „erstelle“) oder Aufzählungszeichen (-, 1., *), um die Instruction Density mathematisch zu schätzen.
  • Klarheits-Index: Verhältnis von direkten Anweisungen zu beschreibendem Fülltext.

Warum ist dieser Score wichtig?

  • Modell-Routing: Einfache Prompts (Score 1–4) schicken Sie an kleinere, günstigere Modelle (z. B. GPT-4o-mini). Komplexe Prompts (Score 7–10) routen Sie an High-End-Modelle oder Reasoning-Modelle (z. B. OpenAI o1).
  • Fehler-Prognose: Prompts mit sehr hohem Score (viele verschachtelte Regeln) neigen eher zu „Instruction Drift“ (das Modell vergisst Regeln). Hier hilft der Score, um zu erkennen, wann ein Prompt in mehrere kleine Sub-Prompts aufgeteilt werden sollte.

Möchten Sie den Score für ein bestimmtes Szenario (z. B. automatisiertes Prompt-Routing in einer App) nutzen oder wollen Sie einen konkreten Prompt von mir testweise nach diesem Framework analysieren lassen?