HyDE: Erst hypothetisieren, dann abrufen

Was es ist

HyDE — Hypothetical Document Embeddings — kehrt den üblichen Ablauf um: Statt die Frage direkt einzubetten, generiert das LLM zunächst eine plausible Antwort darauf. Diese hypothetische Antwort wird eingebettet und für die Vektorsuche verwendet. Da das fiktive Dokument in Stil und Vokabular den realen Dokumenten in der Datenbank ähnelt, fallen die Treffer deutlich besser aus als bei der Suche mit der reinen Frage.

Wie es funktioniert

Der Prozess hat drei Phasen. Erstens erhält das LLM die Frage und generiert ein hypothetisches Dokument — eine Antwort, die plausibel klingt, aber nicht unbedingt faktisch korrekt sein muss. Zweitens wird dieses hypothetische Dokument eingebettet (statt der Frage) und in der Vektordatenbank gesucht. Drittens werden die tatsächlich gefundenen Dokumente zusammen mit der ursprünglichen Frage an das LLM übergeben, das nun eine faktenbasierte Antwort generiert. Die hypothetische Antwort dient also nur als Suchbrücke, nicht als finale Antwort.

Stärken

HyDE verbessert die Retrieval-Qualität drastisch bei kurzen, vagen oder schlecht formulierten Anfragen. Es funktioniert besonders gut, wenn die Dokumente in einem Fachstil geschrieben sind, der sich stark von der natürlichen Fragestellung unterscheidet. Der Ansatz erfordert keine Änderungen an der Vektordatenbank oder am Embedding-Modell — nur einen zusätzlichen LLM-Aufruf vor der Suche.

Schwächen

Der zusätzliche LLM-Aufruf verdoppelt praktisch die Latenz der Pipeline. Wenn das LLM eine hypothetische Antwort in die völlig falsche Richtung generiert, werden auch die falschen Dokumente abgerufen — der Fehler wird also verstärkt statt korrigiert. Bei Anfragen, die bereits präzise formuliert sind, bietet HyDE keinen Vorteil und kann sogar die Qualität verschlechtern.

Wann Sie es einsetzen sollten

HyDE eignet sich hervorragend, wenn Ihre Nutzer kurze, informelle Fragen stellen, die Wissensbasis aber aus formellen, technischen Dokumenten besteht. Typische Anwendungsfälle sind Support-Portale, in denen Kunden in Alltagssprache nach technischen Lösungen suchen, oder medizinische Systeme, in denen Patientenbeschreibungen mit Fachliteratur abgeglichen werden.

Quellen

Gao et al. — Precise Zero-Shot Dense Retrieval without Relevance Labels (2022)

Beispiel

https://www.mbnsoftware.de/de/chat?rag=hyde