webshift für KI-Suche

Effiziente HTML-Bereinigung für LLMs

WebShift ist eine Rust-Bibliothek und ein MCP-Server, der dazu dient, unübersichtliche Webseiten in klaren, strukturierten Text für die Verarbeitung durch große Sprachmodelle (LLMs) umzuwandeln. Es entfernt störende Elemente wie Skripte, Werbung und Navigation, sodass nur relevante Inhalte übrig bleiben. Die Software erlaubt die Anpassung an verschiedene Anwendungsfälle, darunter HTML-Denoiser, Text-Umformulierung und Webinhaltsabfrage. Nutzer können je nach Bedarf verschiedene Funktionen aktivieren, um die Leistung zu optimieren.

Das Programm bietet eine robuste Pipeline, die von der Abfrage über das Abrufen bis zur Bereinigung und Ranking der Ergebnisse reicht. Mit strengen Budgetgrenzen für die Ausgabe sorgt WebShift dafür, dass die Textmengen, die an LLMs übergeben werden, kontrolliert und relevant sind. Die einfache Integration in Rust-Projekte und die Möglichkeit, als eigenständiger MCP-Server zu fungieren, machen WebShift zu einem vielseitigen Werkzeug für Entwickler, die auf saubere, verarbeitbare Daten angewiesen sind.