Die meisten KI-Agenten scheitern an den Daten, nicht am Modell. Sie rufen das falsche Dokument ab, geben einen Datensatz preis, den der Nutzer nicht sehen sollte, oder lassen ein Sprachmodell eine Zahl erfinden, die plausibel klingt. Wir haben acht praktische NebulaDB Labs und einen funktionierenden Visa-KI-Agenten gebaut, um zu zeigen, wie man diese Ebene richtig hinbekommt. Dieser Beitrag beschreibt, was wir gebaut, was wir gemessen und was wir gelernt haben. Der vollständige technische Leitfaden enthält jede Abfrage, jeden Plan und jedes Ergebnis.
Die Idee: Daten, Suche und Modellaufrufe des Agenten an einem Ort
Cloud-Datenbanken wie Googles AlloyDB AI haben es deutlich gezeigt: Eine KI-Anwendung lässt sich leichter bauen, wenn die Datenbank die Vektorsuche, die Embeddings und die Modellaufrufe übernimmt, nah an den operativen Daten. Wir teilen diese Idee. NebulaDB ist unsere Open-Source-Umsetzung davon, ein einzelnes Rust-Binary, das Sie auf eigener Hardware betreiben können:
- Dokumente mit Metadaten, beim Schreiben durch einen austauschbaren Embedder eingebettet (wir verwenden
nomic-embed-text, 768 Dimensionen). - Vektor-, Schlüsselwort- (BM25) und hybride Suche über einen einzigen Endpunkt.
- SQL mit Bedeutung:
semantic_match(text, '…')neben gewöhnlichen Filtern wiemin_age <= 55, über REST oder das Postgres-Wire-Protokoll. - Ein LLM-Gateway (
/api/v1/ai/chat), das Chat, Reasoning und Zusammenfassungen an das von Ihnen konfigurierte Modell weiterleitet. - Ein MCP-Server, sodass Agenten wie Claude SQL, Suche und RAG als Tools aufrufen können.
Unsere Produktionsinstanz enthält 8,3 Millionen Dokumente. Die Labs laufen auf demselben Server, jedes in einem eigenen kleinen Bucket.
Acht Labs, acht Unternehmen, eine Datenbank
Jedes Lab vermittelt eine Idee in zwei bis fünf Minuten und läuft gegen eine echte NebulaDB. Es gibt keine Aufzeichnungen und keine vorgefertigten Zahlen. Sie wählen ein Branchen-„Pack“ (ein Schulverbund, eine Pflegegruppe, ein Team-Chat aus der Logistik, eine Nachrichtenredaktion, ein B2B-Lieferant, kleine britische Unternehmen mit Steuernotizen, indische Landwirte, die auf Hindi und Punjabi fragen, oder eine thailändische Visa-Agentur), und das Lab befüllt beim ersten Aufruf die Dokumente dieses Packs. Alle Daten sind erfunden.
- Bedeutung vs. Wörter: dieselbe Frage über BM25-, Vektor- und hybride Suche, nebeneinander.
- Modellvergleich: hit@1, hit@5 und MRR für jeden Retriever über einen gelabelten Fragensatz.
- Filter, die zählen: semantische Suche plus Metadatenfilter in einer SQL-Anweisung, mit
EXPLAIN ANALYZE. - RAG, Schritt für Schritt: Sicherheitsregeln, dann Retrieval, dann nummerierte Quellen, dann dasselbe Modell zweimal gefragt, einmal ohne und einmal mit den Quellen.
- Über die Daten schlussfolgern: ein mehrstufiger Plan, in dem jeder Schritt eine Live-SQL-Abfrage ist.
- Wann man Nein sagt: Ablehnungsregeln, Zugriffsfilter pro Nutzer und Relevanzschwellen, bewertet anhand einer Konfusionsmatrix.
- Hochskalieren: ein HNSW-
ef-Sweep, der Latenz gegen Übereinstimmung abwägt. - Den Raum sehen: Embeddings, in Ihrem Browser auf 2-D projiziert.
Was wir gemessen haben: Hybride Suche gewinnt nicht immer
Am 8. November 2026 haben wir die gelabelten Fragen jedes Packs gegen die produktive NebulaDB laufen lassen und hit@1 erfasst, also den Anteil der Fragen, bei denen das richtige Dokument an erster Stelle zurückkam:
| Branchen-Pack | BM25 | Vektor | Hybrid |
|---|---|---|---|
| Schulverbund und Universität | 59% | 74% | 89% |
| Pflegeheime | 62% | 88% | 73% |
| Thailändische Visa-Agentur | 42% | 71% | 65% |
| Kleine Unternehmen und Steuern | 58% | 62% | 77% |
| Landwirte (Englisch, Hindi, Punjabi) | 42% | 32% | 48% |
Daraus ergaben sich zwei Lehren. Erstens hängt der beste Retriever vom Geschäftsfeld ab: Die hybride Suche gewann beim Schul- und beim Steuer-Pack, während die reine Vektorsuche bei Pflegeheimen und Visa vorn lag. Messen Sie, bevor Sie sich entscheiden. Zweitens tut sich ein englischzentrierter Embedder mit Hindi und Punjabi schwer, und kein noch so ausgefeiltes Prompt-Engineering behebt das. Die Lösung ist ein mehrsprachiger Embedder. Diese Fragensätze sind klein (jeweils 26 bis 55 Fragen); betrachten Sie sie daher als Smoke-Tests, nicht als Benchmarks.
Der Visa-KI-Agent: Code entscheidet, das Modell schreibt
Der Visa-KI-Agent beantwortet Fragen für „Lotus Gate“, eine fiktive thailändische Visa-Agentur, anhand von 138 Dokumenten: 32 Einträge zu Visumarten über 21 Wege, dazu Regeln, Abläufe, Gebühren, Büros und private Fallnotizen zu Kunden. Seine Designregel ist einfach: Das Sprachmodell entscheidet nie, was abgefragt wird. Kleine lokale Modelle befolgen Anweisungen zum Tool-Calling nicht zuverlässig, daher übernimmt einfacher Code vier Aufgaben:
- Er liest Alter, Ersparnisse, Einkommen und Zweck des Antragstellers aus der Nachricht.
- Er wendet zuerst die Sicherheitsregeln an. Eine Anfrage nach einem gefälschten Kontoauszug erhält eine feste Antwort, und es wird kein Modell aufgerufen.
- Er wählt die Tools und schreibt das SQL selbst, etwa diese echte Abfrage des Visa Finders:
SELECT * FROM lab_visa
WHERE semantic_match(text, 'I''m 55, British, with 900k THB savings and want to retire in Chiang Mai')
AND kind = 'visa_type'
AND min_age <= 55
AND min_funds_thb <= 900000
AND array_contains(purpose, 'retire')
LIMIT 200
In der Produktion lieferte dies in etwa 100 ms genau drei Wege: das 90-tägige Non-O für den Ruhestand, das einjährige Non-O-A und Thailand Privilege. Die Visa-Karten auf dem Bildschirm werden aus diesen SQL-Zeilen erzeugt, nicht aus dem Fließtext des Modells.
- Er prüft die Antwort. Jede Zahl in der Antwort des Modells muss in einer Quelle vorkommen.
Diese letzte Prüfung hat sich bewährt. Mit dem produktiven Modell mit 3 Milliarden Parametern empfahl eine Antwort das richtige Visum, „errechnete“ aber auch ein monatliches Einkommen von 75.000 THB, indem sie die Ersparnisse durch 12 teilte. Keine Quelle sagt das. Bei vier Durchläufen enthielten zwei eine Zahl, die in keiner Quelle vorkommt, und die Prüfung markierte beide. Mit denselben Quellen schrieb ein Modell mit 30 Milliarden Parametern einen korrekten Vergleich von fünf Wegen mit Quellenangaben. SQL, Karten und Schutzmechanismen waren in jedem Durchlauf identisch. Nur die Qualität des Textes änderte sich.
Private Daten bleiben in der Datenbank
Eine ungefilterte hybride Suche nach „Ich möchte in Chiang Mai in Rente gehen, ich bin 55“ lieferte auf Rang zwei eine private Fallnotiz zu einem anderen Kunden. Beim Retrieval geht es um Relevanz, nicht um Berechtigungen. In NebulaDB besteht die Lösung in einem Filter innerhalb der Abfrage, AND client_id = 'LG-1042', sodass Zeilen außerhalb des Bereichs des angemeldeten Nutzers die Datenbank nie verlassen. Anonyme Besucher sehen ausschließlich öffentliche Dokumente. Wir haben das auf die harte Tour gelernt: Die erste Regelsuche des Agenten war eine einfache hybride Suche, und wir haben diese Fallnotiz in den Belegen eines Gastes entdeckt, während wir diesen Beitrag schrieben. Ein einziges Prädikat client_id = 'public' hat das behoben.
Wenn die Regierung die Regeln ändert
Visaregeln ändern sich häufig, und das ist das stärkste Argument für RAG statt Feinabstimmung. Das Panel „Die Regeln haben sich geändert“ im RAG-Lab nimmt eine simulierte Änderung einer offiziellen Seite unter derselben Dokument-ID erneut auf und stellt die Frage noch einmal. Die nächste Antwort zitiert die neue Regel, und kein Modell wird neu trainiert. In der Produktion wird daraus ein geplanter Crawler. Er hasht jede offizielle Seite, fügt den geänderten Text mit seiner source und seinem as_of-Datum per Upsert ein und lässt den Agenten die Aktualisierung bei der nächsten Frage zitieren.
Ausprobieren und dann selbst bauen
- Die Labs: showcase.nebuladb.net/#/labs. Melden Sie sich mit einem Google-Konto an.
- Der Visa-KI-Agent: showcase.nebuladb.net/#/tab/visaagent.
- Der Code: github.com/bwalia/nebuladb, einschließlich der Labs unter
apps/showcase/src/labs/. - Die Vertiefung: KI-Agenten mit NebulaDB bauen: der technische Leitfaden.
Sie möchten einen solchen Agenten für Ihre eigenen Dokumente, mit Ihren eigenen Zugriffsregeln, auf Hardware, die Sie kontrollieren? Sprechen Sie mit uns, und wir beginnen mit einem Pack Ihrer Daten im Stil der Labs und messen das Retrieval, bevor wir einen einzigen Prompt schreiben.
Die Visa-Inhalte in der Demo sind fiktiv und vereinfacht. Die Regeln ändern sich häufig; prüfen Sie sie daher bei der thailändischen Einwanderungsbehörde oder einer thailändischen Botschaft. Dies ist keine Rechtsberatung.