ChatGPT mit eigenen Daten nutzen: Der große Leitfaden für Betriebe in Österreich

Von Lukas Göggel · 6. Juli 2026

ChatGPT lässt sich auf drei Wegen mit eigenen Daten nutzen: per Copy-Paste einzelner Texte in den Chat, über hochgeladene Dateien und sogenannte Custom GPTs oder über eine RAG-basierte Wissensdatenbank, die den gesamten Dokumentbestand eines Betriebs durchsuchbar macht. Für den dauerhaften Einsatz im Unternehmen ist meist nur der dritte Weg praktikabel, weil nur er große Dokumentmengen, laufende Aktualisierung und nachvollziehbare Quellenangaben verbindet. Den größten Nutzen entfaltet der Ansatz dort, wo das eigentliche Betriebswissen liegt: in Anleitungen, Serviceprotokollen, Problemlösungen und im Erfahrungswissen langjähriger Mitarbeiter. Welche Variante passt, hängt von der Dokumentmenge, den Datenschutzanforderungen und dem geplanten Einsatzzweck ab.

In Kürze

  • ChatGPT kennt Ihre Firmenablage nicht und kann von sich aus auf kein einziges internes Dokument zugreifen.
  • Copy-Paste und Datei-Uploads funktionieren für Einzelfälle, scheitern aber an Menge, Aktualität und fehlenden Quellenbelegen.
  • RAG-basierte Wissensdatenbanken durchsuchen den gesamten Dokumentbestand und belegen jede Antwort mit der Fundstelle.
  • Der größte Hebel ist dokumentiertes Firmen-Know-how: Anleitungen, Serviceprotokolle, Problemlösungen und Projektwissen – nicht die Verwaltung von Belegen.
  • Das ERP weiß, was verkauft wurde – die Wissensdatenbank weiß, wie es gemacht wird.
  • Für Firmendaten sind EU-Serverstandort, ein Auftragsverarbeitungsvertrag und der Ausschluss der Trainingsnutzung entscheidend.
  • Der Einstieg gelingt am besten mit einem klar abgegrenzten Dokumentbestand und wenigen typischen Testfragen.

Warum kennt ChatGPT die eigene Firmenablage nicht?

ChatGPT wurde auf öffentlich zugänglichen Texten aus dem Internet trainiert und hat keinen Zugang zu Ihrem Server, Ihrer Cloud-Ablage oder Ihrem E-Mail-Postfach. Das dahinterliegende Sprachmodell – ein LLM (Large Language Model, ein Computerprogramm, das aus riesigen Textmengen gelernt hat, Sprache zu verstehen und zu erzeugen) – kennt daher weder Ihre Montageanleitungen noch Ihre Serviceberichte oder Projektunterlagen. Fragen Sie ChatGPT, wie im eigenen Betrieb eine bestimmte Anlage eingestellt wird oder welche Sondervereinbarung mit einem Kunden gilt, kann es nur raten oder passen.

Hinzu kommt eine technische Grenze: das Kontextfenster. Damit ist die Textmenge gemeint, die ein Sprachmodell in einem einzelnen Gespräch gleichzeitig verarbeiten kann. Selbst großzügige Kontextfenster fassen nur einen Bruchteil dessen, was sich in einem gewachsenen Betrieb über Jahre an Dokumenten ansammelt. Diese und weitere Fachbegriffe rund um KI und Dokumentensuche erklärt das Glossar im Detail.

Ein weiterer Punkt betrifft die Aktualität. Das Wissen eines Sprachmodells endet mit dem Zeitpunkt seines Trainings, während sich Ihre Firmendaten täglich ändern. Ohne eine Verbindung zu Ihren echten Dokumenten arbeitet die KI zwangsläufig mit veraltetem oder erfundenem Wissen. Genau deshalb wirkt ChatGPT bei allgemeinen Fragen so überzeugend und bei betriebsspezifischen Fragen so hilflos: Die eine Wissensquelle ist riesig, die andere schlicht nicht angeschlossen.

Welche Wege gibt es, eigene Daten mit ChatGPT und KI zu nutzen?

Drei Ansätze haben sich in der Praxis herausgebildet, die sich in Aufwand, Kapazität und Verlässlichkeit deutlich unterscheiden. Die folgende Übersicht zeigt die wichtigsten Unterschiede, bevor die einzelnen Wege im Detail beschrieben werden.

KriteriumCopy-Paste in den ChatCustom GPT mit DateienRAG-Wissensdatenbank
DokumentmengeEinzelne TexteBegrenzte DateianzahlGesamter Bestand
AktualitätNur was gerade eingefügt wirdManuell nachpflegenLaufend erweiterbar
QuellenangabeKeineUnzuverlässigFundstelle pro Antwort
Aufwand pro FrageHochGeringGering
EinrichtungsaufwandKeinerGeringEinmalig höher
Eignung im BetriebEinzelfälleAbgegrenzte ThemenDauerbetrieb

Copy-Paste: schnell, aber mühsam

Beim einfachsten Weg kopieren Sie den relevanten Text direkt in das Chat-Fenster und stellen Ihre Frage dazu. Für eine einzelne Vertragsklausel oder einen E-Mail-Entwurf funktioniert dieses Vorgehen gut und erfordert keinerlei Einrichtung.

Als Dauerlösung taugt Copy-Paste nicht. Sie müssen vor jeder Frage wissen, in welchem Dokument die Antwort steckt – womit das eigentliche Problem, das Suchen, ungelöst bleibt. Zudem landen bei jedem Kopiervorgang unkontrolliert Firmendaten in einem fremden System, ohne dass geregelt ist, was damit geschieht.

Custom GPTs und Datei-Uploads: gut für abgegrenzte Themen

ChatGPT erlaubt es, Dateien hochzuladen und sogenannte Custom GPTs anzulegen – vorkonfigurierte Chats, denen eine begrenzte Zahl an Dokumenten fix mitgegeben wird. Für ein klar umrissenes Thema, etwa ein Produkthandbuch oder eine Sammlung von Vorlagen, ist so ein Assistent durchaus brauchbar.

Die Grenzen zeigen sich im Alltag rasch. Die Zahl der Dateien ist beschränkt, neue oder geänderte Dokumente müssen händisch nachgereicht werden, und die Antworten nennen oft keine oder nur ungenaue Fundstellen. Wer prüfen will, ob eine Aussage wirklich im Originaldokument steht, muss selbst nachsuchen.

RAG-Wissensdatenbank: der Weg für den Dauerbetrieb

RAG steht für Retrieval-Augmented Generation – auf Deutsch sinngemäß: Die KI sucht zuerst die passenden Textstellen in Ihren Dokumenten heraus und formuliert erst dann die Antwort auf dieser Grundlage. Das Sprachmodell antwortet also nicht aus seinem Trainingswissen, sondern aus Ihren echten Unterlagen. Wie ein solches System im Detail aufgebaut ist, beschreibt der Grundlagenartikel Was ist eine KI-Wissensdatenbank?.

Der entscheidende Vorteil liegt in der Kombination aus Menge und Nachvollziehbarkeit. Eine RAG-Lösung indexiert den gesamten Dokumentbestand – auch gescannte Papierdokumente, sofern eine Texterkennung (OCR, Optical Character Recognition: die automatische Umwandlung von Bildern und Scans in durchsuchbaren Text) eingebaut ist. Jede Antwort verweist auf das Quelldokument, das sich per Klick öffnen und prüfen lässt.

Ehrlicherweise gehört dazu: Eine RAG-Lösung will eingerichtet und befüllt werden, und die Qualität der Antworten steht und fällt mit der Qualität der hinterlegten Dokumente. Wer seine Ablage jahrelang vernachlässigt hat, bekommt durch KI allein keine Ordnung geschenkt.

Welches Wissen gehört in eine KI-Wissensdatenbank – und welches nicht?

Der Wert einer KI-Wissensdatenbank liegt nicht darin, Rechnungen oder Lieferscheine zu verwalten – dafür gibt es Buchhaltung und ERP (Enterprise Resource Planning, die zentrale Software für Aufträge, Lager und Abrechnung). Ihr Wert liegt im dokumentierten Know-how des Betriebs: in Anleitungen, Serviceprotokollen, dokumentierten Problemlösungen, Projekt- und Vertragswissen und in all dem Erfahrungswissen, das bisher nur in den Köpfen langjähriger Mitarbeiterinnen und Mitarbeiter steckt. Kurz gefasst: Das ERP weiß, was verkauft wurde – die Wissensdatenbank weiß, wie es gemacht wird.

Diese Abgrenzung ist keine Spitzfindigkeit, sondern entscheidet über den Nutzen. Transaktionsdaten sind strukturiert und in bestehenden Systemen gut aufgehoben; niemand braucht eine KI, um eine Rechnungsnummer nachzuschlagen. Das eigentliche Problem im Betriebsalltag sind die unstrukturierten Inhalte: das Word-Dokument mit der Inbetriebnahme-Anleitung von vor sechs Jahren, der E-Mail-Verlauf, in dem eine Sonderlösung mit dem Kunden vereinbart wurde, das handschriftliche Serviceprotokoll, das nur der Kollege findet, der es geschrieben hat. Genau dieses Wissen macht eine RAG-Wissensdatenbank in normaler Sprache abfragbar.

WissensartTypische BeispieleGehört primär in
TransaktionsdatenRechnungen, Lieferscheine, Lagerstände, AuftragsstatusERP bzw. Buchhaltung
Strukturierte StammdatenKundenadressen, Artikelnummern, PreislistenERP oder CRM
Dokumentiertes Know-howAnleitungen, Serviceprotokolle, Checklisten, ProblemlösungenKI-Wissensdatenbank
Projekt- und VertragswissenLeistungsbeschreibungen, Besprechungsnotizen, SondervereinbarungenKI-Wissensdatenbank
Erfahrungswissen aus KöpfenKniffe langjähriger Mitarbeiter, Fehlerhistorien, KundeneigenheitenZuerst dokumentieren, dann Wissensdatenbank

Belege können in einer Wissensdatenbank durchaus mitlaufen – etwa wenn ein altes Angebot den Kontext zu einer Sondervereinbarung liefert. Sie sind aber Beiwerk, nicht der Kern. Wie sich eine KI-Wissensdatenbank von einem klassischen Dokumentenmanagementsystem unterscheidet, das auf die geordnete, revisionssichere Ablage von Belegen spezialisiert ist, zeigt der Vergleich von Dokumentenmanagement und KI-Wissensdatenbank.

Wie sichern Sie das Erfahrungswissen langjähriger Mitarbeiter?

Das wertvollste Wissen eines Betriebs steht in keinem Ordner: Warum die Anlage beim Kunden X alle zwei Jahre denselben Fehler zeigt, welcher Lieferant bei Engpässen wirklich liefert, wie die Kalkulation bei Sonderanfertigungen aufgebaut wird. Geht eine erfahrene Kraft in Pension oder kündigt, verschwindet dieses Wissen oft ersatzlos – und die Nachfolge braucht Jahre, um es sich neu zu erarbeiten. Eine KI-Wissensdatenbank kann dieses Wissen bewahren, aber nur, wenn es vorher in irgendeiner Form festgehalten wird.

Die gute Nachricht: Es braucht dafür kein Dokumentationsprojekt mit Handbuch-Anspruch. Für eine KI-gestützte Suche genügen kurze, ehrliche Notizen, weil das System auch aus Stichworten und formlosen Texten die passende Stelle findet. Bewährt hat sich folgende Schrittfolge:

  1. Wissensträger benennen: Identifizieren Sie die zwei, drei Personen, bei denen im Alltag am häufigsten nachgefragt wird – das sind Ihre kritischen Wissensträger.
  2. Anlassbezogen dokumentieren: Vereinbaren Sie, dass nach jedem gelösten Sonderfall eine Kurznotiz entsteht – was war das Problem, was war die Lösung, was ist beim nächsten Mal zu beachten. Drei Sätze genügen.
  3. Niedrigschwellige Formate zulassen: Eine Sprachnotiz, ein Foto vom Typenschild samt Anmerkung oder ein Stichwortprotokoll sind besser als gar nichts. Die Texterkennung macht auch Fotos und Scans durchsuchbar.
  4. Übergabegespräche strukturieren: Steht eine Pensionierung an, führen Sie mehrere kurze Gespräche entlang konkreter Leitfragen – wichtige Kunden, heikle Anlagen, wiederkehrende Fehler – und halten Sie die Antworten schriftlich fest.
  5. In die Wissensdatenbank einspeisen: Legen Sie die Notizen zentral ab, damit sie indexiert werden, und prüfen Sie mit echten Testfragen, ob die Inhalte gefunden werden.
  6. Routine verankern: Machen Sie das Festhalten von Lösungen zum festen Bestandteil des Abschlusses eines Auftrags – sonst schläft die Übung nach wenigen Wochen wieder ein.

Der Unterschied zur klassischen Wissensdatenbank im Wiki-Stil ist wesentlich: Dort scheitert die Pflege regelmäßig daran, dass Inhalte sauber strukturiert, kategorisiert und verschlagwortet werden müssen. Eine RAG-basierte Lösung stellt diese Anforderung nicht – sie findet die Kurznotiz vom März genauso wie das formatierte Protokoll vom Jänner.

Was ist beim Datenschutz zu beachten?

Bevor Firmendaten in irgendein KI-System wandern, sind drei Fragen zu klären: Wo stehen die Server, wird mit den Daten trainiert, und gibt es einen Auftragsverarbeitungsvertrag? Die DSGVO (Datenschutz-Grundverordnung, das EU-weite Datenschutzrecht) verlangt, dass personenbezogene Daten – also alle Angaben zu identifizierbaren Personen wie Kunden oder Mitarbeitern – nur auf klarer rechtlicher Grundlage verarbeitet werden.

Der Serverstandort entscheidet darüber, welchem Rechtsraum Ihre Daten unterliegen. Anbieter mit Servern in der EU erleichtern die DSGVO-konforme Nutzung erheblich, während bei US-Diensten zusätzliche rechtliche Konstruktionen nötig sind.

Die Trainingsfrage ist mindestens ebenso wichtig. Bei kostenlosen und privaten ChatGPT-Konten können Eingaben standardmäßig zur Weiterentwicklung der Modelle verwendet werden, sofern man dem nicht aktiv widerspricht. Für Firmendaten kommt nur ein Zugang infrage, bei dem die Trainingsnutzung vertraglich ausgeschlossen ist.

Ein AV-Vertrag (Auftragsverarbeitungsvertrag: die schriftliche Vereinbarung, die regelt, wie ein Dienstleister mit Ihren Daten umgehen darf) ist bei der Verarbeitung personenbezogener Daten durch Dritte verpflichtend. Seriöse Anbieter stellen einen solchen Vertrag von sich aus bereit; Informationen zu den rechtlichen Grundlagen bietet die österreichische Datenschutzbehörde unter dsb.gv.at. Eine ausführliche Betrachtung der österreichischen Rechtslage samt praktischer Prüfliste finden Sie im Beitrag zu KI und DSGVO in Österreich.

Wie lässt sich der Zugriff im Betrieb sicher regeln?

Mit dem Datenschutz nach außen ist es nicht getan – auch nach innen braucht der Umgang mit einer durchsuchbaren Wissensbasis klare Regeln. Eine KI, die den gesamten Dokumentbestand kennt, würde ohne Berechtigungskonzept jedem alles beantworten: auch Fragen zu Gehältern, Kalkulationen oder Personalakten. Genau das darf nicht passieren.

Das zentrale Werkzeug ist eine Rollen- und Rechteverwaltung. Sie legt fest, welche Person welche Dokumentbereiche abfragen darf, und zwar bereits auf Ebene der Suche: Das System darf für die Antwort nur Dokumente heranziehen, die die fragende Person auch direkt öffnen dürfte. Ein Monteur erhält so Zugriff auf Serviceprotokolle und Anleitungen, aber nicht auf die Deckungsbeitragsrechnung; die Buchhaltung sieht Verträge, aber keine Bewerbungsunterlagen.

Drei weitere Punkte gehören zu einem soliden internen Sicherheitskonzept. Erstens die Protokollierung: Es sollte nachvollziehbar sein, wer wann welche Abfragen gestellt hat – nicht zur Überwachung der Belegschaft, sondern um im Anlassfall Missbrauch aufklären zu können. Zweitens das Offboarding: Verlässt jemand den Betrieb, muss der Zugang am letzten Arbeitstag enden, so selbstverständlich wie die Rückgabe des Schlüssels. Drittens die Vermeidung von Schatten-KI: Wenn der Betrieb kein geregeltes Werkzeug anbietet, nutzen Mitarbeiterinnen und Mitarbeiter erfahrungsgemäß private ChatGPT-Konten – und dann wandern Firmendaten unkontrolliert in Systeme, für die keine der genannten Schutzmaßnahmen gilt. Ein offiziell eingeführtes, datenschutzkonformes System ist daher auch eine Schutzmaßnahme gegen die inoffizielle Nutzung. Orientierung zu organisatorischen Fragen der Digitalisierung bietet auch die Wirtschaftskammer unter wko.at.

Was braucht ein KMU realistisch – und was nicht?

Ein kleiner oder mittlerer Betrieb braucht in aller Regel keine eigene, selbst trainierte KI. Das Trainieren oder Feinabstimmen eigener Modelle ist teuer, wartungsintensiv und für den Zweck „Antworten aus den eigenen Dokumenten” schlicht das falsche Werkzeug – neue Dokumente würden erst nach einem erneuten Training berücksichtigt.

Was ein KMU tatsächlich braucht, ist unspektakulärer: eine zentrale Stelle, an der das dokumentierte Betriebswissen durchsuchbar zusammenläuft, eine Abfrage in normaler Sprache statt Schlagwort-Raterei und Antworten, die mit einer Quelle belegt sind. Dazu kommen praktische Anforderungen wie die Erfassung von Scans und Fotos, eine Anbindung an bestehende Ablagen und Werkzeuge wie Netzlaufwerke oder Microsoft 365 und eine Benutzerverwaltung, damit nicht jeder alles sieht.

Genauso wichtig ist, was nicht nötig ist: kein Datenexport in unkontrollierte Systeme, kein Umbau der gesamten IT und keine monatelange Schulung der Belegschaft. Wenn die Bedienung einem gewohnten Chat gleicht, ist die Hemmschwelle auch für wenig technikaffine Mitarbeiterinnen und Mitarbeiter gering. Und es braucht auch keinen Ersatz für bestehende Systeme: ERP, Buchhaltung und Branchensoftware bleiben, was sie sind – die Wissensdatenbank legt sich als Suchschicht über das, was diese Systeme nicht abbilden.

Wie gelingt die Umsetzung Schritt für Schritt?

Die Einführung einer dokumentenbasierten KI ist kein IT-Großprojekt, sondern lässt sich in überschaubaren Etappen erledigen. Bewährt hat sich folgende Reihenfolge:

  1. Anwendungsfälle sammeln: Notieren Sie eine Woche lang, wonach im Betrieb tatsächlich gesucht wird und wer dafür wen unterbrechen muss – diese Fragen werden später zu Testfragen.
  2. Dokumentbestand sichten: Legen Sie fest, welche Ordner, Laufwerke und Postfächer den größten Nutzen versprechen. Beginnen Sie beim Know-how – Anleitungen, Protokolle, Projektordner –, nicht beim Belegarchiv. Vollständigkeit ist am Anfang nicht das Ziel.
  3. Anbieter und Datenschutz prüfen: Klären Sie Serverstandort, Trainingsausschluss und AV-Vertrag, bevor das erste Dokument hochgeladen wird.
  4. Erstbefüllung und Testfragen: Befüllen Sie das System mit dem Startbestand und prüfen Sie die Antworten anhand Ihrer gesammelten echten Fragen – inklusive Kontrolle der Quellenangaben.
  5. Einschulung und Routine: Zeigen Sie dem Team die Bedienung an konkreten Beispielen und verankern Sie das Ablegen neuer Dokumente und Lösungsnotizen im Tagesablauf.

Wer diesen Weg nicht allein gehen möchte, findet strukturierte Unterstützung: Die KI-Wissensdatenbank von Goma-it wurde genau für diesen Einsatzzweck in österreichischen KMU entwickelt, mit EU-Servern, Quellenangabe zu jeder Antwort und einem geführten Einführungsablauf vom Erstgespräch bis zur Einschulung.

Welche Aufgaben löst KI mit eigenen Daten im Alltag?

Der Nutzen zeigt sich am deutlichsten an den kleinen, ständig wiederkehrenden Wissensfragen. Der Monteur auf der Baustelle fragt vom Smartphone aus, wie der Störungscode an einer bestimmten Anlagentype beim letzten Mal behoben wurde – und bekommt die relevante Passage aus dem damaligen Serviceprotokoll angezeigt, ohne im Büro anrufen zu müssen. Die Einstellwerte aus der Inbetriebnahme-Dokumentation von vor Jahren sind ebenso abrufbar wie der Hinweis eines Kollegen, dass bei diesem Kunden zuerst der Hausmeister zu verständigen ist.

Im Innendienst sind es häufig Projekt- und Vertragsfragen: Was wurde mit dem Kunden zur Gewährleistung vereinbart, welche Sonderlösung wurde beim letzten vergleichbaren Projekt gewählt, welche Argumente haben damals den Ausschlag gegeben? Solche Antworten stecken in Besprechungsnotizen, E-Mail-Verläufen und Leistungsbeschreibungen – Dokumenten, die ohne durchsuchbare Wissensbasis praktisch unauffindbar sind, sobald der zuständige Kollege nicht greifbar ist.

Auch die Einarbeitung neuer Mitarbeiterinnen und Mitarbeiter verändert sich spürbar. Wer Fragen zur Vorgeschichte eines Kunden oder zu internen Abläufen direkt an die Wissensbasis stellen kann, muss seltener Kolleginnen und Kollegen unterbrechen – und die erfahrenen Kräfte gewinnen Zeit für die Fälle, die tatsächlich Erfahrung brauchen. Diese ständigen Unterbrechungen sind übrigens ein erheblicher, meist unsichtbarer Kostenfaktor; der Beitrag Was kostet Suchen wirklich? geht dem im Detail nach.

Welche Fehler und Missverständnisse sind beim Start am häufigsten?

Aus Einführungsprojekten lassen sich einige typische Stolpersteine benennen, die sich mit etwas Voraussicht vermeiden lassen.

Der häufigste Fehler ist der Anspruch, sofort alles zu erfassen. Wer zu Beginn das komplette Archiv samt zwanzig Jahren Belegen hochlädt, verwässert die Trefferqualität und verzögert den ersten sichtbaren Nutzen. Sinnvoller ist ein kuratierter Startbestand aus dem Wissen, nach dem tatsächlich gefragt wird.

Das zweithäufigste Missverständnis ist die Verwechslung mit einem ERP- oder DMS-Ersatz. Eine Wissensdatenbank bucht keine Rechnungen und führt keine Lagerstände – und sie soll es auch nicht. Wer sie an dieser Erwartung misst, wird enttäuscht; wer sie als Suchschicht über dem unstrukturierten Betriebswissen versteht, bekommt genau das, was den Systemen daneben fehlt.

Häufig unterschätzt wird auch die Trägheit der Dokumentationsgewohnheiten. Das System kann nur finden, was abgelegt wurde – bleibt die Lösungsnotiz nach dem Sonderfall aus, bleibt auch die Wissensbasis stehen. Ohne eine benannte verantwortliche Person, die den Bestand pflegt und das Team erinnert, schläft die beste Einführung ein.

Ein vierter Punkt betrifft die Werkzeugwahl: Firmendaten in privaten ChatGPT-Konten sind kein Kavaliersdelikt, sondern ein handfestes Datenschutzproblem – ohne AV-Vertrag, ohne Trainingsausschluss, ohne Kontrolle. Und schließlich die überzogene Erwartung an die KI selbst: Sie findet und belegt, aber sie räumt keine chaotische Ablage auf und entscheidet nicht, welche von zwei widersprüchlichen Dokumentversionen gilt.

Woran erkennen Sie, ob sich der Einstieg für Ihren Betrieb lohnt?

Ob eine KI-Wissensdatenbank für einen konkreten Betrieb sinnvoll ist, lässt sich an wenigen Alltagsbeobachtungen festmachen. Deutliche Signale sind: Dieselben zwei, drei Personen werden ständig mit Wissensfragen unterbrochen, weil nur sie wissen, wo etwas steht oder wie etwas geht. Neue Mitarbeiterinnen und Mitarbeiter brauchen auffällig lange, bis sie eigenständig arbeiten. In den nächsten Jahren stehen Pensionierungen erfahrener Kräfte an, deren Wissen nirgends dokumentiert ist. Und: Für ein und dieselbe Information gibt es mehrere mögliche Ablageorte – Netzlaufwerk, Postfach, Papierordner, ein Chat-Verlauf.

Treffen zwei oder mehr dieser Punkte zu, ist der Leidensdruck in der Regel hoch genug, dass sich ein strukturierter Test lohnt. Trifft keiner zu – etwa weil der Betrieb sehr klein ist, das Wissen bei einer einzigen Person liegt, die noch lange bleibt, und die Ablage schlank gehalten wird –, darf die Entscheidung guten Gewissens vertagt werden. Eine ehrliche Bestandsaufnahme ist wertvoller als die Anschaffung eines Werkzeugs, für das es noch keinen echten Bedarf gibt.

Für den Test selbst gilt die Faustregel aus der Schritt-für-Schritt-Anleitung oben: echte Fragen aus dem Alltag sammeln, einen abgegrenzten Bestand befüllen, Antworten samt Quellen prüfen. Nach wenigen Wochen zeigt sich verlässlich, ob das System im konkreten Betrieb trägt.

Welche Grenzen hat KI mit eigenen Daten?

Auch die beste dokumentenbasierte KI beantwortet nur, was in den Dokumenten steht. Wissen, das ausschließlich in den Köpfen der Mitarbeiter existiert, bleibt unsichtbar, solange es nicht in irgendeiner Form – und sei es als kurze Notiz – festgehalten wird. Gerade deshalb ist die oben beschriebene Wissenssicherung kein Nebenschauplatz, sondern die halbe Miete.

Widersprüchliche oder veraltete Dokumente bleiben ein inhaltliches Problem. Die KI kann anzeigen, aus welchem Dokument eine Aussage stammt, aber nicht immer beurteilen, welche von zwei abweichenden Versionen die gültige ist. Eine Grundordnung in der Ablage, etwa das Kennzeichnen überholter Stände, bleibt Aufgabe des Betriebs.

Schließlich ersetzt die KI keine fachliche Beurteilung. Sie findet die relevante Vertragsklausel in Sekunden, doch ob daraus eine Kündigung, eine Nachforderung oder ein Anruf beim Anwalt folgt, entscheidet weiterhin ein Mensch. Richtig eingesetzt nimmt die Technik dem Team das Suchen ab – nicht das Denken.

Häufige Fragen

Warum kennt ChatGPT meine Firmendokumente nicht?

ChatGPT wurde auf öffentlich verfügbaren Texten trainiert und hat keinerlei Verbindung zu Ihrer Ablage, Ihrem Server oder Ihrem E-Mail-Postfach. Alles, was das Modell über Ihren Betrieb wissen soll, müssen Sie ihm aktiv mitgeben – entweder pro Gespräch oder über ein angeschlossenes System, das Ihre Dokumente durchsuchbar macht.

Was ist der Unterschied zwischen einem Custom GPT und einer RAG-Wissensdatenbank?

Ein Custom GPT ist ein vorkonfigurierter Chat innerhalb von ChatGPT, dem Sie eine begrenzte Zahl an Dateien mitgeben können. Eine RAG-Wissensdatenbank ist ein eigenständiges System, das beliebig viele Firmendokumente indexiert, bei jeder Frage die passenden Stellen heraussucht und die Antwort mit Quellenangabe belegt.

Werden meine Eingaben in ChatGPT für das Training verwendet?

Bei privaten Gratis- und Plus-Konten können Eingaben standardmäßig zur Verbesserung der Modelle herangezogen werden, sofern Sie das nicht in den Einstellungen deaktivieren. Business-Varianten und API-Zugänge schließen die Trainingsnutzung vertraglich aus. Für Firmendaten sollten Sie ausschließlich Zugänge nutzen, bei denen das schriftlich zugesichert ist.

Wie viele Dokumente kann eine KI auf einmal verarbeiten?

In einem einzelnen Chat-Fenster ist der Platz durch das Kontextfenster begrenzt – je nach Modell einige hundert Seiten Text. Eine RAG-basierte Lösung umgeht diese Grenze, weil sie nie alle Dokumente auf einmal lädt, sondern pro Frage nur die relevanten Ausschnitte aus dem gesamten Bestand heraussucht.

Welche Dokumente eignen sich für den Start am besten?

Am meisten bringt dokumentiertes Know-how, nach dem im Alltag häufig gefragt wird: interne Anleitungen, Serviceprotokolle, dokumentierte Problemlösungen, Projektunterlagen und Verträge mit ihren Sondervereinbarungen. Ein überschaubarer, gut gewählter Startbestand liefert schneller sichtbaren Nutzen als der Versuch, sofort das gesamte Archiv zu erfassen.

Wer im Betrieb sollte Zugriff auf eine KI-Dokumentensuche haben?

Sinnvoll ist eine Rollen- und Rechteverwaltung, die den Zugriff nach Verantwortungsbereich steuert. Nicht jede Mitarbeiterin und jeder Mitarbeiter muss Personalunterlagen oder Kalkulationen einsehen können. Gute Systeme bilden solche Berechtigungen ab, sodass Antworten nur aus Dokumenten stammen, die die fragende Person auch öffnen dürfte.

Ersetzt eine KI-Wissensdatenbank das ERP oder ein Dokumentenmanagementsystem?

Nein, die Systeme ergänzen einander. Das ERP führt Transaktionen wie Aufträge und Rechnungen, ein Dokumentenmanagementsystem archiviert Belege geordnet und revisionssicher. Die KI-Wissensdatenbank macht das unstrukturierte Know-how des Betriebs auffindbar – Anleitungen, Serviceprotokolle, Problemlösungen und Projektwissen –, das in diesen Systemen kaum abgebildet ist.

Wie kommt Wissen, das nur in den Köpfen der Mitarbeiter existiert, in die Wissensdatenbank?

Durch anlassbezogenes Dokumentieren: Nach jedem gelösten Sonderfall wird eine kurze Notiz, ein Foto oder eine Sprachaufnahme festgehalten und abgelegt. Ergänzend helfen strukturierte Übergabegespräche mit erfahrenen Kräften, etwa vor einer Pensionierung. Die Hürde muss niedrig sein – wenige Stichworte in einem durchsuchbaren Dokument sind wertvoller als eine perfekte Dokumentation, die nie geschrieben wird.

Fragen zu Ihrem Fall?

Im kostenlosen Erstgespräch klären wir, ob sich die KI-Wissensdatenbank für Ihren Betrieb rechnet – ehrliche Einschätzung inklusive.