Der er flere almindelige udfordringer, som organisationer bør være opmærksomme på:
Filformater
PDF-dokumenter ofte er vanskelige at indlæse og behandle korrekt. HTML og XML kræver typisk ekstra tilpasning for at fjerne relevante tags, symboler og støj.
Anonymisering og databeskyttelse
Det er vigtigt at sikre, at data er korrekt anonymiseret, når det er påkrævet. Eksempelvis er det ikke tilstrækkeligt blot at skjule følsomme oplysninger visuelt (fx med sorte bjælker), hvis data stadig kan genskabes. Der skal også skelnes klart mellem anonymisering og pseudonymisering.
Adgangsrettigheder
Hvis RAG-systemet anvendes af flere brugere med forskellige rettigheder, skal det være tydeligt, hvilke dokumenter den enkelte bruger må tilgå.
Juridisk afklaringer
Det anbefales at involvere juridiske kompetencer tidligt i processen. Manglende juridisk afklaring kan forsinke projektet væsentligt senere.
For stor kompleksitet fra start
At overføre for mange dokumenter på én gang kan gøre fejl sværere at opdage.