Jak najczęściej spotykamy sie po raz pierwszy z AI? Chyba w ten sposób, że czy to z ciekawości czy z potrzeby napisaliśmy jakiś prompt. Nic więc dziwnego, że szybko zauważamy, że modyfikując prompt uzyskujemy różne odpowiedzi. Pogłębiając wiedzę o AI uczymy się więc, jak pisać dobre prompty, czyli poznajemy Prompt Engineering, tyle tylko, że …
aby odpowiedzieć na pytanie, trzeba coś wiedzieć, tymczasem AI wie tyle ile go nauczono. Można mu trochę pomóc promptem, ale jeśli AI czegoś nie wie, to się nie dowie, co najwyżej pohalucynuje, a to jest jeszcze gorsze niż brak odpowiedzi.
I tak dochodzimy do faktu, że w pewnym momencie nie ma już sensu prompt engineering. Zamist niego skupiamy się jednak na dostarczeniu do AI nowych danych, bo mając te nowe dane AI będzie mógł tworzyć nowe sensowne odpowiedzi. Praca nad zapewnieniem odpowiednich danych to Context Engineering.
Jedną z metod na dostarczenie do AI nowego, lepszego contextu jest Retrieval Augmented Generation (RAG).
Zacznijmy więc od Prompt Engineering.
- pisząc prompt można używać różnych taktyk, np. „Few-Shot Prompting”, które polega na podaniu paru przykładów, wzorca, do którego LLM powinien się dopasować w swojej odpowiedzi. Można też opisać role LLM-a, np. „jesteś pomocnym asystentem, który…” – jest to tzw. „Persona Adoption”.
- modele mogą rozumować lub nie. Non-reasoning model (np. GPT-4o lub Llama) odpowiada na pytania jak „kalkulator słów” – odpowiedź ma brzmieć sensownie, ale niekoniecznie będzie precyzyjna. To właśnie tu są zwracane najśmieszniejsze, logiczne i bezsensowne odpowiedzi. Reasoning models z kolei, budują swój własny tok myślowy i podążając tym tokiem, wykonują pewne zadania ustalając poprawną odpowiedź. Oczywiście takie rozumujące modele są lepsze, bo udzielając odpowiedzi ile to jest 2+2 nie posłużą się statystyką tylko wykonają obliczenia.
Kiedy już jednak Prompt Engineering nie daje rady, trzeba pomóc budować odpowiedni kontekst i dzieje się to przez RAG. RAG to ogólna nazwa na wzorzec projektowy, a sam wzorzec jest implementowany przez Retrieval Agents, czyli po prostu programy, które pobiorą odpowiednie dane i przygotuja je tak, aby LLM mógł z nich korzystać.
- Retrieval – wyszukuje odpowiednie informacje do przedstawienia LLM
- Augmentation – wybiera odpowiednie fragmenty tekstu i wbudowuje je do kontekstu na którym pracuje LLM
- Generation – LLM buduje odpowiedź, tyle tylko że ta odpowiedź jest lepsza jakościowo, bo ma właściwe dane
Kontekst nie jest bez wad i problemów, a te najpopularniejsze to:
- w kontekście mogą się znaleźć również dane nieprzydatne, a wręcz zatruwające odpowiedź (context poisoning)
- duże konteksty mogą tracić część swojej zawartości (bo się nie mieszczą w kontekście), a nawet jeśli się mieszczą, to z bliżej jeszcze nieustalonych przyczyn LLM bardziej zwraca uwagę na początek i koniec kontekstu, jakby gubiąc informacje w środku (lost in the middle)
Definiując właściwy kontekst należy wziąć pod uwagę i odpowiednio skonfigurować:
- instrukcje systemowe (system prompt – definicja roli, czego system nie może robić, w jakim formacie zwracać dane, dopuszczalne dane z jakich można korzystać, np. zezwolenie tylko na dostarczone przez RAG tzw. chunks)
- historię konwersacji, która może urosnąć i trzeba wtedy tworzyc podsumowania, usuwać najstarsze wpisy z historii, albo decydować o tym co jest najważniejsze
- pobrane specyficzne dane (RAG lub korzystanie z Unity Catalog i zarejestrowanych tam źródeł danych)
- inne reguly, policy, user constraints
Z kontekstem jest jak z RAM w komputerach – dobrze by było mieć go maksymalnie dużo (może tylko pomijając proble lost-in-the-middle). Jednak duży kontekst to duży kosze. Każdy model ma własny context window limit (8K, 32K lub 128K). Kontekst składa się z input tokens (czyli tego co jest wysyłane do kontekstu) oraz output tokens (czyli tego, co model generuje). Aby jakoś zarządzać kosztem można: ładować dokumenty w trakcie jak czat się rozwija, nie na początku, korzystać z tool-i które umożliwiają pobieranie brakujących danych, budowanie rankingu przekazywanych do kontekstu dokumentów i przekazywanie tylko tych najważniejszych.
