Łukasz omawia ograniczenia fine-tuningu oraz alternatywę: dostarczanie aktualnego kontekstu w promptach.
Play episode from 05:38
chevron_right
Transcript
chevron_right
Transcript
Episode notes
Czy RAG faktycznie rozwiązuje problem dokumentacji, która nigdy nie jest aktualna? Jak sprawić, by LLM odpowiadał na pytania o Twój kod bez wrzucania całego repozytorium do kontekstu? I dlaczego embeddingi to nie jedyne rozwiązanie?
O tym wszystkim opowie Łukasz Szydło – architekt, konsultant i trener, specjalizujący się w tematach architektury i Domain-Driven Design. Łukasz na co dzień pracuje nad Noesis: narzędziem do automatycznego generowania diagramów i dokumentacji z kodu, więc wie, o czym mówi. W rozmowie dzieli się nie tylko wiedzą techniczną o RAG-ach, ale też praktycznymi spostrzeżeniami z wdrażania tych rozwiązań w realnych projektach.
Z tego odcinka dowiesz się:
Czym jest RAG (Retrieval Augmented Generation) i jak różni się od fine-tuningu modelu;
Jak chunking i embeddingi pozwalają na przeszukiwanie ogromnych zbiorów danych;
Dlaczego graf wiedzy może być lepszy od wektorowej bazy danych w przypadku kodu;
W jaki sposób RAG może pomóc zespołom uniknąć ciągłego odrywania developerów od pracy;
Jak deterministyczne parsowanie kodu przewyższa czysto AI-owe podejście;
Dlaczego większy kontekst w LLM nie zawsze oznacza lepszą odpowiedź.
