Podlodka #444 – Архитектура LLM

Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Женя Кателла, Андрей Смирнов Полезные ссылки: Illustrated Transformer https://jalammar.github.io/illustrated-transformer/ Attention is all you need https://arxiv.org/abs/1706.03762 Illustrated BERT https://jalammar.github.io/illustrated-bert/ GPT-family models overview https://towardsdatascience.com/meet-gpt-the-decoder-only-transformer-12f4a7918b36/ A bit of overview of tokenization https://huggingface.co/learn/llm-course/en/chapter6/1