Инференс и батчинг: как это влияет

Продолжаем погружение с Владиславом Танковым! С устройством LLM мы уже разобрались, а теперь пора разобраться, гонять ли инференс локально или в облаке, какие модели брать, и во что можно упереться при масштабировании своего сервиса на LLM! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Женя Кателла, Андрей Смирнов