Desafios do pré-treinamento em grande escala

Nesta semana, mergulhamos na história da Hugging Face, e na evolução da empresa para se tornar um centro de pesquisa aberta de IA, junto de um repositório de modelos open source.

Vem ver quem participou desse papo:

• ⁠⁠Marcus Mendes⁠⁠, host sob controle
• ⁠⁠Fabrício Carraro⁠⁠, co-host sob controle, Program Manager da Alura, ⁠⁠autor de IA⁠⁠ e host do podcast  Carreira Sem Fronteiras
• Leandro von Werra, Líder de Pesquisa na Hugging Face

Links:

• Imersão IA Sob Controle e Alura no Vale do Silício
• Entrevista original em inglês com Leandro von Werra
• Livro: Natural Language Processing with Transformers
• NVIDIA Nemotron
• SmolLM
• SmolLM 2
• SmolLM 3
• Textbooks Are All You Need
• Cosmopedia: how to create large-scale synthetic data for pre-training
• 234: Entendendo modelos de mundo e JEPA, com Randall Balestriero, da Meta FAIR
• Reachy Mini

Quer ir com o Fabrício Carraro, o Marcus Mendes e o Paulo Silveira na “Imersão IA Sob Controle e Alura no Vale do Silício“? Vagas limitadas, corra para reservar a sua!

Inscreva-se na ⁠⁠Newsletter IA Sob Controle⁠⁠, e receba notícias semanais sobre Inteligência Artificial, assinada por Fabrício Carraro.

 ⁠⁠Preencha o formulário⁠⁠ com as suas sugestões para deixar o conteúdo do IA Sob Controle ainda mais interessante.

• Alura Cursos de Tecnologia – ⁠⁠https://www.alura.com.br⁠⁠

Edição e sonorização: ⁠⁠Rede Gigahertz de Podcasts