IA Sob Controle - Inteligência Artificial 214: Apertus, o LLM suíço totalmente aberto, com Imanol Schlag
34 snips
Jan 7, 2026 Imanol Schlag, cientista de pesquisa no ETH AI Center e co-líder do projeto Apertus, discute a transparência e reprodutibilidade do modelo de linguagem 100% aberto desenvolvido na Suíça. Ele explora como o Ato Europeu de IA afeta a conformidade e a customização de produtos, além de compartilhar detalhes sobre as vastas infraestruturas de computação envolvidas no treinamento. Imanol destaca a inclusão multilingue, os desafios enfrentados e as inovações acadêmicas que moldam o futuro do Apertus.
AI Snips
Chapters
Transcript
Episode notes
Dois Meses e Meio Em 4 Mil GPUs
- O treino do modelo de 70B levou cerca de dois meses e meio usando 4 mil GPUs.
- O maior desafio não foi ML, mas rede, armazenamento e infraestrutura compartilhada do cluster.
Priorize Especialistas Em Rede E Armazenamento
- Envolva engenheiros de infraestrutura para depurar rede e I/O em treinos distribuídos.
- Monitore throughput por GPU e investigue variações causadas por outros usuários do cluster.
Qualidade de Dados e Pós‑Treinamento Importam
- Filtrar conteúdo repetitivo, spam e toxicidade melhora o comportamento base do modelo.
- Pós-treinamento e alinhamento são tão críticos quanto o pré-treinamento para segurança e utilidade.