Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.
Publicações 1219
Engenharia ·
Briefing do Radar sobre um setup de aprendizado por reforço para modelos de decisão que retornam probabilidades calibradas, em vez de texto gerado. Data da publicação: 4 de outubro de 2026.
Engenharia ·
O paper apresenta o VeriHarness, que verifica afirmações de agentes em tarefas longas usando um modelo-base fixo, sem respostas de referência ou rubricas durante o teste.
Engenharia ·
Estudo sistemático relata que a direção do KL por token pesa mais que a política de rollout na distilação on-policy versus off-policy, questionando a ideia de que rollouts on-policy são inerentemente melhores.
Engenharia ·
Radar: artigo que interpreta a attention padrão como Entropic Optimal Transport com prior uniforme implícito e propõe o GOAT, com prior contínuo e treinável compatível com kernels otimizados como FlashAttention.
Engenharia ·
Publicação afirma que cuDNN, FA4 e FlexAttention têm problemas de precisão nos backward passes e apresenta o KohakuFA como kernel alternativo, com repositório público no GitHub para inspeção.
Engenharia ·
Radar de 3 de outubro de 2026 sobre um modelo de geração de imagens a partir de texto que reutiliza blocos do Transformer em cada etapa de denoising, com a afirmação de desempenho do post original.
Engenharia ·
Radar: o artigo apresenta o LoopCD, um método de contrastive decoding sem treinamento adicional para Transformers recorrentes, que usa representações de loops anteriores como previsões mais fracas para selecionar tokens.
Engenharia ·
Radar: o LoopCD refina a decodificação de Transformers com loops usando a diferença entre previsões de estados recorrentes iniciais e finais, sem treinamento adicional, e reporta ganhos de acurácia no AIME 2024 com o modelo Ouro-2.6B-Thinking.
Engenharia ·
Post apresenta um método que adiciona sampling ao stack de post-training e afirma que o SFT pode competir com métodos atuais, com melhor generalização e menos esquecimento em alguns casos.
Engenharia ·
Um guia descreve um proxy que registra token IDs e logprobs para treinar modelos com RL em quatro agent harnesses, com melhorias relatadas e comparação com imitation learning.
Engenharia ·
Artigo investiga se a cadeia de pensamento faz trabalho computacional em tarefas seriais; segundo o post, removê-la reduz a precisão ao limite de circuitos rasos.
Engenharia ·
Publicado em 1º de outubro de 2026, o texto apresenta a destilação on-policy multi-teacher (MOPD): um método que treina um modelo student com suas próprias completions, usando log probabilities por token de modelos teacher e um objetivo de reverse KL.
Engenharia ·
Rodar um modelo perto dos dados pode mudar a arquitetura. Não dispensa tratamento de entradas, controle de acesso ou avaliação real.
Engenharia ·
Um blog do PyTorch descreve o Jagged Flash Attention, kernel de attention por trás do Generative Ads Model da Meta, desenvolvido com TLX para NVIDIA Blackwell. O post relata desempenho superior ao FlashAttention-4 nas formas jagged do GEM.
Engenharia ·
Publicado em 1º de outubro de 2026, o post relata que o Looped-DiT reutiliza blocos Transformer nas etapas de denoising e que um modelo de 260 milhões de parâmetros superou outro 6,5 vezes maior em benchmarks de texto para imagem, com 4,9 vezes menos computação na inferência.
Engenharia ·
Publicação datada de 1º de outubro de 2026 relata 890 bytes de KV cache global por token e um cache persistente oito vezes menor em um modelo de linguagem.
Engenharia ·
Publicação de 30 de setembro de 2026 argumenta que fatorar S = WWᵀ muda o fluxo de gradientes em attention e remove um gargalo de expoente de informação que pode travar modelos não fatorados.
Engenharia ·
Publicado em 30 de setembro de 2026, o material apresenta DeepEP-Ascend como uma biblioteca de comunicação de alto desempenho para treinamento e inferência de machine learning em NPUs Huawei Ascend.
Engenharia ·
Um artigo de Reiner Pope e coautores aborda como escalar a inferência de Transformers com eficiência, tema relevante para engenheiros que avaliam formas de servir esses modelos.
Engenharia ·
Publicado em 30 de setembro de 2026, o ProRL Agent é uma infraestrutura open source para rollouts de agentes multi-turn. Seu modelo rollout-as-a-service separa geração de trajetórias, orquestração de ambientes e avaliação da otimização de políticas.
