TypeSafe AI e OpenRouter lançam roteador inteligente Jev para otimizar chamadas de LLM

A TypeSafe AI anunciou que o OpenRouter integrou a capacidade de roteamento Jev a todas as chamadas de LLM. Por meio do typesafe/jev-router, o sistema seleciona dinamicamente o modelo e a intensidade de inferência ideais para cada solicitação, utilizando roteamento com reconhecimento de cache para equilibrar qualidade, velocidade e custo. A ferramenta evita cálculos redundantes e reduz o consumo desnecessário de tokens, otimizando fluxos de trabalho complexos de agentes. Desenvolvedores relataram alta precisão em tarefas de pontuação, embora tenham notado um aumento na latência de resposta com o crescimento do uso.