TypeSafe AI y OpenRouter lanzan el router inteligente Jev para optimizar el uso de LLM

TypeSafe AI anunció que OpenRouter ha integrado las capacidades de enrutamiento de Jev en todas sus llamadas a modelos de lenguaje (LLM). A través de typesafe/jev-router, el sistema selecciona dinámicamente el modelo y la intensidad de inferencia óptimos para cada solicitud. Esta tecnología utiliza el enrutamiento consciente de caché para evitar cálculos repetitivos y reducir el consumo innecesario de tokens, mejorando el rendimiento en flujos de trabajo complejos. Según desarrolladores, la herramienta ha logrado una precisión cercana al 100% en tareas de calificación a gran escala, aunque se ha reportado un aumento en la latencia debido al incremento en el volumen de uso.