ollaya

Cuando tu agente, tu clasificador de tickets o tu enrutador de LLM tiene que responder preguntas tipadas —intención, urgencia, riesgo de baja— sobre un mensaje, un correo o cualquier JSON, un modelo generativo te da texto de más y te deja sin una probabilidad usable. Lo que encaja es un modelo de decisión: lee el estado, acepta preguntas choice, score o noul y devuelve probabilidades calibradas en un solo pase, en milisegundos, sin generar una palabra.

Con un único binario tiras esos modelos por nombre y un demonio local los sirve, con la misma familia de comandos que Ollama (serve, run, pull, list, ps, show, rm, create…). El cable es idéntico al de TypeSafe (POST /v1/systemone, /v1/decisions, GET /v1/models), así que los clientes Jev existentes siguen valiendo si apuntas TYPESAFE_BASE_URL a http://localhost:11435. Hay API nativa (/api/decide, /api/pull en NDJSON) y un modo MCP para Claude Code, Cursor y el resto de clientes.

Modelos, pesos y hardware

• winnow:e4b es el recomendado: 0,722 de acierto en decisiones tipadas (Jev: 0,738) y 89 ms para cinco preguntas en una RTX 4090. Sin GPU NVIDIA, empieza por laya (fracción de segundo en CPU); laya:en baja a 8–10 ms para cinco preguntas en esa GPU.
• También sirves Decider, Kev, NLI, GLiClass, Von, Qwen3Guard y variantes con visión. Los pesos salen del Hugging Face del autor, anclados a un commit y verificados por sha256; Ollaya publica grafos ONNX de unos 3 MB y no realoja pesos. Los GGUF corren en llama.cpp.
• ONNX Runtime en CPU y CUDA en NVIDIA; GGUF en CPU, CUDA y Metal en Apple silicon. Precisión fp16 en GPU y fp32 en CPU. Con Modelfiles puedes hornear un set de preguntas en tu propio modelo.