Modelos

Sonoe 1.1

Cómo decide

Cada opción se lee por separado junto con el estado y la pregunta, y recibe una puntuación. Las puntuaciones de las opciones de una pregunta se vuelven probabilidades con un softmax. Como cada opción se puntúa por su cuenta, el orden no importa y un Choice puede tener cientos.

Las probabilidades están calibradas: después del entrenamiento, cada tipo de pregunta recibe su propia temperatura, ajustada con formas de decir que el modelo nunca vio, así que un 0.9 significa cerca del 90%. Cada tipo recibe también un umbral de abstención, que usa /v1/decide.

En qué es bueno y en qué no

• Choice es su tipo más fuerte. En sus dos primeros productos, Sonoe 1.1 acierta cerca del 90% de las veces cuando responde: 90.5% al clasificar búsquedas en tipos de lugar y 90.9% en el directorio de salud y emergencias de Puerto Rico.
• El sí/no sobre un estado estructurado mejoró mucho en 1.1 (de 48% a 94.7% en su prueba), porque primero busca el campo del que trata la pregunta.
• Los Score y las preguntas de sí/no libres son más flojos. La confianza suele ser baja y la redacción importa. Compruébalos con tus datos.
• Es sensible a la redacción. Funcionan mejor las palabras simples y las opciones descritas. Mira Preguntas.
• Lee textos cortos. 256 tokens por opción: un mensaje, una búsqueda, un registro. No un contrato.
• Está entrenado con datos sintéticos en español e inglés (y su mezcla), con español de Puerto Rico, portugués, francés, criollo haitiano y chino en algunas tareas. Maneja otros idiomas, pero no se ha medido en ellos.

Estos resultados se midieron con formas de decir reservadas de datos sintéticos. El mundo real es más desordenado: mide con tus propios datos antes de confiar en Sonoe.

Alias

Un alias se mueve cuando sale un modelo nuevo, así que sus respuestas pueden cambiar sin que cambie tu código. El campo model de cada respuesta dice qué versión respondió. Si ajustaste umbrales con una versión, manda su id (sonoe-1.1.0) y cambia cuando estés listo.