SynaLinks es tanto un equipo de investigación aplicada como un equipo de ingeniería. Escribimos los frameworks con los que se construyen sistemas de IA, y ponemos a prueba nuestras ideas con experimentos controlados y reproducibles, publicados junto con su código.
¿Se mantiene un sistema de IA en el tiempo? ¿Cómo se mejora cuando el modelo no es suyo? ¿Cómo se demuestra que una respuesta es correcta, y no solo plausible? Estas preguntas se resuelven en producción, en las instalaciones de nuestros clientes, y la documentación de los proveedores rara vez las responde.
Por eso las tratamos como preguntas de investigación. Formulamos una hipótesis, construimos el experimento que podría refutarla, medimos y publicamos el resultado. Lleva más tiempo, pero cuando le decimos qué funcionará con sus datos, podemos mostrarle las pruebas.
Todos ellos están en nuestros repositorios open source, donde cualquiera puede leer el código.
Mejorar un sistema de IA sin reentrenar un solo peso: sus instrucciones y ejemplos se optimizan frente a una recompensa medible, como se entrenaría un modelo. Es lo que hace posible la mejora continua cuando el modelo no es suyo.
Cómo saber que un sistema responde correctamente y que no ha empeorado desde ayer. Conjuntos de datos sintéticos, jueces automáticos, métricas de agentes y pruebas de regresión cuando se cambia el modelo subyacente.
Acotar un modelo de lenguaje con estructura y lógica: salidas válidas por construcción, un razonamiento que se puede inspeccionar y conclusiones que se remontan a sus premisas en lugar de a una intuición estadística.
Convertir documentos en grafos que un sistema pueda utilizar, y después consultar esos grafos: búsqueda local para preguntas precisas, búsqueda global para preguntas que abarcan todo un corpus.
Un agente que escribe y ejecuta código es útil, y también peligroso. Trabajamos en confinarlo: aislamiento del sistema de archivos, llamadas al sistema restringidas, acceso a la red controlado y capacidades concedidas de forma explícita en lugar de por defecto.
Pipelines en los que el modelo produce sus propios ejemplos, la capa simbólica los verifica y descarta lo que no se sostiene, y solo lo que supera la verificación alimenta el paso siguiente. El objetivo: mejorar en un ámbito sin tener que implicar a sus expertos en cada iteración.
La mayoría de los «benchmarks» publicados comparan en realidad dos sistemas que difieren en diez aspectos a la vez. Estas son las reglas que nos imponemos para que nuestras cifras signifiquen algo.
Partimos de una pregunta que una cifra puede responder, elegida antes de ejecutar nada. Una demo muestra lo que funciona; un experimento indica en qué medida.
La misma tarea, las mismas particiones de entrenamiento, validación y prueba, los mismos modelos, el mismo juez. Todo se mantiene constante salvo lo que se mide; de lo contrario, la comparación mide algo distinto de lo que afirma.
Cada experimento cabe en un único script ejecutable, utiliza modelos locales siempre que es posible y conserva sus registros de ejecución completos. Puede volver a ejecutarlo usted mismo.
También cuando el resultado no nos favorece. Un método que no aporta nada en una tarea determinada es información útil, y ocultarlo haría que todo lo demás fuera imposible de verificar.
Realizamos investigación aplicada con equipos industriales y laboratorios de investigación: un bloqueo técnico identificado, un protocolo de evaluación construido conjuntamente y un resultado que usted conserva. Todo lo que publicamos se acuerda con usted de antemano.
Si tiene una pregunta que nadie a su alrededor sabe resolver, nos interesa: escríbanos, aunque todavía esté formulada a grandes rasgos.
Nuestra investigación está al servicio, ante todo, de nuestro producto y de nuestros clientes. El punto de partida: una demo de SynaLemma sobre una de sus propias preguntas.
