Saltar al contenido

llama.cpp 1.0.0: los cambios de API, solo en versiones mayores

Respuesta corta

El equipo de ggml-org ha publicado la v1.0.0 de llama.cpp y de ggml, las bibliotecas sobre las que se construyen muchas aplicaciones de IA locales. Desde ahora, cualquier incompatibilidad de API o ABI llegará con un salto de versión mayor. Quien las integre puede fijar versiones y medir el riesgo de actualizar por el número.

Qué significa para las operaciones

Si las herramientas de ventas, soporte u operaciones de su empresa ejecutan un modelo en local, por ejemplo para mantener los datos de clientes dentro de casa, es probable que llama.cpp esté en esa pila, ya sea en su propio código o dentro del producto de un proveedor. Pregunte al proveedor o a su desarrollador qué versión incluye y fije sus compilaciones a la rama 1.x. Trate el salto a la 2.x como un cambio planificado, con pruebas, y deje pasar las versiones menores y de parche por su rutina habitual de actualizaciones. Los nuevos canales de distribución (Docker, Homebrew, Winget y otros) también reducen los scripts de compilación propios que hay que mantener en los equipos que usted controla.

El equipo de ggml-org anunció en Hugging Face llama.cpp v1.0.0 y publicó a la vez la biblioteca llama.cpp (libllama) y la biblioteca de tensores que la sustenta, ggml (libggml), ambas en la versión 1.0.0. El proyecto tiene unos tres años y medio, y el equipo señala que muchas aplicaciones dependen ya de él.

Qué significa ahora el número de versión

El cambio central es un compromiso de compatibilidad. Ambos proyectos avisarán de las incompatibilidades de API y ABI con un salto de versión mayor. El equipo fija las reglas para todos sus proyectos que usan versionado semántico:

  • Mayor: un cambio que rompe la API pública en C del directorio include.
  • Menor: una función retrocompatible, una actualización de backend, soporte de un modelo o una ampliación de la API.
  • Parche: la corrección de un error sin cambios en la API.

Según el equipo, será más estricto a la hora de hacer visibles estos límites a medida que crezca la adopción.

Distribución

La publicación enumera los canales por los que se distribuye el software:

  • Artefactos de preversión para Linux, macOS, Windows, Android e iOS.
  • Imágenes de Docker para Linux.
  • Paquetes de Debian.
  • Homebrew para macOS y Linux.
  • conda-forge para Windows, macOS y Linux.
  • MacPorts y Winget.
  • Un XCFramework para iOS y macOS.

Además, el equipo remite a quienes empaquetan software a un hilo de discusión sobre cómo incorporar los proyectos a sus propios procesos de publicación.

Desarrollo y cobertura

El equipo dice que usa LLM en su propio desarrollo de forma mesurada y que conserva el control de la arquitectura. Está invirtiendo en infraestructura de integración continua: recurre a HF Buckets y HF Jobs de Hugging Face para tener capacidad y suma runners propios en las principales plataformas de hardware, con apoyo de NVIDIA, AMD, Qualcomm, Arm, IBM e Intel.

En cuanto a modelos, llama.cpp admite hoy más de 150 variantes de arquitectura y todos los métodos habituales de decodificación especulativa. El soporte de hardware llega a través de los backends de ggml, y cada uno puede compilarse como biblioteca dinámica y cargarse en tiempo de ejecución.

Lo que el anuncio no incluye

La publicación no describe capacidades nuevas de modelos ni cifras de rendimiento, y tampoco da fecha para una futura versión mayor. El cambio apunta a la previsibilidad de quienes construyen sobre estas bibliotecas.

Fuente: Hugging Face · En el Atlas: Hugging Face →

Las herramientas de esta noticia

  • NVIDIA - precio, quién la usa, alternativas
Siguiente paso

Visibility Analyzer

Una noticia sobre IA no dice cómo los asistentes ven tu sitio. El Visibility Analyzer lo comprueba en el sitio real: qué respuestas te citan, qué páginas el motor no puede recuperar y qué arreglar primero. Ejecutarlo es gratis.

Lanzar una auditoría de visibilidad gratuita

Lanzarlo es gratis. Sin tarjeta.

Precio
Gratis
Duración
Una ejecución, minutos

Plan gratuito: dos análisis al día, sin tarjeta.