Un usuario entusiasta ha querido hacer uso de su PowerBook G4 del año 2005 para probar si el sistema es capaz de asimilar y procesar un modelo de lenguaje como
Llama 2. Generalmente, utilizar un modelo de lenguaje en local es una tarea que requiere de un equipo decente para que el sistema se mueva con soltura.
Para la tarea, partió de la eficaz implementación de
Llama 2 de Andrej Kaparthy, modificada para dar simplicidad y accesibilidad a este modelo de lenguaje en un amplio abanico de sistemas. De hecho, este fue el mismo código que se usó para ejecutar el LLM (Large Language Model) en un PC con Windows con solo 128 MB de RAM.
El PowerBook utilizado para la prueba cuenta con un procesador de 1,5 GHz, apenas 1 GB de RAM y una arquitectura de 32 bits. El proyecto se basa en la adaptación del código de Kaparthy, que permite la inferencia del modelo de
Llama 2 a través de un único documento escrito en C. El autor expresa en el texto la satisfacción del reto que supone llevar esta tecnología a un entorno con recursos muy limitados .
El usuario demostró cómo a través de una serie de modificaciones en el código de Kaparthy, pudo completar la tarea de ejecutar un modelo de lenguaje de la talla de
Llama 2 en un sistema tan restringido hoy día como el PowerBook G4 de Apple. El secreto fue la optimización del código y la tecnología presente en el procesador de este ordenador.
Ranking de blogs
