Más allá de la IA de código libre: cómo la cimentación criptográfica, la plataforma de panadería y ZKLoRA de Bagel impulsan la monetización sostenible de la IA

Rosquilla es una novedosa cimentación de maniquí de IA que transforma el avance de IA de código libre al permitir contribuciones sin permiso y respaldar la atribución de ingresos para los contribuyentes. Su diseño integra criptografía destacamento con técnicas de formación mecánico para crear un ecosistema colaborativo, seguro y sin confianza. Su primera plataforma, Panaderíaes una plataforma única de monetización y ajuste de modelos de IA construida sobre Rosquilla cimentación maniquí. Crea un espacio de colaboración donde los desarrolladores pueden ajustar los modelos de IA sin comprometer la privacidad de sus fortuna propietarios ni exponer parámetros sensibles del maniquí.

Origen y Visión

la idea para Rosquilla surgió de su fundador, Bidhan Royque tiene una amplia experiencia en ingeniería y formación mecánico y ha contribuido a las infraestructuras de formación mecánico más grandes del mundo en Amazon Alexa, Cash App e Instacart. Al examinar la insostenibilidad de la IA de código libre como maniquí caritativo, Roy imaginó un sistema que incentivaría a los contribuyentes haciendo que su trabajo fuera monetizable. Su ingreso a la criptografía durante su trabajo en la plataforma de comercio Bitcoin de Cash App en 2017 se convirtió en la colchoneta de RosquillaEl enfoque renovador de combinar métodos criptográficos con el avance de IA.

RosquillaLa propuesta de valencia única de se apoyo en tres pilares fundamentales:

1. Atribución: Rosquilla garantiza que cada contribución estructural o paramétrica se atribuya de modo verificable utilizando su novedoso método ZKLoRA, proporcionando un huella transparente del trabajo creativo y fomentando la responsabilidad en el avance colaborativo de la IA.
2. Propiedad: Los contribuyentes conservan derechos perpetuos sobre sus innovaciones a través de contenedores que preservan la privacidad y la ofuscación de parámetros, eliminando la falta de acuerdos de deshonestidad tradicionales y al mismo tiempo salvaguardando la propiedad intelectual.
3. Privacidad: La encapsulación segura del maniquí y la ofuscación en capas protegen los componentes propietarios, evitando el camino no acreditado incluso en entornos informáticos no confiables o subcontratados, garantizando la privacidad y la confianza durante todo el proceso de avance.

Innovaciones principales de Bagel

• Contribuciones sin permiso: Rosquilla permite a los desarrolladores, investigadores y propietarios de fortuna contribuir al avance del maniquí de IA sin requerir permisos explícitos ni acuerdos previos. Este enfoque descentralizado elimina las barreras de entrada.
• Atribución de ingresos: RosquillaLa característica única de es su capacidad para atribuir y distribuir ingresos a todos los contribuyentes del ecosistema de modo desafío. La plataforma rastrea con precisión las contribuciones y las mejoras del maniquí utilizando técnicas criptográficas, asegurando que los contribuyentes sean recompensados ​​proporcionalmente.
• La criptografía se encuentra Estudios mecánico: RosquillaLa innovadora cimentación de se apoyo en una fusión de métodos criptográficos y avances en el formación mecánico, que incluyen:
  • Ajuste fino competente de parámetros (PEFT): Optimiza los procesos de ajuste del maniquí, reduciendo los requisitos de fortuna y manteniendo el rendimiento.
  • ZKLoRA: La última innovación del Bagel Research Team: un protocolo de conocimiento cero que verifica las actualizaciones de LoRA para la compatibilidad del maniquí colchoneta sin exponer datos propietarios, lo que garantiza una colaboración segura y competente.

RosquillaLa cimentación de se implementa a través de su plataforma, Panadería. Permite el avance de IA descentralizada al permitir a los desarrolladores contribuir con modelos y optimizaciones de forma segura, a los proveedores de conjuntos de datos compartir datos propietarios de forma privada utilizando métodos criptográficos y a los propietarios de fortuna ofrecer potencia computacional manteniendo el control y la privacidad. En Panaderíavarios contribuyentes pueden participar en la creación de modelos de IA:

• Un colaborador puede proporcionar un maniquí colchoneta.
• Un tercero podría ofrecer fortuna de GPU desde una ubicación remota.

Ahora, analicemos sus últimas investigaciones sobre ZKLoRA. En esta investigación, el Rosquilla El equipo de investigación se centra en permitir una demostración competente y segura de las actualizaciones de Acondicionamiento de bajo rango (LoRA) para LLM en entornos de capacitación distribuidos. Tradicionalmente, el ajuste de estos modelos implica que colaboradores externos proporcionen actualizaciones de LoRA, pero corroborar que estas actualizaciones sean efectivamente compatibles con el maniquí colchoneta y al mismo tiempo proteger los parámetros propietarios plantea desafíos.

Los métodos existentes, como retornar a ejecutar un pase directo o inspeccionar manualmente grandes conjuntos de parámetros, son computacionalmente inviables, especialmente para modelos con miles de millones de parámetros. Los pesos LoRA patentados de los contribuyentes todavía deben guarecerse, mientras que los propietarios del maniquí colchoneta deben corroborar la precisión y validez de las actualizaciones. Esto crea un doble desafío: mAIApoyar la confianza en el avance de IA descentralizado y colaborativo, preservando al mismo tiempo la propiedad intelectual y la eficiencia computacional. La yerro de un mecanismo de demostración sólido y competente para las actualizaciones de LoRA limita su escalabilidad y uso seguro en aplicaciones del mundo vivo.

Para tocar el desafío mencionado anteriormente, el Rosquilla Presentación del equipo de investigación ZKLoRA. Este protocolo de conocimiento cero combina métodos criptográficos con técnicas de ajuste para respaldar la demostración segura de las actualizaciones de LoRA sin exponer pesos privados. ZKLoRA emplea pruebas de conocimiento cero, compromisos polinómicos y diseños criptográficos sucintos para corroborar la compatibilidad de LoRA con los modelos colchoneta de modo competente. Esta innovación permite a los contribuyentes de LoRA proteger su propiedad intelectual y al mismo tiempo permite a los usuarios del maniquí colchoneta validar las actualizaciones con confianza.

El protocolo ZKLoRA opera mediante un proceso estructurado. Primero, el agraciado del maniquí colchoneta proporciona activaciones parciales ejecutando capas del maniquí inalteradas. Estas activaciones parciales luego son utilizadas por el propietario de LoRA, quien aplica sus actualizaciones patentadas y construye una prueba de conocimiento cero. Esta prueba garantiza que las actualizaciones de LoRA sean válidas y compatibles con el maniquí colchoneta sin revelar información de propiedad monopolio. La demostración, que tarda sólo entre 1 y 2 segundos por módulo, garantiza la integridad de cada modernización de LoRA, incluso para modelos con miles de millones de parámetros. Por ejemplo, un maniquí de 70 mil millones de parámetros con 80 módulos LoRA se puede corroborar en solo unos minutos. Esta eficiencia convierte a ZKLoRA en una opción escalable para condiciones que requieren comprobaciones de compatibilidad frecuentes o a gran escalera.

Adicionalmente, ZKLoRA fue evaluado rigurosamente en varios LLM, incluidos modelos como distilgpt2, Flama-3.3-70B y Mixtral-8x7B. Los investigadores analizaron el tiempo total de demostración, el tiempo de vivientes de pruebas y el tiempo de configuración de la cantidad de módulos LoRA y sus tamaños promedio de parámetros. Los resultados mostraron que incluso con recuentos de LoRA más altos, el aumento en el tiempo de demostración fue modesto oportuno a la naturaleza concisa del diseño de ZKLoRA. Por ejemplo, un maniquí con 80 módulos LoRA requirió menos de 2 segundos por módulo para la demostración, mientras que el tiempo total de vivientes de pruebas y configuración, aunque dependía del tamaño del módulo, seguía siendo manejable. Esto demuestra la capacidad de ZKLoRA para manejar escenarios de múltiples adaptadores en implementaciones a gran escalera con una sobrecarga computacional mínima.

La investigación destaca varias conclusiones esencia que subrayan el impacto de ZKLoRA:

1. El protocolo verifica los módulos LoRA en solo 1 o 2 segundos, incluso para modelos con miles de millones de parámetros, lo que garantiza su aplicabilidad en tiempo vivo.
2. ZKLoRA escalera eficientemente con la cantidad de módulos LoRA, manteniendo tiempos manejables de vivientes de pruebas y demostración.
3. Al integrar técnicas criptográficas como pruebas de conocimiento cero y privacidad diferencial, ZKLoRA garantiza la seguridad de las actualizaciones y modelos colchoneta patentados de LoRA.
4. El protocolo permite colaboraciones basadas en la confianza entre equipos distribuidos geográficamente sin comprometer la integridad de los datos ni la propiedad intelectual.
5. Con una sobrecarga computacional mínima, ZKLoRA es adecuado para comprobaciones frecuentes de compatibilidad, escenarios de múltiples adaptadores y canales de capacitación basados ​​en contratos.

En conclusión, Bagel ha transformado el avance de la IA descentralizada a través de su plataforma innovadora. Panaderíay el protocolo ZKLoRA. Han abordado desafíos críticos en el ajuste de los LLM, como corroborar las actualizaciones de LoRA de forma segura y competente y al mismo tiempo preservar la propiedad intelectual. Rosquilla Asimismo ha proporcionado un entorno sólido para la colaboración basada en la confianza. Panadería permite a los contribuyentes de código libre monetizar su trabajo de modo efectiva. Al mismo tiempo, ZKLoRA aprovecha técnicas criptográficas avanzadas como pruebas de conocimiento cero y privacidad diferencial para respaldar comprobaciones de compatibilidad seguras y escalables. Con tiempos de demostración de tan solo 1 a 2 segundos por módulo, incluso para modelos de parámetros multimillonarios, ZKLoRA demuestra una eficiencia trascendental y lo convierte en una opción maña para aplicaciones del mundo vivo. Finalmente, Panadería es el primer producto que utiliza el Rosquilla cimentación maniquí. Esta cimentación representa un núcleo primitivo que puede ser aplicado por futuros productos desarrollados por la Rosquilla equipo y otras empresas que buscan innovar en el espacio de la IA de código libre.

Fuentes:

---

Gracias al equipo de Bagel AI por el liderazgo intelectual y los fortuna para este artículo. El equipo de Bagel AI nos ha apoyado en este contenido/artículo.