Andrej Karpathy sobre el surgimiento del software 3.0

Hablemos sobre el futuro del software, y créeme, ¡está sucediendo ahora mismo! Recientemente atrapé la nota secreto de Andrej Karpathy en AI Startup School en San Francisco, y wow, tuve que compartir lo que aprendí. Karpathy, quien anteriormente trabajó en Tesla, Openai y Stanford, nos dio una vistazo privilegiada al software 3.0, la próxima gran desarrollo en programación.

Entonces, ¿cuál es el gran problema? Simple. La forma en que creamos software está cambiando de escribir líneas de código hasta interactuar con máquinas a través del idioma natural. Si eso te suena salvaje, ¡es porque lo es! Y en esta publicación, voy a desglosarlo por ti.

La desarrollo de la programación

Software 1.0: la codificación de la vieja escuela

Este fue el enfoque tradicional para la programación. Esto es lo que la mayoría de nosotros conocemos como «codificación»: donde los desarrolladores escriben instrucciones explícitas en lenguajes de programación como Python, Java o C ++ para hacer que una computadora realice tareas específicas. El proceso es sencillo: le dice a la computadora exactamente qué hacer, paso a paso, en el código. Si adecuadamente esto sigue siendo esencial para muchas aplicaciones hoy en día, tiene limitaciones en el manejo de tareas más complejas que requieren enseñanza y adecuación.

Software 2.0: Ingrese el enseñanza espontáneo

El enseñanza espontáneo ingresó a la imagen, y de repente, no solo estábamos escribiendo código que le dijo a la computadora qué hacer. En cambio, estábamos entrenando máquinas usando datos. Aquí es donde las redes neuronales comenzaron a hacerse cargo, permitiendo a las máquinas memorizar de los datos y tomar decisiones por su cuenta. En Software 2.0, el objetivo no era decirle a la computadora cada pequeño paso. El objetivo era enseñarlo a descubrir los pasos por sí solo al confesar los patrones en los datos. Esto condujo a un progreso renovador en áreas como el gratitud de imágenes, el gratitud de voz y el procesamiento del idioma natural. Sin retención, este proceso aún necesitaba toneladas de codificación para ajustar la máquina y hacer que funcione correctamente.

Software 3.0: Programación a través del idioma natural

Aquí es donde avanzamos más allá de escribir líneas de código y comenzamos a conversar con máquinas. Con modelos de idiomas grandes (LLM) como GPT-3, ya no necesitamos escribir código. En cambio, simplemente le pedimos a la máquina que haga lo que queremos usar el idioma natural. Es como tener una conversación con tu computadora. No tiene que retener cómo codificar para que una máquina haga tareas complejas. Simplemente hable (o escriba) su solicitud, y el LLM se encarga del resto.

Por ejemplo, imagine que necesita realizar un exploración de sentimientos. En Software 1.0, tendría que escribir algoritmos para manejar esto. En Software 2.0, capacitaría a un maniquí para detectar el sentimiento. Pero en Software 3.0, simplemente le dice a la máquina: «Analice el sentimiento de este texto: ‘¡Me encanta la IA!'» Y así, la máquina entiende, analiza y le da el resultado.

Con esta desarrollo en mente, Karpathy se convirtió en la próximo parte de su tolerancia para discutir cómo los LLM encajan en este nuevo mundo del software 3.0.

Parte 1: Cómo pensar en LLMS

La karpathy comenzó explorando cómo debemos pensar en los modelos de idiomas grandes (LLM), que son centrales para el cambio al software 3.0. Citó a Andrew Ng: «La IA es la nueva electricidad». Esta cita subraya cómo los LLM se están convirtiendo en un procedimiento fundamental, al igual que la electricidad, y transformando cómo interactuamos con la tecnología.

Así es como Karpathy comparó LLMS con los servicios públicos:

• CAPEX y OPEX: Karpathy explicó que la capacitación de un LLM requiere gastos de caudal significativos (CAPEX), similar a la construcción de una red eléctrica. Una vez entrenado, el maniquí se mueve a Gastos operativos (OPEX)donde se sirve el LLM sobre API, similar a cómo se distribuye la electricidad a las casas.
• Golpe medido: Los LLM ahora se proporcionan como servicios en los que usted paga en función de la cantidad de uso (por ejemplo, costo por millón de tokens), similar a cómo se extracto la electricidad en función del consumo.

Karpathy incluso explicó que los LLM tienen algunas características de las plantas de fabricación de semiconductores (FAB), donde el costo de construir y entrenar estos modelos es enorme. Comparó compañías como Google y XAI (que usan grupos masivos de GPU) con fabricantes de semiconductores tradicionales como Intel, que tienen sus propios fabricantes para modelos de entrenamiento en hardware personalizado (como TPU).

Finalmente, Karpathy comparó LLM a los sistemas operativos. Tradicionalmente, los sistemas operativos han sido la colchoneta de los ecosistemas de software, la diligencia de tareas y la memoria. Del mismo modo, los LLM se están convirtiendo en ecosistemas de software complejos, el «núcleo» de las aplicaciones modernas. Estos LLM ya no son solo herramientas simples; Se están volviendo integrales en cada parte de los sistemas de software, similar a la forma en que un sistema eficaz controla y ejecuta aplicaciones en una computadora.

Esto marca un cambio fundamental en la forma en que desarrollamos software, ya no se prostitución de líneas de código, sino que interactúa con estos sistemas que funcionan con IA que funcionan casi como un nuevo tipo de computadora.

Parte 2: Psicología LLM

A continuación, Karpathy se zambulló en el psicología de LLMS. Los describe como «La parentela espíritus». ¿Qué significa eso? Bueno, los LLM se construyen usando Transformadores autorregresivoslo que significa que simulan comportamientos de forma humana, especialmente cuando se prostitución del idioma.

Pero al igual que los humanos, los LLM tienen algunas peculiaridades y limitaciones. Echemos un vistazo:

• Alucinaciones: LLMS a veces puede cometer errores que los humanos no. Por ejemplo, podrían asegurar «9.11> 9.9» o insisten en que hay dos ‘R en Strawberry. Estos se conocen como «alucinaciones». El maniquí está generando información incorrecta que suena convincente pero está totalmente equivocada.
• Amnesia anterógrada: LLMS no puedo rememorar cosas como lo hacen los humanos. Posteriormente de que termina una conversación, lo olvidan de todo. A diferencia de los humanos que aprenden y se adaptan con el tiempo, los LLM no consolidan el conocimiento entre las sesiones.
• Candidez: Los LLM son vulnerables a ser engañados por indicaciones maliciosas, lo que los lleva a dar respuestas dañinas o incorrectas. Esto significa que la supervisión humana es crucial cuando se trabaja con estos modelos.

Parte 3: Oportunidades en la perduración de LLMS

Karpathy concluyó su tolerancia al conversar sobre las increíbles oportunidades traídas por Software 3.0 y LLMS. Uno de los desarrollos más emocionantes es el surgimiento de aplicaciones de autonomía parcial. Estas aplicaciones le permiten automatizar tareas, pero aún así le dan control sobre el proceso.

Tome el cursor, por ejemplo. Es una aplicación que permite a los desarrolladores interactuar con el código utilizando el idioma natural. En sitio de escribir cada raya de código, puede pedirle a la aplicación que genere código, corrige errores o revise los cambios. Es como hacer que un asistente con IA haga la anciano parte del trabajo por usted, lo que hace que el proceso de avance sea mucho más rápido y más claro.

Karpathy incluso introdujo el control deslizante de autonomía: una característica que permite a los usuarios animarse cuánto control quieren darle al LLM. Para tareas básicas, el LLM puede tomar el control total, pero para tareas más complejas, puede supervisar el proceso.

Los LLM incluso tienen un gran potencial en industrias como la educación y la codificación asistida por AI. Imagine un tutor de IA que ayuda a los estudiantes a memorizar o un asistente de IA que ayuda a los desarrolladores a escribir y depurar código de modo más capaz. Las posibilidades son infinitas. Finalmente, Karpathy dio un paralelo entre agentes autónomos como el piloto espontáneo de Tesla y el futuro del software autónomo impulsado por LLMS. Ocurrir de las demostraciones a productos confiables lleva tiempo, pero el futuro parece increíblemente prometedor.

Para retener más, puedes revisar sus diapositivas Hmire.

Bienes gratuitos:

Conclusión

Karpathy terminó su nota secreto con un mensaje poderoso: estamos entrando en la plazo de los agentes. A medida que los LLM continúan mejorando y se vuelven más accesibles, no solo serán herramientas, se convertirán en agentes capaces de acciones autónomas, remodelando las industrias en todo el mundo. El futuro del software ya no es un sueño venidero, está sucediendo en este momento, y todos somos parte de esta emocionante transformación. El software 3.0 está cambiando la forma en que pensamos sobre la programación.

Los LLM no son solo herramientas; Se están convirtiendo en el núcleo del software actual, lo que permite a cualquier persona crear aplicaciones y soluciones sin indigencia de escribir código engorroso. Si aún no te estás sumergiendo en el mundo de la IA, ahora es el momento de involucrarse. Las posibilidades son infinitas, y la mejor parte es: el futuro del software ya está aquí.

¡Adoperemos este cambio y comencemos a construir el futuro del software juntos!

Hola, soy Nitika, un creador de contenido y tendero de contenido avezado en tecnología. La creatividad y el enseñanza de cosas nuevas me son lógicamente. Tengo experiencia en la creación de estrategias de contenido basadas en resultados. Estoy adecuadamente versado en la compañía de SEO, operaciones de palabras secreto, redacción de contenido web, comunicación, organización de contenido, impresión y escritura.