7 trucos de ingeniería rápidos para mitigar las alucinaciones en los LLM
Comienzo
Grandes modelos de idioma (LLM) exhiben habilidades sobresalientes para razonar, resumir y gestar texto de forma creativa. Aún así, siguen siendo susceptibles al problema global de alucinacionesque consiste en gestar información aparentemente segura pero falsa, no verificable o, a veces, incluso sin sentido.
Los LLM generan texto basado en intrincados patrones estadísticos y probabilísticos en extensión de someterse principalmente de la comprobación de verdades fundamentadas. En algunos campos críticos, esta cuestión puede causar importantes impactos negativos. Robusto pronta ingenieríaque implica la tiento de elaborar indicaciones adecuadamente estructuradas con instrucciones, limitaciones y contexto, puede ser una logística eficaz para mitigar las alucinaciones.
Las siete técnicas enumeradas en este artículo, con ejemplos de plantillas de mensajes, ilustran cómo tanto los LLM independientes como los sistemas de recuperación de procreación aumentada (RAG) pueden mejorar su rendimiento y volverse más robustos contra las alucinaciones simplemente implementándolos en las consultas de los usuarios.
1. Fomentar la privación y las respuestas de “no sé”
Los LLM generalmente se enfocan en alabar respuestas que parezcan seguras incluso cuando no están seguras: verifique Este artículo para comprender en detalle cómo los LLM generan texto, generando como resultado, a veces, hechos inventados. Permitir explícitamente la privación puede enfilar al LLM cerca de mitigar una sensación de falsa confianza. Veamos un ejemplo de solicitud para hacer esto:
«Usted es un asistente de comprobación de datos. Si no está seguro de una respuesta, responda: ‘No tengo suficiente información para reponer eso’. Si está seguro, dé su respuesta con una breve defensa”.
El mensaje susodicho iría seguido de una pregunta auténtico o una comprobación de hechos.
Un ejemplo de respuesta esperada sería:
«No tengo suficiente información para reponer eso».
o
“Con almohadilla en la evidencia habitable, la respuesta es… (razonamiento)”.
Esta es una buena primera andana de defensa, pero nulo impide que un LLM ignore esas instrucciones con cierta regularidad. Veamos qué más podemos hacer.
2. Razonamiento estructurado en cautiverio de pensamientos
Pedirle a un maniquí de idioma que aplique un razonamiento paso a paso incentiva la coherencia interna y mitiga las brechas lógicas que a veces podrían causar alucinaciones en el maniquí. El Razonamiento en cautiverio de pensamiento (CoT) La logística consiste básicamente en pugnar un operación, como una directorio de pasos o etapas que el maniquí debe atracar secuencialmente para atracar la tarea genérico en cuestión. Una vez más, se supone que la plantilla de ejemplo futuro va acompañada de un mensaje propio específico del problema.
“Por merced, piense en este problema paso a paso:
1) ¿Qué información se da?
2) ¿Qué supuestos se necesitan?
3) ¿Qué conclusión se sigue lógicamente?”
Un ejemplo de respuesta esperada:
“1) Hechos conocidos: A, B. 2) Supuestos: C. 3) Por lo tanto, conclusión: D.”
3. Puesta a tierra con “Según”
Este rápido truco de ingeniería está concebido para vincular la respuesta buscada a fuentes nombradas. El meta es desalentar las alucinaciones basadas en invenciones y estimular el razonamiento basado en hechos. Esta logística se puede combinar lógicamente con la número 1 discutida anteriormente.
«Según el referencia de la Ordenamiento Mundial de la Vigor (OMS) de 2023, explique los principales impulsores de la resistor a los antimicrobianos. Si el referencia no proporciona suficientes detalles, diga ‘No lo sé'».
Un ejemplo de respuesta esperada:
«Según la OMS (2023), los principales factores incluyen el uso excesivo de antibióticos, la mala higiene y la cesión no regulada de medicamentos. No hay más detalles disponibles».
4. RAG con instrucción y contexto explícitos
TRAPO otorga al maniquí llegada a una almohadilla de conocimientos o una almohadilla de documentos que contiene datos de texto verificados o actuales. Aun así, el peligro de alucinaciones persiste en los sistemas RAG a menos que un mensaje adecuadamente cuidado indique al sistema que se almohadilla exclusivamente en el texto recuperado.
*(Supongamos dos documentos recuperados: X e Y)*
«Usando sólo la información en X e Y, resuma las principales causas de la deforestación en la cuenca del Amazonas y los proyectos de infraestructura relacionados. Si los documentos no cubren un punto, diga ‘datos insuficientes'».
Un ejemplo de respuesta esperada:
«Según Doc X y Doc Y, las causas secreto incluyen la expansión agrícola y la tala ilegal. Para proyectos de infraestructura, datos insuficientes».
5. Restricciones de producción y repercusión limitante
Controlar estrictamente el formato de los resultados generados y su duración contribuye a acortar las alucinaciones en forma de declaraciones especulativas o tangenciales, como afirmaciones de causas sin fundamento, cadenas de razonamiento demasiado elaboradas o estadísticas inventadas, evitando así que los resultados puedan desviarse de los materiales originales.
Restringir los «grados de confianza» en el espacio de respuestas aumenta las probabilidades de devolver información verificable en extensión de satisfacer los vacíos «sin importar qué».
«En no más de 100 palabras, resuma el papel de las mitocondrias en las células humanas. Si no está seguro, responda ‘No lo sé'».
Un ejemplo de respuesta esperada:
«Las mitocondrias generan ATP a través de la fosforilación oxidativa, regulan los niveles de calcio e influyen en la apoptosis. Carezco de datos suficientes sobre funciones adicionales».
6. Bucles de corrección basados en RAG: cautiverio de comprobación
Este enfoque consiste en combinar la recuperación con la autoverificación, permitiendo que el maniquí cuestione y verifique sus propias afirmaciones con fuentes externas de evidencia, principalmente en sistemas RAG. Se dirige principalmente a las alucinaciones debidas al «exceso de confianza», tratando de mitigarlas.
“Paso 1: Difundir una respuesta auténtico a la pregunta: ‘¿Cuándo cayó el Pared de Berlín?’
Paso 2: recupere y lea pasajes relevantes de una almohadilla de datos histórica confiable.
Paso 3: compare la evidencia recuperada con su respuesta.
Paso 4: Si existen discrepancias, corrija la respuesta y cite la fuente recuperada”.
Un ejemplo de respuesta esperada:
“Respuesta auténtico: 1989.
Evidencia recuperada: Los archivos históricos confirman que el Pared de Berlín se abrió el 9 de noviembre de 1989.
Respuesta final verificada: El Pared de Berlín cayó el 9 de noviembre de 1989, cuando Berlín Uruguayo abrió los pasos fronterizos”.
7. Avisos, descargos de responsabilidad y barreras de seguridad específicos del dominio
En ámbitos de aplicación de detención peligro, como la medicina, es esencial especificar límites de dominio restringidos y exigir citas de las fuentes, para acortar el peligro de afirmaciones especulativas que en la praxis podrían tener consecuencias negativas. A continuación se muestra un ejemplo de cómo hacerlo:
«Usted es un asistente de información médica certificado. Utilizando estudios revisados por pares o pautas oficiales publicadas ayer de 2024, explique el tratamiento de primera andana para el asma persistente moderada en adultos. Si no puede citar dicha pauta, responda: ‘No puedo alabar una recomendación; consulte a un profesional médico'».
Un ejemplo de respuesta esperada:
«Según la directriz de la Iniciativa General para el Asma (GINA) 2023, la terapia de primera andana para el asma persistente moderada es un corticosteroide inhalado en dosis bajas con un combatiente β₂ de acto prolongada como budesonida/formoterol. Para ajustes específicos del paciente, consulte a un médico».
Concluyendo
A continuación se muestra un prontuario de las 7 estrategias que discutimos.
| Característica | Descripción |
|---|---|
| Fomentar la privación y las respuestas de “no sé”. |
Permita que el maniquí diga “no sé” y evite especulaciones. **Sin RAG**. |
| Razonamiento estructurado en cautiverio de pensamiento |
Razonamiento paso a paso para mejorar la coherencia en las respuestas. **Sin RAG**. |
| Puesta a tierra con “Según” |
Utilice referencias explícitas para fundamentar las respuestas. **Sin RAG**. |
| RAG con instrucción explícita y contexto |
Indique explícitamente al maniquí que se almohadilla en la evidencia recuperada. **TRAPO**. |
| Restricciones de producción y repercusión limitante |
Restrinja el formato y la distancia de las respuestas para minimizar la elaboración especulativa y hacer que las respuestas sean más verificables. **Sin RAG**. |
| Bucles de corrección basados en RAG: cautiverio de comprobación |
Dígale al maniquí que verifique sus propios resultados con el conocimiento recuperado. **TRAPO**. |
| Avisos, descargos de responsabilidad y barreras de seguridad específicos del dominio |
Restrinja las indicaciones con reglas de dominio, requisitos de dominio o exenciones de responsabilidad en escenarios de detención peligro. **Sin RAG**. |
Este artículo enumera siete trucos efectos de ingeniería rápida, basados en plantillas versátiles para múltiples escenarios, que, cuando se introducen en sistemas LLM o RAG, pueden ayudar a acortar las alucinaciones: un problema global y a veces persistente en estos modelos que de otro modo serían todopoderosos.