En este post vamos a analizar cómo controlar las respuestas de tu modelo lingüístico basado en Inteligencia Artificial. En primer lugar, tratemos de ponernos en contexto…
Mary dirige la transformación digital en una agencia gubernamental y John trabaja para una empresa de chatbots llamada Tars.
Mary: Bueno, tengo que decir que estoy bastante entusiasmada con el sistema ChatGPT, pero parece que la mayoría de las veces, sólo está escupiendo un montón de tonterías. Honestamente, no me siento muy segura de usarlo para nuestra atención al cliente.
John: Ejem, permíteme dilucidar algunas estrategias para modular sus respuestas.
Tabla de contenidos
1. Poner a 0 los parámetros top_p y temperatura
Juan: Si bajas los parámetros de temperatura y top_p a cero, obtienes una respuesta que nunca se desvía de la información que has dado.
María: ¿Así que no dirá nada inesperado o extravagante?
John: Sí, también puedes dar la indicación «Responder sólo por extracción» para asegurarte de ello.
Aquí tienes un ejemplo cuando top_p y temperature se ponen a 1:
Aquí hay un ejemplo cuando top_p y la temperatura se establece en 0 con un indicador para responder sólo por extracción.
Mary: Bueno, eso parece muy prometedor, pero tengo entendido que no es demasiado aficionado a abordar las preguntas difíciles que requieren algunos cálculos numéricos.
2. Pensemos paso a paso
John: Si añades este mensaje a la pregunta, puedes multiplicar por cuatro su precisión.
Mary: Bueno, todavía hay un poco de margen para errores, querida.
3. Dar reglas o requisitos específicos para responder a una pregunta.
Juan: Ah, cierto. Un enfoque alternativo para resolver este dilema sería proporcionar reglas y requisitos específicos.
Mary: Bueno, eso suena muy bien, pero ¿cómo me aseguro de que no vaya por ahí diciendo algo que pueda herir los sentimientos de alguien?
4. Añadir una capa de moderación
John: Ah, sí. Uno Puede pasarlo por una capa de moderación que identifique y marque cualquier contenido que pueda ser considerado odioso, violento, sexual u ofensivo, evitando así la posibilidad de tales respuestas.
María: Bueno, eso es simplemente genial. Pero me dan mucho miedo los hackers. ¿Cómo puedo estar segura de que no causarán problemas?
5. Preguntas defensivas
John: Podemos emplear un estímulo defensivo como el siguiente para examinar detenidamente las preguntas y eliminar cualquier intención insidiosa que se esconda en ellas.
Mary: ¡Bueno, esto es fantástico! ¿Cómo empezamos?
Puedes contactarme a través de Linkedin.
Referencias
- https://github.com/openai/openai-cookbook/blob/main/techniques_to_improve_reliability.md
- https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/guides/prompts-adversarial.md