Con mucha frecuencia los clientes nos preguntan sobre como diseñar estrategias de pruebas de chatbots para un proyecto concreto. Sin embargo, ¿cómo es posible probar algo para todos los posibles comportamientos inesperados del usuario en el futuro? ¿Cómo puede alguien hacer suposiciones con confianza sobre la calidad si no tenemos ni idea de lo que los usuarios le preguntarán al chatbot?
Tabla de contenidos
Topics de Short y Long tail
Si bien no poseemos una bola de cristal mágica para analizar escenarios de uso futuros, a partir de nuestra experiencia obtuvimos los mejores resultados con un enfoque sistemático en una configuración de retroalimentación continua. En casi todos los proyectos de chatbot, los casos de uso se pueden clasificar:
- Short-tail topics: los temas que satisfacen la mayoría de las necesidades de la mayoría de los usuarios (por lo general, se aplica la regla 90/10: el 90% de tus usuarios solicitan solo el 10% de los temas).
- Long-tail topics: todos los demás temas de alguna manera exóticos que el chatbot también podría responder.
- Temas de traspaso: temas en los que, por cualquier motivo, se requiere el traspaso a un agente humano.
Ejemplos de los topics de short-tail en el dominio de las telecomunicaciones:
- Horarios de las tiendas más importantes.
- Problemas de conectividad WLAN.
- Preguntas sobre líneas de factura individuales.
Ejemplos de topics de long-tail en el dominio de las telecomunicaciones:
- Disponibilidad de iPhone en las tiendas más importantes.
- Condiciones de roaming internacional.
- Teléfono con tarjeta SIM perdida.
Ejemplos de temas de traspaso en el ámbito de las telecomunicaciones:
- Cancelación de contrato.
- Productos comerciales y clientes comerciales.
Empezando
Nuestras recomendaciones para los primeros pasos en un proyecto de chatbot son siempre las mismas:
- Enfoca la capacitación y las pruebas exclusivamente en los temas de short-tail; por lo general, con un chatbot de soporte al cliente, que son la mayoría de los chatbots con los que hemos estado trabajando, hay un puñado de temas solo para los que debe proporcionar una buena prueba.
- Aparte de eso, deje de lado los topics de long-tail y diseñe un proceso de traspaso humano claro.
El desafío ahora es cómo obtener una buena cobertura de prueba para los topics de short-tail: este es el trabajo complejo en un proyecto de chatbot. Una vez escribí una publicación de blog sobre cómo recopilar datos de entrenamiento para un chatbot.
Retroalimentación continua
Tan pronto como el chatbot está en funcionamiento, se requiere un reentrenamiento constante: este proceso implica un trabajo manual para evaluar las conversaciones reales de los usuarios que por alguna razón salieron mal y para deducir los pasos de capacitación requeridos. Durante este proceso, la cobertura de la prueba aumentará; para los temas de short-tail, podemos esperar una cobertura de prueba cercana al 100% dentro de varias semanas después del lanzamiento: esos son los temas que se preguntan una y otra vez, y tan complejos como el lenguaje humano puede ser, solo hay un número finito de opciones para expresar una intención de una manera razonablemente corta.
A diferencia del título del post, puedes ver que sugerimos un enfoque muy realista: no probar lo inesperado o lo desconocido, sino probar las «opciones más probables» y tratar de obtener una alta cobertura de pruebas para esos casos (esto es posible ya que el lenguaje humano es complejo pero finito).
Pruebas automatizadas
Cuando se trata de la automatización de pruebas, la pregunta fundamental es si en algo vale la pena invertir el esfuerzo inicial de automatización.
- Es imprescindible establecer pruebas automatizadas para los temas de short-tail.
- Garantizar un proceso de traspaso fluido a un agente humano
- Los temas de long-tail se pueden manejar con pruebas manuales al principio
Obtener las herramientas
Sin las herramientas adecuadas, estarás perdido. Nuestro producto estrella Botium Box te ayuda en tu camino hacia las pruebas exitosas de chatbot.