Una empresa conecta un agente de IA con su CRM para responder preguntas sobre clientes. La primera solicitud parece sencilla: conocer el estado de una propuesta. La segunda pide datos de contacto, notas internas y documentos que pertenecen a otra área.
Si el agente recibe todo el registro para contestar la primera pregunta, la organización ya abrió más información de la necesaria. El problema no depende solo del modelo. Depende de cómo se diseñó el acceso.
Consultar no significa exponer
Un agente puede necesitar saber si una propuesta existe, cuándo fue actualizada y quién debe darle seguimiento. Eso no significa que tenga que mostrar el número personal del contacto, los comentarios internos o documentos completos.
Conviene separar la consulta de la respuesta. El sistema puede recuperar un dato mínimo, comprobar el permiso correspondiente y mostrar únicamente lo que la persona está autorizada a ver. La fuente queda disponible para una operación controlada, no como un bloque de información que el agente puede repetir sin límite.
La seguridad y gobernanza de IA debe definir qué puede consultar cada agente, con qué propósito y qué salida puede producir.
El contexto debe tener un límite
El contexto amplio parece útil porque reduce preguntas al sistema. También aumenta la posibilidad de mezclar clientes, áreas, documentos o versiones. Una solución más controlada establece permisos por organización, rol, proceso, tipo de dato y acción.
La dirección debería pedir respuestas a preguntas concretas:
- ¿qué datos necesita el agente para resolver cada tipo de solicitud?
- ¿qué campos quedan ocultos aunque estén en la fuente?
- ¿cómo se registra una consulta sensible?
- ¿qué ocurre cuando el usuario pide más información de la permitida?
- ¿cómo se revoca un permiso sin apagar todo el agente?
La privacidad en IA empieza antes de elegir el modelo. Empieza con la decisión de qué información no hace falta entregar.
Una respuesta útil puede ser una negativa clara
El agente no siempre debe contestar con un dato. Puede indicar que no tiene autorización para mostrarlo, explicar qué área debe atender la solicitud o pedir una referencia que permita validar el acceso. Esa respuesta es más útil que una exposición innecesaria y deja un límite comprensible para el usuario.
También es importante conservar evidencia: quién preguntó, qué fuente se consultó, qué permiso se evaluó y qué respuesta se produjo. Esa trazabilidad ayuda a investigar incidentes y a corregir reglas cuando una consulta fue clasificada de manera equivocada.
La prueba debe medir exposición, no solo precisión
Una demostración que solo pregunta por datos permitidos no prueba la seguridad del agente. Hay que incluir solicitudes cruzadas, usuarios con roles distintos, documentos vencidos, datos personales y preguntas que intentan obtener información de otra organización.
Un agente bien diseñado no es el que conoce más datos. Es el que responde con suficiente contexto sin convertir cada pregunta en una autorización general.
Fuentes: NIST AI Risk Management Framework, NIST Privacy Framework y Ley 81 de 2019 de Panamá.
¡Gracias por tu opinión!
No se pudo registrar tu voto. Inténtalo de nuevo.
Privacidad en IA: reducir campos antes de integrar
Cómo reducir fuentes y campos antes de conectar IA con una operación.
Permisos en asistentes de IA por rol y área
Una guía para separar lo que cada usuario puede consultar y ejecutar.
Seguridad y gobernanza de IA
Permisos, datos, trazabilidad y revisión humana para operar con control.
¿Listo para aplicar esto en su operación?
Hagamos un diagnóstico inicial, sin compromiso.