Patrones de confianza de ChatGPT Health para IA sensible

La confianza es un problema de control, no una propiedad del modelo

Una respuesta sobre salud puede ser precisa y aun así generar inseguridad. En un estudio de 2024, Benda y colegas encontraron que el 57,8% de los participantes se sentía incómodo con una IA altamente precisa pero no explicable, y el 76,6% se sentía incómodo con una IA que era 90% precisa pero no explicable. OpenAI anunció que ChatGPT Health se abriría a usuarios de EE. UU. mayores de 18 años en todos los planes. El lanzamiento es importante porque sitúa los datos de salud detrás de controles visibles.

La incomodidad no es nueva. Datos del Pew Research Center sobre 11.004 adultos de EE. UU. mostraron que el 60% se sentía incómodo ante la idea de que los clínicos usaran IA para tomar decisiones de diagnóstico o tratamiento. Riedl y colegas demostraron que la confianza, el intercambio de información, la adherencia al tratamiento y la satisfacción disminuyeron a medida que el modelo de atención pasó de médicos humanos a médicos asistidos por IA a IA operando de forma autónoma.

Los usuarios no necesitan un modelo más seguro de sí mismo. Necesitan un conjunto legible de controles: qué puede leer el producto, qué puede usar, qué no hará y cómo puede el usuario deshacerlo.

Seis controles visibles hacen legible la IA sensible

ChatGPT Health admite conexiones con proveedores de salud y con servicios de salud para consumidores, incluidos Apple Health, Weight Watchers, MyFitnessPal y Function. También admite la integración de historiales médicos de sistemas hospitalarios como Epic y Oracle Health, y de plataformas de salud como One Medical y Function Health. Los usuarios pueden revisar y cambiar qué categorías de datos de salud están conectadas a ChatGPT, incluidas notas postconsulta, notas del equipo de atención, resultados de laboratorio y medicamentos.

ChatGPT solicita permiso del usuario antes de usar información de salud conectada para personalizar una respuesta, y los datos conectados a Health reciben salvaguardas adicionales de cifrado. OpenAI declaró que los registros compartidos con ChatGPT no se utilizan para el entrenamiento de modelos ni para el direccionamiento publicitario. OpenAI advirtió que ChatGPT no es un médico y no debe sustituir la atención clínica, el diagnóstico o el tratamiento.

• Pedir antes de que el modelo use datos conectados. Debe aparecer un aviso de permiso por solicitud cuando la respuesta se apoye en registros privados.
• Permitir a los usuarios elegir categorías de datos, no solo aplicaciones. Los controles deben separar las categorías de datos que el usuario conectó.
• Hacer revocable cada fuente. Una aplicación de salud conectada o un registro de proveedor debe poder eliminarse sin tickets de soporte.
• Enunciar el límite profesional en lenguaje claro. El producto debe indicar que no es un clínico ni un sustituto de la atención.
• Garantizar sin entrenamiento y sin direccionamiento publicitario. La declaración de uso de datos debe indicar que los registros compartidos no entrenarán modelos ni dirigirán anuncios.
• Divulgar el cifrado adicional para conexiones sensibles. Las notas de seguridad deben indicar que las conexiones sensibles reciben salvaguardas adicionales de cifrado.

Una respuesta sobre salud que usa silenciosamente un registro privado se siente como una violación, incluso cuando la respuesta es útil. Los usuarios piensan en tipos de información, no en nombres de aplicaciones, por lo que los controles por categoría deben separar los datos que conectaron. Una conexión hecha en un momento de curiosidad puede sobrevivir a la intención que la motivó, por lo que la revocación debe ser inmediata.

Los límites en lenguaje claro impiden que el producto suene a clínico e invite al usuario a externalizar su juicio, mientras que la garantía de sin entrenamiento evita que un registro compartido para una respuesta se convierta en entrada para el siguiente modelo. Las notas de cifrado permiten a los usuarios verificar que el producto trata los datos como sensibles.

Publicar los límites antes de que el modelo sea más capaz

Esos controles son parte de la interfaz. Cuando un producto usa datos personales sensibles, la respuesta del modelo es solo una parte de la experiencia. La otra parte es la capacidad del usuario de inspeccionar el permiso, revocar la fuente y comprender el límite. Si la respuesta es incorrecta, un control visible hace más fácil explicar el fallo. Si la respuesta es correcta, el mismo control hace que el producto se sienta lo suficientemente seguro para volver a usarlo.

Una prueba útil es pedirle a un usuario nuevo que encuentre el interruptor de apagado. Si el control está en un menú de ajustes, eso es bueno. Si está en un artículo de ayuda, eso es una brecha. Coloca el control donde el usuario mirará primero y mantén el límite visible en el mismo lugar.