Todo el trabajo

Un asistente de carrera con IA, en fase de prueba de concepto, basado en datos estatales reales

Rol: Lideró el diseño y la construcción de la prueba de concepto · 2024

pendiente de un piloto estatal, aún no de cara al público
POC
residentes en la plataforma en marcha que lo rodea
1.7M
no puede inventar un programa, un precio ni una promesa
By design
estados revisados, sin asistente comparable de cara al público basado en datos reales
50
Questionfrom a residentRetrievereal program dataModelon BedrockAnsweror “I don't know”Every answer is traceable to real data — nothing invented.
El flujo de respuesta fundamentada: una pregunta recupera datos reales de programas, el modelo en Bedrock responde solo a partir de ellos y se abstiene cuando los datos no cubren la pregunta.

Empecemos por el encuadre honesto. MyCareer.NJ está en marcha para 1,7 millones de residentes. La infraestructura compartida de seguridad de IA que respalda este trabajo también funciona en producción: las barreras de protección, las verificaciones de entrada, la validación de salida y el interruptor de apagado sobre los que se apoyaría cualquier función de IA. El asistente de carrera es la parte que todavía no está ahí. Es una prueba de concepto, abierta a revisión y a la espera de un piloto con el estado, y ningún residente lo ha usado. Este caso de estudio trata de cómo se construyó para ganarse la confianza antes de llegar a una sola persona.

El chat generativo es potente. En contextos de prestaciones y empleo también es peligroso, porque una respuesta equivocada y segura puede llevar a alguien por el camino equivocado. Chelsea construyó el asistente de prueba de concepto para que no pueda hacer eso. Responde únicamente a partir de datos reales y actuales de programas de formación estatales, y cuando no tiene la información, lo dice en lugar de adivinar.

Diseñado para ser confiable

El sistema funciona sobre Amazon Bedrock y combina el modelo con recuperación sobre los datos reales de programas del estado, de modo que las respuestas permanecen ancladas a lo que realmente existe. Las pruebas de IA responsable se hicieron en inglés y en español, con preguntas adversarias y de casos límite redactadas para detectar una respuesta errónea o inventada antes de que pudiera hacerlo cualquier residente. Una revisión de los cincuenta estados no encontró ninguna herramienta pública y conversacional comparable basada en datos reales de programas.

Cómo funciona la fundamentación aquí

  • La pregunta de una persona primero recuperaría registros de programas reales y pertinentes
  • El modelo se limita a responder únicamente a partir de esos registros
  • Cuando los datos no cubren la pregunta, lo dice en lugar de adivinar. No puede inventar un programa, un precio ni una promesa

El asistente de este sitio funciona igual. Responde solo a partir de una pequeña base de conocimiento curada, y no inventa información.

  • AI
  • Responsible AI
  • Workforce