Área
IA aplicada y liderazgo de ingeniería
En MyCareer.NJ.gov diseñé una base compartida en AWS Bedrock y un portafolio de prototipos de IA aplicada. La infraestructura funciona en el entorno estatal. Las funciones para residentes no se lanzaron y no les atribuyo resultados de residentes.
Trayectoria
Orientación laboral con IA, responsable ante la evidencia
Publiqué la infraestructura compartida de seguridad del portafolio de IA aplicada de MyCareer.NJ.gov y después construí un prototipo de orientación laboral que no se lanzó. Las pruebas ejecutadas mejoraron con fuerza y aún revelaron vacíos que bloqueaban un piloto.
Código abierto
Fare Policy Assistant
Madurez: Beta desplegada · implementación de referencia
Un asistente fundamentado en recuperación que responde preguntas sobre tarifas y tarifas reducidas de más de una docena de agencias de transporte de California, construido para que su marco público de evaluación tenga algo que calificar. Suites que bloquean la integración cubren citas, rechazos, historial de conversación falsificado y paridad inglés-español, con indicaciones versionadas y una línea base de regresión en el repositorio, y las propiedades que el marco no ha medido se reportan como no medidas, nunca como aprobadas. Ingerir páginas reales de tarifas sigue revelando hallazgos: una página vigente que aún lista un pase retirado semanas antes, y un transbordo entre agencias publicado como válido por 60 minutos en el sitio de una agencia sin ventana publicada en el de su socia. Nunca determina la elegibilidad de nadie.
Sitio en vivo (se abre en una pestaña nueva)Código (se abre en una pestaña nueva)
plumbline
Madurez: v0.2.0
Un arnés de evaluación que falla cerrado para sistemas de chat orientados al gobierno: veredictos de auditoría reproducibles, con sello de procedencia, idénticos byte a byte entre versiones de Python y sin dependencias de terceros. Un objetivo silencioso o ilegible puntúa cero en vez de aprobar por ausencia, que es el defecto que tenía una versión anterior: 174 respuestas vacías llegaron a obtener nota perfecta en cada comprobación formulada como la ausencia de algo malo. El conjunto de datos incluido es sintético y no mide nada de ningún sistema real; el arnés es el producto.
Sitio en vivo (se abre en una pestaña nueva)Código (se abre en una pestaña nueva)
gauntlet
Madurez: v0.1.0 · en PyPI como gauntlet-evals
Controles de evaluación que bloquean la integración para funciones de IA generativa: suites en YAML que se ejecutan contra cualquier endpoint HTTP o función de Python, hacen fallar la compilación ante un fallo y emiten un paquete JSON comparable más un documento para revisión con referencias cruzadas al marco publicado de riesgos de IA generativa de California. Alineado con ese marco, nunca aprobado por él; el Estado no ha revisado ni respaldado nada de lo que emite. Evalúa una función desplegada en su contexto, no un modelo, y no puede verificar un objetivo deshonesto.
Sitio en vivo (se abre en una pestaña nueva)Código (se abre en una pestaña nueva)
cairn
Madurez: v0.3.0 · implementación de referencia
Un asistente de referencia que responde con fundamento o guarda silencio, para agencias públicas: contesta solo a partir de un corpus que suministra el operador, cita cada afirmación y rechaza con claridad cuando ninguna fuente supera el umbral, sin modelo ni red en el momento de responder. Inglés, español e idiomas de derecha a izquierda. Su propia portada abre con la configuración que una vez dejó pasar una respuesta sin fuente, y la prueba que ahora falla sin la corrección. Una demostración de comportamiento correcto para leer, no un producto para desplegar.
Sitio en vivo (se abre en una pestaña nueva)Código (se abre en una pestaña nueva)
Preguntas que me hacen
¿Qué sistemas de IA aplicada diseñaste para MyCareer.NJ.gov?
Diseñé seis líneas principales: un orientador laboral fundamentado, búsqueda semántica, comparación de currículum y habilidades, inteligencia laboral, notificaciones y automatización de contenido y accesibilidad. El portafolio más amplio incluyó trece prototipos secundarios sobre una base compartida en Bedrock.
¿Qué partes llegaron a producción?
La infraestructura compartida funciona en el entorno estatal. El orientador laboral y los demás conceptos para residentes siguieron siendo prototipos a la espera de un piloto estatal. Ninguna persona residente usó el orientador, por lo que no hay datos de resultados y no debe describirse como una función activa de MyCareer.NJ.gov.
¿Cómo probaste los límites del orientador laboral?
El prototipo pasó por seis revisiones previas al piloto, unas ochenta pruebas adversarias que bloqueaban la integración y una evaluación de 210 respuestas conocidas. Probé inyección de instrucciones, programas y precios sin respaldo, datos faltantes, desvíos de tema, certeza insegura y comportamiento de respuesta en inglés y español. Esas pruebas comparan el prototipo con una suite definida. No hacen infalible a un modelo de lenguaje.
¿Qué estableció la revisión de los cincuenta estados?
Mi revisión, limitada en el tiempo, de servicios públicos de empleo en los cincuenta estados no encontró un orientador conversacional equivalente para residentes y fundamentado en registros de programas. Ese hallazgo orientó el prototipo. No prueba que no existiera un trabajo comparable de forma privada o que apareciera después.
¿Qué demuestra el asistente de este sitio?
Aplica la misma regla en una superficie pública más pequeña: recuperar material revisado, responder solo cuando la fuente respalda la respuesta y detenerse cuando no lo hace. La fuente, la llamada al modelo en el servidor, el comportamiento de rechazo y las pruebas de producción permanecen separados para que cada límite pueda revisarse.