Evaluación y gobernanza de IA

Demostrar que una función de IA es segura para publicar.

La mayoría de los equipos que lanzan funciones basadas en modelos de lenguaje pueden decir qué modelo eligieron. Muy pocos pueden decir qué habría impedido que una respuesta incorrecta llegara a una persona. Yo construyo esa barrera: una suite de evaluación adversarial que bloquea la integración de código, conjuntos de respuestas de referencia y aserciones de fundamentación que hacen fallar una versión antes de dejar pasar una respuesta sin respaldo.

La disciplina importa más que la herramienta. Una métrica de calidad que no puede hacer fallar una compilación es una descripción, no un control. Antes de confiar en una barrera nueva, rompo algo a propósito y confirmo que la detecta.

Útil cuando una función está en piloto y no hay una respuesta defendible sobre cómo sabe que es seguro publicarla.

Calidad e integridad de datos públicos

Una calificación que puede defender línea por línea.

Los datos públicos engañan de formas predecibles, y la más común es tratar un valor ausente como si fuera cero. Construyo sistemas que miden lo que las instituciones realmente divulgan, publican la metodología junto al resultado y declaran sus propias lagunas de cobertura en lugar de ocultarlas.

disclosed califica a las instituciones de educación superior de EE. UU. según lo que divulgan, no según su desempeño, usando dos conjuntos de datos federales. Afterward vincula 3.266 programas de formación de California con sus resultados reportados federalmente; alrededor de un tercio no publica ningún dato de resultados, y la herramienta lo indica en la página.

Útil cuando publica datos con los que otras personas toman decisiones y la parte calificada va a discutir la calificación.

Estándares e interoperabilidad

Conformidad verificada contra la especificación, no contra una opinión.

Soy miembro registrada del Grupo Asesor de CTDL de Credential Engine, y realicé en 2023 el modelado de datos que inició la migración del registro de programas de formación de un estado al estándar CTDL de Credential Engine; esos programas están publicados hoy en el Registry de Credential Engine.

Construyo validadores deterministas que verifican la conformidad contra requisitos citados de la especificación. fhir-scorecard lo hace con las superficies públicas de descubrimiento de API de salud, con hallazgos citados y seguimiento de cambios entre ejecuciones.

Útil cuando adopta un estándar abierto y necesita saber si sus datos realmente cumplen.

Liderazgo de ingeniería, fraccional o interino

Personal de ingeniería, y la práctica que lo sostiene.

Gerente de gerentes en ingeniería de aplicaciones, datos y operaciones de plataforma. He construido funciones que no existían: cobertura de pruebas de cero a más del noventa por ciento, una reducción del 94 por ciento en vulnerabilidades, el reemplazo de la plataforma de integración continua, y procesos reales de admisión y gestión de versiones.

También he dirigido una migración entre proveedores de nube sin tiempo de inactividad, con más de 200 cambios de esquema y sin interrupción del servicio.

Cómo funciona: uno o dos días por semana de forma continua, o la mayor parte de la semana durante un período interino definido cuando hay una vacante de liderazgo o una reconstrucción en curso. Mínimo de tres meses en ambos casos. Obtiene a alguien responsable de la función técnica, no un puesto de desarrollo: estrategia y hoja de ruta, el equipo y sus estándares, ritmo de entrega, supervisión de proveedores, postura de seguridad, contratación, y dónde corresponde la IA en el producto y en la forma de trabajar del equipo. Cada compromiso termina con una transición definida, normalmente hacia un líder permanente que ayudo a contratar.

Útil cuando tiene personal de ingeniería pero no una práctica de ingeniería, o una vacante temporal al frente de un equipo. Empecemos con una conversación de treinta minutos.

Cómo trabajo

  • En su repositorio y con sus convenciones. Respondo por código revisado e integrado, no por un documento que describe lo que otra persona debería construir.
  • Medido antes y después. Los proyectos comienzan estableciendo qué es cierto ahora, porque un cambio sin línea base es una opinión, y terminan con una cifra que usted puede verificar.
  • Transferido de forma deliberada. Cada fase termina con el trabajo en manos de alguien de su equipo. Si al final solo yo puedo modificar un subsistema con seguridad, hice mal mi trabajo.
  • Correcciones en público. He publicado correcciones a mis propias cifras, en el registro de cambios, junto a la afirmación original.

Para agencias públicas de California

Soy una Pequeña Empresa Certificada de California (certificación DGS 2054235, empresa unipersonal, Davis, CA). Las agencias estatales y locales pueden contratarme mediante la Opción SB/DVBE, que permite la adjudicación directa de contratos de $5,000 a $249,999 sobre la base de dos cotizaciones de pequeñas empresas (Código de Gobierno 14838.5), y mis ofertas reciben la preferencia del 5 por ciento para pequeñas empresas en licitaciones competitivas.

NAICS 541511, 541512, 541519 y 518210. Registrada en Cal eProcure con un perfil completo de códigos UNSPSC.

Descargar mi declaración de capacidades (PDF)

Encaje

Interés público y tecnología cívica, educación y fuerza laboral, energía y clima, organismos de estándares y organizaciones sin fines de lucro que construyen infraestructura de datos.

No acepto trabajo de defensa, carcelario, de aplicación de la ley ni de vigilancia, y no trabajo para agencias federales como cliente final.

Ponerse en contacto