La IA agéntica necesita gobernanza para escalar de forma segura

La IA agéntica necesita gobernanza para escalar de forma segura
La IA agéntica necesita gobernanza para escalar de forma segura

Las empresas avanzan rápidamente en el despliegue de sistemas de IA agéntica y autónoma, y más del 60% de las organizaciones espera utilizar agentes de IA en los próximos dos años, según una investigación de Gartner. El impulso está motivado por el potencial de automatizar flujos de trabajo complejos, aumentar la productividad y pasar de los insights generados por IA a la acción autónoma. La velocidad de adopción y el tiempo de implementación se están convirtiendo, por sí mismos, en factores diferenciadores de competitividad.

De acuerdo con Octavian Tanase, Chief Product Officer (CPO) de Hitachi Vantara, si no se toma el tren correcto en el momento adecuado, todo aquello que una empresa esté desarrollando con tecnología de IA podría convertirse en un estándar básico o, peor aún, en una noticia del pasado cuando finalmente llegue a destino.

A medida que los sistemas de IA obtienen un mayor acceso a los datos empresariales y adquieren la capacidad de tomar decisiones y ejecutar acciones de manera autónoma, las empresas deben comprender y abordar los mayores riesgos que esto implica. Sin las salvaguardas adecuadas, la automatización puede escalar los errores, exponer datos sensibles y propagar problemas con mayor rapidez. Esto no significa que la respuesta sea ralentizar la adopción; significa que, para tener éxito, las empresas deben incorporar la gobernanza, la protección de datos y la ciberresiliencia en sus estrategias de IA empresarial desde el principio.

Cambiando las reglas del juego y multiplicando el riesgo

Todos hablan de cómo la automatización ayuda a escalar. Pero las mismas capacidades de IA que permiten a las empresas automatizar a gran escala también incrementan sus riesgos y los de sus grupos de interés. La IA facilita que atacantes, defraudadores y otros actores maliciosos repliquen exploits y causen un mayor daño. Una automatización defectuosa, debido a la deriva del modelo u otros problemas que muchas veces pasan inadvertidos, puede amplificar los errores a escala. Esto representa un problema real cuando la IA forma parte de los sistemas de TI empresariales, pero puede resultar aún más catastrófico en el mundo físico.

La preocupación ya no pertenece a la ciencia ficción. El texto plantea la pregunta de si se recuerdan a los nefastos droides de Star Wars, y señala que la idea de un ejército de droides no parece tan descabellada si se considera que, según Morgan Stanley Research, el número de robots humanoides podría superar los 1.000 millones para 2050. Esto significa que el riesgo de que la IA física termine siendo corrompida por el lado oscuro es una preocupación legítima.

Las consecuencias de comprometer sistemas de IA física podrían adoptar muchas formas. Un ataque contra un vehículo autónomo podría hacer que un automóvil o camión desacelerara cuando debería acelerar, provocando potencialmente un accidente.

Te puede interesar

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.