Revisión humana para a automatización cunha solicitude

Este artigo fai fincapé no papel fundamental da revisión humana na implantación da función Crear texto con GPT Power Automate. Esta función utiliza o modelo de xeración de texto de AI Builder, impulsado por Azure OpenAI Service. Aínda que estes modelos son altamente efectivos, ás veces poden xerar información enganosa ou fabricada e son susceptibles a ataques de inxección inmediata.

Importante

• AI Builder as solicitudes están a executarse no modelo GPT-3.5 Turbo que funciona con Azure OpenAI Service.
• Esta capacidade está limitada a algunhas rexións.
• Esta capacidade pode estar suxeita a límites de uso ou limitación da capacidade.

Ataques de inxección inmediata

Un ataque de inxección rápida ocorre cando un terceiro aproveita a confianza inherente do modelo en todas as fontes de entrada. O atacante inxecta un aviso no contido co que un usuario lexítimo pide á solución de IA que interactúe, o que provoca un cambio na saída da solución de IA e, potencialmente, nas súas accións.

Por exemplo, considere un escenario no que un desenvolvedor cidadán utiliza a acción Crear texto con GPT para formular respostas ás queixas dos clientes recollidas de varias plataformas como correos electrónicos, redes sociais ou foros. . Un atacante podería inserir un aviso no contido dunha destas fontes. Este escenario podería enganar ao modelo para xerar unha resposta diferente da prevista. A resposta pode ser inadecuada, incorrecta ou prexudicial. A información incorrecta que se envía aos clientes pode afectar negativamente á reputación da empresa e ás relacións cos clientes.

Fabricación en modelos AI

A fabricación, tamén coñecida como alucinación, é outro desafío ao que se enfrontan os modelos de IA, incluído o modelo de xeración de texto. A fabricación prodúcese cando o modelo de IA xera información que non se basea en entradas proporcionadas ou datos preexistentes, esencialmente inventando ou alucinando información.

Por exemplo, se se lle pide ao modelo de IA que xere un resumo dun evento histórico baseado nun texto determinado, pode incluír detalles ou eventos que non se mencionaron no texto fonte. Por exemplo, un fluxo crea unha sinopse dunha reunión baseada na transcrición da gravación. Os datos de entrada inclúen detalles sobre os asistentes, os artigos discutidos e as decisións tomadas. Non obstante, o modelo pode xerar un resumo que inclúa un elemento de acción ou unha decisión que nunca se discutiu na reunión. Esta situación é unha instancia de fabricación, onde o modelo ten información alucinada que non existe nos datos de entrada.

Para mitigar o risco de fabricación, é fundamental implementar prácticas responsables de IA. Isto inclúe probas rigorosas do indicador e do fluxo, proporcionando ao modelo a maior información posible e, finalmente, implementando un sistema robusto para a supervisión humana.

Abordar os riscos mediante prácticas responsables da IA

Avogamos por prácticas responsables da IA ​​como medio para reducir os riscos. A pesar de contar con estratexias para moderar o contido producido polo modelo, xestionar a propensión do modelo a xerar respostas fabricadas ou sucumbir aos ataques de inxección inmediata segue sendo un desafío complexo. Recoñecemos estes riscos e reafirmamos o noso compromiso coa supervisión e control humano.

Recoñecendo a necesidade dunha automatización perfecta, melloramos de forma proactiva os nosos sistemas de seguridade e buscamos unha comprensión máis profunda destes desafíos. O noso obxectivo é mellorar aínda máis o modelo de xeración de texto coas medidas de seguridade adecuadas, de acordo cos nosos principios de IA responsable desde o deseño, devolvendo o control aos desenvolvedores sempre que sexa posible.

Consulte tamén

AI responsable - Preguntas frecuentes