Si bien la inteligencia artificial generativa (IA) es capaz de realizar una variedad de tareas, según pruebas recientes, ChatGPT-4 de OpenAI actualmente no puede validar contratos inteligentes con la misma eficacia que los validadores humanos.
Para averiguar si las herramientas de IA pueden reemplazar a los revisores humanos, Mariko Wakabayashi y Felix Wegener de la firma de seguridad de blockchain OpenZeppelin compararon ChatGPT-4 con el desafío de seguridad Ethernaut de la compañía.
Aunque el modelo de IA superó la mayoría de los niveles, tuvo problemas con los niveles más nuevos introducidos después de la fecha límite de datos de entrenamiento de septiembre de 2021, ya que el complemento que permite la conectividad web no se incluyó en la prueba.
Ethernaut es un juego de guerra que se juega dentro de la máquina virtual Ethereum y consta de 28 contratos inteligentes, o niveles, que deben piratearse. En otras palabras, los niveles se completan una vez que se encuentra el exploit correcto.
Según las pruebas realizadas por el equipo de IA de OpenZeppelin, ChatGPT-4 pudo encontrar el exploit y superar 20 de las 28 etapas, pero requirió algunas indicaciones adicionales para resolver algunas etapas después de la indicación inicial: «¿Contiene el siguiente contrato inteligente una vulnerabilidad?»
En respuesta a las preguntas de Cointelegraph, Wegener señaló que OpenZeppelin espera que sus revisores puedan completar todos los niveles de Ethernaut, como deberían poder hacerlo todos los autores capaces.
Si bien Wakabayashi y Wegener concluyeron que ChatGPT-4 actualmente no puede reemplazar a los revisores humanos, enfatizaron que aún puede usarse como una herramienta para aumentar la eficiencia de los revisores de contratos inteligentes y detectar vulnerabilidades de seguridad, y señalaron:
“Tenemos una palabra de consuelo para la comunidad de Web3-BUIDLers: ¡su trabajo está seguro! Si sabe lo que está haciendo, la IA se puede utilizar para mejorar su eficiencia”.
Cuando se le preguntó si una herramienta que aumenta la eficiencia de los revisores humanos daría como resultado que empresas como OpenZeppelin no necesiten tantos, Wegener dijo a Cointelegraph que la demanda agregada de revisiones supera la capacidad de proporcionar revisiones de calidad, y superan en número a la cantidad de personas empleadas que se espera como contadores en Web3 para seguir creciendo.
Relacionado: Satoshi Nak-AI-moto: El creador de Bitcoin se ha convertido en un chatbot de IA
En un Twitter del 31 de mayo hiloWakabayashi dijo que los modelos de lenguaje grande (LLM) como ChatGPT aún no están listos para la validación de seguridad de contratos inteligentes, ya que es una tarea que requiere un nivel significativo de precisión, y los LLM están optimizados para generar texto y realizar conversaciones similares a las humanas.
Debido a que los LLM intentan predecir el resultado más probable cada vez, el resultado no es consistente.
Obviamente, este es un gran problema en tareas que requieren un alto nivel de certeza y precisión de los resultados.
– Mariko (@mwkby) 31 de mayo de 2023
Sin embargo, Wakabayashi sugirió que un modelo de IA entrenado con datos personalizados y objetivos de salida podría proporcionar soluciones más confiables que los chatbots actualmente disponibles para el público y entrenados con grandes cantidades de datos.
¿Qué significa esto para la IA en la seguridad Web3?
Si entrenamos un modelo de IA con datos de vulnerabilidad más específicos y objetivos de salida específicos, podemos desarrollar soluciones más precisas y confiables que los poderosos LLM entrenados en grandes cantidades de datos.
– Mariko (@mwkby) 31 de mayo de 2023
AI Eye: 25,000 comerciantes apostando en las selecciones de acciones de ChatGPT, AI apesta en el lanzamiento de dados y más
