OpenAI GPT-4o признана лучшей моделью ИИ для разработки смарт-контрактов Solidity по версии IQ

OpenAI GPT-4o признана лучшей моделью ИИ для генерации смарт-контрактов Solidity, набрав 80,05 балла в таблице лидеров SolidityBench от IQ, которая оценивает модели с помощью NaïveJudge и HumanEval для бенчмарка Solidity

SolidityBench, новый бенчмарк от IQ, был запущен как первая платформа, предназначенная для оценки мастерства больших языковых моделей (LLM) в генерации кода смарт-контрактов Solidity. На сайте Hugging Face представлены два ключевых бенчмарка — NaïveJudge и HumanEval для Solidity. Для оценки и ранжирования различных моделей ИИ на основе их способности генерировать безопасный и эффективный код для блокчейна.

SolidityBench, разработанный компанией IQ BrainDAO в рамках готовящегося к выпуску пакета IQ Code, служит для улучшения собственных качеств EVMind LLM и сравнения их производительности с другими универсальными и разработанными сообществом моделями. Поскольку сектор блокчейна продолжает развиваться, SolidityBench призван заполнить критический пробел в обеспечении разработки безопасных и надежных смарт-контрактов.

OpenAI GPT-4o возглавляет таблицу лидеров SolidityBench

По результатам бенчмарка модель GPT-4o от OpenAI получила наивысший общий балл 80,05, Опередив такие новые модели рассуждений, как o1-preview и o1-mini, которые получили 77,61 и 75,08 баллов соответственно. Модель OpenAI GPT-4o продемонстрировала превосходную производительность, получив оценку NaïveJudge 72,18 балла и проходной балл 80 % при pass@1 и 92 % при pass@3 в HumanEval для задач Solidity.

В топ-10 также вошли модели Claude 3.5 Sonnet и grok-2 от Anthropic и XAI, которые показали конкурентоспособные общие оценки около 74 баллов. В то же время Llama-3.1-Nemotron-70B от Nvidia оказалась в нижней части топ-10, набрав 52,54 балла.

Как SolidityBench оценивает ИИ для разработки смарт-контрактов

NaïveJudge, один из ключевых бенчмарков SolidityBench, использует новый подход, Предлагая моделям ИИ реализовать смарт-контракты на основе подробных спецификаций, полученных из проверенных контрактов OpenZeppelin. Эти контракты служат золотым стандартом безопасности и функциональности, гарантируя, что код, создаваемый LLM, соответствует самым высоким стандартам лучших практик, эффективности оптимизации и требованиям безопасности.

Кроме того, SolidityBench использует HumanEval для Solidity, адаптацию оригинального бенчмарка OpenAI HumanEval для Python. Этот бенчмарк включает 25 задач различной сложности, каждая из которых имеет соответствующие тесты, совместимые с Hardhat, популярной средой разработки Ethereum. Задачи оцениваются с помощью таких показателей, как pass@1 и pass@3, которые измеряют, насколько успешно модель генерирует корректный код с первой и последующих попыток.

Результаты проверяются продвинутыми LLM, включая GPT-4 от OpenAI и Sonnet от Claude 3.5, которые выступают в роли беспристрастных рецензентов кода, оценивая сгенерированный Solidity-код на корректность, безопасность и газовую эффективность. Эти критерии очень важны для определения того, смогут ли модели ИИ удовлетворить растущую потребность в безопасных и эффективных смарт-контрактах в блокчейн-пространстве.

Инновации в разработке смарт-контрактов с помощью ИИ

Цель внедрения SolidityBench — повысить роль ИИ в разработке смарт-контрактов. Он стимулирует создание более сложных и надежных моделей ИИ, предоставляя разработчикам и исследователям ключевые сведения о возможностях и ограничениях текущих систем ИИ в применении к генерации кода Solidity.

Устанавливая новые стандарты в разработке смарт-контрактов с помощью ИИ, SolidityBench не только развивает EVMind LLM от IQ Code, но и расширяет границы возможностей ИИ в рамках более широкой экосистемы блокчейна. Поскольку спрос на безопасные и оптимизированные смарт-контракты продолжает расти, эта инициатива направлена на удовлетворение этих потребностей путем постоянного совершенствования инструментов ИИ.

Разработчики, исследователи и энтузиасты ИИ приглашаются изучить таблицу лидеров SolidityBench и внести свой вклад в растущую базу знаний о разработке смарт-контрактов на основе ИИ. Для интересующихся платформа доступна на сайте Hugging Face, где пользователи могут сравнить модели и проследить за прогрессом ИИ в генерации Solidity.

Наш творец. Создает удивительные коллекции NFT! Поддержите редакцию - Bitcoin_Man / Who Is Pepe

Binance Free $100 (эксклюзив): Воспользуйтесь этой ссылкой, чтобы зарегистрироваться и получить 100 долларов США бесплатно и 10% скидки на комиссию Binance Futures за первые месяцы (Правила и условия). 

Bitget - Воспользуйтесь этой ссылкой. Воспользуйтесь Центром вознаграждений и выиграйте до 5027 USDT!  (Обзор)

Регистрация БЕЗ РИСК САНКЦИЙ на бирже Bybit: Воспользуйтесь этой ссылкой все возможные скидки на комиссионные и бонусы до $30 030 включительно) Если вы регистрируетесь через приложение, то при регистрации просто введите в поле ссылку: WB8XZ4 - (руководство)

Источник — Переведено и опубликовано ✓