L'analyse de VectorCertain LLC sur le dépôt GitHub d'OpenClaw a révélé des inefficacités systémiques dans le développement open source, avec 20 % des contributions en attente identifiées comme des doublons représentant environ 2 000 heures de temps développeur gaspillé. L'analyse a examiné les 3 434 demandes de tirage ouvertes de l'un des projets d'IA les plus étoilés au monde, qui compte 197 000 abonnés, en utilisant la plateforme de consensus d'IA multi-modèles propriétaire de VectorCertain.
Les résultats indiquent 283 clusters de doublons où plusieurs développeurs ont indépendamment créé des correctifs identiques, avec 688 demandes de tirage redondantes qui encombrent le pipeline de révision et consomment l'attention limitée des mainteneurs. Le plus grand cluster de duplication documenté impliquait 17 solutions indépendantes pour un seul bug de messagerie directe Slack. Des correctifs de sécurité ont été trouvés dupliqués trois à six fois chacun alors que des vulnérabilités connues restaient non corrigées, et 54 demandes de tirage ont été signalées pour dérive de vision—des contributions qui ne s'alignent pas sur les objectifs du projet.
L'analyse de VectorCertain arrive à un moment critique pour OpenClaw, suite au départ du créateur du projet Peter Steinberger pour OpenAI et à la transition du projet vers une structure de fondation. L'analyse soutient la récente déclaration de Steinberger selon laquelle « les tests unitaires ne suffisent pas » pour maintenir la plateforme à grande échelle, bien que le fondateur et PDG de VectorCertain Joseph P. Conroy note que le problème va au-delà des tests. « Les tests unitaires vérifient que le code fait ce qu'un développeur a prévu », explique Conroy. « Le consensus multi-modèles vérifie que ce que le développeur a construit est la bonne chose à construire. Ce sont des questions fondamentalement différentes, et les projets open source à grande échelle ont besoin des deux. »
Le projet fait face à des défis supplémentaires au-delà des demandes de tirage en double, y compris des préoccupations de sécurité croissantes. La campagne ClawHavoc a identifié 341 compétences malveillantes dans la marketplace d'OpenClaw, tandis qu'un rapport de Snyk a trouvé des failles de gestion des identifiants dans 7,1 % des compétences enregistrées. Malgré la fusion de centaines de commits quotidiens par les mainteneurs, les soumissions de demandes de tirage ont largement dépassé la capacité de révision, avec plus de 3 100 demandes de tirage en attente à tout moment.
L'analyse de VectorCertain a utilisé trois modèles d'IA indépendants—Llama 3.1 70B, Mistral Large et Gemini 2.0 Flash—qui évaluent chaque demande de tirage séparément avant de fusionner leurs jugements en utilisant un vote de consensus. Cette approche critique pour la sécurité, similaire aux méthodes utilisées dans les véhicules autonomes et les systèmes d'IA médicale, a traité 48,4 millions de tokens en huit heures pour un coût de calcul total de 12,80 $, soit 0,0037 $ par demande de tirage analysée. La méthodologie complète et les résultats sont détaillés dans le rapport jconroy1104.github.io/claw-review/claw-review-report.html.
L'outil claw-review utilisé pour cette analyse est disponible en tant que logiciel open source sous licence MIT à l'adresse github.com/jconroy1104/claw-review, permettant à d'autres projets de mener des analyses similaires de leurs dépôts. La plateforme d'entreprise de VectorCertain étend cette approche de consensus multi-modèles aux domaines critiques pour la sécurité, y compris les véhicules autonomes, la cybersécurité, la santé et les services financiers, prenant en charge plus de 20 modèles parallèles avec fusion de consensus formelle et garanties mathématiques de sécurité.
Les 2 000 heures de temps développeur gaspillé identifiées ne représentent que l'impact immédiat, avec des implications plus larges pour la gouvernance des projets open source, l'allocation de capacité des mainteneurs et l'efficacité du développement à travers l'industrie. L'analyse démontre comment les outils alimentés par l'IA peuvent identifier des inefficacités systémiques qui prendraient des mois aux mainteneurs humains à découvrir, transformant potentiellement la façon dont les projets open source à grande échelle gèrent les contributions et les processus de révision.
