Iota

Iota (Subnet 9) répond au défi de la centralisation et du coût exorbitant de l'entraînement des modèles d'IA. Au lieu de dépendre de datacenters massifs, ce Subnet crée un cluster de Compute global et distribué en agrégeant des ressources matérielles sous-utilisées à travers le monde.

Les points techniques clés :

• Architecture en Pipeline Parallelism : Contrairement au data parallel où chaque Miner détient une copie complète du modèle, Iota décompose les modèles en fragments séquentiels (layers). Chaque nœud ne traite qu'une petite partie du modèle, rendant possible la participation de matériel grand public.

• Orchestration Intelligente : Un système d'Orchestrator gère le réseau de nœuds hétérogènes et dynamiques. Il route intelligemment les tâches de calcul vers les Miners les plus performants et disponibles pour minimiser la latence et contourner les goulets d'étranglement, assurant la robustesse du training.

• Optimisation de la Communication : Conçu pour fonctionner sur l'Internet public, Iota minimise la latence en optimisant les échanges de données et en parallélisant la communication et le calcul. Le but est de saturer le pipeline pour que les GPU des Miners restent actifs en permanence.

En fin de compte, Iota vise à fournir une infrastructure de training de modèles de fondation qui soit économiquement accessible et capable de rivaliser avec les grands laboratoires centralisés, démocratisant ainsi l'accès à l'entraînement d'IA à grande échelle pour la communauté open-source.