Restons en contact

Social

iones lab · registre d’expérimentations

iones lab : on teste avant de vous le proposer.

Agents IA, RAG, runtimes, outillage développeur, SEO assisté : tout ce que le marché promet passe d’abord par nos équipes. Ce registre documente chaque test : la question de départ, le protocole, les mesures, et ce qu’on en a conclu. Les échecs y sont publiés comme les réussites.

Expérimentations
06
Concluant
04
Mitigé
02
En cours
00
Écarté
00
  1. EXP-05Concluant
    IA

    RAG & Hermes : chercher dans 1 200 documents internes sans halluciner

    Peut-on donner à nos équipes une réponse fiable et sourcée sur n’importe quel projet, en moins de trois secondes, à partir de notre documentation existante ?

    VerdictOui, à condition d’imposer la citation des sources et de refuser de répondre quand aucun passage ne soutient la réponse. Le reclassement fait la différence, pas le modèle.

    • Hermes
    • pgvector
    • BM25
    • Cohere Rerank
    • Claude
    • MCP
    0,84précision à 5 résultatscontre 0,61 sans reclassementLire la fiche
  2. EXP-04Concluant
    Performance

    Groq face aux runtimes GPU : quand la vitesse change vraiment le produit

    La vitesse d’inférence de Groq justifie-t-elle de l’intégrer dans nos produits, et pour quels usages ?

    VerdictOui pour tout ce qui est interactif et court : classification, autocomplétion, assistants de saisie. Non pour la génération longue et le raisonnement, où la qualité des modèles disponibles prime sur la vitesse.

    • Groq
    • Llama 3.3 70B
    • vLLM
    • Claude
    • k6
    • Grafana
    0,21 stemps de premier tokencontre 0,9 s en runtime GPULire la fiche
  3. EXP-02Concluant
    Performance

    Node, Go, Rust, PHP : une même API, quatre runtimes, des chiffres

    À partir de quel niveau de charge le choix du runtime devient-il le facteur limitant d’une API métier classique ?

    VerdictSur une API avec base de données, l’écart entre runtimes est de 1 à 4 en débit brut, mais la base sature bien avant. Le runtime ne devient le goulot qu’au-delà de 3 000 requêtes par seconde par instance, un seuil que la plupart de nos clients n’approchent pas.

    • Node 22
    • Go 1.23
    • Rust (Axum)
    • PHP 8.3
    • FrankenPHP
    • Postgres
    • k6
    38 400req/s · Rust, sans baseGo 31 200 · Node 12 900 · PHP 9 800Lire la fiche
  4. EXP-01Concluant
    DX

    Skills & MCP : outiller huit développeurs et mesurer ce que ça change

    Un outillage IA partagé (skills et serveurs MCP) améliore-t-il réellement la productivité et la qualité d’une équipe, ou seulement celle de quelques développeurs déjà convaincus ?

    VerdictLe gain est réel et mesurable sur les tâches standard, à condition de cadrer strictement ce que les agents peuvent faire. Sans catalogue partagé, chacun réinvente ses règles et la qualité diverge.

    • Cursor
    • Claude Code
    • MCP
    • Redmine
    • Postgres
    • Playwright
    • Git
    −32 %temps sur les tâches standardCRUD, tests, migrations, sur 140 ticketsLire la fiche

Méthode

Comment une idée devient une fiche du lab

  1. 01

    Une question

    Chaque expérimentation part d’une question précise, posée par un projet réel ou par une promesse du marché qu’on veut vérifier.

  2. 02

    Un protocole

    Périmètre, jeu de données, durée, critères de succès fixés avant de commencer. Ce qu’on mesure est décidé à l’avance, pas après.

  3. 03

    Des mesures

    Chiffres relevés en conditions de lab, sur des cas issus de notre activité. On publie les résultats décevants comme les autres.

  4. 04

    Un verdict

    Adopté, retenu sous conditions ou écarté. Et ce qu’on en fait concrètement dans nos équipes et pour nos clients.

Un sujet que vous aimeriez voir passer au lab ?

Une techno à évaluer, un cas d’usage IA à valider, une promesse à vérifier avant d’investir : on peut le tester avec vous, selon le même protocole.

Proposer une expérimentation