Aller au contenu
Lioncore

Outils

Découpeur RAG

Cinq stratégies de découpage, de la coupe fixe au découpage récursif par séparateurs en passant par les titres Markdown. Réglez la taille et le recouvrement, voyez les chunks avec la partie reportée surlignée, la distribution des tailles et le coût en tokens, puis exportez le tout en JSON. C'est l'étape où se joue la qualité d'un RAG, et elle se juge mieux à l'œil qu'en lisant du code.

Stratégie

Essaie d'abord le plus gros séparateur (ligne vide), puis les sauts de ligne, puis les phrases, puis les mots, en ne descendant que si le morceau reste trop grand. Le choix par défaut raisonnable : il garde les paragraphes entiers tant qu'ils tiennent.

caractères
1008004000

Le plafond d'un chunk, en caractères. Les petits chunks retrouvent précisément mais perdent le contexte ; les grands portent le contexte mais diluent l'embedding. Entre 300 et 800 convient à la plupart des textes.

caractères
0250500

Quelle part de la fin d'un chunk est répétée au début du suivant. Ça évite qu'une idée à cheval sur une coupure soit perdue par les deux. Dix à vingt pour cent de la taille est la fourchette habituelle.

Chunks

6

Taille moyenne

343 car

306 – 389

Tokens estimés

523

tout le corpus

Surcoût

+63%

ajouté par le recouvrement

Distribution des tailles
306 car389 car

Un groupe resserré annonce une recherche prévisible. Une longue traîne de tout petits chunks veut souvent dire que le séparateur se déclenche trop souvent.

Chunks
#0329 car87 tok

# Politique de retour Notre politique de retour s'applique pendant trente jours à compter de la réception. Passé ce délai, nous ne pouvons ni rembourser ni échanger l'article. Pour être éligible, l'article doit être inutilisé, dans le même état que celui où vous l'avez reçu, et dans son emballage d'origine. ## Remboursements

#1313 car80 tok151 car de recouvrement

Pour être éligible, l'article doit être inutilisé, dans le même état que celui où vous l'avez reçu, et dans son emballage d'origine. ## Remboursements Dès réception et inspection de votre retour, nous vous envoyons un e-mail de confirmation. Nous vous indiquons aussi si le remboursement est approuvé ou refusé.

#2345 car89 tok160 car de recouvrement

Dès réception et inspection de votre retour, nous vous envoyons un e-mail de confirmation. Nous vous indiquons aussi si le remboursement est approuvé ou refusé. En cas d'approbation, le remboursement est traité et le crédit appliqué automatiquement sur votre moyen de paiement initial, sous sept à dix jours ouvrés. ## Retards de remboursement

#3376 car94 tok183 car de recouvrement

En cas d'approbation, le remboursement est traité et le crédit appliqué automatiquement sur votre moyen de paiement initial, sous sept à dix jours ouvrés. ## Retards de remboursement Si vous n'avez pas encore reçu votre remboursement, vérifiez d'abord votre compte bancaire. Contactez ensuite l'émetteur de votre carte : un délai officiel s'écoule souvent avant l'affichage.

#4306 car75 tok191 car de recouvrement

Si vous n'avez pas encore reçu votre remboursement, vérifiez d'abord votre compte bancaire. Contactez ensuite l'émetteur de votre carte : un délai officiel s'écoule souvent avant l'affichage. Si vous avez fait tout cela et que le remboursement n'apparaît toujours pas, écrivez-nous. ## Frais d'expédition

#5389 car98 tok113 car de recouvrement

Si vous avez fait tout cela et que le remboursement n'apparaît toujours pas, écrivez-nous. ## Frais d'expédition Les frais d'expédition du retour sont à votre charge et ne sont pas remboursables. Si vous recevez un remboursement, le coût de l'expédition initiale en est déduit. Selon votre localisation, le délai d'acheminement d'un produit échangé peut varier de manière significative.

1 260 caractères