Guide

Unstructured : la couche entre un fichier et la recherche (RAG)

Unstructured transforme PDF, Word et e-mails en éléments typés prêts à indexer. Stratégies de parsing, découpage, version open source, plateforme et tarifs.

L'équipe CodeWorlds14 min de lecture ·

Pratique Python dans des leçons interactives avec un éditeur de code.

Crée un compte gratuit→
Dans cet article11

Avant qu'un document n'arrive dans la récupération, il doit cesser d'être un fichier. Cette conversion ressemble à une étape technique et, en pratique, elle décide de la qualité d'un système plus que le choix de la base vectorielle ou du modèle.

Unstructured s'occupe exactement de cette étape. Il accepte des dizaines de formats, reconnaît la structure du document et renvoie une liste d'éléments étiquetés par type : titre, paragraphe, tableau, élément de liste, en-tête de page. Les fragments à indexer sont assemblés à partir de ceux-ci.

Des éléments plutôt que du texte

La différence essentielle avec une extraction de texte ordinaire tient à ce qui sort de l'outil.

Bash
pip install "unstructured[pdf]"
Python
from unstructured.partition.auto import partition

elements = partition(filename="contract.pdf")

for e in elements:
    print(type(e).__name__, e.text[:60])

Le résultat n'est pas une chaîne mais une liste d'objets avec des types et des métadonnées. Vous savez qu'un fragment donné est un titre et un autre une cellule de tableau, et vous savez de quelle page il vient.

Cela ouvre des possibilités que le texte brut n'a pas. Les en-têtes et les pieds de page peuvent être filtrés, car ils sont reconnus comme tels. Les tableaux peuvent être traités séparément, en préservant leur structure. Le découpage peut suivre les titres, puisque leurs positions sont connues.

Filtrer par type est l'optimisation la plus simple et la plus souvent ignorée. Supprimer les en-têtes, les pieds de page et les numéros de page avant l'indexation améliore nettement la précision, car ces éléments répétés encombrent chaque fragment et diluent son sens.

Stratégies de parsing

L'outil propose plusieurs modes qui diffèrent par le coût et la qualité, et choisir entre eux est la première décision.

Le mode rapide extrait le texte de la couche texte du fichier. Il s'exécute instantanément et ne coûte rien, mais ne voit aucune mise en page, ne reconnaît aucun tableau et est inutile sur des scans.

Le mode haute résolution analyse la mise en page avec un modèle qui reconnaît les éléments graphiques. Il sépare les colonnes, détecte les tableaux et s'en sort avec les scans, au prix de temps et de calcul.

Le mode intermédiaire n'applique l'analyse haute résolution que là où c'est nécessaire, c'est-à-dire sur les pages sans couche texte. C'est un choix par défaut raisonnable sur une archive mixte où certains fichiers sont des documents numériques et d'autres des scans.

Python
elements = partition(
    filename="report.pdf",
    strategy="hi_res",
    infer_table_structure=True,
    languages=["pol", "eng"],
)

Indiquer les langues compte pour la reconnaissance optique de caractères et c'est le paramètre le plus souvent ignoré. Le modèle suppose l'anglais par défaut : les signes diacritiques d'autres langues ressortent donc déformés sans cela, et l'erreur se propage à toute l'archive.

Découpage en fragments

La deuxième étape assemble les éléments en fragments prêts à être indexés, et l'outil propose ici plusieurs stratégies.

Le découpage par titre traite un intertitre comme une frontière : un fragment correspond donc à une section du document. C'est le choix le plus sensé pour la documentation, les contrats et les rapports, car une section est l'unité naturelle d'une réponse.

Le découpage de base joint les éléments jusqu'à une limite de taille quelle que soit la structure. Plus simple et moins bon, utile sur des documents sans intertitres clairs.

Python
from unstructured.chunking.title import chunk_by_title

chunks = chunk_by_title(
    elements,
    max_characters=1200,
    combine_text_under_n_chars=200,
)

Le paramètre qui regroupe les fragments courts compte plus qu'il n'y paraît. Sans lui, un document comportant de nombreuses sections courtes éclate en dizaines de fragments de deux phrases, dont aucun ne contient assez de contexte pour répondre à quoi que ce soit.

Relisez le résultat du découpage avant de construire quoi que ce soit d'autre. Quinze minutes de lecture des fragments montrent généralement qu'il faut ajuster les paramètres, et cela change la qualité des réponses plus que n'importe quel réglage de prompt.

Open source ou plateforme

Cette distinction mérite d'être comprise, car la documentation commerciale de l'éditeur l'énonce moins clairement qu'elle ne le devrait.

La bibliothèque open source gère des dizaines de formats et propose les stratégies de parsing de base. L'éditeur indique toutefois qu'elle n'est pas destinée à un usage en production et qu'elle extrait nettement moins bien le contenu des documents et des tableaux.

La plateforme payante ajoute de meilleurs modèles de mise en page et de reconnaissance de texte, l'enrichissement du contenu par des modèles de vision, des stratégies de découpage supplémentaires et des connecteurs de sources de données. La facturation se fait à la page : l'offre gratuite couvre 15 000 pages par mois sans carte, et au-delà le tarif est de 0,03 $ par page. Le quota se réinitialise chaque mois : les pages non utilisées ne se reportent donc pas. La facture s'arrête cependant à 3 000 $ par mois, et au-delà de ce montant chaque page supplémentaire est gratuite jusqu'à un million de pages par mois.

La conclusion pratique est de tester la version open source sur vos documents les plus difficiles avant de décider. Si vos fichiers sont du texte simple ou une documentation simple, la version open source suffit et ne coûte rien. S'il s'agit de scans et de tableaux, la différence est parfois assez grande pour décider.

Chiffrez-le au nombre de pages plutôt qu'au nombre de documents. Une archive de mille rapports de cent pages représente cent mille pages, une facture entièrement différente de celle de mille lettres d'une page. Pour les fichiers sans pages, comme les e-mails ou les tableurs, l'éditeur compte une page pour 100 Ko de données entrantes : la facture suit donc ici la taille plutôt que le nombre d'enregistrements.

Connecteurs de sources

Une partie distincte de l'offre couvre les connecteurs qui tirent les documents de là où ils vivent et déposent les résultats là où ils doivent aller.

Cela résout un problème plus courant dans les déploiements que la qualité du parsing : une archive mise à jour à la main cesse d'être mise à jour. Un connecteur qui récupère les fichiers de façon incrémentale depuis un entrepôt de documents signifie qu'un nouveau fichier arrive dans l'index sans que personne n'ait à s'en souvenir.

Côté sortie, des bases vectorielles sont disponibles, dont les options traitées dans les articles sur Qdrant et Chroma. Cela signifie que tout le chemin du fichier au fragment indexé peut être assemblé à partir d'éléments prêts à l'emploi.

Notez toutefois qu'un connecteur résout la récupération et non la suppression. Un document retiré de la source doit aussi disparaître de l'index, ce qu'il faut traiter délibérément, sinon les réponses reposent sur un contenu qui n'existe plus.

Unstructured face aux alternatives

OptionPoint fortPoint faibleÀ choisir quand
UnstructuredNombreux formats, éléments typés, connecteursL'open source est plus faible que le payantArchive de formats mixtes
RAGFlowAnalyse de mise en page plus interface prête à l'emploiDéploiement plus lourd, une application entièreAuto-hébergement avec une interface
Bibliothèques PDFGratuites, contrôle totalL'analyse de la mise en page vous revientDocuments uniformes et simples
Un modèle de vision directementGère la mise en page sans règlesCoût à chaque pagePetits ensembles, documents difficiles

La dernière ligne est une approche devenue une vraie alternative ces dernières années. Envoyer une page sous forme d'image à un modèle qui comprend l'image et le texte donne de bons résultats sur des mises en page complexes sans rien à configurer. Le prix est un coût par page : sur une archive de cent mille pages, elle est donc exclue, alors que sur deux cents pages c'est souvent le plus simple.

Le choix entre les deux premières lignes dépend de ce que vous voulez : une bibliothèque ou une application. La première se branche sur votre propre pipeline et vous laisse le reste. La seconde donne un ensemble complet avec une interface, au prix d'un déploiement plus lourd.

Les documents que vous n'avez pas encore sur disque, parce qu'ils vivent sur des pages web, sont un cas entièrement distinct. Firecrawl rend une page dans un navigateur sans interface et renvoie du markdown plutôt que du HTML brut, ce qui change tout pour le contenu construit en JavaScript. Vérifiez la licence avant un déploiement commercial : le code serveur est sous AGPL-3.0, alors que les SDK officiels sont sous MIT.

Tavily va encore plus loin, en renvoyant non pas de la matière brute mais des passages prêts, notés selon leur pertinence : l'agent saute donc entièrement l'étape de récupération et de découpage. Ce confort se paie en dépendance : seuls les clients sont open source, alors que le moteur de recherche lui-même est un service fermé sans option auto-hébergée.

Formats au-delà du PDF

Les fichiers PDF attirent toute l'attention, alors qu'une archive d'entreprise se compose en pratique d'une douzaine d'autres choses, et l'outil y est souvent plus utile.

Les fichiers de traitement de texte portent une structure explicite écrite dans le format : la reconnaissance des intertitres et des tableaux est donc ici certaine plutôt que devinée à partir de la mise en page. C'est le meilleur cas possible : les résultats sont exacts et le parsing rapide et gratuit.

Les présentations se découpent en diapositives, et chaque diapositive en titre et puces. Il faut toutefois savoir que les notes de l'intervenant ont souvent plus de valeur que les diapositives elles-mêmes, car c'est là que vivent les phrases complètes, alors que la diapositive contient des mots-clés.

Les e-mails demandent une décision distincte. Un message avec l'historique cité d'un fil contient plusieurs fois le même texte, et tout indexer signifie qu'une même affirmation entre dans l'index en dix exemplaires. Retirer la partie citée avant l'indexation est souvent la plus grande amélioration de qualité sur une archive de courrier.

Les pages web enregistrées en local se traitent bien, mais les menus, les pieds de page et les bandeaux de consentement atterrissent dans le résultat à côté du contenu. Le filtrage par type d'élément aide, mais fonctionne moins bien sur les pages que sur les documents, car un intertitre de navigation est souvent reconnu comme un titre ordinaire.

Les tableurs sont le cas limite. Formellement ils se traitent, en pratique un tableau aplati en texte répond rarement de façon sensée. Si les chiffres comptent, lire directement la feuille et interroger une base de données vaut mieux que de l'envoyer dans une recherche sémantique.

Les métadonnées à conserver

Chaque élément porte une description de son origine, et cette partie est la plus sous-estimée quand on construit une récupération.

Le numéro de page permet de montrer à l'utilisateur d'où vient une réponse. Cela ressemble à un détail et décide de la confiance dans le système plus que la qualité du modèle. Une réponse avec un lien vers une page précise peut être vérifiée, une réponse sans lien doit être crue sur parole.

Le nom du fichier et le chemin source permettent de filtrer la recherche par répertoire ou par type de document. Sur une archive qui mêle contrats, rapports et correspondance, c'est souvent le seul moyen d'empêcher qu'une question sur les conditions d'un contrat ne fasse remonter des mentions dans des e-mails.

Les dates méritent aussi l'attention, car les documents vieillissent. Une politique vieille de trois ans et sa version actuelle se ressemblent presque à la récupération, tout en différant exactement sur ce qui compte le plus pour l'utilisateur.

Reportez ces champs dans la base vectorielle à côté du texte du fragment. Les récupérer plus tard, après avoir indexé le seul texte, signifie retraiter l'archive depuis zéro.

Performance sur une grande archive

Traiter quelques centaines de documents est l'affaire de quelques minutes, en traiter quelques centaines de milliers demande un plan.

Le mode haute résolution est lent, car il exécute un modèle de mise en page sur chaque page. Sur un grand ensemble, le goulot d'étranglement devient la capacité de calcul disponible plutôt que le réseau ou le disque : paralléliser sur plusieurs processus apporte donc un vrai gain.

Enregistrez les résultats sur disque après le parsing et avant le découpage. Le découpage est peu coûteux et vous le répéterez en ajustant les paramètres, alors que le parsing est coûteux et qu'il n'y a aucune raison de le répéter à chaque fois. Cette seule habitude fait gagner des heures pendant le réglage.

Le traitement incrémental compte dès le départ. Stocker un hash du contenu par fichier permet de sauter ceux qui n'ont pas changé, transformant une exécution de nuit sur toute l'archive en quelques minutes de rattrapage de la différence.

Avec une archive qui grossit chaque jour, le traitement cesse d'être un script et devient un pipeline avec un calendrier, des relances et des dépendances entre étapes. Airflow le décrit comme un graphe de tâches et suit ce qui s'est exécuté, ce qui a échoué et ce qui attend : sur une exécution interrompue à mi-chemin, cette connaissance vaut plus que de se déclencher à la bonne heure. Sa troisième version a ajouté le déclenchement par événements : un nouveau fichier à la source lance donc le traitement immédiatement au lieu d'attendre l'exécution de nuit.

Prévoyez séparément les fichiers qui ne se traiteront pas. Dans une grande collection, il y aura toujours des documents corrompus, protégés par mot de passe ou enregistrés dans une variante de format que la bibliothèque ne gère pas. Les écrire dans une liste pour examen manuel vaut mieux que d'arrêter toute l'exécution sur un fichier, et vaut mieux que de le sauter silencieusement sans laisser de trace.

Erreurs fréquentes

La première est d'ignorer le paramètre de langue dans la reconnaissance optique de caractères. Les signes diacritiques ressortent alors déformés, et l'erreur se propage dans l'archive, pour n'apparaître qu'à la récupération.

La deuxième est d'utiliser le mode rapide sur des documents contenant des scans. Il renvoie un texte vide ou des fragments, et comme il ne signale aucune erreur, le contenu manquant n'est remarqué que quand la récupération ne trouve rien.

La troisième est d'indexer tous les éléments, en-têtes et pieds de page compris. Le texte répété dans chaque fragment dilue son sens et réduit la précision.

La quatrième est de ne pas regrouper les fragments courts. Un document avec de nombreuses sections éclate en dizaines de morceaux de deux phrases, dont aucun ne contient assez de contexte.

La cinquième est d'estimer le coût au nombre de documents plutôt qu'au nombre de pages. Sur des rapports, cet écart peut atteindre un facteur cent.

La sixième est de sauter la relecture du résultat. Vérifier vingt fragments générés prend un quart d'heure et montre plus que n'importe quelle description de paramètre.

FAQ

À quoi sert Unstructured ?

À transformer des documents en données prêtes à être indexées. Il reconnaît la structure des fichiers et renvoie une liste d'éléments typés plutôt que du texte brut : on peut donc filtrer les en-têtes, préserver les tableaux et découper les documents par section.

La version open source suffit-elle ?

Pour des documents numériques simples, généralement oui. L'éditeur indique qu'elle n'est pas destinée à la production et qu'elle gère moins bien les tableaux et les scans : sur une archive difficile, comparez donc les deux variantes sur vos propres fichiers.

Combien coûte la plateforme ?

La facturation se fait à la page traitée : 15 000 pages par mois sont gratuites, au-delà le tarif est de 0,03 $ par page, et la facture s'arrête à 3 000 $ par mois. Les pages gratuites non utilisées ne se reportent pas au mois suivant. Pour estimer, comptez les pages plutôt que les documents, car sur des rapports la différence est multiple.

En quoi diffère-t-il de RAGFlow ?

C'est une bibliothèque et une plateforme de traitement de documents que vous branchez sur votre propre pipeline. RAGFlow est une application complète avec sa propre interface, son stockage et sa recherche, exécutée sur votre propre infrastructure. La première donne plus de liberté, la seconde moins de travail.

Comment vérifier que le parsing fonctionne correctement ?

Relisez les fragments générés pour dix de vos documents les plus difficiles. Si les tableaux ont gardé leur structure, si les colonnes ne s'entremêlent pas et si les en-têtes n'apparaissent pas au milieu d'une phrase, la configuration est saine. C'est la seule méthode qui donne une certitude.

La documentation se trouve sur le site du projet, et le code open source dans le dépôt GitHub.

À lire aussi