/r[aeiou]+/g (la lettre minusculer suivie par une ou plusieurs voyelles latines).
Eninformatique, uneexpression régulière ouexpression rationnelle[1] ouexpression normale[note 1] oumotif est unechaîne de caractères qui décrit, selon une syntaxe précise, unensemble de chaînes de caractères possibles. Les expressions régulières sont également appeléesregex (unmot-valise formé depuis l'anglaisregular expression). Les expressions rationnelles sont issues des théories mathématiques deslangages formels des années 1940. Leur capacité à décrire avec concision desensembles réguliers explique qu’elles se retrouvent dans plusieurs domaines scientifiques dans les années d’après-guerre et justifie leur adoption eninformatique. Les expressions régulières sont aujourd’hui utilisées pour programmer des logiciels avec des fonctionnalités de lecture, de contrôle, de modification, et d'analyse de textes ainsi que dans la manipulation des langues formelles que sont leslangages informatiques.
Les expressionsrégulières ont la qualité de pouvoir être décrites par des formules ou motifs (en anglaispatterns) bien plus simples que les autres moyens[2].
Dans lesannées 1940,Warren McCulloch etWalter Pitts ont décrit le système nerveux en modélisant les neurones par desautomates simples. En 1956, le logicienStephen Cole Kleene[3],[note 2] a ensuite décrit ces modèles en termes d’ensembles réguliers et d’automates. Il est considéré comme l'inventeur des expressions régulières[4]. En 1959,Michael Rabin etDana Scott proposent le premier traitement mathématique et rigoureux de ces concepts[5], ce qui leur vaudra leprix Turing en 1976.
Dans ce contexte, les expressions régulières correspondent auxgrammaires de type 3 (voirgrammaire formelle) de lahiérarchie de Chomsky ; elles peuvent donc être utilisées pour décrire lamorphologie d’une langue.
Ken Thompson a mis en œuvre la notation de Kleene dans l’éditeurqed, puis l’éditeured sous Unix, et finalement dansgrep. Depuis lors, les expressions régulières ont été largement utilisées dans les utilitaires tels quelex ainsi que dans les langages de programmation nés sous Unix, tels queexpr,awk,Perl,Tcl et d'autres langages plus récents commePython ouPHP.
En sortant du cadre théorique, les expressions régulières ont acquis des fonctionnalités permettant de décrire des langages non rationnels. Un glissement sémantique s'est ainsi produit : la notion d'expression régulière n'a pas le même sens dans le contexte de l'informatique appliquée et dans la théorie des langages formels.
| Expression régulière | Mots décrits | Mots non décrits |
|---|---|---|
| détecté | « détecté » | « détect », « détecta », « détectés », « » |
| ex (a?e|æ|é)quo | « ex équo », « ex equo », « ex aequo » et « ex æquo » | « ex quo », « ex aiquo », « ex aeko », « ex æéquo » |
| ^Section .+ | « Section 1 », « Section 22 », « Section A », … | « voir Section 1 », « Sectionner » |
| 6,66*$ | « 6,6 », « 6,666 », « 6,6666 », … | « 6,66667 », |
| [1234567890]+(,[1234567890]+)? | « 2 », « 42 », « 0,618 », « 49,3 », … | « 3, », « ,75 » , « » |
Initialement créées pour décrire des langages formels, les expressions régulières sont utilisées dans l’analyse et la manipulation deslangages informatiques ;compilateurs etinterprètes sont ainsi basés sur celles-ci.
Utilisée à la manière des outils de recherche de texte dans un document, une expression régulière décrit des chaînes de caractères ayant des propriétés communes, dans le but de les trouver dans un bloc de texte pour leur appliquer un traitement automatisé, comme un ajout, leur remplacement, leur modification ou leur suppression.
Beaucoup d'éditeurs de texte et la plupart desenvironnements de développement intégrés permettent de mettre en œuvre les expressions régulières. Un grand nombre d’utilitairesUnix savent les utiliser nativement. Les plus connus sontGNU grep ouGNU sed qui, à la manière des éditeurs de texte, utilisent ces expressions pour parcourir de façon automatique un document à la recherche de morceaux de texte compatibles avec le motif de recherche, et éventuellement effectuer un ajout, une substitution ou une suppression.
Lesinterfaces en ligne de commande (oushells) utilisent un système apparenté mais distinct et moins expressif appeléglob (en) ou globbing.
Les expressions régulières sont fréquemment employées dans les activités d'administration système, dedéveloppement logiciel et detraitement automatique du langage naturel. Elles ont vu un nouveau champ d’application avec le développement d’Internet, et la diffusion de code malveillant ou de messagespourriels. Desfiltres et desrobots utilisant ces expressions sont utilisés pour détecter les éléments potentiellement nuisibles.
En théorie deslangages formels, une expression régulière est une expression représentant unlangage rationnel. Dans ce contexte, les expressions régulières ont un pouvoir expressif plus limité : cette notion a un sens plus large en informatique appliquée qu'en théorie des langages formels.
Une expression régulière est une suite decaractères typographiques (qu’on appelle plus simplement « motif » – « pattern » en anglais) décrivant un ensemble dechaînes de caractères. Par exemple l’ensemble de mots « ex équo, ex equo, ex aequo et ex æquo » peut être condensé en un seul motif « ex (a?e|æ|é)quo ». Les mécanismes de base pour former de telles expressions sont basés sur des caractères spéciaux de substitution, de groupement et de quantification.
Unebarre verticale sépare le plus souvent deux expressions alternatives : « equo|aequo » désigne soit equo, soit aequo. Il est également possible d’utiliser des parenthèses pour définir le champ et la priorité de la détection, « (ae|e)quo » désignant le même ensemble que « aequo|equo » et de quantifier les groupements présents dans le motif en apposant des caractères de quantification à droite de ces groupements.
Les quantificateurs les plus répandus sont :
? qui définit un groupe qui existezéro ou une fois :toto? correspondant alors à « tot » ou « toto » mais pas « totoo » ;* qui définit un groupe qui existezéro, une ou plusieurs fois (l'étoile de Kleene) :toto* correspondant à « tot », « toto », « totoo », « totooo », etc. ;+ qui définit un groupe qui existeune ou plusieurs fois :toto+ correspondant à « toto », « totoo », « totooo », etc. mais pas « tot ».Les symboles dotés d'une sémantique particulière peuvent être appelés « opérateurs », « métacaractères » ou « caractères spéciaux ». Les caractères qui ne représentent qu'eux-mêmes sont dits « littéraux ».
Les expressions régulières peuvent être combinées, par exemple parconcaténation, pour produire des expressions régulières plus complexes.
Lorsqu'une chaîne de caractères correspond à la description donnée par l'expression régulière, on dit qu'il y a « correspondance » entre la chaîne et le motif, ou que le motif « reconnaît » la chaîne. Cette correspondance peut concerner la totalité ou une partie de la chaîne de caractères. Par exemple, dans la phrase « Les deux équipes ont terminé ex æquo et se sont saluées. », la sous-chaîne « ex æquo » est reconnue par le motif « ex (a?e|æ|é)quo ».
Par défaut, les expressions régulières sontsensibles à la casse. Lorsque c'est possible, elles tentent de reconnaître la plus grande sous-chaîne correspondant au motif : on dit qu'elles sont « gourmandes ». Par exemple,Aa+ reconnaît la totalité de la chaîne « Aaaaaaa » plutôt qu'une partie « Aaa » (gourmandise), mais elle ne reconnaît pas la chaîne « aaaA » (sensibilité à la casse).
| Opérateurs | Description | Exemples | ||
|---|---|---|---|---|
| Expression régulière | Chaînes décrites | Chaînes non décrites | ||
| expr1 expr2 | Opérateur de concaténation de deux expressions (implicite). | ab | « ab » | « a », « b », chaîne vide |
| . | Un caractère et un seul | . | « a », « b », etc. | chaîne vide, « ab » |
| expr? | Ce quantificateur correspond à ce qui le précède, présentzéro ou une fois. Si de multiples correspondances existent dans un texte, il trouve d’abord ceux placés en tête du texte et retourne alors la plus grande longueur possible à partir de cette position initiale. | a? | chaîne vide, « a » | « aa », « b » |
| expr+ | Ce quantificateur correspond à ce qui le précède, répétéune ou plusieurs fois. Si de multiples correspondances existent dans un texte, il trouve d’abord ceux placés en tête du texte et retourne alors la plus grande longueur possible à partir de cette position initiale. | a+ | « a », « aa », « aaaaa », etc. | chaîne vide, « b », « aaab » |
| expr* | Ce quantificateur correspond à ce qui le précède, répétézéro ou plusieurs fois. Si de multiples correspondances existent dans un texte, il trouve d’abord ceux placés en tête du texte et retourne alors la plus grande longueur possible à partir de cette position initiale. | a* | chaîne vide, « a », « aaa », etc. | « b », « aaab » |
| expr1|expr2 | C’est l’opérateur de choix entre plusieurs alternatives, c’est-à-dire l’union ensembliste. Il peut être combiné autant de fois que nécessaire pour chacune des alternatives possibles. Il fait correspondrel’une des expressions placées avant ou après l’opérateur. Ces expressions peuvent éventuellement être vides, et donc (x|) équivaut à x?. | a|b | « a », « b » | chaîne vide, « ab », « c » |
| [liste] | Un des caractères entre crochets (« classe de caractères ») | [aeiou] | « a », « e », « i », etc. | chaîne vide, « b », « ae » |
| [^liste] | Un caractère n’étant pas entre crochets (« classe de caractères ») | [^aeiou] | « b », etc. | chaîne vide, « a », « bc » |
| (expr) | Groupement de l’expression entre parenthèses | (détecté) | « détecté », « détectés » | « détect », « détecta » |
| expr{n} | Exactementn occurrences de l’expression précédant les accolades | a{3} | « aaa » | « aa », « aaaa » |
| expr{n,m} | Entren etm occurrences de l’expression précédant les accolades | a{2,4} | « aa », « aaa », « aaaa » | « a », « aaaaa » |
| expr{n,} | Au moinsn occurrences de l’expression précédant les accolades | a{3,} | « aaa », « aaaa », « aaaaa », etc. | « aa » |
| ^ | Ce prédicat ne correspond à aucun caractère mais fixe une condition nécessaire permettant de trouver un accord sur ce qui le suit en indiquant que ce doit être audébut d’une ligne (donc être au début du texte d’entrée ou après un saut de ligne). Il ne peut être considéré ainsi qu’au début de l’expression régulière, ailleurs il est considéré littéralement. Il s’applique comme condition à la totalité du reste de l’expression régulière (et concerne donc toutes les alternatives représentées). | ^a trouve « a » en début de ligne mais pas dans « ba ». | ||
| $ | Ce prédicat ne correspond à aucun caractère mais fixe une condition nécessaire permettant de trouver un accord sur ce qui le précède en indiquant que ce doit être àla fin d’une ligne (donc être à la fin du texte d’entrée ou juste avant un saut de ligne). Il ne peut être considéré ainsi qu’à la fin de l’expression régulière, ailleurs il est considéré littéralement. Il s’applique comme condition à la totalité du reste de l’expression régulière (et concerne donc toutes les alternatives représentées). | a$ trouve « a » en fin de ligne mais pas dans « ab ». | ||
Dans le domaine de l'informatique, un outil permettant de manipuler les expressions régulières est appelé unmoteur d'expressions régulières oumoteur d'expressions rationnelles. Il existe des standards permettant d'assurer une cohérence dans l'utilisation de ces outils.
Le standardPOSIX propose trois jeux de normes :
Les expressions régulières deperl sont également un standard de fait, en raison de leur richesse expressive et de leur puissance. Tout en suivant leur propre évolution, elles sont par exemple à l'origine de labibliothèquePCRE.ECMAScript propose également dans le document Standard ECMA-262 une norme employée par exemple parJavaScript.
Les notations ou leurs sémantiques peuvent varier légèrement d'un moteur d'expression régulière à l'autre. Ils peuvent ne respecter que partiellement ces normes, ou de manière incomplète, ou proposer leurs propres fonctionnalités, commeGNU ou leFramework .NET. Les spécificités de chacun sont abordées plus loin dans cet article.
Une classe de caractères désigne un ensemble de caractères. Elle peut être définie de différentes manières :
[0123456789] pour les caractères de « 0 » à « 9 ») ;[0-9] en conservant cet exemple) ;[^0123456789] et[^0-9] désignent chacune l'ensemble des caractères qui ne sont pas des chiffres décimaux.Des unions de classes de caractères peuvent être faites :[0-9ab] désigne l'ensemble constitué des caractères « 0 » à « 9 » et des lettres « a » et « b ». Certaines bibliothèques permettent également de faire des intersections de classes de caractères.
Entre les crochets, les métacaractères sont interprétés de manière littérale :[.?*] désigne l'ensemble constitué des caractères « . », « ? » et « * ».
Les classes de caractères les plus utilisées sont généralement fournies avec le moteur d'expression régulière. Un inventaire de ces classes est dressé dans la table ci-dessous.
La bibliothèque POSIX définit des classes au départ pour l'ASCII, puis, par extension, pour d'autres formes de codage de caractères, en fonction desparamètres régionaux.
Dans Unicode et des langages comme le perl, des ensembles de caractères sont définis au travers de la notion de propriétés de caractères. Cela permet de désigner un ensemble de caractères en fonction de sa catégorie (exemples : lettre, ponctuation ouvrante, ponctuation fermante, séparateur, caractère de contrôle), en fonction du sens d'écriture (par exemple de gauche à droite ou de droite à gauche), en fonction de l'alphabet (exemples : latin, cyrillique, grec, hiragana) ; en fonction de l'allocation des blocs, ou même selon les mêmes principes que les classes de caractères POSIX[6] (à ce sujet, lire la sectionExpressions régulières et Unicode).
| POSIX | Non-standard | perl, Python | Vim | Java | Unicode[7],[8] | ASCII | Description |
|---|---|---|---|---|---|---|---|
\p{ASCII} | [\x00-\x7F] | CaractèresASCII | |||||
[:alnum:] | \p{Alnum} | A-Za-z0-9 | Caractèresalphanumériques | ||||
[:word:] | \w | \w | \w | A-Za-z0-9_ | Caractères alphanumériques, et « _ » | ||
\W | \W | \W | ^A-Za-z0-9_ | Caractères ne composant pas les mots | |||
[:alpha:] | \a | \p{Alpha} | \p{L} ou\p{Letter} | A-Za-z | Caractères alphabétiques | ||
[:blank:] | \s | \p{Blank} | \t | Espace et tabulation | |||
\b | \< \> | \b | (?<=\W)(?=\w)|(?<=\w)(?=\W) | Positions de début et fin de mots | |||
\B | \B | (?<=\W)(?=\W)|(?<=\w)(?=\w) | Positions ne correspondant pas à un début ou une fin de mot | ||||
[:cntrl:] | \p{Cntrl} | \p{Cc} ou\p{Control} | \x00-\x1F\x7F | Caractères de contrôle | |||
[:digit:] | \d | \d | \p{Digit} ou\d | \p{Nd} ou\p{Decimal_Digit_Number} | 0-9 | Chiffres décimaux | |
\D | \D | \D | \P{Nd} ou\P{Decimal_Digit_Number} | ^0-9 | Autre chose qu'un chiffre décimal | ||
[:graph:] | \p{Graph} | \x21-\x7E | Caractères visibles | ||||
[:lower:] | \l | \p{Lower} | \p{Ll} ou\p{Lowercase_Letter} | a-z | Lettres en minuscule | ||
[:print:] | \p | \p{Print} | \x20-\x7E | Caractères imprimables | |||
[:punct:] | \p{Punct} | \p{P} ou\p{Punctuation} | ][!"#$%&'()*+,./:;<=>?@\^_`{|}~- | Caractères de ponctuation | |||
[:space:] | \s | \_s | \p{Space} ou\s | \p{Z} ou\p{Separator} | \t\r\n\v\f | Caractères d'espacement | |
\S | \S | \S | \P{Z} ou\P{Separator} | ^ \t\r\n\v\f | Autre chose qu'un caractère d'espacement | ||
[:upper:] | \u | \p{Upper} | \p{Lu} ou\p{Uppercase_Letter} | A-Z | Lettres capitales | ||
[:xdigit:] | \x | \p{XDigit} | A-Fa-f0-9 | Chiffres hexadécimaux | |||
\A | Début de chaîne de caractère | ||||||
\Z | Fin de chaîne de caractère |
Par exemple, dans le standard POSIX,[[:upper:]ab] fait correspondre un caractère parmi l’ensemble formé par toutes les lettres majuscules ainsi que les lettres minuscules « a » et « b ». Dans le standard ASCII, cette expression régulière s'écrirait[A-Zab].
La notion de classe d'équivalence ne doit pas être confondue avec la notion de classe de caractères.
Par exemple, dans la locale FR, la classe [=e=] regroupe l'ensemble des lettres {e, é, è, ë, ê}.
Ceci signifie que lorsqu'elles sont collationnées, les lettres {e, é, è, ë, ê} apparaissent dans le même jeu de caractères, après led, et avant lef.
La plupart des standards et moteurs d'expressions régulières proposent des fonctions avancées. Notamment :
ab+? appliquée à la chaîne « abbbbc » entre en correspondance avec la sous-chaîne « ab » plutôt que « abbbb ».\n » ou parfois « $n », oùn est un entier.(?:groupement) ».(?P<nom>groupement) » enPython.b(.)b\1 » entrera en correspondance avec « bébé » et « bobo » mais pas « baby ». Cette fonctionnalité, proposée par la plupart des moteurs, permet de reconnaître des langages non rationnels tels queanban pour toutn entier positif.(?i:nom)-Prénom » entrera en correspondance avec « NOM-Prénom » et « Nom-Prénom » mais pas « Nom-prénom ». Parmi les autres modificateurs, on peut citer le mode multi-lignes, le mode non-gourmand ou le « free-spacing mode ».if ... then ... else ... » au sein même des expressions régulières. Par exemple, en perl, l'expression « ^(?(?=[abc])[def]|[ghi]) » se lit : « si la chaîne commence par la lettre a, b ou c, chercher à leur suite la lettre d, e ou f, sinon chercher la lettre g, h ou i. »Les notations utilisées sont très variables. Ce chapitre regroupe d'une part les notations propres à différentes implémentations, et d'autre part, l'entreprise de normalisation.
Le standardPOSIX a cherché à remédier à la prolifération des syntaxes et fonctionnalités, en offrant un standard d’expressions régulières configurables. On peut en obtenir un aperçu en lisant le manuel deregex sous une grande partie des dialectesUnix dontGNU/Linux. Toutefois, même cette norme n’inclut pas toutes les fonctionnalités ajoutées aux expressions régulières de Perl.
Enfin, POSIX ajoute le support pour des plateformes utilisant un jeu de caractère non basé sur l’ASCII, notammentEBCDIC, et un support partiel des locales pour certains méta-caractères.
Les utilitaires du mondeUnix tels quesed,GNU grep,ed ouvi utilisent par défaut la norme BRE (« Basic Regular Expression ») de POSIX. Dans celle-ci, les accolades, les parenthèses, le symbole « ? » et le symbole « + » ne sont pas des métacaractères : ils ne représentent qu'eux-mêmes. Pour prendre leur sémantique de métacaractères, ils ont besoin d'êtreéchappés par le symbole « \ ».
Exemple : l'expression régulière(ab.)+ reconnaît « (abc)+ » mais pas « abcabd », pour laquelle\(ab.\)\+ convient.
Les expressions régulières étendues POSIX (ERE pour « Extended Regular Expression ») sont souvent supportées dans les utilitaires des distributions Unix et GNU/Linux en incluant ledrapeau-E dans laligne de commande d’invocation de ces utilitaires. Contrairement aux expressions régulières basiques, elles reconnaissent les caractères vus précédemment comme des métacaractères. Ils doivent ainsi être échappés pour être interprétés littéralement.
La plupart des exemples donnés en présentation sont des expressions régulières étendues POSIX.
Comme les caractères(,),[,],.,*,?,+,^,|,$ ,- et\ sont utilisés comme symboles spéciaux, ils doivent être référencés dans uneséquence d’échappement s’ils doivent désigner littéralement le caractère correspondant. Ceci se fait en les précédant avec une barre oblique inversée\.
Des extensions semblables sont utilisées dans l’éditeuremacs, qui utilise un jeu de commandes différent du standard POSIX ; mais reprend les mêmes expressions régulières en apportant une notation étendue. Lesexpressions régulières étendues sont maintenant supportées aussi dansvim, la version améliorée devi.
| Opérateur étendu (non POSIX) | Description | Exemple |
|---|---|---|
\{m,n\} | Dans la notation étendue, cela crée un quantificateur borné personnalisé, permettant de faire correspondre exactement dem àn occurrences de ce qui précède,m etn étant deux entiers tels quem < n. Chacun des deux paramètres peut être omis : si le premier paramètrem est omis, il prend la valeur par défaut 0 ; si le second paramètren est omis, mais la virgule est présente, il est considéré comme infini ; si le second paramètren est omis ainsi que la virgule séparatrice, il prend la valeur par défaut égale au premier paramètrem. | Voir exemples ci-dessous. |
\( \) | Dans la notation étendue, les parenthèses de groupement (dans une séquence d’échappement) permettent de délimiter un ensemble d’alternatives, ou toute sous-expression régulière (à l’exception des conditions de début et fin de ligne) pour leur appliquer un quantificateur. De plus, ces parenthèses délimitent un groupe de capture numéroté qui peut être utilisé pour les substitutions (on référence alors les groupes capturés dans la chaîne de substitution avec$n oùn est le numéro de groupe de capture entre 1 et 9, la totalité de la chaîne trouvée étant représentée par$&). | Voir exemples ci-dessous. |
De plus, de nombreuses autres séquences d’échappement sont ajoutées pour désigner des classes de caractères prédéfinies. Elles sont spécifiques à chaque utilitaire ou parfois variables en fonction de la version ou la plateforme (cependant elles sont stables depuis longtemps dans emacs qui a fait figure de précurseur de ces extensions, que d’autres auteurs ont partiellement implémentées de façon limitée ou différente).
Python utilise des expressions régulières basées sur les expressions régulières POSIX, avec quelques extensions ou différences.
Les éléments compatibles POSIX sont les suivants :
[ ],.,*,?,+,|,( )\t,\n,\v,\f,\r\ooo : caractère littéral dont le code octal (entre 0 et 377, sur 1 à 3 chiffres) estooo.\xNN : caractère littéral dont le code hexadécimal estNN (sur 2 chiffres).La séquence\b désigne le caractère de retour arrière (0x08 avec un codage compatible ASCII) lorsqu'elle est utilisée à l'intérieur d'une classe de caractère, et la limite d'un mot autrement.
Lesystème d'exploitation BSD utilise la bibliothèqueregex écrite parHenry Spencer. Compatible avec la norme POSIX 1003.2, cette bibliothèque est également utilisée par MySQL[9] (avec les opérateurs REGEXP et NOT REGEXP[10]) et PostgreSQL[11] (avec l'opérateur « ~ » et ses variantes).
Le moteur d'expressions régulières du langageTcl est issu de développements d'Henry Spencer postérieurs à ceux de la bibliothèque BSD[12],[13]. Les expressions régulières sont appelées Expressions régulières avancées (ou ARE, Advanced Regular Expressions) et sont légèrement différentes des expressions régulières étendues de POSIX[13]. Les expressions régulières basiques et étendues sont également supportées.
Contrairement à d'autres moteurs, celui-ci fonctionne à base d'automates, ce qui le rend moins performant lorsque les captures ou lebacktracking sont nécessaires, mais plus performant dans le cas contraire.[réf. souhaitée]
Perl offre un ensemble d’extensions particulièrement riche. Celangage de programmation connaît un succès très important dû à la présence d’opérateurs d’expressions régulières inclus dans le langage lui-même. Les extensions qu’il propose sont également disponibles pour d’autres programmes sous le nom delibPCRE (Perl-Compatible Regular Expressions, littéralementbibliothèque d’expressions régulières compatible avec Perl). Cettebibliothèque a été écrite initialement pour leserveur de courrier électroniqueExim, mais est maintenant reprise par d’autres projets commePython,Apache,Postfix,KDE,Analog,PHP etFerite.
Les spécifications dePerl 6 régularisent et étendent le mécanisme du système d’expressions régulières.De plus il est mieux intégré au langage que dans Perl 5. Le contrôle duretour sur trace y est très fin. Le système de regex de Perl 6 est assez puissant pour écrire desanalyseurs syntaxiques sans l’aide de modules externes d’analyse. Les expressions régulières y sont une forme de sous-routines et les grammaires une forme declasse. Le mécanisme est mis en œuvre enassembleurParrot par le modulePGE dans la mise en œuvre Parrot de Perl 6 et enHaskell dans la mise en œuvrePugs. Ces mises en œuvre sont une étape importante pour la réalisation d’uncompilateur Perl 6 complet. Certaines des fonctionnalités des regexp de Perl 6, comme les captures nommées, sont intégrées depuis Perl 5.10[14].
PHP supporte deux formes de notations : la syntaxePOSIX[15] (POSIX 1003.2) et celle, beaucoup plus riche et performante[16], de la bibliothèquePCRE[17] (Perl Compatible Regular Expression).
Un des défauts reprochés à PHP est lié à son support limité des chaînes de caractères, alors même qu’il est principalement utilisé pour traiter du texte, puisque le texte ne peut y être représenté que dans un jeu de caractères codés sur 8 bits, sans pouvoir préciser clairement quel codage est utilisé. En pratique, il faut donc adjoindre à PHP des bibliothèques de support pour le codage et le décodage des textes, ne serait-ce que pour les représenter en UTF-8.Toutefois, même en UTF-8, le problème se pose immédiatement avec la sémantique des expressions régulières puisque les caractères ont alors un codage de longueur variable, qui nécessite de complexifier les expressions régulières.[réf. nécessaire]Des extensions optionnelles de PHP sont donc développées pour créer un nouveau type de données pour le texte, afin de faciliter son traitement (et être à terme compatible avec Perl6 qui, commeHaskell, disposera nativement du support intégral d’Unicode).[réf. nécessaire]
ICU définit une bibliothèque portable pour le traitement de textes internationaux. Celle-ci est développée d’abord enlangage C (version nommée ICU4C) ou pour laplateforme Java (version nommée ICU4J). Des portages (ou adaptations) sont aussi disponibles dans de nombreux autres langages, en utilisant la bibliothèque développée pour le langage C (ouC++).
Les expressions régulières utilisables dans ICU reprennent les caractéristiques des expressions régulières de Perl, mais les complètent pour leur apporter le support intégral du jeu de caractères Unicode (voir la section suivante pour les questions relatives à la normalisation toujours en cours). Elles clarifient également leur signification en rendant les expressions régulières indépendantes du jeu de caractère codé utilisé dans les documents, puisque le jeu de caractères Unicode est utilisé comme codage pivot interne.
En effet, les expressions régulières de Perl (ou PCRE) ne sont pas portables pour traiter des documents utilisant des jeux de caractères codés différents, et ne supportent pas non plus correctement les jeux de caractères codés multi-octets (à longueur variable tels queISO 2022,Shift-JIS, ouUTF-8), ou codés sur une ou plusieurs unités binaires de plus de 8 bits (par exempleUTF-16) puisque le codage effectif de ces jeux sous forme de séquences d’octets dépend de la plateforme utilisée pour le traitement (ordre de stockage des octets dans un mot de plus de 8 bits).
ICU résout cela en adoptant un traitement utilisant en interne un jeu unique défini sur 32 bits et supportant la totalité du jeu de caractères universel (UCS), tel qu’il est défini dans la normeISO/IEC 10646 et précisé sémantiquement dans le standardUnicode (qui ajoute à la norme le support de propriétés informatives ou normatives sur les caractères, et des recommandations pour le traitement automatique du texte, certaines de ces recommandations étant optionnelles ou informatives, d’autres étant devenues standards et intégrées au standard Unicode lui-même, d’autres enfin ayant acquis le statut de norme internationale à l’ISO ou de norme nationale dans certains pays).
ICU supporte les extensions suivantes[18], directement dans les expressions régulières, ou dans l’expression régulière d’une classe de caractères (entre[…]) :
\uhhhh : correspond à un caractère dont le point de code (selon ISO/IEC 10646 et Unicode) a la valeur hexadécimalehhhh.\Uhhhhhhhh : correspond à un caractère dont le point de code (selon ISO/IEC 10646 et Unicode) a la valeur hexadécimalehhhhhhhh ; exactement huit chiffres hexadécimaux doivent être fournis, même si le point de code le plus grand accepté est\U0010ffff.\N{NOM DU CARACTÈRE UNICODE} : correspond au caractère désigné par son nom normalisé, c’est-à-dire tel qu’il est défini de façon irrévocable dans la norme ISO/IEC 10646 (et repris dans le standard Unicode). Cette syntaxe est une version simplifiée de la syntaxe suivante permettant de désigner d’autres propriétés sur les caractères :\p{code d’une propriété Unicode} : correspond à un caractère doté de la propriété Unicode spécifiée.\P{code d’une propriété Unicode} : correspond à un caractère non doté de la propriété Unicode spécifiée.\s : correspond à un caractère séparateur ; un séparateur est défini comme[\t\n\f\r\p{Z}].Les expressions régulières d’ICU sont actuellement parmi les plus puissantes et les plus expressives dans le traitement des documents multilingues. Elles sont largement à la base de la normalisation (toujours en cours) des expressions régulières Unicode (voir ci-dessous) et un sous-ensemble est supporté nativement dans la bibliothèque standard du langageJava (qui utilise en interne un jeu de caractères portable à codage variable, basé surUTF-16 avec des extensions, et dont les unités de codage sont sur 16 bits).
ICU est une bibliothèque encore en évolution. En principe, elle devrait adopter toutes les extensions annoncées dans Perl (notamment les captures nommées), dans le but d’assurer l’interopérabilité avec Perl 5, Perl 6, et PCRE, et les autres langages de plus en plus nombreux qui utilisent cette syntaxe étendue, et les auteurs d’ICU et de Perl travaillent en concert pour définir une notation commune. Toutefois, ICU adopte en priorité les extensions adoptées dans les expressions régulières décrites dans le standard Unicode, puisque ICU sert de référence principale dans cette annexe standard d’Unicode.
Toutefois, il n’existe encore aucun standard ou norme technique pour traiter certains aspects importants des expressions régulières dans un contexte multilingue, notamment :
[a-b]). Actuellement, ICU ne supporte encore que les étendues dans l’ordre binaire des points de code Unicode, un ordre qui n’est pas du tout approprié pour le traitement correct de nombreuses langues puisqu’il contrevient à leur ordre de collation standard.Pour préciser ces derniers aspects manquants, des métacaractères supplémentaires devraient pouvoir être utilisés pour contrôler ou filtrer les occurrences trouvées, ou bien un ordre normalisé imposé à la liste des occurrences retournées. Les auteurs d’applications doivent donc être vigilants sur ces points et s’assurer de lire toutes les occurrences trouvées et pas seulement la première, afin de pouvoir décider laquelle des occurrences est la mieux appropriée à une opération donnée.
Les expressions régulières ont originellement été utilisées avec les caractèresASCII. Beaucoup de moteurs d’expressions régulières peuvent maintenant gérer l’Unicode. Sur plusieurs points, le jeu de caractères codés utilisés ne fait aucune différence, mais certains problèmes surgissent dans l’extension des expressions régulières pour Unicode.
Une question est de savoir quel format de représentation interne d’Unicode est supporté. Tous les moteurs d’expressions régulières en ligne de commande attendent de l’UTF-8, mais pour les bibliothèques, certaines attendent aussi de l’UTF-8, mais d’autres attendent un jeu codé sur UCS-2 uniquement (voire son extensionUTF-16 qui restreint aussi les séquences valides), ou sur UCS-4 uniquement (voire sa restriction normaliséeUTF-32).
Une deuxième question est de savoir si l’intégralité de la plage des valeurs d’une version d’Unicode est supportée. Beaucoup de moteurs ne supportent que leBasic Multilingual Plane, c’est-à-dire, les caractères encodables sur 16 bits. Seuls quelques moteurs peuvent (dès 2006) gérer les plages de valeurs Unicode sur 21 bits.
Une troisième question est de savoir comment les constructions ASCII sont étendues à l’Unicode.
[x-y] sont valides quels que soientx ety dans la plage0x0..0x7F etcodepoint(x) ≤ codepoint(y).Cependant, en pratique ce n’est souvent pas le cas :
Un autre domaine dans lequel des variations existent est l’interprétation des indicateurs d’insensibilité à la casse.
Une autre réponse à Unicode a été l’introduction des classes de caractères pour les blocs Unicode et les propriétés générales des caractères Unicode:
java.util.regex deJava, les classes de la forme\p{InX} valident les caractères du blocX et\P{InX} valide le complément. Par exemple,\p{Arabic} valide n’importe quel caractère de l’écriture arabe (dans l’un quelconque des blocs normalisés d’Unicode/ISO/IEC 10646 où de tels caractères sont présents).\p{X} valide n’importe quel caractère ayant la propriété de catégorie générale de caractèreX et\P{X} le complément. Par exemple,\p{Lu} valide n’importe quelle lettre capitale (upper-case letter).\p{prop=valeur} et son complément\P{prop=valeur}, oùprop est le code d’une propriété de caractères, etvaleur sa valeur attribuée à chaque caractère.Notes :
Il existe au moins trois familles d'algorithmes qui déterminent si une chaîne de caractères correspond à une expression régulière.
(a|aa)*b, mais donne de bons résultats en pratique. Elle est plus flexible et autorise un plus grand pouvoir expressif, par exemple en simplifiant la recapture de sous-chaînes.Certainesimplémentations tentent de combiner les qualités des différentes approches, en commençant la recherche avec un AFD, puis en utilisant la séparation et évaluation lorsque c'est nécessaire.
Sur les autres projets Wikimedia :
:| Articles généraux | |
|---|---|
| Automates finis | |
| Automates finis particuliers |
|
| Langages réguliers | |
| Des automates aux langages | |
| Des langages aux automates | |
| Minimisation | |
| Équivalences | |
