String :: Tokenizer. String :: Tokenizer ist ein einfacher String-Tokenizer.
Jetzt downloaden

String :: Tokenizer. Ranking & Zusammenfassung

String :: Tokenizer. Stichworte

Perl-Modul String Perl-Erweiterung. Tokenizer String-Tokenizer.

String :: Tokenizer. Beschreibung

String :: Tokenizer ist ein einfacher String-Tokenizer. String :: Tokenizer ist ein einfacher Zeichenketten-Tokenizer.Synopsis-Zeichenfolge :: Tokenizer; # Erstellen Sie den Tokenizer und Tokenize-Eingabe mein $ tokenizer = String :: Tokenizer-> NEU ("(((5 + 5) * 10)", '+ * ()'); # TOKENIZER MEINE $ TOKENIZER = String :: Tokenizer-> Neu (); # ... dann tokenize die Zeichenfolge $ tokenizer-> tokenize ("((5 + 5) - 10)", '()'); # wird "drucken" (, (, 5, +, 5,), -, 10,) 'Print Join "," => $ Tokenizer-> GetTokens (); # Tokenizer erstellen, die Whitespace bei meinem $ ST = String :: Tokenizer-> NEU ('Dies ist ein Test mit (signifikanter) Whitespace', ', ()', String :: Tokenizer-> Retain_whitespace); # Das wird drucken: # 'das', '', 'ist' ',' ',' «, ',', ',' ',' mit ',' ',' (',' signantant ',' ) ',' ',' Whitespace 'drucken "'". (Join "'', '" => $ tokenizer-> gettokens ()). "'"; # Holen Sie sich einen Token-Iterator mein $ i = $ tokenizer-> iterator (); während ($ i-> hasnexttoken ()) {mein $ next = $ i-> neken (); # Peek voraus im nächsten Token mein $ look_ahead = $ i-> lookaeadtoken (); # ... # Überspringen Sie die nächsten 2 Token $ I-> Skiptokens (2); # ... # dann Backtrack 1 Token mein $ vorhergehendes = $ i-> prevtoken (); # ... # Holen Sie sich das aktuelle Token mein $ aktuell = $ i-> currentoken (); # ...} Ein einfacher String-Tokenizer, der eine Saite nimmt und ihn auf Whitespace aufteilt. Es ist auch optional eine Zeichenfolge, die als Trennzeichen verwendet werden soll, und gibt sie auch mit dem Token-Set zurück. Dies ermöglicht das Aufteilen der Saite auf viele verschiedene Arten. Dies ist ein sehr grundlegender Tokenizer, so dass komplexere Bedürfnisse entweder mit einem benutzerdefinierten schriftlichen Tokenizer oder Nachbearbeitung der von diesem Modul erzeugten Ausgabe angesprochen werden. Grundsätzlich füllt dies nicht die Anforderungen an jeden, sondern überspannt eine Lücke zwischen einfachen Split / /, $ -Agstring und den anderen Optionen, die viel größere und komplexe Module beinhalten. Außerdem beachten Sie, dass dies kein lexikalischer Analysator ist. Viele Menschen verwirren die Tokenisierung mit lexikalischer Analyse. Ein Tokenizer spaltet seinen Input seine Input in bestimmten Brocken, ein lexikalischer Analysator klassifiziert diese Brocken. Manchmal werden diese beiden Schritte kombiniert, aber nicht hier.Erequirements: · Perl-Anforderungen: · Perl.

String :: Tokenizer. Zugehörige Software