pqs. Parse-Saiten mit Zitat-begrenzten Token
Jetzt downloaden

pqs. Ranking & Zusammenfassung

pqs. Stichworte

Python-Bibliothek Parser Saiten Tokenizer Saiten tokenize Saiten Parser.

pqs. Beschreibung

Parse-Saiten mit Zitat-begrenzten Token PQS ist ein einfaches Python-Modul, das Saiten speichert. Es spaltet die Saite auf Weißraum, sondern versteht auch zitierte Saiten, so dass er dies als vier Token erkennt: Dies ist ein Test und das als drei Token: Dies ist ein "TESTBY-Standard-Standard", der über doppelt angegebene und einzelitierte Substrings versteht, aber Sie Kann es über andere lehren 1.0 "20014967" http://www.google.com/ "Mozilla / 4.0 (kompatibel; msie 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322) NS8 / 0,9,6" (umwickelt für Ihre Bequemlichkeit Bitte beachten Sie, dass es eigentlich alle eine Zeile ist.) Sie können dies mit dem folgenden Code analysieren: Importieren von SYSIMPORT PQSP = PQS.PARSER () P.addchars (('')) für die Linie in SYS. stdin: für tok in p.parse (linie): drucken 'stromimiters:', tok drucken 'token:', tok drucken '-'Which, Angesichts der oben genannten Eingabe, geben Ihnen die folgende Ausgabe: Trennzeichen: Nichtetoken: 10.100.100.100-Delimiters: Nichtetoken: --deli mit /1.0-DELIMITER: NONETOKE: 200-Trennzeichen: nichtetoken: 14967-Delimiters: ('"' ','" ') Token: http://www.google.com/-Delimiters: (' "','" ') Token: Mozilla / 4.0 (kompatibel; Msie 6.0; Windows NT 5.1; Sv1; .NET CLR 1.1.4322) NS8 / 0.9.6 Anforderungen: · Python

pqs. Zugehörige Software