Ncbix :: bigfetch. Robuste Rably sehr große NCBI-Sequenz-Ergebnissätze basierend auf der Keyword-Suche mit NCBI Eutils
Jetzt downloaden

Ncbix :: bigfetch. Ranking & Zusammenfassung

Ncbix :: bigfetch. Stichworte

Ncbi. Sequenzen Stichwortsuche. NCBI-Sequenzen Ncbi eutils. eUtils

Ncbix :: bigfetch. Beschreibung

Robuste Rably sehr große NCBI-Sequenz-Ergebnissätze basierend auf der Keyword-Suchen mit NCBI Eutils NCBIX :: BigFETCH ist ein Perl-Modul, das zum Herunterladen von sehr großen Ergebnissen von Sequenzen von NCBI mit einer Textabfrage nützlich ist. Die erste Verwendung hatte über 11.000.000 Sequenzen als Ergebnis einer einzelnen Keyword-Suche. Es verwendet YAML, um eine Konfigurationsdatei zu erstellen, um den Projektstatus aufrechtzuerhalten, wenn Netzwerk- oder Serverprobleme unterbrechen Ausführung unterbrechen in Textdateien. Jede Datei enthält die Projekt-ID in seinem Namen. Die Tasten von project_id und base_dir sind die einzigen erforderlichen Tasten, obwohl Sie jederzeit dieselbe Suche nach "Apoptose" erhalten, es sei denn, Sie sollen auch den Schlüssel "Query" -Taste festlegen. In jedem Fall benötigt er, sobald ein Projekt gestartet wird, nur die beiden Parameter, die neu geladen werden. Das spart die analysierten Daten und dient zum Abholen des Downloads und Wiederherstellen von fehlenden Chargen oder Sequenzen.Results werden in Abhängigkeit von der Taste "RETURN_MAX" in Batches installiert. Standardmäßig beginnt der "Index" bei 1 und Downloads fortzufahren, bis der Index "Count" -Occasional-Fehler übersteigt, und die gesamten Batches werden nicht heruntergeladen. In diesem Fall wird der "Index" der Liste "fehlende" hinzugefügt. Diese Liste wird in der Konfigurationsdatei gespeichert. Die fehlenden Chargen sollten jeden Tag heruntergeladen und nicht gespeichert werden, bis das Ende der vollständigen Ausführung ausgeführt wird. Kopieren Sie die Skripts und bearbeiten Sie sie für ein bestimmtes Projekt. Verwenden Sie eine neue Nummer als Projekt-ID. 2. Beginnen Sie mit dem Herunterladen, indem Sie FETCH-ALL.PP ausführen, wodurch zunächst eine Abfrage eingereicht wird, und speichern Sie die resultierende WebenV-Taste in einer projektspezifischen Konfigurationsdatei (unter Verwendung von YAML). 3. Töten Sie am nächsten Morgen den CREETT-ALL.PP-Prozess und führen Sie FETCH-Missing.PP aus, bis es abgeschlossen ist. 4. Starten Sie RESTARM-ALL.PP neu. Wenn Sie "nicht verfügbare" -Sequenzen erneut herunterladen möchten, können Sie das Abruf-UNAVAILACY.PP ausführen. Sie werden jedoch am Ende von FETCH-ALL.PP heruntergeladen, wenn es normal abgeschlossen ist. Wenn Ihr Abfrageergebnissatz so groß ist, dass Ihre WebenV-Zeiten so groß ist, dass Ihre WebenV-Zeiten einfach ein neues Projekt mit diesem letzten Index des vorherigen Projekts starten, und es Wird das Ergebnis von dort abgeholt (mit einem neuen WebenV). (Geplanter Upgrade starten automatisch eine andere Suche.) WARNUNG: Sie können ein (sehr) wenige Sequenzen verlieren, wenn Ihr Download über mehrere Projekte verlängert wird. Unsere Tests zeigen jedoch, dass die mit derselben Abfrage erzeugten Chargen innerhalb weniger Tage voneinander weitgehend identisch sind.Synopsis verwenden Ncbix :: BigFETCH; # Parameter Meine $ params = {project_id => "1", base_dir => "/ home / benutzer / daten", db => "Protein", Query => "Apoptose", return_max => "500"}; # Startprojekt My $ Project = NCBIX :: BIGFETCH-> NEU ($ -PAMPS); # Lieben Sie denjenigen, den Sie mit drucken "Autoren:". $ project-> authoren (). "\n"; # Versuchen Sie alle Stapeln von Sequenzen während ($ project-> rattern_waiting ()) {$ project-> get_next_batch (); } # Fehlende Chargen, während ($ project-> fehlende_batches ()) {$ project-> get_missing_batch (); } # Nicht verfügbare IDs finden My $ IDS = $ project-> nicht verfügbar_ids (); # Rufen Sie nicht verfügbare IDs ab, um meine $ ID (@ $ IDS) {$ project-> get_sequence ($ ID); } Anforderungen: · Perl.

Ncbix :: bigfetch. Zugehörige Software