Django-Roboter Roboter-Ausschlussanwendung für Django, ergänzende Sitemaps.
Jetzt downloaden

Django-Roboter Ranking & Zusammenfassung

Django-Roboter Stichworte

Django Roboter.txt verwalten Roboterausschluss. Django Sitemap. Seitenverzeichnis robots.txt

Django-Roboter Beschreibung

Roboter-Ausschlussanwendung für Django, ergänzende Sitemaps. Django-Roboter ist eine grundlegende Django-Anwendung, um Roboters.txt-Dateien nach dem Roboter-Ausschlussprotokoll zu verwalten, die den Django Sitemap Conomer App ergänzen. Die Roboter-Ausschlussanwendung besteht aus zwei Datenbankmodellen, die mit einer M2M-Beziehung zusammengebunden sind: * Regeln * URLSInstallationGet Quelle von der Anwendungsstelle unter: http: //code.google.com/p/django-robots/to installieren der Sitemap-App folgen Sie diesen Schritten: 1. Befolgen Sie die Anweisungen in der Datei install.txt. Fügen Sie 'Roboter' zu Ihrer Installation_Apps ein. Stellen Sie sicher, dass 'django.template.loaders.app_directories.load_template_source' in Ihrer Template_Loader-Einstellung ist. Es ist standardmäßig da, so dass Sie dies nur ändern müssen, wenn Sie diese Einstellung geändert haben.4. Stellen Sie sicher, dass Sie die Sites Framework.Initialization installiert, um Roboter.txt-Generation auf Ihrer Django-Site zu aktivieren, diese Zeile Ihrem URLCONF hinzuzufügen: (R '^ robots.txt $ ", enthalten (' robots.urls '), dies erzählt Django, um einen Roboter.txt zu erstellen, wenn ein Roboter auf /Robots.txt zugreift. Synchronisieren Sie dann Ihre Datenbank, um die erforderlichen Tabellen zu erstellen und Regelnobjekte in der Administratorschnittstelle oder über die Shell.RulesRule erstellen - Definiert eine abstrakte Regel, mit der auf Crawling Web-Roboter mit dem Roboter-Ausschlussprotokoll, aka robots.txt reagiert wird .Sie können den Multiple-URL-Muster verknüpfen, um den von seinem Benutzeragenten identifizierten Roboter zu ermöglichen, um auf die angegebenen URLs zuzugreifen. Das Kriechzögerungsfeld wird von einigen Suchmaschinen unterstützt und definiert die Verzögerung zwischen aufeinanderfolgenden Raupenzugriffe in Sekunden. Wenn die Crawler-Rate ein Problem für Ihren Server ist, können Sie die Verzögerung bis zu 5 oder 10 oder einen angenehmen Wert für Ihren Server einstellen, es ist jedoch empfohlen, mit kleinen Werten (0,5-1) zu beginnen und je nach Bedarf an einem akzeptablen Wert zu steigen Wert für Ihren Server. Größere Verzögerungswerte Hinzufügen mehr Verzögerung zwischen aufeinanderfolgenden Crawl-Zugriffen und verringern Sie die maximale Crawl-Rate auf Ihrem Webserver. Das Sites-Framework wird verwendet, um mehrere Roboters.txt pro Django-Instanz zu ermöglichen. Wenn keine Regel vorhanden ist, kann jeder Web-Roboter-Zugriff auf jede URL.Bitte einsehen, um die Datenbank von Webrobotern für eine vollständige Liste der vorhandenen Webroboter-User Agent Strings.urlsurl zu betrachten. Definiert ein case-sensitives und genaues URL-Muster, das ist verwendet, um den Zugriff für Web-Roboter zuzulassen oder nicht zuzulassen. Case-sensitive.a fehlender nachlaufender slash übereinstimmt auch Dateien, die mit dem Namen des angegebenen Musters beginnen, z. B. "/ admin '" Matches /admin.html auch. Es können große Suchmaschinen ein Sternchen (*) als Wildcard anpassen Jede Reihenfolge von Zeichen und einem Dollarzeichen ($) an das Ende der URL, z. B. '/*.jpg$', kann verwendet werden, um alle JPEG-Dateien anzupassen. Wenn Sie die Generation der Roboters.txt optional speichern können. Hinzufügen oder Ändern der Roboter_Cache_Timeout-Einstellung mit einem Wert in Sekunden in Ihrer Django-Einstellungsdatei: robots_cache_timeout = 60 * 60 * 24Trans zeigt Django, um die Roboters.txt für 24 Stunden (86400 Sekunden) zu cache. Der Standardwert ist keiner (kein Caching). Anforderungen: · Django · Python

Django-Roboter Zugehörige Software