Logging

Hostsharing Dokumentation – die Hauptbereiche

Einstieg | Hsadmin | Pakete | User | Domains | Cron | Logging | E-Mail | WWW
Datenbanken | Backup & Restore | Installationsanleitungen | FAQ | Bugtracker

 

Zur Überwachung von Traffic stehen für ein Paket verschiedene Logdateien zur Verfügung.

Pakettraffic zur Abrechnung

Der zur Abrechnung herangezogene Traffic wird pro Tag dem Paketadmin als Logfile zugänglich gemacht. Für jeden Monat wird eine eigene Datei angelegt. Diese ist unter dem Namen

/home/pacs/xyz00/var/traffic-iptables-YYYY-MM.log

zu finden und enthält mehrere durch ein Semikolon voneinander abgetrennte Felder, zum Beispiel:

# Datum ; Paket ; Monatslimit ; Tageslimit ; Trafficsumme ; IP-Adresse 1 ; Traffic 1 ; IP-Adresse 2 ; Traffic 2
2010-04-01;xyz00;2048;68.267;18.810;10.0.0.1;18.810;10.0.0.2;0.000
2010-04-02;xyz00;2048;68.267;3.567;10.0.0.1;3.567;;0.000

Dabei bedeuten die Spalten im Einzelnen:

1. Datum der Messung im Format YYYY-MM-DD
2. Name des Pakets
3. Gebuchter Gesamttraffic pro Monat in Megabyte
4. Tägliches Traffic-Kontingent bei gleichmäßigem Verbrauch, in Megabyte
5. Tatsächlich angefallener Traffic am angegebenen Tag in Megabyte (Summe von Spalte 7 und Spalte 9)
6. Primäre IP-Adresse des Pakets am jeweiligen Tag
7. Über die primäre IP-Adresse angefallener Traffic in Megabyte
8. Sekundäre IP-Adresse des Pakets am jeweiligen Tag (ggf.)
9. Über die sekundäre IP-Adresse angefallener Traffic in Megabyte (ggf.)

Auf diesen Zahlen basieren auch die automatisch verschickten Hinweismails zur Trafficnutzung, falls diese an einem Tag über dem rechnerischen Mittelwert liegen sollte.

HTTP-Logfiles

Das Access-Log des Webservers steht im jeweiligen Paket mit wenigen Minuten Verzögerung zur Verfügung und kann unter

/home/pacs/xyz00/var/web.log

eingesehen werden. Kurz nach Mitternacht werden aus dieser Datei einzelne Logfiles für alle abgerufenen Domainnamen generiert und komprimiert abgespeichert. Der Dateiname hat die Form

/home/pacs/xyz00/var/web-www.example.org-YYYYMMDD-HHMI.log.gz

und enthält neben aufgerufener Domain und Subdomain auch Datum und Uhrzeit der Generierung.

Diese Dateien werden normalerweise 48 Tage lang aufgehoben und dann automatisch gelöscht, sofern der Paket-Admin sie nicht bereits selber gelöscht, umbenannt oder verschoben hat. Siehe aber weiter unten die Möglichkeiten, eine abweichendes Verhalten zu konfigurieren.

Diejenigen Einträge des Error-Logfiles des Webservers, die automatisch einem Hostsharing-Paket zugeordnet werden können, stehen im jeweiligen Paket ebenfalls mit wenigen Minuten Verzögerung zur Verfügung und können unter

/home/pacs/xyz00/var/web.err

eingesehen werden.

FTP-Logfiles

Das Logfile des FTP-Servers liegt nur zentral vor. Einmal pro Nacht werden die für das jeweilige Paket relevanten Einträge des vergangenen Tages gefiltert und unter dem Namen

/home/pacs/xyz00/var/ftp-YYYYMMDD-HHMI.log.gz

als komprimierte Datei abgelegt. Auch hier werden die Logfiles standardmäßig nach 48 Tagen vom System automatisch gelöscht. Siehe aber weiter unten die Möglichkeiten, eine abweichendes Verhalten zu konfigurieren.

Die Felder (Spalten) sind der Reihe nach:

Felder	Beschreibung
Datum/Zeit	Datum und Uhrzeit des Log-Eintrags auf localhost im Format DDD MMM dd hh:mm:ss:YYYY
Dauer	Anzahl der angefangenen Sekunden, die die Datei-Übertragung gedauert hat
Remote	Domain-Name oder IP-Adresse der Gegenstelle des Transfers (bei SSH-Tunnel immer localhost)
Größe	Anzahl der Bytes in der übertragenen Datei
Dateiname	Name oder vollständiger Pfad der übertragenen Datei
Mode	Übertragungsmodus: a - ASCII b - binär
Format	C - Datei wurde komprimiert U - Datei wurde entkomprimiert T - Datei wurde als tar-Archiv versandt _ - Datei wurde nicht verändert
Richtung	i - Datei wurde auf localhost hochgeladen (inbound) o - Datei wurde von localhost heruntergeladen (outbound) d - Datei wurde auf localhost gelöscht (delete)
Zugriff	r - Der folgende User-name ist ein regulärer user g - Der folgende User-name gehört zu einem Gastzugang mit Password a - Der User-name war "anonymous"; das angegebene Passwort folgt
User-name	Name des users, der den Zugriff oder die Übertragung vornahm, oder das Passwort, falls der Name "anonymous" war.
Service	Name des Übertragungsdiensts; normalerweise ftp oder fsp.
Authentifizierung	0 - keine (Standard) 1 - Authentifizierung nach RFC 931
Auth-User-Id	Falls ein authentifizierter User vorliegt, dessen Name oder Id; sonst "*".
Beendigung	c - Übertragung vollständig i - Übertragung unvollständig

Mail-Logfiles

Ein tägliches Log der POP3- und IMAP-Zugriffe auf Paketuser kann optional bereitgestellt werden. Die Konfiguration wird im nächsten Abschnitt beschrieben. Diese Logfiles werden gegebenenfalls unter dem Namen /home/pacs/xyz00/var/mail-YYYYMMDD-HHMI.log.gz komprimiert abgelegt.

Logs über den Traffic des SMTP-Servers stehen derzeit nur den Hostmastern zur Verfügung. Eine Verteilung der relevanten Einträge auf die Pakete wird angestrebt, ist jedoch durch die vielfältigen Wege einer Mail durch das System (jeweils mit unterschiedlichen Logeinträgen) ein komplexes Problem. Sollten im Einzelfall Auszüge aus den SMTP-Logfiles benötigt werden, bitte per E-Mail bei service@hostsharing.net melden.

Summe des Traffic pro Paket anzeigen:

zcat /home/pacs/xyz00/var/mail-YYYYMMDD-HHMI.log.gz | grep xyz00 | grep "size=" | awk -F "size=" '{print $2}' | awk -F "/" '{s+=$1} END {printf "size: %d\n", s}'

Konfigurationsmöglichkeiten

Die nachfolgende Beschreibung zeigt, wie die automatische Erstellung der Traffic-Logs im Paket beeinflusst werden kann. So lässt sich beispielsweise die Erstellung komplett unterdrücken, wenn man an den Logs nicht interessiert ist, oder die Webserverlogs können alternativ im Verzeichnis der Domain oder des Domainadmins angelegt werden.

Die Konfiguration der Features erfolgt zunächst über eine vom Paketadmin anzulegende Steuerdatei. Die Datei muss den Namen /home/pacs/xyz00/etc/config.ini haben.

Diese Datei ist in Abschnitte gegliedert, die jeweils durch einen Abschnittsnamen in eckigen Klammern angeführt werden. In jedem Abschnitt gibt es Parameter, denen ein Wert zugewiesen wird. Der Abschnittsnamen legt der Gültigkeitsbereich der darin festgelegten Parameter fest. Derzeit gibt es neben dem Abschnitt [global], der die für das gesamte Paket gültige Einstellungen, noch die domainspezifischen Abschnitte. Der Name dieser Abschnitte setzt sich aus dem Prefix dom: und dem jeweiligen Domainnamen zusammen. Leerzeilen sind erlaubt; Kommentare werden durch ein Semikolon am Zeilenanfang gekennzeichnet. Eine Beispielkonfiguration könnte folgendermaßen aussehen:

;
; config.ini: angepaßtes Logging-Verhalten für das Paket xyz00
;
[global]
mail_log_generate       = no
ftp_log_generate        = yes
ftp_log_purge           = yes
http_domaintraffic      = yes
use_domain_config       = http_log_generate, http_log_retention

[dom:example.org]
http_log_generate       = no

[dom:www.example.org]
http_log_generate       = yes
http_log_retention      = 10

[dom:beispiel.com]
http_log_directory      = domain
http_log_generate       = yes
http_log_purge          = no

Derzeit lassen sich in der Konfigurationsdatei folgende Parameter definieren:

• http_log_generate legt fest, ob für das Paket oder die Domain überhaupt Logfiles generiert werden sollen. Die möglichen Werte für diesen Parameter sind yes oder no. Unabhängig davon fließt der produzierte Traffic natürlich in die Abrechnung mit ein. Defaultwert: yes.
• http_log_directory gibt an, wo die Logfiles gesichert werden sollen. Die erlaubten Werte sind pac (Logfiles im var-Verzeichnis des Paketes), domadmin (Logfiles im var-Verzeichnis des Domainadmins) oder domain (Logfiles im var-Verzeichnis der Domain). Defaultwert: pac.
• http_log_purge ermöglicht eine Kontrolle über das automatische Löschen der Logfiles. Bei der Einstellung yes werden die Logfiles wie bisher regelmäßig vom System gelöscht. Die Einstellung no verhindert ein automatisches Löschen. Defaultwert: yes.
• http_log_retention kontrolliert den Zeitraum, nach dem die vorhandenen Logs automatisch gelöscht werden, falls dies durch den vorangegangenen Parameter nicht unterbunden wird. Als Werte sind Ganzzahlen von 1 bis 10000 möglich, die dann die Aufbewahrungszeit in Tagen angeben. Defaultwert: 48.
• http_domaintraffic ermöglicht die zusätzliche Erzeugung eines Logs mit den Trafficdaten der einzelnen Hosts im Paket. Dies kann mit yes ein- und mit NO ausgeschaltet werden. Defaultwert: no.
• ftp_log_generate steuert analog zu http_log_generate die Generierung der FTP-Logs. Defaultwert: yes.
• ftp_log_purge erlaubt die Kontrolle über das Löschen der FTP-Logs. Defaultwert: yes.
• ftp_log_retention ist für die Festlegung der Aufbewahrungsdauer der FTP-Logs zuständig. Defaultwert: 48.
• mail_log_generate legt fest, ob Logfiles über den Mailverkehr des Paketes (derzeit nur POP3 und IMAP) angelegt werden sollen. Defaultwert: no.
• mail_log_purge ermöglicht auch hier die Kontrolle über das Löschen der Maillogs. Defaultwert: no.
• mail_log_retention Kontrolliert analog zu den anderen Parametern die Aufbewahrungsdauer der Maillogs. Defaultwert: 48.
• use_domain_config ermöglicht dem Paketadmin, die gezielte Weitergabe der Konfigurationsmöglichkeit an den jeweiligen Domainadmin. Die gültigen Werte sind yes oder all für die Weitergabe aller Konfigurationsmöglichkeiten oder eine durch Kommata unterteilte Liste der gewünschten Parameternamen. Per Default werden keine Parameter durch Domainkonfiguration bestimmt.

Da die Logfiles für Mail- und FTP-Traffic nur Paketweise generiert werden, sind die entsprechenden Parameter nur im Abschnitt [global] erlaubt.

Parameter, die in einem allgemeinen Abschnitt gesetzt werden, können domainspezifisch von gleichnamigen Parametern in einem spezielleren Abschnitt überschrieben werden. Das heißt, ein in [dom:www.example.org] gesetzter Wert gilt für die Domain www.example.org unabhängig von einem Abschnitt [dom:example.org] definierten Wert des gleichnamigen Parameters, und dieser gilt wiederum für example.org unabhängig von einem in [global] eingetragenen Wert.

In der oben angegebenen Beispielkonfiguration wird also keine Generierung der Maillogs gewünscht. Dagegen werden die FTP-Logs (im var/-Verzeichnis des Pakets) generiert und auch wieder automatisch gelöscht. Für die Aufbewahrungsdauer der FTP-Logs ist hier kein Wert festgelegt worden; damit wird der systemweite Default verwendet. Die Defaultwerte sind in der Sektion [pacs] der Datei /usr/local/etc/config.ini hinterlegt.

Durch den Parameter http_domaintraffic wurde die Erzeugung eines zusätzlichen Logfiles mit den Trafficwerten der Einzeldomains aktiviert. Auch dieser Parameter ist nur in der Sektion [global] erlaubt, da er paketweit gilt. Die so erzeugte Datei wird unter dem Namen

/home/pacs/xyz00/var/domaintraffic-http-YYYY-MM.log

angelegt und hat folgendes Format:

# Datum ; Domain ; Anzahl der Anforderungen ; MB
2003-08-20;xyz00.hostsharing.net;28;0.213
2003-08-20;www.example.net;2;0.001
2003-08-20;www.example.org;147;0.642
2003-08-21;www.example.org;168;0.450
2003-08-22;xyz00.hostsharing.net;75;0.354
2003-08-22;example.net;2;0.001
2003-08-22;www.example.org;64;0.181

Der Parameter use_domain_config in der config.ini des Domainadmins erlaubt den im Paket eingerichteten Domainadmins, die Erzeugung und Aufbewahrungsfristen der Logs selber zu steuern. Dazu legen die Domainadmins jeweils eine Datei ~/etc/config.ini an. Der Paketadmin kann auch den Parameter use_domain_config innerhalb eines Abschnitts für eine Domain setzen.

Nach der Beispielkonfiguration oben werden keine Logfiles über Zugriffe auf die Domain example.org erzeugt, aber doch für die Subdomain www.example.org. Diese Logfiles werden vom System nach 10 Tagen wieder gelöscht, es sei denn, die config.ini des Domainadmins enthält eine andere Einstellung.

Für die Domain beispiel.com werden alle Logfiles im var/-Verzeichnis der Domain (also /home/doms/beispiel.com/var/) erzeugt. Diese Logfiles werden nicht mehr vom System automatsich gelöscht. Da kein besonderer Abschnitt für Subdomains von beispiel.com definiert wird, gelten für alle Subdomains von beispiel.com die gleichen Einstellungen.

---