Logging

2017-12-09T11:05:48Z

Sts00: /* Konfigurationsmöglichkeiten */

{{HSDoku-Links}}

Zur Überwachung von [[Traffic]] stehen für ein Paket verschiedene Logdateien zur Verfügung.

== Pakettraffic zur Abrechnung ==
Der zur Abrechnung herangezogene [[Traffic]] wird pro Tag dem Paketadmin als Logfile zugänglich gemacht. Für jeden Monat wird eine eigene Datei angelegt. Diese ist unter dem Namen
/home/pacs/xyz00/var/traffic-iptables-YYYY-MM.log
zu finden und enthält mehrere durch ein Semikolon voneinander abgetrennte Felder, zum Beispiel:

<pre><nowiki>
# Datum ; Paket ; Monatslimit ; Tageslimit ; Trafficsumme ; IP-Adresse 1 ; Traffic 1 ; IP-Adresse 2 ; Traffic 2
2010-04-01;xyz00;2048;68.267;18.810;10.0.0.1;18.810;10.0.0.2;0.000
2010-04-02;xyz00;2048;68.267;3.567;10.0.0.1;3.567;;0.000
</nowiki></pre>

Dabei bedeuten die Spalten im Einzelnen:

1. Datum der Messung im Format YYYY-MM-DD
2. Name des Pakets
3. Gebuchter Gesamttraffic pro Monat in Megabyte
4. Tägliches Traffic-Kontingent bei gleichmäßigem Verbrauch, in Megabyte
5. Tatsächlich angefallener Traffic am angegebenen Tag in Megabyte (Summe von Spalte 7 und Spalte 9)
6. Primäre IP-Adresse des Pakets am jeweiligen Tag
7. Über die primäre IP-Adresse angefallener Traffic in Megabyte
8. Sekundäre IP-Adresse des Pakets am jeweiligen Tag (ggf.)
9. Über die sekundäre IP-Adresse angefallener Traffic in Megabyte (ggf.)

Auf diesen Zahlen basieren auch die automatisch verschickten Hinweismails zur Trafficnutzung, falls diese an einem Tag über dem rechnerischen Mittelwert liegen sollte.

== HTTP-Logfiles ==
Das Access-Log des Webservers steht im jeweiligen Paket mit wenigen Minuten Verzögerung zur Verfügung und kann unter
/home/pacs/xyz00/var/web.log
eingesehen werden. Kurz nach Mitternacht werden aus dieser Datei einzelne Logfiles für alle abgerufenen Domainnamen generiert und komprimiert abgespeichert. Der Dateiname hat die Form
/home/pacs/xyz00/var/web-www.example.org-YYYYMMDD-HHMI.log.gz
und enthält neben aufgerufener Domain und Subdomain auch Datum und Uhrzeit der Generierung.

Diese Dateien werden normalerweise 48 Tage lang aufgehoben und dann automatisch gelöscht, sofern der Paktet-Admin sie nicht bereits selber gelöscht, umbenannt oder verschoben hat. Siehe aber [[#Konfigurationsmöglichkeiten|weiter unten]] die Möglichkeiten, eine abweichendes Verhalten zu konfigurieren.

Diejenigen Einträge des Error-Logfiles des Webservers, die automatisch einem Hostsharing-Paket zugeordnet werden können, stehen im jeweiligen Paket ebenfalls mit wenigen Minuten Verzögerung zur Verfügung und können unter
/home/pacs/xyz00/var/web.err
eingesehen werden.

== FTP-Logfiles ==

Das Logfile des FTP-Servers liegt nur zentral vor. Einmal pro Nacht werden die für das jeweilige Paket relevanten Einträge des vergangenen Tages gefiltert und unter dem Namen
/home/pacs/xyz00/var/ftp-YYYYMMDD-HHMI.log.gz
als komprimierte Datei abgelegt. Auch hier werden die Logfiles standardmäßig nach 48 Tagen vom System automatisch gelöscht. Siehe aber [[#Konfigurationsmöglichkeiten|weiter unten]] die Möglichkeiten, eine abweichendes Verhalten zu konfigurieren.

Die Felder (Spalten) sind der Reihe nach:

{| class="wikitable"
|- class="hintergrundfarbe5"
! Felder !! Beschreibung
|-
| Datum/Zeit || Datum und Uhrzeit des Log-Eintrags auf localhost im Format DDD MMM dd hh:mm:ss:YYYY
|-
| Dauer||Anzahl der angefangenen Sekunden, die die Datei-Übertragung gedauert hat
|-
| Remote||Domain-Name oder IP-Adresse der Gegenstelle des Transfers (bei SSH-Tunnel immer localhost)
|-
| Größe||Anzahl der Bytes in der übertragenen Datei
|-
| Dateiname||Name oder vollständiger Pfad der übertragenen Datei
|-
| Mode||Übertragungsmodus: a - ASCII b - binär
|-
| Format|| C - Datei wurde komprimiert U - Datei wurde entkomprimiert T - Datei wurde als tar-Archiv versandt _ - Datei wurde nicht verändert
|-
| Richtung|| i - Datei wurde auf localhost hochgeladen (inbound) o - Datei wurde von localhost heruntergeladen (outbound) d - Datei wurde auf localhost gelöscht (delete)
|-
| Zugriff|| r - Der folgende User-name ist ein regulärer user g - Der folgende User-name gehört zu einem Gastzugang mit Password a - Der User-name war "anonymous"; das angegebene Passwort folgt
|-
| User-name||Name des users, der den Zugriff oder die Übertragung vornahm, oder das Passwort, falls der Name "anonymous" war.
|-
| Service||Name des Übertragungsdiensts; normalerweise ftp oder fsp.
|-
| Authentifizierung|| 0 - keine (Standard) 1 - Authentifizierung nach RFC 931
|-
| Auth-User-Id|| Falls ein authentifizierter User vorliegt, dessen Name oder Id; sonst "*".
|-
| Beendigung|| c - Übertragung vollständig i - Übertragung unvollständig
|}

== Mail-Logfiles ==

Ein tägliches Log der POP3- und IMAP-Zugriffe auf Paketuser kann optional bereitgestellt werden. Die [[#Konfigurationsmöglichkeiten|Konfiguration]] wird im nächsten Abschnitt beschrieben. Diese Logfiles werden gegebenenfalls unter dem Namen /home/pacs/xyz00/var/mail-YYYYMMDD-HHMI.log.gz komprimiert abgelegt.

Logs über den Traffic des SMTP-Servers stehen derzeit nur den Hostmastern zur Verfügung. Eine Verteilung der relevanten Einträge auf die Pakete wird angestrebt, ist jedoch durch die vielfältigen Wege einer Mail durch das System (jeweils mit unterschiedlichen Logeinträgen) ein komplexes Problem. Sollten im Einzelfall Auszüge aus den SMTP-Logfiles benötigt werden, bitte per E-Mail bei service@hostsharing.net melden.

== Konfigurationsmöglichkeiten ==

Die nachfolgende Beschreibung zeigt, wie die automatische Erstellung der Traffic-Logs im Paket beeinflusst werden kann. So lässt sich beispielsweise die Erstellung komplett unterdrücken, wenn man an den Logs nicht interessiert ist, oder die Webserverlogs können alternativ im Verzeichnis der Domain oder des Domainadmins angelegt werden.

Die Konfiguration der Features erfolgt zunächst über eine vom Paketadmin anzulegende Steuerdatei. Die Datei muss den Namen <code>/home/pacs/xyz00/etc/config.ini</code> haben.

Diese Datei ist in Abschnitte gegliedert, die jeweils durch einen Abschnittsnamen in eckigen Klammern angeführt werden. In jedem Abschnitt gibt es Parameter, denen ein Wert zugewiesen wird. Der Abschnittsnamen legt der Gültigkeitsbereich der darin festgelegten Parameter fest. Derzeit gibt es neben dem Abschnitt <code>[global]</code>, der die für das gesamte Paket gültige Einstellungen, noch die domainspezifischen Abschnitte. Der Name dieser Abschnitte setzt sich aus dem Prefix <code>dom:</code> und dem jeweiligen Domainnamen zusammen. Leerzeilen sind erlaubt; Kommentare werden durch ein Semikolon am Zeilenanfang gekennzeichnet. Eine Beispielkonfiguration könnte folgendermaßen aussehen:

<pre><nowiki>
;
; config.ini: angepaßtes Logging-Verhalten für das Paket xyz00
;
[global]
mail_log_generate = no
ftp_log_generate = yes
ftp_log_purge = yes
http_domaintraffic = yes
use_domain_config = http_log_generate, http_log_retention

[dom:example.org]
http_log_generate = no

[dom:www.example.org]
http_log_generate = yes
http_log_retention = 10

[dom:beispiel.com]
http_log_directory = domain
http_log_generate = yes
http_log_purge = no
</nowiki></pre>

Derzeit lassen sich in der Konfigurationsdatei folgende Parameter definieren:

* <code>http_log_generate</code> legt fest, ob für das Paket oder die Domain überhaupt Logfiles generiert werden sollen. Die möglichen Werte für diesen Parameter sind <code>yes</code> oder <code>no</code>. Unabhängig davon fließt der produzierte Traffic natürlich in die Abrechnung mit ein. Defaultwert: <code>yes</code>.
* <code>http_log_directory</code> gibt an, wo die Logfiles gesichert werden sollen. Die erlaubten Werte sind <code>pac</code> (Logfiles im var-Verzeichnis des Paketes), <code>domadmin</code> (Logfiles im var-Verzeichnis des Domainadmins) oder <code>domain</code> (Logfiles im var-Verzeichnis der Domain). Defaultwert: <code>pac</code>.
* <code>http_log_purge</code> ermöglicht eine Kontrolle über das automatische Löschen der Logfiles. Bei der Einstellung <code>yes</code> werden die Logfiles wie bisher regelmäßig vom System gelöscht. Die Einstellung <code>no</code> verhindert ein automatisches Löschen. Defaultwert: <code>yes</code>.
* <code>http_log_retention</code> kontrolliert den Zeitraum, nach dem die vorhandenen Logs automatisch gelöscht werden, falls dies durch den vorangegangenen Parameter nicht unterbunden wird. Als Werte sind Ganzzahlen von <code>1</code> bis <code>10000</code> möglich, die dann die Aufbewahrungszeit in Tagen angeben. Defaultwert: <code>48</code>.
* <code>http_domaintraffic</code> ermöglicht die zusätzliche Erzeugung eines Logs mit den Trafficdaten der einzelnen Hosts im Paket. Dies kann mit <code>yes</code> ein- und mit NO ausgeschaltet werden. Defaultwert: <code>no</code>.
* <code>ftp_log_generate</code> steuert analog zu http_log_generate die Generierung der FTP-Logs. Defaultwert: <code>yes</code>.
* <code>ftp_log_purge</code> erlaubt die Kontrolle über das Löschen der FTP-Logs. Defaultwert: <code>yes</code>.
* <code>ftp_log_retention</code> ist für die Festlegung der Aufbewahrungsdauer der FTP-Logs zuständig. Defaultwert: <code>48</code>.
* <code>mail_log_generate</code> legt fest, ob Logfiles über den Mailverkehr des Paketes (derzeit nur POP3 und IMAP) angelegt werden sollen. Defaultwert: <code>no</code>.
* <code>mail_log_purge</code> ermöglicht auch hier die Kontrolle über das Löschen der Maillogs. Defaultwert: <code>no</code>.
* <code>mail_log_retention</code> Kontrolliert analog zu den anderen Parametern die Aufbewahrungsdauer der Maillogs. Defaultwert: <code>48</code>.
* <code>use_domain_config</code> ermöglicht dem Paketadmin, die gezielte Weitergabe der Konfigurationsmöglichkeit an den jeweiligen Domainadmin. Die gültigen Werte sind <code>yes</code> oder <code>all</code> für die Weitergabe aller Konfigurationsmöglichkeiten oder eine durch Kommata unterteilte Liste der gewünschten Parameternamen. Per Default werden keine Parameter durch Domainkonfiguration bestimmt.

Da die Logfiles für Mail- und FTP-Traffic nur Paketweise generiert werden, sind die entsprechenden Parameter nur im Abschnitt <code>[global]</code> erlaubt.

Parameter, die in einem allgemeinen Abschnitt gesetzt werden, können domainspezifisch von gleichnamigen Parametern in einem spezielleren Abschnitt überschrieben werden. Das heißt, ein in <code>[dom:www.example.org]</code> gesetzter Wert gilt für die Domain www.example.org unabhängig von einem Abschnitt <code>[dom:example.org]</code> definierten Wert des gleichnamigen Parameters, und dieser gilt wiederum für example.org unabhängig von einem in <code>[global]</code> eingetragenen Wert.

In der oben angegebenen Beispielkonfiguration wird also keine Generierung der Maillogs gewünscht. Dagegen werden die FTP-Logs (im <code>var/</code>-Verzeichnis des Pakets) generiert und auch wieder automatisch gelöscht. Für die Aufbewahrungsdauer der FTP-Logs ist hier kein Wert festgelegt worden; damit wird der systemweite Default verwendet. Die Defaultwerte sind in der Sektion <code>[pacs]</code> der Datei <code>/usr/local/etc/config.ini</code> hinterlegt.

Durch den Parameter <code>http_domaintraffic</code> wurde die Erzeugung eines zusätzlichen Logfiles mit den Trafficwerten der Einzeldomains aktiviert. Auch dieser Parameter ist nur in der Sektion <code>[global]</code> erlaubt, da er paketweit gilt. Die so erzeugte Datei wird unter dem Namen
/home/pacs/xyz00/var/domaintraffic-http-YYYY-MM.log
angelegt und hat folgendes Format:

<pre><nowiki>
# Datum ; Domain ; Anzahl der Anforderungen ; MB
2003-08-20;xyz00.hostsharing.net;28;0.213
2003-08-20;www.example.net;2;0.001
2003-08-20;www.example.org;147;0.642
2003-08-21;www.example.org;168;0.450
2003-08-22;xyz00.hostsharing.net;75;0.354
2003-08-22;example.net;2;0.001
2003-08-22;www.example.org;64;0.181
</nowiki></pre>

Der Parameter <code>use_domain_config</code> in der <code>config.ini</code> des Domainadmins erlaubt den im Paket eingerichteten Domainadmins, die Erzeugung und Aufbewahrungsfristen der Logs selber zu steuern. Dazu legen die Domainadmins jeweils eine Datei <code>~/etc/config.ini</code> an. Der Paketadmin kann auch den Parameter <code>use_domain_config</code> innerhalb eines Abschnitts für eine Domain setzen.

Nach der Beispielkonfiguration oben werden keine Logfiles über Zugriffe auf die Domain <code>example.org</code> erzeugt, aber doch für die Subdomain <code>www.example.org</code>. Diese Logfiles werden vom System nach 10 Tagen wieder gelöscht, es sei denn, die <code>config.ini</code> des Domainadmins enthält eine andere Einstellung.

Für die Domain <code>beispiel.com</code> werden alle Logfiles im <code>var/</code>-Verzeichnis der Domain (also <code>/home/doms/beispiel.com/var/</code>) erzeugt. Diese Logfiles werden nicht mehr vom System automatsich gelöscht. Da kein besonderer Abschnitt für Subdomains von <code>beispiel.com</code> definiert wird, gelten für alle Subdomains von <code>beispiel.com</code> die gleichen Einstellungen.
----
[[Kategorie:HSDoku]]
[[Kategorie:Traffic]]

Simple Zonefile Howto

2017-12-04T14:01:10Z

Sts00:

In diesem Howto werden einfachere Standardanwendungen für eigene Zonefiles behandelt. Tiefer gehende Erläuterungen finden sich in [[Verwalten der Zonendaten]].

Normalerweise wird von Hostsharing die Konfiguration der Nameserver automatisch erledigt. Das ist einer angepassten Lösung grundsätzlich vorzuziehen. Es entlastet den Anwender von der Pflicht, sein Zonefile bei technischen Änderungen zu überprüfen. Sollte dennoch ein benutzerspezifisches Zonefile erforderlich sein, so verringert der Einsatz möglichst mächtiger Platzhalter den späteren Anpassungsbedarf. In vielen Fällen genügt es, den Platzhalter für das Standardzonefile um eigene Einträge zu ergänzen.

Ist die Verwendung eines angepassten Zonefiles erforderlich, z.B. zur Realisation von DNS-Verweisen auf extern gelagerte Subdomains, der Anbindung externer Server oder der Verwendung eigener Mailserver, kann '''pro Domain''' ein eigenes Zonefile erstellt werden. Dieses befindet sich im Verzeichnis '''[[~/]]doms/example.com/etc''' und trägt den Namen '''pri.example.com''' (example.com steht hier als Beispiel für den wahren Domainnamen). Das Neuanlegen oder eine Änderung dieser Datei führt zu einer baldigen Änderung der Nameservereinträge für die Domain.

{{Textkasten|rot|Warnung!|Das nicht sachgemäße Erstellen eines eigenen Zonefiles kann zur Nichterreichbarkeit der eigenen Domain und zum Verlust von Mails führen! '''Insbesondere sei auf die Fehlerquelle gesetzter bzw. nicht gesetzter abschließender Punkte hingewiesen'''.}}

== alle Web-Inhalte soll auf externe IP-Adresse verweisen ==

Das komplette Zonefile sieht so aus:

<pre>
{HEADER}
{SOA_RR}
{NS_RR}
{MX_RR}
{WILDCARD_MX_RR}
{DOM_HOSTNAME}. IN A 1.2.3.4
*.{DOM_HOSTNAME}. IN A 1.2.3.4
</pre>

1.2.3.4 ist durch die externe IP zu ersetzten.

== Subdomain zuhause.example.com über Anbieter wie dyndns ==

Die Subdomain zuhause.example.com soll über einen Anbieter à la dyndns laufen. Das komplette Zonefile sieht so aus:

<pre>
{DEFAULT_ZONEFILE}
zuhause.{DOM_HOSTNAME}. IN CNAME example.dyndns.org.
</pre>

== Externer Mailserver ==

Wir wollen einen Mailserver extern betreiben, z.B. bei einem Cloud-Anbieter (Mails, Kontakte und Termine schon gecloudt?) oder im Büro. Wir übernehmen also erstmal alles, was {DEFAULT_ZONFILE} liefern würde, außer den MX Resource Records:

<pre>
{HEADER}
{SOA_RR}
{NS_RR}
{A_RR}
{WILDCARD_A_RR}
</pre>

Nun definieren wir den Mailserver:

<pre>
mail.{DOM_HOSTNAME}. IN MX 30 my.cloud.provider.example.com.
</pre>

Oder per fester IP:

<pre>
mail.{DOM_HOSTNAME}. IN A 1.2.3.4
</pre>

Dann legen wir die MX-Konfiguration fest, die besagt, welcher Mailserver für diese Domain zuständig ist:

<pre>
{DOM_HOSTNAME}. IN MX 30 mail.{DOM_HOSTNAME}.
</pre>

Wenn wir Mails auch für Subdomains wollen, brauchen wir zusätzlich:

<pre>
*.{DOM_HOSTNAME}. IN MX 30 mail.{DOM_HOSTNAME}.
</pre>

;Achtung
Damit das interne {{lang|en|mailrouting}} innerhalb des Pakets für die Domain so funktioniert, daß keine lokal eingelieferten {{lang|en|e-mails}} an Mailboxen im Paket zugestellt werden, muß darauf geachtet werden, daß im Paket selber keine {{lang|en|e-mail}}-Adressen für die Domain defniert sind. Standardmäßig werden beim Einrichten einer Domain die Adressen:
abuse@...
postmaster@...
webmaster@...
[https://doc.hostsharing.net/users/administration/domain/index.html Domain]. Bei der oben angeführten MX-Konfiguration müssen diese mit [https://doc.hostsharing.net/users/administration/hsadmin/index.html hsadmin] wieder gelöscht werden.

[[Kategorie:HSDoku]]
[[Kategorie:Zonefile]]
[[Kategorie:DNS]]

Hostsharing Wiki - Benutzerbeiträge [de]

Logging

Simple Zonefile Howto