Contao Installieren

2021-08-19T21:11:42Z

Zuk: Hinweis auf Neuerung in Version 4.12

<pre>
1. Browser / HSAdmin:
Lege einen Domain-User und eine Domain an (Domain wird zuerst technisch angelegt, später bestellt).
Lege einen Datenbank-User und eine Datenbank an.
Lege einen Mail-User (Postfach) und eine Emailadresse für den Systemadministrator an.
2. Shell:
Navigiere zu $HOME des Domain-Users, lege die Verzeichnisse contao und contao/web an.
Lösche die Verzeichnisse doms/<domain>/subs/www, doms/<domain>/subs-ssl/www und doms/<domain>/htdocs-ssl.
Richte einen Symlink ein von /home/pacs/<Paketname>/users/<domain-user>/contao/web auf doms/<domain>/htdocs-ssl.
Lege eine php.ini mit deinen Änderungen an unter doms/<domain>/fastcgi-ssl (falls notwendig).
Kopiere die contao-manager.phar in das Verzeichnis contao/web und rename zu contao-manager.phar.php.
3. Browser / https://<domain>/contao-manager.phar.php:
Installiere Contao.
4. Installationsdetails findest du im Contao-Handbuch: [https://docs.contao.org/manual/de/]
</pre>
<pre>
Seit Version 4.12 unterstützt contao neben "web" auch "public" für das document root. (Der contao manager verwendet allerdings weiter "web".)
</pre>

Mailman 3 installieren

2021-02-23T16:29:40Z

Zuk: /* Mailman Core */ pip install korrigiert

Die folgende Anleitung zur Installation von Mailman 3 auf Hostsharing geht davon aus, dass als Domäne ''lists.example.org'' und als Domänennutzer ''xyz00-lists'' verwendet wird. Es ist zu empfehlen, auszuführende Befehle und Konfigurationen vorab auf zu ersetzende Werte zu prüfen. Alle Befehle sind als Benutzer ''xyz00-lists'' zu starten. Damit mehrere aufeinander folgende Shell-Kommandos leichter kopiert werden können, wird nur vor das jeweils erste Kommando ein ''$'' gesetzt. Zum Verständnis mancher der folgenden Anweisungen kann es hilfreich sein, die [https://mailman.readthedocs.io/ Mailman-Dokumentation] gelesen und sich mit [https://pipenv.readthedocs.io/en/latest/ Pipenv] beschäftigt zu haben.

Achtung: Mailman 3 benötigt zahlreiche Hintergrundprozesse, was beim Managed Webspace zusätzliche Kosten verursacht.

== Datenbank ==
Zunächst muss eine PostgreSQL- oder MySQL-Datenbank angelegt werden. (Mailman läuft auch mit SQLite, ist aber für den Produktivbetrieb nicht empfohlen.) Je nach gewählter Datenbank unterscheiden sich manche Schritte geringfügig, was an den entsprechenden Stellen dokumentiert ist.

== Mailman Core ==
Für die Installation von Mailman Core sind folgende Kommandos auszuführen:
$ pip3 install --user pipenv
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.profile
source ~/.profile
mkdir ~/mailman
cd ~/mailman
pipenv install mailman mailman-hyperkitty
pipenv install psycopg2-binary # Für PostgreSQL
pipenv install pymysql # Für MySQL</code>

Anschließend wird das Verzeichnis für die Konfigurationsdatei angelegt:
$ mkdir -p ~/mailman/var/etc

Die Konfiguration wird in die Datei <code>~/mailman/var/etc/mailman.cfg</code> geschrieben:
[mailman]
site_owner: admin@example.org
default_language: de

[database] # https://mailman.readthedocs.io/en/latest/src/mailman/docs/database.html
class: mailman.database.postgresql.PostgreSQLDatabase
url: postgres://myuser:mypassword@mypghost/mailman
# Fallls MySQL verwendet:
#class: mailman.database.mysql.MySQLDatabase
#url: mysql+pymysql://myuser:mypassword@mymysqlhost/mailman?charset=utf8&use_unicode=1
# SQLite ist Standard, wenn nichts konfiguriert ist

[webservice] # REST Service von Mailman. Wird von [[#Web_Frontend|Web Frontend]] verwendet
port: 8001 # ändern, falls belegt
admin_user: restadmin
admin_pass: restpass

[mta]
smtp_host: xyz00.hostsharing.net
smtp_port: 4587
smtp_user: xyz00-lists
smtp_pass: secret
smtp_secure_mode: starttls
# VERP ist nicht möglich, da [https://de.wikipedia.org/wiki/Mail_Transfer_Agent MTA] nicht selbst konfiguriert werden kann
verp_confirm_format: $address
# https://mailman.readthedocs.io/en/latest/src/mailman/docs/mta.html
# NullMTA, da MTA nicht selbst konfiguriert werden kann
incoming: mailman.mta.null.NullMTA
lmtp_port: 8024 # ändern, falls belegt

[runner.nntp]
# Runner für [https://de.wikipedia.org/wiki/Network_News_Transfer_Protocol NNTP] Gateway ausschalten
start: no

[archiver.hyperkitty]
class: mailman_hyperkitty.Archiver
enable: yes
# $HOME muss durch den tatsächlichen Pfad zum Benutzerverzeichnis ersetzt werden
configuration: $HOME/mailman/var/etc/mailman-hyperkitty.cfg

Zugriffsrechte einschränken:
$ chmod 0600 ~/mailman/var/etc/mailman.cfg

Damit Hyperkitty als [[#Web_Frontend|Web Frontend]] für das Archiv verwendet werden kann, ist in die Datei <code>~/mailman/var/etc/mailman-hyperkitty.cfg</code> Foglendes zu schreiben:
[general]
base_url: <nowiki>https://lists.example.org/hyperkitty/</nowiki>
# Muss identisch mit Key in Hyperkitty sein
api_key: SecretArchiverAPIKey

Zugriffsrechte einschränken:
$ chmod 0600 ~/mailman/var/etc/mailman-hyperkitty.cfg

Kommando ''mailman'' anlegen:
$ cat <<'EOD' >~/.local/bin/mailman
#!/bin/sh

cd ~/mailman
pipenv run mailman "$@"
EOD

chmod +x ~/.local/bin/mailman

Nun kann mit <code>mailman info</code> nochmal die aktuelle Konfiguration geprüft werden.
Danach kann Mailman gestartet werden:
$ mailman start

== Web Frontend ==
In diesem Abschnitt wird die Installation des Web Frontends beschrieben.

Zunächst werden die Redirects aus der <code>.htaccess</code> gelöscht:
$ echo "" > ~/doms/lists.example.org/htdocs-ssl/.htaccess

Anschließend werden die erforderlichen Python-Pakete installiert:
$ cd ~/mailman
pipenv install whoosh postorius hyperkitty

Um Plattenplatz freizugeben, kann optional der Pip Cache gelöscht werden:
$ rm -r ~/.cache/pip*

Nun werden die Dateien geladen, mit denen Postorius und Hyperkitty konfiguriert und gestartet werden:
$ git clone https://gitlab.com/mailman/mailman-suite.git

Zur Konfiguration von Hyperkitty wird die IP-Adresse benötigt, von der die Anfragen von Mailman Core kommen. Diese kann wie folgt ermittelt werden:
$ cat <<EOD >~/doms/lists.example.org/htdocs-ssl/ip.php
<?php
echo \$_SERVER['REMOTE_ADDR'] . "\n";
EOD
curl <nowiki>https://lists.example.org/ip.php</nowiki>
rm ~/doms/lists.example.org/htdocs-ssl/ip.php

Die Konfiguration wird nun in Die Datei <code>~/mailman/mailman-suite/mailman-suite_project/settings_local.py</code> geschrieben:
SECRET_KEY = 'change-this-on-your-production-server'
Debug = False
ADMINS = (
('Mailman Suite Admin', 'admin@example.org'),
)
ALLOWED_HOSTS = [
'lists.example.org',
]
MAILMAN_REST_API_URL = '<nowiki>http://localhost:8001</nowiki>'
MAILMAN_REST_API_USER = 'restadmin'
MAILMAN_REST_API_PASS = 'restpass'
MAILMAN_ARCHIVER_KEY = 'SecretArchiverAPIKey'
MAILMAN_ARCHIVER_FROM = ('<IP von Mailman Core>')

# Authentifizierung über externe Dienste ausschalten (s. django-allauth)
from settings import INSTALLED_APPS
INSTALLED_APPS = filter(lambda app: not app.startswith('allauth.socialaccount.') and app != 'django_mailman3.lib.auth.fedora', INSTALLED_APPS)
INSTALLED_APPS = (
'hyperkitty',
'postorius',
'django_mailman3',
# Uncomment the next line to enable the admin:
'django.contrib.admin',
# Uncomment the next line to enable admin documentation:
# 'django.contrib.admindocs',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.sites',
'django.contrib.messages',
'django.contrib.staticfiles',
'rest_framework',
'django_gravatar',
'compressor',
'haystack',
'django_extensions',
'django_q',
'allauth',
'allauth.account',
'allauth.socialaccount',
)

# Standardkonfiguration verwendet SQLite
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.postgresql_psycopg2', # Für MySQL: django.db.backends.mysql
'HOST': 'localhost',
'NAME': 'database_name',
'USER': 'database_user',
'PASSWORD': 'database_password',
}
}

LANGUAGE_CODE = 'de-de'
TIME_ZONE = 'Europe/Berlin'
DEFAULT_FROM_EMAIL = 'mailing-lists@example.org'
SERVER_EMAIL = 'mailing-lists@example.org'
EMAIL_BACKEND = 'django.core.mail.backends.smtp.EmailBackend'
EMAIL_HOST = 'xyz00.hostsharing.net'
EMAIL_PORT = 4587
EMAIL_USE_TLS = True
EMAIL_HOST_USER = 'xyz00-lists'
EMAIL_HOST_PASSWORD = 'secret'
EMAIL_TIMEOUT = 60

ACCOUNT_DEFAULT_HTTP_PROTOCOL = 'https'

COMPRESS_PRECOMPILERS = (
('text/less', 'lessc {infile} {outfile}'),
('text/x-scss', 'sass -t compressed {infile} {outfile}'),
('text/x-sass', 'sass -t compressed {infile} {outfile}'),
)
COMPRESS_OFFLINE = True

# Workeranzahl reduzieren (optional)
Q_CLUSTER = {
'workers': 1,
'timeout': 300,
'save_limit': 100,
'orm': 'default',
}

Hinweis: Die Einstellungen in <code>settings_local.py</code> überschreiben solche in <code>settings.py</code>. Zwar kann <code>settings.py</code> auch direkt angepasst werden, auf diese Weise werden jedoch mögliche Konflikte beim Update vermieden. <code>settings.py</code> sollte dennoch dahingehend geprüft werden, ob man ggf. weitere Optionen ändern möchte.

Das Mailman Web Frontend nutzt das Framework Django. Einige der Einstellungen sind in der [https://docs.djangoproject.com/en/2.2/ref/settings/ Dokumentation von Django] beschrieben, andere konfigurieren eine der in <code>INSTALLED_APPS</code> definierten Anwendungen.

Damit per Django verfügbare Kommandos leicht ausgeführt werden können, wird der Befehl ''mailman-django'' eingerichtet:
$ cat <<'EOD' >~/.local/bin/mailman-django
#!/bin/sh

cd ~/mailman
pipenv run mailman-suite/mailman-suite_project/manage.py "$@"
EOD

chmod +x ~/.local/bin/mailman-django

Anschließend können folgende Kommandos ausgeführt werden:
$ mailman-django migrate
mailman-django collectstatic
mailman-django compress
mailman-django createsuperuser

Nun müssen die statischen Dateien für das Web Frontend noch per HTTPS verfügbar gemacht werden:
$ ln -s ~/mailman/mailman-suite/mailman-suite_project/static ~/doms/lists.example.org/htdocs-ssl/

Damit das Web Frontend per [[Phusion_Passenger|Phusion Passenger]] geladen werden kann:
$ cat <<EOD >~/doms/lists.example.org/app-ssl/passenger_wsgi.py
import os
import subprocess
import sys

os.environ['LANG'] = 'C.UTF-8'
os.environ['LC_ALL'] = 'C.UTF-8'

HOME = os.getenv('HOME')
PIPENV = os.path.join(HOME, '.local', 'bin', 'pipenv')
PIPFILE_DIR = os.path.join(HOME, 'mailman')
INTERP = subprocess.check_output([PIPENV, 'run', 'which', 'python'], cwd=PIPFILE_DIR).strip().decode('utf-8')
if sys.executable != INTERP:
os.execl(INTERP, INTERP, *sys.argv)

WSGI_DIR = os.path.join(HOME, 'mailman', 'mailman-suite', 'mailman-suite_project')
sys.path.append(WSGI_DIR)

from wsgi import application
EOD

Nun steht das Web Frontend unter <code><nowiki>https://lists.example.org/</nowiki></code> zur Verfügung. Über die Django Administration sollte unter <code><nowiki>https://lists.example.org/admin/sites/site/1/change/</nowiki></code> die Domäne angepasst werden.

== Cron Jobs ==
Es sind verschiedene Cron Jobs erforderlich. Hierzu <code>crontab -e</code> ausführen und Folgendes eintragen:
# An die in MAILTO eingetragene Adressen werden Ausgaben der Cron Jobs gesendet (optional)
#MAILTO=admin@example.org
PATH=$HOME/.local/bin:$PATH

@reboot mailman start

# Send periodic digests.
@daily mailman digests --send

@reboot mailman-django qcluster
# Alternativ qcluster minütlich ausführen
# * * * * * mailman-django qcluster --run-once

* * * * * mailman-django runjobs minutely
2,17,32,47 * * * * mailman-django runjobs quarter_hourly
@hourly mailman-django runjobs hourly
@daily mailman-django runjobs daily
@weekly mailman-django runjobs weekly
@monthly mailman-django runjobs monthly
@yearly mailman-django runjobs yearly

Hinweis: Der Einfachheit halber wird hier für ''mailman start'' und ''qcluster'' <code>@reboot</code> verwendet. Besser wäre der Einsatz von monit. Beim Einsatz von monit würde sich auch der Neustart der Dienste nach einem [[#Update|Update]] ändern. (Anleitung gerne anpassen, sollte jemand monit einrichten.)

== Mails an Mailman weiterleiten ==
Da die MTA-Konfiguration nicht direkt angepasst werden kann, ist ein Hilfskonstrukt erforderlich: Mittels ''.forward-Dateien'' und ''.promailrc'' werden eingehende Mails an das Programm msmtp weitergeleitet, welches diese per [https://de.wikipedia.org/wiki/Local_Mail_Transfer_Protocol LMTP] bei Mailman abliefert. msmtp ist auf den Managed Servern vorinstalliert.
Dazu lege ich im $HOME des Users zwei Dateien an: '.forward' bekommt die Mails vom Postfix-Mailserver übergeben und leitet weiter an procmail, das über die Datei '.procmailrc' konfiguriert wird.

~$ cat .forward
"|/usr/bin/procmail -p"

~$ cat .procmailrc
SHELL=/bin/sh
HOMEDIR=/home/pacs/xyz00/users/lists
MAILDIR=/home/pacs/xyz00/users/lists/Maildir
PMDIR=/home/pacs/xyz00/users/lists
VERBOSE=yes
LOGFILE=/home/pacs/xyz00/users/lists/var/procmail.log
DEFAULT

:0:
* ^X-Original-To: ()\/[^@+]+
|/usr/bin/msmtp --host=127.0.0.1 --port=8024 --protocol=lmtp --read-envelope-from ${MATCH}@lists.example.org

:0
{ EXITCODE 67 }

Die Mailadresse wird als Catchall-Adresse in HSAdmin angelegt. Bei einer Catchall-Adresse wird als "localpart" ein leerer String angegeben.

== Liste anlegen ==
Damit Mailman tatsächlich genutzt werden kann, muss natürlich eine Liste eingerichtet werden.

Mit den folgenden Kommandos werden eine Liste in Mailman erstellt, E-Mail-Adressen angelegt sowie Weiterleitungen konfiguriert:
$ LISTNAME=test
DOMAIN_ADMIN=xyz00
DOMAIN_USER=xyz00-lists
DOMAIN=lists.example.org
LMTP_PORT=8024 # In Mailman Core konfigurierter Port

mailman create $LISTNAME@$DOMAIN # Alternativ über Web Frontend

== Update ==
Mailman lässt sich wie im Folgenden beschrieben aktualisieren.

Python-Pakete für die Aktualisierungen vorliegen ausgeben:
$ cd ~/mailman
pipenv update --outdated

Vor dem eigentlichen Update empfiehlt es sich, die Release Notes (zumindest von Mailman) zu lesen und auf relevante Änderungen zu prüfen.

Update der Pakete:
$ pipenv update

Ggf. Pip Cache löschen:
$ rm -r ~/.cache/pip*

Anschließend werden die Dateien aus dem ''mailman-suite'' Git-Repository aktualisiert. Vor dem Übernehmen der Änderungen (merge), sollten die Commit Logs und die Änderungen begutachtet werden, um festzustellen, ob ggf. die Konfiguration anzupassen ist:
$ cd mailman-suite
git fetch origin
git log master..origin/master # Zeigt Commit logs
git diff master..origin/master # Zeigt Änderungen

Änderungen übernehmen:
$ git merge origin/master

Abschließend die verschiedenen Dienste neu starten:
$ mailman restart

qcluster neu starten, wenn als Dienst und nicht als Cron Job gestartet:
$ pkill --oldest --full 'mailman-suite_project/manage.py qcluster$'
mailman-django qcluster &disown

Web Frontend neu starten:
$ mkdir -p ~/doms/<domain>/app-ssl/tmp
touch ~/doms/<domain>/app-ssl/tmp/restart.txt

Zur Aktualisierung von msmtp können die Schritte zur Installation (mit angepasster Versionsnummer) wiederholt werden.

[[Kategorie:HSDoku]]
[[Kategorie:Installationsanleitungen]]
[[Kategorie:Software]]
[[Kategorie:Mailinglisten]]
[[Kategorie:E-Mail]]

Hostsharing Wiki - Benutzerbeiträge [de]

Contao Installieren

Mailman 3 installieren