Mailman 3 installieren: Unterschied zwischen den Versionen

Aus Hostsharing Wiki
Zur Navigation springen Zur Suche springen
 
(17 dazwischenliegende Versionen von 7 Benutzern werden nicht angezeigt)
Zeile 8: Zeile 8:
== Mailman Core ==
== Mailman Core ==
Für die Installation von Mailman Core sind folgende Kommandos auszuführen:
Für die Installation von Mailman Core sind folgende Kommandos auszuführen:
$ pip3 install --user pipenv
 
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.profile
<syntaxhighlight lang="bash" line>
source ~/.profile
pip3 install --user pipenv
mkdir ~/mailman
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.profile
cd ~/mailman
source ~/.profile
pipenv install mailman mailman-hyperkitty
mkdir ~/mailman
pipenv install psycopg2-binary # Für PostgreSQL
cd ~/mailman
pipenv install pymsql # Für MySQL</code>
pipenv install mailman
pipenv install mailman_hyperkitty
pipenv install psycopg2-binary # Für PostgreSQL
pipenv install pymysql # Für MySQL
</syntaxhighlight>
 
Hinweis: Das Kommando <code>pipenv</code> muss immer im Verzeichnis <code>~/mailman</code> ausgeführt werden.


Anschließend wird das Verzeichnis für die Konfigurationsdatei angelegt:
Anschließend wird das Verzeichnis für die Konfigurationsdatei angelegt:
$ mkdir -p ~/mailman/var/etc
<syntaxhighlight lang="bash">
mkdir -p ~/mailman/etc
</syntaxhighlight>
 
Die Konfiguration wird in die Datei <code>~/mailman/core/etc/mailman.cfg</code> geschrieben:
 
 
<syntaxhighlight lang="ini" line>
[mailman]
site_owner: admin@example.org
default_language: de
 
[paths.here]
var_dir: $cwd/core
 
[database] # https://mailman.readthedocs.io/en/latest/src/mailman/docs/database.html
class: mailman.database.postgresql.PostgreSQLDatabase
url: postgresql://myuser:mypassword@mypghost/mailman
# Fallls MySQL verwendet:
#class: mailman.database.mysql.MySQLDatabase
#url: mysql+pymysql://myuser:mypassword@mymysqlhost/mailman?charset=utf8&use_unicode=1
# SQLite ist Standard, wenn nichts konfiguriert ist
 
[webservice] # REST Service von Mailman. Wird von [[#Web_Frontend|Web Frontend]] verwendet
port: 8001 # ändern, falls belegt
admin_user: restadmin
admin_pass: restpass
 
[mta]
smtp_host: xyz00.hostsharing.net
smtp_port: 4587
smtp_user: xyz00-lists
smtp_pass: secret
smtp_secure_mode: starttls
# https://mailman.readthedocs.io/en/latest/src/mailman/docs/mta.html
# NullMTA, da MTA nicht selbst konfiguriert werden kann
incoming: mailman.mta.null.NullMTA
lmtp_port: 8024 # ändern, falls belegt
 
[runner.nntp]
# Runner für [https://de.wikipedia.org/wiki/Network_News_Transfer_Protocol NNTP] Gateway ausschalten
start: no


Die Konfiguration wird in die Datei <code>~/mailman/var/etc/mailman.cfg</code> geschrieben:
[archiver.hyperkitty]
[mailman]
class: mailman_hyperkitty.Archiver
site_owner: admin@example.org
enable: yes
default_language: de
# $HOME muss durch den tatsächlichen Pfad zum Benutzerverzeichnis ersetzt werden
configuration: $HOME/mailman/core/etc/mailman-hyperkitty.cfg
[database] # https://mailman.readthedocs.io/en/latest/src/mailman/docs/database.html
</syntaxhighlight>
class: mailman.database.postgresql.PostgreSQLDatabase
url: postgres://myuser:mypassword@mypghost/mailman
# Fallls MySQL verwendet:
#class: mailman.database.mysql.MySQLDatabase
#url: mysql+pymysql://myuser:mypassword@mymysqlhost/mailman?charset=utf8&use_unicode=1
# SQLite ist Standard, wenn nichts konfiguriert ist
[webservice] # REST Service von Mailman. Wird von [[#Web_Frontend|Web Frontend]] verwendet
port: 8001 # ändern, falls belegt
admin_user: restadmin
admin_pass: restpass
[mta]
smtp_host: xyz00.hostsharing.net
smtp_port: 4587
smtp_user: xyz00-lists
smtp_pass: secret
smtp_secure_mode: starttls
# VERP ist nicht möglich, da [https://de.wikipedia.org/wiki/Mail_Transfer_Agent MTA] nicht selbst konfiguriert werden kann
verp_confirm_format: $address
# https://mailman.readthedocs.io/en/latest/src/mailman/docs/mta.html
# NullMTA, da MTA nicht selbst konfiguriert werden kann
incoming: mailman.mta.null.NullMTA
lmtp_port: 8024 # ändern, falls belegt
[runner.nntp]
# Runner für [https://de.wikipedia.org/wiki/Network_News_Transfer_Protocol NNTP] Gateway ausschalten
start: no
[archiver.hyperkitty]
class: mailman_hyperkitty.Archiver
enable: yes
# $HOME muss durch den tatsächlichen Pfad zum Benutzerverzeichnis ersetzt werden
configuration: $HOME/mailman/var/etc/mailman-hyperkitty.cfg


Zugriffsrechte einschränken:
Zugriffsrechte einschränken:
$ chmod 0600 ~/mailman/var/etc/mailman.cfg
<syntaxhighlight lang="bash">chmod 0600 ~/mailman/core/etc/mailman.cfg</syntaxhighlight>


Damit Hyperkitty als [[#Web_Frontend|Web Frontend]] für das Archiv verwendet werden kann, ist in die Datei <code>~/mailman/var/etc/mailman-hyperkitty.cfg</code> Foglendes zu schreiben:
Damit Hyperkitty als [[#Web_Frontend|Web Frontend]] für das Archiv verwendet werden kann, ist in die Datei <code>~/mailman/core/etc/mailman-hyperkitty.cfg</code> Foglendes zu schreiben:
[general]
<syntaxhighlight lang="ini" line>
base_url: <nowiki>https://lists.example.org/hyperkitty/</nowiki>
[general]
# Muss identisch mit Key in Hyperkitty sein
base_url: https://lists.example.org/hyperkitty/
api_key: SecretArchiverAPIKey
# Muss identisch mit Key in Hyperkitty sein (s.u.)
api_key: SecretArchiverAPIKey
</syntaxhighlight>


Zugriffsrechte einschränken:
Zugriffsrechte einschränken:
$ chmod 0600 ~/mailman/var/etc/mailman-hyperkitty.cfg
<syntaxhighlight lang="bash">chmod 0600 ~/mailman/core/etc/mailman-hyperkitty.cfg</syntaxhighlight>


Kommando ''mailman'' anlegen:
Kommando ''mailman'' anlegen:
$ cat <<'EOD' >~/.local/bin/mailman
<syntaxhighlight lang="bash" line>
#!/bin/sh
cat <<'EOD' >~/.local/bin/mailman
#!/bin/sh
cd ~/mailman
 
pipenv run mailman "$@"
export MAILMAN_CONFIG_FILE=$HOME/mailman/core/etc/mailman.cfg
EOD
cd ~/mailman
pipenv run mailman "$@"
chmod +x ~/.local/bin/mailman
EOD
 
chmod +x ~/.local/bin/mailman
</syntaxhighlight>
 
Hinweis: Da in <code>mailman</code> das Verzeichnis gewechselt wird, funktionieren relative Pfadangaben als Argument nicht bzw. nur, wenn man sich bereits in <code>~/mailman</code> befindet.


Nun kann mit <code>mailman info</code> nochmal die aktuelle Konfiguration geprüft werden.
Nun kann mit <code>mailman info</code> nochmal die aktuelle Konfiguration geprüft werden.
Danach kann Mailman gestartet werden:
Danach kann Mailman gestartet werden:
  $ mailman start
  mailman start


== Web Frontend ==
== Web Frontend ==
Zeile 91: Zeile 111:


Zunächst werden die Redirects aus der <code>.htaccess</code> gelöscht:
Zunächst werden die Redirects aus der <code>.htaccess</code> gelöscht:
$ echo "" > ~/doms/lists.example.org/htdocs-ssl/.htaccess
<syntaxhighlight lang="bash">echo "" > ~/doms/lists.example.org/htdocs-ssl/.htaccess</syntaxhighlight>


Anschließend werden die erforderlichen Python-Pakete installiert:
Anschließend werden die erforderlichen Python-Pakete installiert:
$ cd ~/mailman
<syntaxhighlight lang="bash">
pipenv install whoosh postorius hyperkitty
cd ~/mailman
pipenv install mailman-web
</syntaxhighlight>


Um Plattenplatz freizugeben, kann optional der Pip Cache gelöscht werden:
Um Plattenplatz freizugeben, kann optional der Pip Cache gelöscht werden:
$ rm -r ~/.cache/pip*
<syntaxhighlight lang="bash">pipenv --clear</syntaxhighlight>
 
Zur Konfiguration von Hyperkitty wird die IP-Adresse benötigt, von der die Anfragen von Mailman Core kommen. Diese kann wie folgt ermittelt werden:
<syntaxhighlight lang="bash" line>
cat <<EOD >~/doms/lists.example.org/htdocs-ssl/ip.php
<?php
echo \$_SERVER['REMOTE_ADDR'] . "\n";
EOD


Nun werden die Dateien geladen, mit denen Postorius und Hyperkitty konfiguriert und gestartet werden:
curl <nowiki>https://lists.example.org/ip.php</nowiki>
$ git clone https://gitlab.com/mailman/mailman-suite.git
rm ~/doms/lists.example.org/htdocs-ssl/ip.php
</syntaxhighlight>


Zur Konfiguration von Hyperkitty wird die IP-Adresse benötigt, von der die Anfragen von Mailman Core kommen. Diese kann wie folgt ermittelt werden:
Die Konfiguration wird nun in Die Datei <code>~/mailman/web/settings.py</code> geschrieben:
$ cat <<EOD >~/doms/lists.example.org/htdocs-ssl/ip.php
<syntaxhighlight lang="python" line>
<?php
# See https://mailman-web.readthedocs.io/en/latest/settings.html
echo \$_SERVER['REMOTE_ADDR'] . "\n";
 
EOD
from mailman_web.settings.base import *
curl <nowiki>https://lists.example.org/ip.php</nowiki>
from mailman_web.settings.mailman import *
rm ~/doms/lists.example.org/htdocs-ssl/ip.php
 
BASE_DIR = os.path.join(os.environ['HOME'], 'mailman', 'web')
 
# Default path where static files will be placed.
# 'collectstatic' command will copy all the static files here.
# Alias this location from your webserver to `/static`
STATIC_ROOT = os.path.join(BASE_DIR, 'static')
 
# Make sure that the directory is created or Django will fail on start.
LOGGING['handlers']['file']['filename'] = os.path.join(BASE_DIR, 'logs', 'mailmanweb.log')
 
# Change path of Whoosh index
HAYSTACK_CONNECTIONS['default']['PATH'] = os.path.join(BASE_DIR, 'whoosh_index')
 
# django-compressor
# https://pypi.python.org/pypi/django_compressor
COMPRESS_PRECOMPILERS = (
  ('text/x-scss', 'sass -t compressed {infile} {outfile}'),
  ('text/x-sass', 'sass -t compressed {infile} {outfile}'),
)
 
# https://django-q.readthedocs.io/en/latest/configure.html
# 1 worker is probably enough. (Default is 3.)
Q_CLUSTER['workers'] = 1
 
# Default list of admins who receive the emails from error logging.
# https://docs.djangoproject.com/en/dev/ref/settings/#admins
ADMINS = (
    ('Mailman Admin', 'admin@example.org'),
)
# Database setup.
# https://docs.djangoproject.com/en/dev/ref/settings/#databases
DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql_psycopg2', # Für MySQL: django.db.backends.mysql
        'HOST': 'localhost',
        'NAME': 'database_name',
        'USER': 'database_user',
        'PASSWORD': 'database_password',
    }
}
 
# Hosts/domain names that are valid for this site; required if DEBUG is False.
# https://docs.djangoproject.com/en/dev/ref/settings/#allowed-hosts
ALLOWED_HOSTS = [
    'lists.example.org',
]
 
# A secret key for a particular Django installation. This is used to provide
# cryptographic signing, and should be set to a unique, unpredictable value.
# https://docs.djangoproject.com/en/dev/ref/settings/#secret-key
SECRET_KEY = 'change-this-on-your-production-server'
 
# Mailman Core default API Path
MAILMAN_REST_API_URL = 'http://localhost:8001'
# Mailman Core API user
MAILMAN_REST_API_USER = 'restadmin'
# Mailman Core API user's password.
MAILMAN_REST_API_PASS = 'restpass'
# Mailman Core Shared archiving key. This value is set in the
# mailman-hyperkitty's configuration file.
MAILMAN_ARCHIVER_KEY = 'SecretArchiverAPIKey'
# Host for Mailman Core, from where Hyperkitty will accept connections
# for archiving.
MAILMAN_ARCHIVER_FROM = ('<IP von Mailman Core>')
 
# Base URL where Django/Mailman-web would be listening for requests. Used by
# Mailman Core for fetching templates.
POSTORIUS_TEMPLATE_BASE_URL = 'https://lists.example.org'
 
# Sender in emails sent out by Postorius.
# https://docs.djangoproject.com/en/dev/ref/settings/#std:setting-DEFAULT_FROM_EMAIL
DEFAULT_FROM_EMAIL = 'postorius@lists.example.org'
 
# If you enable email reporting for error messages, this is where those emails
# will appear to be coming from. Make sure you set a valid domain name,
# otherwise the emails may get rejected.
# https://docs.djangoproject.com/en/dev/ref/settings/#std:setting-SERVER_EMAIL
SERVER_EMAIL = 'django@lists.example.org'
 
# Configuration used to send emails.
# https://docs.djangoproject.com/en/dev/ref/settings/#email-host
EMAIL_HOST = 'xyz00.hostsharing.net'
EMAIL_PORT = 4587
EMAIL_USE_TLS = True
EMAIL_HOST_USER = 'xyz00-lists'
EMAIL_HOST_PASSWORD = 'secret'
EMAIL_TIMEOUT = 60
 
# A string representing the time zone for this installation.
# https://docs.djangoproject.com/en/dev/ref/settings/#std:setting-TIME_ZONE
TIME_ZONE = 'Europe/Berlin'
 
# A string representing the language code for this installation.
# https://docs.djangoproject.com/en/dev/ref/settings/#language-code
LANGUAGE_CODE = 'de-de'
 
# Disable support for gravatars in HyperKitty and Postorius.
# https://docs.mailman3.org/projects/hyperkitty/en/latest/install.html#customization
HYPERKITTY_ENABLE_GRAVATAR = False
 
# Hinweis: In der derzeit aktuellen Version (1.3.5) der Komponente
# django-mailman3 wird obige Variable nicht berücksichtigt. Deshalb kann die
# folgende Direktive nur mit dem Entwicklungsstand aus git einkommentiert werden.
# django_gravatar is not required, anymore.
#INSTALLED_APPS.remove('django_gravatar')
</syntaxhighlight>
 
Zugriffsrechte einschränken:
<syntaxhighlight lang="bash">chmod 600 ~/mailman/web/settings.py</syntaxhighlight>
 
Hinweis: Wird die Konfiguration geändert, nachdem das Web Frontend aufgerufen wurde, muss es neu gestartet werden:
<syntaxhighlight lang="bash" line>
mkdir -p ~/doms/lists.example.org/app-ssl/tmp
touch ~/doms/lists.example.org/app-ssl/tmp/restart.txt
</syntaxhighlight>


Die Konfiguration wird nun in Die Datei <code>~/mailman/mailman-suite/mailman-suite_project/settings_local.py</code> geschrieben:
Das für Logs definierte Verzeichnis anlegen:
SECRET_KEY = 'change-this-on-your-production-server'
<syntaxhighlight lang="bash">mkdir -p ~/mailman/web/logs</syntaxhighlight>
Debug = False
ADMINS = (
      ('Mailman Suite Admin', 'admin@example.org'),
)
ALLOWED_HOSTS = [
    'lists.example.org',
]
MAILMAN_REST_API_URL = '<nowiki>http://localhost:8001</nowiki>'
MAILMAN_REST_API_USER = 'restadmin'
MAILMAN_REST_API_PASS = 'restpass'
MAILMAN_ARCHIVER_KEY = 'SecretArchiverAPIKey'
MAILMAN_ARCHIVER_FROM = ('<IP von Mailman Core>')
# Authentifizierung über externe Dienste ausschalten (s. django-allauth)
from settings import INSTALLED_APPS
INSTALLED_APPS = filter(lambda app: not app.startswith('allauth.socialaccount.') and app != 'django_mailman3.lib.auth.fedora', INSTALLED_APPS)
INSTALLED_APPS = (
    'hyperkitty',
    'postorius',
    'django_mailman3',
    # Uncomment the next line to enable the admin:
    'django.contrib.admin',
    # Uncomment the next line to enable admin documentation:
    # 'django.contrib.admindocs',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.sites',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'rest_framework',
    'django_gravatar',
    'compressor',
    'haystack',
    'django_extensions',
    'django_q',
    'allauth',
    'allauth.account',
    'allauth.socialaccount',
)
# Standardkonfiguration verwendet SQLite
DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql_psycopg2', # Für MySQL: django.db.backends.mysql
        'HOST': 'localhost',
        'NAME': 'database_name',
        'USER': 'database_user',
        'PASSWORD': 'database_password',
    }
}
LANGUAGE_CODE = 'de-de'
TIME_ZONE = 'Europe/Berlin'
DEFAULT_FROM_EMAIL = 'mailing-lists@example.org'
SERVER_EMAIL = 'mailing-lists@example.org'
EMAIL_BACKEND = 'django.core.mail.backends.smtp.EmailBackend'
EMAIL_HOST = 'xyz00.hostsharing.net'
EMAIL_PORT = 4587
EMAIL_USE_TLS = True
EMAIL_HOST_USER = 'xyz00-lists'
EMAIL_HOST_PASSWORD = 'secret'
EMAIL_TIMEOUT = 60
ACCOUNT_DEFAULT_HTTP_PROTOCOL = 'https'
COMPRESS_PRECOMPILERS = (
    ('text/less', 'lessc {infile} {outfile}'),
    ('text/x-scss', 'sass -t compressed {infile} {outfile}'),
    ('text/x-sass', 'sass -t compressed {infile} {outfile}'),
)
COMPRESS_OFFLINE = True
# Workeranzahl reduzieren (optional)
Q_CLUSTER = {
    'workers': 1,
    'timeout': 300,
    'save_limit': 100,
    'orm': 'default',
}


Hinweis: Die Einstellungen in <code>settings_local.py</code> überschreiben solche in <code>settings.py</code>. Zwar kann <code>settings.py</code> auch direkt angepasst werden, auf diese Weise werden jedoch mögliche Konflikte beim Update vermieden. <code>settings.py</code> sollte dennoch dahingehend geprüft werden, ob man ggf. weitere Optionen ändern möchte.
Damit per Django verfügbare Kommandos leicht ausgeführt werden können, wird der Befehl ''mailman-web'' eingerichtet:
<syntaxhighlight lang="bash" line>
cat <<'EOD' >~/.local/bin/mailman-web
#!/bin/sh


Das Mailman Web Frontend nutzt das Framework Django. Einige der Einstellungen sind in der [https://docs.djangoproject.com/en/2.2/ref/settings/ Dokumentation von Django] beschrieben, andere konfigurieren eine der in <code>INSTALLED_APPS</code> definierten Anwendungen.
export MAILMAN_WEB_CONFIG=$HOME/mailman/web/settings.py
cd ~/mailman
pipenv run mailman-web "$@"
EOD
chmod +x ~/.local/bin/mailman-web
</syntaxhighlight>


Damit per Django verfügbare Kommandos leicht ausgeführt werden können, wird der Befehl ''mailman-django'' eingerichtet:
Anschließend wird das Datenbankschema eingerichtet:
$ cat <<'EOD' >~/.local/bin/mailman-django
<syntaxhighlight lang="bash">mailman-web migrate</syntaxhighlight>
#!/bin/sh
cd ~/mailman
pipenv run mailman-suite/mailman-suite_project/manage.py "$@"
EOD
chmod +x ~/.local/bin/mailman-django


Anschließend können folgende Kommandos ausgeführt werden:
Mit dem folgenden Kommando werden statische Daten für das Web Frontend ins konfiguriete Verzeichnis geschrieben:
$ mailman-django migrate
<syntaxhighlight lang="bash">mailman-web collectstatic</syntaxhighlight>
mailman-django collectstatic
mailman-django compress
mailman-django createsuperuser


Nun müssen die statischen Dateien für das Web Frontend noch per HTTPS verfügbar gemacht werden:
Nun müssen die statischen Dateien für das Web Frontend noch per HTTPS verfügbar gemacht werden:
$ ln -s ~/mailman/mailman-suite/mailman-suite_project/static ~/doms/lists.example.org/htdocs-ssl/
<syntaxhighlight lang="bash">ln -s ~/mailman/mailman-suite/mailman-suite_project/static ~/doms/lists.example.org/htdocs-ssl/</syntaxhighlight>
 
Zum Anlegen des Administrators des Web Frontends wird dieser Befehl ausgeführt:
<syntaxhighlight lang="bash">mailman-web createsuperuser</syntaxhighlight>
 
Da die Übersetzungsdateien nur in Mailman Core, jedoch nicht bei den Web Frontend Komponenten im Binärformat enthalten sind, muss die Konvertierung nachgeholt werden:
<syntaxhighlight lang="bash" line>
for pofile in $(find $(pipenv --venv) -path '*/locale/*/LC_MESSAGES/*.po'); do
    mofile=${pofile/.po/.mo}
    if [ ! -f $mofile ] || [ $pofile -nt $mofile ]; then
      echo $pofile
      msgfmt $pofile -o $mofile -v
    fi
done
</syntaxhighlight>


Damit das Web Frontend per [[Phusion_Passenger|Phusion Passenger]] geladen werden kann:
Damit das Web Frontend per [[Phusion_Passenger|Phusion Passenger]] geladen werden kann:
$ cat <<EOD >~/doms/lists.example.org/app-ssl/passenger_wsgi.py
 
import os
<syntaxhighlight lang="python" line>
import subprocess
cat <<EOD >~/doms/lists.example.org/app-ssl/passenger_wsgi.py
import sys
import os
import subprocess
os.environ['LANG'] = 'C.UTF-8'
import sys
os.environ['LC_ALL'] = 'C.UTF-8'
 
os.environ['LANG'] = 'C.UTF-8'
HOME = os.getenv('HOME')
os.environ['LC_ALL'] = 'C.UTF-8'
PIPENV = os.path.join(HOME, '.local', 'bin', 'pipenv')
 
PIPFILE_DIR = os.path.join(HOME, 'mailman')
HOME = os.environ['HOME']
INTERP = subprocess.check_output([PIPENV, 'run', 'which', 'python'], cwd=PIPFILE_DIR).strip().decode('utf-8')
PIPENV = os.path.join(HOME, '.local', 'bin', 'pipenv')
if sys.executable != INTERP:
PIPFILE_DIR = os.path.join(HOME, 'mailman')
    os.execl(INTERP, INTERP, *sys.argv)
PIPENV_PYTHON = subprocess.check_output([PIPENV, '--py'], cwd=PIPFILE_DIR).strip().decode('utf-8')
if sys.executable != PIPENV_PYTHON:
WSGI_DIR = os.path.join(HOME, 'mailman', 'mailman-suite', 'mailman-suite_project')
    os.execl(PIPENV_PYTHON, PIPENV_PYTHON, *sys.argv)
sys.path.append(WSGI_DIR)
 
   
os.environ['MAILMAN_WEB_CONFIG'] = os.path.join(HOME, 'mailman', 'web', 'settings.py')
  from wsgi import application
from mailman_web.wsgi import application
EOD
</syntaxhighlight>
 
Nun steht das Web Frontend unter <code><nowiki>https://lists.example.org/</nowiki></code> zur Verfügung. Über die Django Administration sollte unter <code><nowiki>https://lists.example.org/admin/sites/site/1/change/</nowiki></code> die Domäne angepasst werden.
 
== Mails an Mailman weiterleiten ==
Da die MTA-Konfiguration nicht direkt angepasst werden kann, ist ein Hilfskonstrukt erforderlich: Mittels ''.forward-Datei'' werden eingehende Mails an das Programm <code>msmtp</code> weitergeleitet, welches diese per [https://de.wikipedia.org/wiki/Local_Mail_Transfer_Protocol LMTP] bei Mailman abliefert. msmtp ist auf den Managed Servern vorinstalliert.
 
  MM_LMTP_PORT=8024 # In Mailman Core konfigurierter Port
  cat <<EOD >.forward+mailman
"|/usr/bin/msmtp --host=localhost --port=$MM_LMTP_PORT --protocol=lmtp --read-envelope-from \$(echo \$ORIGINAL_RECIPIENT | sed 's/+.\+@/@/')"
  EOD
  EOD


Nun steht das Web Frontend unter <code><nowiki>https://lists.example.org/</nowiki></code> zur Verfügung. Über die Django Administration sollte unter <code><nowiki>https://lists.example.org/admin/sites/site/1/change/</nowiki></code> die Domäne angepasst werden.
Der <code>sed</code> Befehl ist erforderlich, damit Mails mit ''Plus Addressing'' mit der eigentlichen Empfängeradresse bei Mailman ankommen.
 
Für die Domain <code>lists.example.org</code> wird in HSAdmin oder per <code>hssscript</code> eine Catchall-Adresse mit <code>xyz00-lists+mailman</code> als Ziel eingerichtet. Bei einer Catchall-Adresse wird als <code>localpart</code> ein leerer String angegeben.
 
== Dienste starten und überwachen ==
Für die beiden benötigten Dienste kann ''monit'' wie folgt konfiguriert werden:
 
<syntaxhighlight lang="bash" line>
mkdir monit
cat <<EOD >~/.monitrc
set daemon 60
    with start delay 90
set httpd unixsocket $HOME/monit/monit.sock
    permission 600
    allow mailman:monit
set mailserver localhost
set mail-format { from: monit@lists.example.org }
set alert admin@example.org
set logfile $HOME/monit/monit.log
set idfile $HOME/monit/monit.id
set pidfile $HOME/monit/monit.pid
set statefile $HOME/monit/monit.state
 
check process mailman
    pidfile $HOME/mailman/core/master.pid
    start program = "$HOME/.local/bin/mailman start"
    stop program = "$HOME/.local/bin/mailman stop"
    restart program = "$HOME/.local/bin/mailman restart"
 
check process mailman-web-qcluster
    matching "mailman-web qcluster"
    start program = "/bin/bash -c 'nohup $HOME/.local/bin/mailman-web qcluster >>$HOME/mailman/web/logs/qcluster.log 2>&1 &'"
    stop program = "/usr/bin/pkill -f 'mailman-web qcluster'"
    depends on mailman
EOD
</syntaxhighlight>
 
Dienste starten:
<syntaxhighlight lang="bash">monit</syntaxhighlight>
 
Für <code>mailman-web qcluster</code> kann alternativ ein minütlich laufender Cron Job verwendet werden.
 
== Logrotation ==
Die Rotation der Logdateien kann so konfiguriert werden:
 
<syntaxhighlight lang="bash" line>
cat <<EOD >~/logrotate.conf
compress
delaycompress
missingok
notifempty
dateext
 
$HOME/monit/monit.log {
  rotate 1
  weekly
  maxsize 1M
}
 
$HOME/mailman/core/logs/*.log {
  rotate 6
  daily
  sharedscripts
  postrotate
    $HOME/.local/bin/mailman reopen >/dev/null ||:
  endscript
}
 
$HOME/mailman/web/logs/mailmanweb.log {
  rotate 6
  daily
}
 
$HOME/mailman/web/logs/qcluster.log {
  rotate 1
  size 100k
  postrotate
    /usr/bin/monit restart mailman-web-qcluster >/dev/null ||:
  endscript
}
EOD
</syntaxhighlight>
 
Hinweis: <code>qcluster.log</code> wird hier nur bei Überschreiten der definierten Größe rotiert, um regelmäßige Mails von ''monit'' zu vermeiden.


== Cron Jobs ==
== Cron Jobs ==
Es sind verschiedene Cron Jobs erforderlich. Hierzu <code>crontab -e</code> ausführen und Folgendes eintragen:
Für Mailman sind verschiedene Cron Jobs erforderlich. Zudem sollen nach einem Neustart die <code>monit</code> Dienste gestartet werden und täglich eine Logrotation erfolgen. Die Einrichtung kann so erfolgen (eine bereits existierende crontab wird überschrieben):
# An die in MAILTO eingetragene Adressen werden Ausgaben der Cron Jobs gesendet (optional)
#MAILTO=admin@example.org
PATH=$HOME/.local/bin:$PATH
@reboot mailman start
# Send periodic digests.
@daily mailman digests --send
@reboot mailman-django qcluster
# Alternativ qcluster minütlich ausführen
# * * * * * mailman-django qcluster --run-once
* * * * * mailman-django runjobs minutely
2,17,32,47 * * * * mailman-django runjobs quarter_hourly
@hourly  mailman-django runjobs hourly
@daily  mailman-django runjobs daily
@weekly  mailman-django runjobs weekly
@monthly mailman-django runjobs monthly
@yearly  mailman-django runjobs yearly


Hinweis: Der Einfachheit halber wird hier für ''mailman start'' und ''qcluster'' <code>@reboot</code> verwendet. Besser wäre der Einsatz von monit. Beim Einsatz von monit würde sich auch der Neustart der Dienste nach einem [[#Update|Update]] ändern. (Anleitung gerne anpassen, sollte jemand monit einrichten.)
<syntaxhighlight lang="bash" line>
cat <<EOD | crontab -
MAILTO=admin@example.org
HOME=$HOME
PATH=$HOME/.local/bin:/usr/bin:/bin:/usr/sbin


== Mails an Mailman weiterleiten ==
@reboot rm -f \$HOME/monit/monit.pid \$HOME/mailman/core/master.pid && monit
Da die MTA-Konfiguration nicht direkt angepasst werden kann, ist ein Hilfskonstrukt erforderlich: Mittels ''.forward-Dateien'' und ''.promailrc'' werden eingehende Mails an das Programm msmtp weitergeleitet, welches diese per [https://de.wikipedia.org/wiki/Local_Mail_Transfer_Protocol LMTP] bei Mailman abliefert. msmtp ist auf den Managed Servern vorinstalliert.
 
Dazu lege ich im $HOME des Users zwei Dateien an: '.forward' bekommt die Mails vom Postfix-Mailserver übergeben und leitet weiter an procmail, das über die Datei '.procmailrc' konfiguriert wird.
@daily logrotate -s \$HOME/.logrotate_state \$HOME/logrotate.conf


  ~$ cat .forward
# Send periodic digests.
  "|/usr/bin/procmail -p"
@daily mailman digests --send


  ~$ cat .procmailrc
* * * * * mailman-web runjobs minutely
  SHELL=/bin/sh
2,17,32,47 * * * * mailman-web runjobs quarter_hourly
  HOMEDIR=/home/pacs/xyz00/users/lists
@hourly  mailman-web runjobs hourly
   MAILDIR=/home/pacs/xyz00/users/lists/Maildir
@daily   mailman-web runjobs daily
  PMDIR=/home/pacs/xyz00/users/lists
@weekly  mailman-web runjobs weekly
  VERBOSE=yes
@monthly mailman-web runjobs monthly
  LOGFILE=/home/pacs/xyz00/users/lists/var/procmail.log
@yearly  mailman-web runjobs yearly
  DEFAULT
EOD
 
</syntaxhighlight>
  :0:
  * ^X-Original-To: ()\/[^@+]+
  |/usr/bin/msmtp --host=127.0.0.1 --port=8024 --protocol=lmtp --read-envelope-from ${MATCH}@lists.example.org


Die Mailadresse wird als Catchall-Adresse in HSAdmin angelegt. Bei einer Catchall-Adresse wird als "localpart" ein leerer String angegeben.
Soll eine existierende crontab nicht überschrieben werden, muss das Kommando <code>crontab -e</code> ausgeführt und die crontab entsprechend angepasst werden. (Dabei <code>\$HOME</code> mit <code>$HOME</code> und <code>$HOME</code> mit dem Pfad des Benutzerverzeichnisses ersetzen.)


== Liste anlegen ==
== Liste anlegen ==
Damit Mailman tatsächlich genutzt werden kann, muss natürlich eine Liste eingerichtet werden.
Damit Mailman tatsächlich genutzt werden kann, muss natürlich eine Liste eingerichtet werden.
<syntaxhighlight lang=bash>mailman create meine-erste-liste@lists.example.org # Alternativ über Web Frontend</syntaxhighlight>


Mit den folgenden Kommandos werden eine Liste in Mailman erstellt, E-Mail-Adressen angelegt sowie Weiterleitungen konfiguriert:
Außerdem müssen die E-Mail Adressen für die Mailingliste angelegt werden, im HSAdmin. Zum Beispiel für die Liste meine-erste-liste: meine-erste-liste, meine-erste-liste-join, meine-erste-liste-leave, meine-erste-liste-owner, für die Domain lists.example.org. Die E-Mails sollen in das Postfach gehen, wo mailman installiert ist.
$ LISTNAME=test
Alternativ kann eine Catch-All Adresse eingerichtet werden, damit alle E-Mails an die Subdomain in das Postfach vom mailman gehen. Der Catch-All ist laut Postfix Regeln eine Adresse mit einem leeren lokalen Teil (siehe auch der Screenshot in der [[Sympa_installieren#Neue_Liste_einrichten|entsprechenden Anleitung von Sympa]]).
DOMAIN_ADMIN=xyz00
 
DOMAIN_USER=xyz00-lists
== Die Selbst-Registrierung von Benutzern verhindern ==
DOMAIN=lists.example.org
 
LMTP_PORT=8024 # In Mailman Core konfigurierter Port
Per Default kann sich jede Person im Mailman3 ein Benutzerkonto anlegen. Wenn das nicht erwünscht ist, kann in der Datei <code>var/etc/settings.py</code> die folgende Zeile hinzugefügt werden:
 
mailman create $LISTNAME@$DOMAIN # Alternativ über Web Frontend
<syntaxhighlight lang="python">
ACCOUNT_ADAPTER = 'django_mailman3.views.user_adapter.DisableSignupAdapter'
</syntaxhighlight>
 
Es können in diesem Fall im Django Backend durch den Administrator Benutzerkonten angelegt werden, auf https://lists.example.org/admin/auth/user/


== Update ==
== Update ==
Zeile 304: Zeile 461:


Python-Pakete für die Aktualisierungen vorliegen ausgeben:
Python-Pakete für die Aktualisierungen vorliegen ausgeben:
$ cd ~/mailman
pipenv update --outdated


Vor dem eigentlichen Update empfiehlt es sich, die Release Notes (zumindest von Mailman) zu lesen und auf relevante Änderungen zu prüfen.
<syntaxhighlight lang="bash">
cd ~/mailman
pipenv update --outdated
</syntaxhighlight>
 
Vor dem eigentlichen Update empfiehlt es sich, die Release Notes (zumindest von [https://docs.mailman3.org/projects/mailman/en/latest/src/mailman/docs/NEWS.html Mailman]) zu lesen und auf relevante Änderungen zu prüfen.
 
Mailman stoppen:
<syntaxhighlight lang="bash">
monit stop mailman
</syntaxhighlight>


Update der Pakete:
Update der Pakete:
$ pipenv update
 
<syntaxhighlight lang="bash">
pipenv update
</syntaxhighlight>


Ggf. Pip Cache löschen:
Ggf. Pip Cache löschen:
$ rm -r ~/.cache/pip*


Anschließend werden die Dateien aus dem ''mailman-suite'' Git-Repository aktualisiert. Vor dem Übernehmen der Änderungen (merge), sollten die Commit Logs und die Änderungen begutachtet werden, um festzustellen, ob ggf. die Konfiguration anzupassen ist:
<syntaxhighlight lang="bash">
$ cd mailman-suite
pipenv --clear
git fetch origin
</syntaxhighlight>
git log master..origin/master # Zeigt Commit logs
 
git diff master..origin/master # Zeigt Änderungen
Datenbankmigrationen durchführen:
<syntaxhighlight lang="bash">
mailman-web makemigrations
mailman-web migrate
</syntaxhighlight>


Änderungen übernehmen:
Übersetzungen aktualisieren:
$ git merge origin/master
<syntaxhighlight lang="bash" line>
for pofile in $(find $(pipenv --venv) -path '*/locale/*/LC_MESSAGES/*.po'); do
  mofile=${pofile/.po/.mo}
  if [ ! -f $mofile ] || [ $pofile -nt $mofile ]; then
    echo $pofile
    msgfmt $pofile -o $mofile -v
    fi
done
</syntaxhighlight>


Abschließend die verschiedenen Dienste neu starten:
Statische Dateien aktualisieren:
$ mailman restart
<syntaxhighlight lang="bash">mailman-web collectstatic -c</syntaxhighlight>


qcluster neu starten, wenn als Dienst und nicht als Cron Job gestartet:
Abschließend die Dienste wieder starten:
$ pkill --oldest --full 'mailman-suite_project/manage.py qcluster$'
<syntaxhighlight lang="bash">
mailman-django qcluster &disown
monit start mailman
monit start mailman-web-qcluster
</syntaxhighlight>


Web Frontend neu starten:
Web Frontend neu starten:
$ mkdir -p ~/doms/<domain>/app-ssl/tmp
<syntaxhighlight lang="bash">
touch ~/doms/<domain>/app-ssl/tmp/restart.txt
mkdir -p ~/doms/lists.example.org/app-ssl/tmp
touch ~/doms/lists.example.org/app-ssl/tmp/restart.txt
</syntaxhighlight>


Zur Aktualisierung von msmtp können die Schritte zur Installation (mit angepasster Versionsnummer) wiederholt werden.


[[Kategorie:HSDoku]]
[[Kategorie:HSDoku]]
Zeile 342: Zeile 524:
[[Kategorie:Mailinglisten]]
[[Kategorie:Mailinglisten]]
[[Kategorie:E-Mail]]
[[Kategorie:E-Mail]]
[[Kategorie:Python]]

Aktuelle Version vom 10. Juli 2024, 08:58 Uhr

Die folgende Anleitung zur Installation von Mailman 3 auf Hostsharing geht davon aus, dass als Domäne lists.example.org und als Domänennutzer xyz00-lists verwendet wird. Es ist zu empfehlen, auszuführende Befehle und Konfigurationen vorab auf zu ersetzende Werte zu prüfen. Alle Befehle sind als Benutzer xyz00-lists zu starten. Damit mehrere aufeinander folgende Shell-Kommandos leichter kopiert werden können, wird nur vor das jeweils erste Kommando ein $ gesetzt. Zum Verständnis mancher der folgenden Anweisungen kann es hilfreich sein, die Mailman-Dokumentation gelesen und sich mit Pipenv beschäftigt zu haben.

Achtung: Mailman 3 benötigt zahlreiche Hintergrundprozesse, was beim Managed Webspace zusätzliche Kosten verursacht.

Datenbank

Zunächst muss eine PostgreSQL- oder MySQL-Datenbank angelegt werden. (Mailman läuft auch mit SQLite, ist aber für den Produktivbetrieb nicht empfohlen.) Je nach gewählter Datenbank unterscheiden sich manche Schritte geringfügig, was an den entsprechenden Stellen dokumentiert ist.

Mailman Core

Für die Installation von Mailman Core sind folgende Kommandos auszuführen:

pip3 install --user pipenv
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.profile
source ~/.profile
mkdir ~/mailman
cd ~/mailman
pipenv install mailman
pipenv install mailman_hyperkitty
pipenv install psycopg2-binary # Für PostgreSQL
pipenv install pymysql # Für MySQL

Hinweis: Das Kommando pipenv muss immer im Verzeichnis ~/mailman ausgeführt werden.

Anschließend wird das Verzeichnis für die Konfigurationsdatei angelegt:

mkdir -p ~/mailman/etc

Die Konfiguration wird in die Datei ~/mailman/core/etc/mailman.cfg geschrieben:


[mailman]
site_owner: admin@example.org
default_language: de

[paths.here]
var_dir: $cwd/core

[database] # https://mailman.readthedocs.io/en/latest/src/mailman/docs/database.html
class: mailman.database.postgresql.PostgreSQLDatabase
url: postgresql://myuser:mypassword@mypghost/mailman
# Fallls MySQL verwendet:
#class: mailman.database.mysql.MySQLDatabase
#url: mysql+pymysql://myuser:mypassword@mymysqlhost/mailman?charset=utf8&use_unicode=1
# SQLite ist Standard, wenn nichts konfiguriert ist

[webservice] # REST Service von Mailman. Wird von [[#Web_Frontend|Web Frontend]] verwendet
port: 8001 # ändern, falls belegt
admin_user: restadmin
admin_pass: restpass

[mta]
smtp_host: xyz00.hostsharing.net
smtp_port: 4587
smtp_user: xyz00-lists
smtp_pass: secret
smtp_secure_mode: starttls
# https://mailman.readthedocs.io/en/latest/src/mailman/docs/mta.html
# NullMTA, da MTA nicht selbst konfiguriert werden kann
incoming: mailman.mta.null.NullMTA
lmtp_port: 8024 # ändern, falls belegt

[runner.nntp]
# Runner für [https://de.wikipedia.org/wiki/Network_News_Transfer_Protocol NNTP] Gateway ausschalten 
start: no

[archiver.hyperkitty]
class: mailman_hyperkitty.Archiver
enable: yes
# $HOME muss durch den tatsächlichen Pfad zum Benutzerverzeichnis ersetzt werden
configuration: $HOME/mailman/core/etc/mailman-hyperkitty.cfg

Zugriffsrechte einschränken:

chmod 0600 ~/mailman/core/etc/mailman.cfg

Damit Hyperkitty als Web Frontend für das Archiv verwendet werden kann, ist in die Datei ~/mailman/core/etc/mailman-hyperkitty.cfg Foglendes zu schreiben:

[general]
base_url: https://lists.example.org/hyperkitty/
# Muss identisch mit Key in Hyperkitty sein (s.u.)
api_key: SecretArchiverAPIKey

Zugriffsrechte einschränken:

chmod 0600 ~/mailman/core/etc/mailman-hyperkitty.cfg

Kommando mailman anlegen:

cat <<'EOD' >~/.local/bin/mailman
#!/bin/sh

export MAILMAN_CONFIG_FILE=$HOME/mailman/core/etc/mailman.cfg
cd ~/mailman
pipenv run mailman "$@"
EOD

chmod +x ~/.local/bin/mailman

Hinweis: Da in mailman das Verzeichnis gewechselt wird, funktionieren relative Pfadangaben als Argument nicht bzw. nur, wenn man sich bereits in ~/mailman befindet.

Nun kann mit mailman info nochmal die aktuelle Konfiguration geprüft werden. Danach kann Mailman gestartet werden:

mailman start

Web Frontend

In diesem Abschnitt wird die Installation des Web Frontends beschrieben.

Zunächst werden die Redirects aus der .htaccess gelöscht:

echo "" > ~/doms/lists.example.org/htdocs-ssl/.htaccess

Anschließend werden die erforderlichen Python-Pakete installiert:

cd ~/mailman
pipenv install mailman-web

Um Plattenplatz freizugeben, kann optional der Pip Cache gelöscht werden:

pipenv --clear

Zur Konfiguration von Hyperkitty wird die IP-Adresse benötigt, von der die Anfragen von Mailman Core kommen. Diese kann wie folgt ermittelt werden:

cat <<EOD >~/doms/lists.example.org/htdocs-ssl/ip.php
<?php
echo \$_SERVER['REMOTE_ADDR'] . "\n";
EOD

curl <nowiki>https://lists.example.org/ip.php</nowiki>
rm ~/doms/lists.example.org/htdocs-ssl/ip.php

Die Konfiguration wird nun in Die Datei ~/mailman/web/settings.py geschrieben:

# See https://mailman-web.readthedocs.io/en/latest/settings.html

from mailman_web.settings.base import *
from mailman_web.settings.mailman import *

BASE_DIR = os.path.join(os.environ['HOME'], 'mailman', 'web')

# Default path where static files will be placed.
# 'collectstatic' command will copy all the static files here.
# Alias this location from your webserver to `/static`
STATIC_ROOT = os.path.join(BASE_DIR, 'static')

# Make sure that the directory is created or Django will fail on start.
LOGGING['handlers']['file']['filename'] = os.path.join(BASE_DIR, 'logs', 'mailmanweb.log')

# Change path of Whoosh index
HAYSTACK_CONNECTIONS['default']['PATH'] = os.path.join(BASE_DIR, 'whoosh_index')

# django-compressor
# https://pypi.python.org/pypi/django_compressor
COMPRESS_PRECOMPILERS = (
  ('text/x-scss', 'sass -t compressed {infile} {outfile}'),
  ('text/x-sass', 'sass -t compressed {infile} {outfile}'),
)

# https://django-q.readthedocs.io/en/latest/configure.html
# 1 worker is probably enough. (Default is 3.)
Q_CLUSTER['workers'] = 1

# Default list of admins who receive the emails from error logging.
# https://docs.djangoproject.com/en/dev/ref/settings/#admins
ADMINS = (
    ('Mailman Admin', 'admin@example.org'),
)
# Database setup.
# https://docs.djangoproject.com/en/dev/ref/settings/#databases
DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql_psycopg2', # Für MySQL: django.db.backends.mysql
        'HOST': 'localhost',
        'NAME': 'database_name',
        'USER': 'database_user',
        'PASSWORD': 'database_password',
    }
}

# Hosts/domain names that are valid for this site; required if DEBUG is False.
# https://docs.djangoproject.com/en/dev/ref/settings/#allowed-hosts
ALLOWED_HOSTS = [
    'lists.example.org',
]

# A secret key for a particular Django installation. This is used to provide
# cryptographic signing, and should be set to a unique, unpredictable value.
# https://docs.djangoproject.com/en/dev/ref/settings/#secret-key
SECRET_KEY = 'change-this-on-your-production-server'

# Mailman Core default API Path
MAILMAN_REST_API_URL = 'http://localhost:8001'
# Mailman Core API user
MAILMAN_REST_API_USER = 'restadmin'
# Mailman Core API user's password.
MAILMAN_REST_API_PASS = 'restpass'
# Mailman Core Shared archiving key. This value is set in the
# mailman-hyperkitty's configuration file.
MAILMAN_ARCHIVER_KEY = 'SecretArchiverAPIKey'
# Host for Mailman Core, from where Hyperkitty will accept connections
# for archiving.
MAILMAN_ARCHIVER_FROM = ('<IP von Mailman Core>')

# Base URL where Django/Mailman-web would be listening for requests. Used by
# Mailman Core for fetching templates.
POSTORIUS_TEMPLATE_BASE_URL = 'https://lists.example.org'

# Sender in emails sent out by Postorius.
# https://docs.djangoproject.com/en/dev/ref/settings/#std:setting-DEFAULT_FROM_EMAIL
DEFAULT_FROM_EMAIL = 'postorius@lists.example.org'

# If you enable email reporting for error messages, this is where those emails
# will appear to be coming from. Make sure you set a valid domain name,
# otherwise the emails may get rejected.
# https://docs.djangoproject.com/en/dev/ref/settings/#std:setting-SERVER_EMAIL
SERVER_EMAIL = 'django@lists.example.org'

# Configuration used to send emails.
# https://docs.djangoproject.com/en/dev/ref/settings/#email-host
EMAIL_HOST = 'xyz00.hostsharing.net'
EMAIL_PORT = 4587
EMAIL_USE_TLS = True
EMAIL_HOST_USER = 'xyz00-lists'
EMAIL_HOST_PASSWORD = 'secret'
EMAIL_TIMEOUT = 60

# A string representing the time zone for this installation.
# https://docs.djangoproject.com/en/dev/ref/settings/#std:setting-TIME_ZONE
TIME_ZONE = 'Europe/Berlin'

# A string representing the language code for this installation.
# https://docs.djangoproject.com/en/dev/ref/settings/#language-code
LANGUAGE_CODE = 'de-de'

# Disable support for gravatars in HyperKitty and Postorius.
# https://docs.mailman3.org/projects/hyperkitty/en/latest/install.html#customization
HYPERKITTY_ENABLE_GRAVATAR = False

# Hinweis: In der derzeit aktuellen Version (1.3.5) der Komponente
# django-mailman3 wird obige Variable nicht berücksichtigt. Deshalb kann die
# folgende Direktive nur mit dem Entwicklungsstand aus git einkommentiert werden.
# django_gravatar is not required, anymore.
#INSTALLED_APPS.remove('django_gravatar')

Zugriffsrechte einschränken:

chmod 600 ~/mailman/web/settings.py

Hinweis: Wird die Konfiguration geändert, nachdem das Web Frontend aufgerufen wurde, muss es neu gestartet werden:

mkdir -p ~/doms/lists.example.org/app-ssl/tmp
touch ~/doms/lists.example.org/app-ssl/tmp/restart.txt

Das für Logs definierte Verzeichnis anlegen:

mkdir -p ~/mailman/web/logs

Damit per Django verfügbare Kommandos leicht ausgeführt werden können, wird der Befehl mailman-web eingerichtet:

cat <<'EOD' >~/.local/bin/mailman-web
#!/bin/sh

export MAILMAN_WEB_CONFIG=$HOME/mailman/web/settings.py
cd ~/mailman
pipenv run mailman-web "$@"
EOD
chmod +x ~/.local/bin/mailman-web

Anschließend wird das Datenbankschema eingerichtet:

mailman-web migrate

Mit dem folgenden Kommando werden statische Daten für das Web Frontend ins konfiguriete Verzeichnis geschrieben:

mailman-web collectstatic

Nun müssen die statischen Dateien für das Web Frontend noch per HTTPS verfügbar gemacht werden:

ln -s ~/mailman/mailman-suite/mailman-suite_project/static ~/doms/lists.example.org/htdocs-ssl/

Zum Anlegen des Administrators des Web Frontends wird dieser Befehl ausgeführt:

mailman-web createsuperuser

Da die Übersetzungsdateien nur in Mailman Core, jedoch nicht bei den Web Frontend Komponenten im Binärformat enthalten sind, muss die Konvertierung nachgeholt werden:

for pofile in $(find $(pipenv --venv) -path '*/locale/*/LC_MESSAGES/*.po'); do
    mofile=${pofile/.po/.mo}
    if [ ! -f $mofile ] || [ $pofile -nt $mofile ]; then
      echo $pofile
      msgfmt $pofile -o $mofile -v
    fi
done

Damit das Web Frontend per Phusion Passenger geladen werden kann:

cat <<EOD >~/doms/lists.example.org/app-ssl/passenger_wsgi.py
import os
import subprocess
import sys

os.environ['LANG'] = 'C.UTF-8'
os.environ['LC_ALL'] = 'C.UTF-8'

HOME = os.environ['HOME']
PIPENV = os.path.join(HOME, '.local', 'bin', 'pipenv')
PIPFILE_DIR = os.path.join(HOME, 'mailman')
PIPENV_PYTHON = subprocess.check_output([PIPENV, '--py'], cwd=PIPFILE_DIR).strip().decode('utf-8')
if sys.executable != PIPENV_PYTHON:
    os.execl(PIPENV_PYTHON, PIPENV_PYTHON, *sys.argv)

os.environ['MAILMAN_WEB_CONFIG'] = os.path.join(HOME, 'mailman', 'web', 'settings.py')
from mailman_web.wsgi import application
EOD

Nun steht das Web Frontend unter https://lists.example.org/ zur Verfügung. Über die Django Administration sollte unter https://lists.example.org/admin/sites/site/1/change/ die Domäne angepasst werden.

Mails an Mailman weiterleiten

Da die MTA-Konfiguration nicht direkt angepasst werden kann, ist ein Hilfskonstrukt erforderlich: Mittels .forward-Datei werden eingehende Mails an das Programm msmtp weitergeleitet, welches diese per LMTP bei Mailman abliefert. msmtp ist auf den Managed Servern vorinstalliert.

MM_LMTP_PORT=8024 # In Mailman Core konfigurierter Port
cat <<EOD >.forward+mailman
"|/usr/bin/msmtp --host=localhost --port=$MM_LMTP_PORT --protocol=lmtp --read-envelope-from \$(echo \$ORIGINAL_RECIPIENT | sed 's/+.\+@/@/')"
EOD

Der sed Befehl ist erforderlich, damit Mails mit Plus Addressing mit der eigentlichen Empfängeradresse bei Mailman ankommen.

Für die Domain lists.example.org wird in HSAdmin oder per hssscript eine Catchall-Adresse mit xyz00-lists+mailman als Ziel eingerichtet. Bei einer Catchall-Adresse wird als localpart ein leerer String angegeben.

Dienste starten und überwachen

Für die beiden benötigten Dienste kann monit wie folgt konfiguriert werden:

mkdir monit
cat <<EOD >~/.monitrc
set daemon 60
    with start delay 90
set httpd unixsocket $HOME/monit/monit.sock
    permission 600
    allow mailman:monit
set mailserver localhost
set mail-format { from: monit@lists.example.org }
set alert admin@example.org
set logfile $HOME/monit/monit.log
set idfile $HOME/monit/monit.id
set pidfile $HOME/monit/monit.pid
set statefile $HOME/monit/monit.state

check process mailman
    pidfile $HOME/mailman/core/master.pid
    start program = "$HOME/.local/bin/mailman start"
    stop program = "$HOME/.local/bin/mailman stop"
    restart program = "$HOME/.local/bin/mailman restart"

check process mailman-web-qcluster
    matching "mailman-web qcluster"
    start program = "/bin/bash -c 'nohup $HOME/.local/bin/mailman-web qcluster >>$HOME/mailman/web/logs/qcluster.log 2>&1 &'"
    stop program = "/usr/bin/pkill -f 'mailman-web qcluster'"
    depends on mailman
EOD

Dienste starten:

monit

Für mailman-web qcluster kann alternativ ein minütlich laufender Cron Job verwendet werden.

Logrotation

Die Rotation der Logdateien kann so konfiguriert werden:

cat <<EOD >~/logrotate.conf
compress
delaycompress
missingok
notifempty
dateext

$HOME/monit/monit.log {
  rotate 1
  weekly
  maxsize 1M
}

$HOME/mailman/core/logs/*.log {
  rotate 6
  daily
  sharedscripts
  postrotate
    $HOME/.local/bin/mailman reopen >/dev/null ||:
  endscript
}

$HOME/mailman/web/logs/mailmanweb.log {
  rotate 6
  daily
}

$HOME/mailman/web/logs/qcluster.log {
  rotate 1
  size 100k
  postrotate
    /usr/bin/monit restart mailman-web-qcluster >/dev/null ||:
  endscript
}
EOD

Hinweis: qcluster.log wird hier nur bei Überschreiten der definierten Größe rotiert, um regelmäßige Mails von monit zu vermeiden.

Cron Jobs

Für Mailman sind verschiedene Cron Jobs erforderlich. Zudem sollen nach einem Neustart die monit Dienste gestartet werden und täglich eine Logrotation erfolgen. Die Einrichtung kann so erfolgen (eine bereits existierende crontab wird überschrieben):

cat <<EOD | crontab -
MAILTO=admin@example.org
HOME=$HOME
PATH=$HOME/.local/bin:/usr/bin:/bin:/usr/sbin

@reboot rm -f \$HOME/monit/monit.pid \$HOME/mailman/core/master.pid && monit

@daily logrotate -s \$HOME/.logrotate_state \$HOME/logrotate.conf

# Send periodic digests.
@daily mailman digests --send

* * * * * mailman-web runjobs minutely
2,17,32,47 * * * * mailman-web runjobs quarter_hourly
@hourly  mailman-web runjobs hourly
@daily   mailman-web runjobs daily
@weekly  mailman-web runjobs weekly
@monthly mailman-web runjobs monthly
@yearly  mailman-web runjobs yearly
EOD

Soll eine existierende crontab nicht überschrieben werden, muss das Kommando crontab -e ausgeführt und die crontab entsprechend angepasst werden. (Dabei \$HOME mit $HOME und $HOME mit dem Pfad des Benutzerverzeichnisses ersetzen.)

Liste anlegen

Damit Mailman tatsächlich genutzt werden kann, muss natürlich eine Liste eingerichtet werden.

mailman create meine-erste-liste@lists.example.org # Alternativ über Web Frontend

Außerdem müssen die E-Mail Adressen für die Mailingliste angelegt werden, im HSAdmin. Zum Beispiel für die Liste meine-erste-liste: meine-erste-liste, meine-erste-liste-join, meine-erste-liste-leave, meine-erste-liste-owner, für die Domain lists.example.org. Die E-Mails sollen in das Postfach gehen, wo mailman installiert ist. Alternativ kann eine Catch-All Adresse eingerichtet werden, damit alle E-Mails an die Subdomain in das Postfach vom mailman gehen. Der Catch-All ist laut Postfix Regeln eine Adresse mit einem leeren lokalen Teil (siehe auch der Screenshot in der entsprechenden Anleitung von Sympa).

Die Selbst-Registrierung von Benutzern verhindern

Per Default kann sich jede Person im Mailman3 ein Benutzerkonto anlegen. Wenn das nicht erwünscht ist, kann in der Datei var/etc/settings.py die folgende Zeile hinzugefügt werden:

ACCOUNT_ADAPTER = 'django_mailman3.views.user_adapter.DisableSignupAdapter'

Es können in diesem Fall im Django Backend durch den Administrator Benutzerkonten angelegt werden, auf https://lists.example.org/admin/auth/user/

Update

Mailman lässt sich wie im Folgenden beschrieben aktualisieren.

Python-Pakete für die Aktualisierungen vorliegen ausgeben:

cd ~/mailman
pipenv update --outdated

Vor dem eigentlichen Update empfiehlt es sich, die Release Notes (zumindest von Mailman) zu lesen und auf relevante Änderungen zu prüfen.

Mailman stoppen:

monit stop mailman

Update der Pakete:

pipenv update

Ggf. Pip Cache löschen:

pipenv --clear

Datenbankmigrationen durchführen:

mailman-web makemigrations
mailman-web migrate

Übersetzungen aktualisieren:

for pofile in $(find $(pipenv --venv) -path '*/locale/*/LC_MESSAGES/*.po'); do
  mofile=${pofile/.po/.mo}
  if [ ! -f $mofile ] || [ $pofile -nt $mofile ]; then
    echo $pofile
    msgfmt $pofile -o $mofile -v
    fi
done

Statische Dateien aktualisieren:

mailman-web collectstatic -c

Abschließend die Dienste wieder starten:

monit start mailman
monit start mailman-web-qcluster

Web Frontend neu starten:

mkdir -p ~/doms/lists.example.org/app-ssl/tmp
touch ~/doms/lists.example.org/app-ssl/tmp/restart.txt