https://wiki.hostsharing.net/api.php?action=feedcontributions&feedformat=atom&user=Opa00 2026-04-28T17:43:03Z Benutzerbeiträge MediaWiki 1.43.8 https://wiki.hostsharing.net/index.php?title=Zammad&diff=6033 2023-02-25T23:04:28Z

<p>Opa00: </p> <hr /> <div><br /> Zammad ist ein relativ umfangreiches, mächtiges und modernes OSS Helpdesk Tool. Für die Instalation wird benötigt: <br /> <br /> * eine (Sub)Domain <br /> * 2 bis 4 GB RAM (Schätzung, eure Erfahrung kann abweichen, je nach Nutzung)<br /> * ruby<br /> * nodejs<br /> <br /> <br /> == Installation ==<br /> <br /> Die Installation orientiert sich an dieser Anleitung und wurde für zammad 5.3 verfasst. <br /> Einige HS spezifische Abweichungen gibt es jedoch.<br /> <br /> * https://docs.zammad.org/en/latest/install/source.html <br /> <br /> === User anlegen ===<br /> Für diese Anleitung wird angenommen das der User unter dem zammad laufen soll xyz00-zammad im Packet xyz00 ist.<br /> <br /> === Installation ruby / ruby env ===<br /> Prüfe die Version von ruby die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#ruby-programming-language hier].<br /> <br /> Für diese Anleitung nehmen wir Version 3.0.5 an für zammad 5.2+.<br /> <br /> Die Installationsanleitung für rubyenv und ruby findet sich unter [[RubyRBEnv]].<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> ruby -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Installation nodejs ===<br /> Prüfe die Version von nodejs die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#node-js hier].<br /> <br /> Für diese Anleitung nehmen wir Version 16.0+ an für zammad 5.2+.<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> node -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Umgebungsvariablen === <br /> <br /> Meine `.profile`, `.bashrc`, `.bash_profile` sahen dann wie folgt aus (möglicherweise gibt es hier optimierungspotential)<br /> <br /> Die Datei `.bash_profile`:<br /> . ~/.profile<br /> . ~/.bashrc<br /> Die Datei `.profile` (vgl instalation ruby und nodejs):<br /> #ruby<br /> export PATH=&quot;$HOME/.rbenv/bin:$PATH&quot;<br /> eval &quot;$(rbenv init -)&quot;<br /> #nodejs<br /> export NVM_DIR=&quot;$HOME/.nvm&quot;<br /> [ -s &quot;$NVM_DIR/nvm.sh&quot; ] &amp;&amp; \. &quot;$NVM_DIR/nvm.sh&quot; # This loads nvm<br /> [ -s &quot;$NVM_DIR/bash_completion&quot; ] &amp;&amp; \. &quot;$NVM_DIR/bash_completion&quot; # This loads nvm bash_completion<br /> und die Datei `.bashrc`. Quellen vgl. [https://github.com/zammad/zammad/tree/develop/script/systemd/zammad.env] und [https://docs.zammad.org/en/latest/appendix/configure-env-vars.html#performance-tuning]<br /> # zammad env config<br /> WEB_CONCURRENCY=4<br /> # service config<br /> BUNDLE_BINARY=bundle<br /> RAILS_ENV=production<br /> ZAMMAD_BIND_IP=127.0.0.1<br /> ZAMMAD_RAILS_PORT=3000<br /> ZAMMAD_WEBSOCKET_PORT=6042<br /> <br /> Dann entweder alles neu einlesen oder einmal aus und wieder einloggen. Wenn alles geklappt hat, sollten die folgenden Befehle alle sinnvolle Ausgaben liefern<br /> echo $RAILS_ENV # Ausgabe: production<br /> ruby -v # Ausgabe vgl. oben<br /> nodejs -v # Ausgabe vgl. oben<br /> <br /> === Installation von Zammad ===<br /> Zuerst laden wir zammad herunter, entpacken es, und installieren die dependencies (nur production)<br /> <br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> cd zammad<br /> bundle config set --local without 'test development mysql'<br /> bundle install<br /> <br /> Dann tragen wir die zugangsdaten der postgres Datenbank ein (auf HS Admin selbst erstellen) hier: beides `xyz00_zammad`<br /> Mit folgendem Inhalt (Einrückung beachten!): <br /> nano config/database.yml<br /> <br /> # config/database.yml<br /> production:<br /> adapter: postgresql<br /> host: localhost<br /> database: xyz00_zammad<br /> pool: 50<br /> timeout: 5000<br /> encoding: utf8<br /> username: xyz00_zammad<br /> password: changeme<br /> <br /> Wenn alles stimmt sollten sich die folgenden Befehle ohne Fehler ausführen lassen und die Datenbanktabellen sowie die statischen Dateien zum ausliefern anlegen<br /> <br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> === Zammad ausliefern === <br /> Um via Browser auf zammad zugreifen zu können kann es via [[Phusion Passenger]] ausgeliefert werden. Dazu muss im HS Admin eine Domain aufgeschaltet werden. Dann wird:<br /> * die .htaccess wie folgend gesetzt werden <br /> * der zammad ordner nach app-ssl gelinkt werden<br /> * und der statische content in htdocs-ssl<br /> * Optional kann das Domain Template noch um die subdomains bereinigt werden (2. Befehl)<br /> <br /> cd ~/doms/zammad.example.org/<br /> rm -r subs*<br /> rm -r htdocs-ssl<br /> rm -r app-ssl<br /> ln -s ~/zammad app-ssl<br /> ln -s ~/zammad/public htdocs-ssl<br /> nano .htaccess<br /> <br /> # Inhalt .htaccess<br /> #PassengerFriendlyErrorPages on # falls nötig zum debuggen einkommentieren<br /> RackEnv production<br /> RailsEnv production<br /> PassengerRuby /home/pacs/xyz00/users/zammad/.rbenv/shims/ruby<br /> # local websocket ssl forwarding<br /> RewriteCond %{HTTP:Connection} Upgrade [NC]<br /> RewriteCond %{HTTP:Upgrade} websocket [NC]<br /> RewriteRule /(.*) ws://127.0.0.1:6042/$1 [P,L]<br /> <br /> Wenn alles geklappt hat sollte auf der Domain das restliche Web-basierte Setup zu sehen sein. Dort muss dann auch der andere HS Postfach User eingetragen werden. Theoretisch könnte man das auf dem gleichen Account abwickeln, ich persönlich würde es allerdings trennen. Piping wie bei manch andren Mailbasierten Anwendungen scheint nicht so einfach möglich zu sein (needs more investigation)<br /> <br /> === Hintergrunddienste === <br /> <br /> Damit der Websocket-Server und der Hintergrund Worker ordentlich laufen müssen folgende Befehle ausgeführt werden. Die IP Adresse und der Port beim Socket werden aus den Enviroment Variablen von oben bezogen, können allerdings auch manuell gesetzt werden.<br /> cd zammad<br /> bundle exec script/background-worker.rb start<br /> bundle exec script/websocket-server.rb -b ${ZAMMAD_BIND_IP} -p ${ZAMMAD_WEBSOCKET_PORT} start<br /> <br /> == Empfohlen: Monit ==<br /> Ich habe alles monit spezifische in den ordner monit gepackt<br /> cd <br /> mkdir monit<br /> cd monit<br /> Zum starten habe ich ein kleines start und stop script (für monit) erstellt (lange zeile ggf. beachten)<br /> <br /> nano start-worker.sh<br /> <br /> #!/bin/bash<br /> . ~/.bash_profile<br /> cd ~/zammad<br /> exec ${BUNDLE_BINARY} exec script/background-worker.rb start &gt; ~/monit/worker.log 2&gt;&amp;1 &amp;<br /> echo $! &gt; ~/monit/worker.pid<br /> <br /> nano start-websocket.sh<br /> <br /> #!/bin/bash<br /> . ~/.bash_profile<br /> cd ~/zammad<br /> # warnung, der socket produziert relativ viel log output im normalen Betrieb ggf. anpassen<br /> exec ${BUNDLE_BINARY} exec script/websocket-server.rb -b ${ZAMMAD_BIND_IP} -p ${ZAMMAD_WEBSOCKET_PORT} start &gt; ~/monit/socket.log 2&gt;&amp;1 &amp; <br /> echo $! &gt; ~/monit/socket.pid<br /> <br /> nano stop-worker.sh<br /> <br /> kill $( cat ~/monit/worker.pid )<br /> <br /> nano stop-websocket.sh<br /> <br /> kill $( cat ~/monit/socket.pid )<br /> <br /> Das dann alles noch in der `~/.monitrc` zusammenführen (achtung einige xyz00, zammad (user) und Mail Platzhalter):<br /> <br /> nano ~/.monitrc<br /> <br /> set daemon 60 with start delay 10<br /> set logfile /home/pacs/xyz00/users/zammad/monit/monit.log<br /> set idfile /home/pacs/xyz00/users/zammad/monit/monit.id<br /> set statefile /home/pacs/xyz00/users/zammad/monit/monit.state<br /> set mailserver localhost<br /> set mail-format { from: monit@your-domain.com }<br /> #set httpd port 39008 address localhost<br /> # allow zammadadmin:ein-monit-passwort<br /> check process zammad_worker with pidfile /home/pacs/xyz00/users/zammad/monit/worker.pid<br /> start program &quot;/home/pacs/xyz00/users/zammad/monit/start-worker.sh&quot;<br /> stop program &quot;/home/pacs/xyz00/users/zammad/monit/stop-worker.sh&quot;<br /> check process zammad_socket with pidfile /home/pacs/opa00/users/zammad/monit/socket.pid<br /> start program &quot;/home/pacs/xyz00/users/zammad/monit/start-websocket.sh&quot;<br /> stop program &quot;/home/pacs/xyz00/users/zammad/monit/stop-websocket.sh&quot;<br /> <br /> Noch schnell die rechte der 4 scripts anpassen: <br /> chmod u+x ~/monit/*.sh<br /> <br /> Monit kann dann mit <br /> monit<br /> gestartet werden.<br /> <br /> Sobald monit einmal erfolgreich anlief sollte der monit Ordner so aussehen:<br /> ls -lh<br /> <br /> -rw-r--r-- 1 xyz00-zammad xyz00 32 Feb 23 11:59 monit.id<br /> -rw-r--r-- 1 xyz00-zammad xyz00 2867 Feb 24 23:46 monit.log<br /> -rw------- 1 xyz00-zammad xyz00 800 Feb 24 13:20 monit.state<br /> -rw-r--r-- 1 xyz00-zammad xyz00 41048 Feb 25 00:49 socket.log<br /> -rw-r--r-- 1 xyz00-zammad xyz00 5 Feb 24 23:45 socket.pid<br /> -rwxr--r-- 1 xyz00-zammad xyz00 209 Feb 24 23:45 start-websocket.sh<br /> -rwxr--r-- 1 xyz00-zammad xyz00 161 Feb 24 23:27 start-worker.sh<br /> -rwxr--r-- 1 xyz00-zammad xyz00 34 Feb 24 23:30 stop-websocket.sh<br /> -rwxr--r-- 1 xyz00-zammad xyz00 34 Feb 23 11:53 stop-worker.sh<br /> -rw-r--r-- 1 xyz00-zammad xyz00 0 Feb 24 23:38 worker.log<br /> -rw-r--r-- 1 xyz00-zammad xyz00 5 Feb 24 23:38 worker.pid<br /> <br /> == Optional: Mail-Piping ==<br /> <br /> Um ein bisschen (viel) Last vom Background-Worker zu nehmen kann Mailpiping eingerichtet werden. Dafür sollte vermutlich zuerst der Webinstaller mit einer anderen IMAP/SMTP config durchgeklickt werden. Zusätzlich reduziert sich die Latenz von Maileingang bis Ticketeingang ein wenig. <br /> <br /> === Ausgangsserver auf sendmail festlegen ===<br /> <br /> Der folgende Code schnippsel legt einen Mail-Kanal an, ohne einen dedizierten Eingang der regelmäßig abgerufen werden müsste. Quelle [https://admin-docs.zammad.org/en/latest/channels/email/advanced/sendmail.html]<br /> <br /> rails r &quot;Channel.create(area: 'Email::Account', options: { inbound: { adapter: 'null', options: {} }, outbound: { adapter: 'sendmail' } }, active: true, preferences: { editable: false }, updated_by_id: 1, created_by_id: 1)&quot;<br /> <br /> === Maileingang per procmail === <br /> <br /> <br /> <br /> <br /> == Optional: Elasticsearch anbindung ==<br /> <br /> Weiteren User nach [[Elasticsearch]] anlegen. Dieser muss dann mit zammad verknüpft werden. Hier wird der Port 39200 angenommen. <br /> <br /> cd ~/zammad<br /> rails r &quot;Setting.set('es_url', 'http://localhost:39200')&quot;<br /> rails r &quot;Setting.set('es_user', 'elasticsearch')&quot;<br /> rails r &quot;Setting.set('es_password', 'changeme')&quot;<br /> <br /> Um Elasticsearch wieder zu deaktivieren einfach die URL durch einen leeren string ersetzen. <br /> <br /> <br /> <br /> == Zammad Upgrade ==<br /> <br /> {{Baustelle}}<br /> <br /> &lt;pre&gt;<br /> killall -u $USER<br /> killall -u $USER 9<br /> <br /> cp -a zammad zammad-old<br /> cd zammad<br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Ruby 2.2.5 fehlt!<br /> <br /> cd<br /> rbenv install 2.5.5<br /> <br /> Geht nicht, Rbenv ist zu alt!<br /> <br /> cd ~/.rbenv/plugins/ruby-build<br /> git pull<br /> cd<br /> rbenv install 2.5.5<br /> rbenv global 2.5.5<br /> rbenv local 2.5.5<br /> <br /> cd zammad<br /> gem install bundle<br /> gem install bundler<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Bundler 1.17.x wird gebraucht.<br /> <br /> gem install bundler==1.17.3<br /> <br /> Geht auch nicht.<br /> Dann hacken wir das mal versuchsweise ins Lock.<br /> <br /> vim Gemfile.lock<br /> <br /> bundle install --without test development mysql<br /> <br /> Es fehlen Libs.<br /> HS bitte installieren...<br /> [...]<br /> Danke!<br /> <br /> bundle install --without test development mysql<br /> export RAILS_ENV=production<br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> /usr/bin/supervisord -c $HOME/supervisor/etc/supervisord.conf<br /> &lt;/pre&gt;<br /> <br /> [[Kategorie:HSDoku]]<br /> [[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:RubyOnRails]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Zammad&diff=6032 2023-02-25T00:08:43Z

<p>Opa00: changed headlines</p> <hr /> <div><br /> Zammad ist ein relativ umfangreiches, mächtiges und modernes OSS Helpdesk Tool. Für die Instalation wird benötigt: <br /> <br /> * 2+ User im HS Admin (einer für den Webspace und mindestens einen für die eingehenden Ticketmails als Postfach)<br /> * eine (Sub)Domain <br /> * 2 bis 4 GB RAM (Schätzung, eure Erfahrung kann abweichen, je nach Nutzung)<br /> * ruby<br /> * nodejs<br /> * Optional: monit (für die hintergrund Dienste)<br /> * Optional: elasticsearch (für die Statistiken und eine bessere Suche)<br /> <br /> == Installation ==<br /> <br /> Die Installation orientiert sich an dieser Anleitung und wurde für zammad 5.3 verfasst. <br /> Einige HS spezifische Abweichungen gibt es jedoch.<br /> <br /> * https://docs.zammad.org/en/latest/install/source.html <br /> <br /> === User anlegen ===<br /> Für diese Anleitung wird angenommen das der User unter dem zammad laufen soll xyz00-zammad im Packet xyz00 ist.<br /> <br /> === Installation ruby / ruby env ===<br /> Prüfe die Version von ruby die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#ruby-programming-language hier].<br /> <br /> Für diese Anleitung nehmen wir Version 3.0.5 an für zammad 5.2+.<br /> <br /> Die Installationsanleitung für rubyenv und ruby findet sich unter [[RubyRBEnv]].<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> ruby -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Installation nodejs ===<br /> Prüfe die Version von nodejs die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#node-js hier].<br /> <br /> Für diese Anleitung nehmen wir Version 16.0+ an für zammad 5.2+.<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> node -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Umgebungsvariablen === <br /> <br /> Meine `.profile`, `.bashrc`, `.bash_profile` sahen dann wie folgt aus (möglicherweise gibt es hier optimierungspotential)<br /> <br /> Die Datei `.bash_profile`:<br /> . ~/.profile<br /> . ~/.bashrc<br /> Die Datei `.profile` (vgl instalation ruby und nodejs):<br /> #ruby<br /> export PATH=&quot;$HOME/.rbenv/bin:$PATH&quot;<br /> eval &quot;$(rbenv init -)&quot;<br /> #nodejs<br /> export NVM_DIR=&quot;$HOME/.nvm&quot;<br /> [ -s &quot;$NVM_DIR/nvm.sh&quot; ] &amp;&amp; \. &quot;$NVM_DIR/nvm.sh&quot; # This loads nvm<br /> [ -s &quot;$NVM_DIR/bash_completion&quot; ] &amp;&amp; \. &quot;$NVM_DIR/bash_completion&quot; # This loads nvm bash_completion<br /> und die Datei `.bashrc`. Quellen vgl. [https://github.com/zammad/zammad/tree/develop/script/systemd/zammad.env] und [https://docs.zammad.org/en/latest/appendix/configure-env-vars.html#performance-tuning]<br /> # zammad env config<br /> WEB_CONCURRENCY=4<br /> # service config<br /> BUNDLE_BINARY=bundle<br /> RAILS_ENV=production<br /> ZAMMAD_BIND_IP=127.0.0.1<br /> ZAMMAD_RAILS_PORT=3000<br /> ZAMMAD_WEBSOCKET_PORT=6042<br /> <br /> Dann entweder alles neu einlesen oder einmal aus und wieder einloggen. Wenn alles geklappt hat, sollten die folgenden Befehle alle sinnvolle Ausgaben liefern<br /> echo $RAILS_ENV # Ausgabe: production<br /> ruby -v # Ausgabe vgl. oben<br /> nodejs -v # Ausgabe vgl. oben<br /> <br /> === Installation von Zammad ===<br /> Zuerst laden wir zammad herunter, entpacken es, und installieren die dependencies (nur production)<br /> <br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> cd zammad<br /> bundle config set --local without 'test development mysql'<br /> bundle install<br /> <br /> Dann tragen wir die zugangsdaten der postgres Datenbank ein (auf HS Admin selbst erstellen) hier: beides `xyz00_zammad`<br /> Mit folgendem Inhalt (Einrückung beachten!): <br /> nano config/database.yml<br /> <br /> # config/database.yml<br /> production:<br /> adapter: postgresql<br /> host: localhost<br /> database: xyz00_zammad<br /> pool: 50<br /> timeout: 5000<br /> encoding: utf8<br /> username: xyz00_zammad<br /> password: changeme<br /> <br /> Wenn alles stimmt sollten sich die folgenden Befehle ohne Fehler ausführen lassen und die Datenbanktabellen sowie die statischen Dateien zum ausliefern anlegen<br /> <br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> === Zammad ausliefern === <br /> Um via Browser auf zammad zugreifen zu können kann es via [[Phusion Passenger]] ausgeliefert werden. Dazu muss im HS Admin eine Domain aufgeschaltet werden. Dann wird:<br /> * die .htaccess wie folgend gesetzt werden <br /> * der zammad ordner nach app-ssl gelinkt werden<br /> * und der statische content in htdocs-ssl<br /> * Optional kann das Domain Template noch um die subdomains bereinigt werden (2. Befehl)<br /> <br /> cd ~/doms/zammad.example.org/<br /> rm -r subs*<br /> rm -r htdocs-ssl<br /> rm -r app-ssl<br /> ln -s ~/zammad app-ssl<br /> ln -s ~/zammad/public htdocs-ssl<br /> nano .htaccess<br /> <br /> # Inhalt .htaccess<br /> #PassengerFriendlyErrorPages on # falls nötig zum debuggen einkommentieren<br /> RackEnv production<br /> RailsEnv production<br /> PassengerRuby /home/pacs/xyz00/users/zammad/.rbenv/shims/ruby<br /> # local websocket ssl forwarding<br /> RewriteCond %{HTTP:Connection} Upgrade [NC]<br /> RewriteCond %{HTTP:Upgrade} websocket [NC]<br /> RewriteRule /(.*) ws://127.0.0.1:6042/$1 [P,L]<br /> <br /> Wenn alles geklappt hat sollte auf der Domain das restliche Web-basierte Setup zu sehen sein. Dort muss dann auch der andere HS Postfach User eingetragen werden. Theoretisch könnte man das auf dem gleichen Account abwickeln, ich persönlich würde es allerdings trennen. Piping wie bei manch andren Mailbasierten Anwendungen scheint nicht so einfach möglich zu sein (needs more investigation)<br /> <br /> === Hintergrunddienste === <br /> <br /> Damit der Websocket-Server und der Hintergrund Worker ordentlich laufen müssen folgende Befehle ausgeführt werden. Die IP Adresse und der Port beim Socket werden aus den Enviroment Variablen von oben bezogen, können allerdings auch manuell gesetzt werden.<br /> cd zammad<br /> bundle exec script/background-worker.rb start<br /> bundle exec script/websocket-server.rb -b ${ZAMMAD_BIND_IP} -p ${ZAMMAD_WEBSOCKET_PORT} start<br /> <br /> == Empfohlen: Monit ==<br /> Ich habe alles monit spezifische in den ordner monit gepackt<br /> cd <br /> mkdir monit<br /> cd monit<br /> Zum starten habe ich ein kleines start und stop script (für monit) erstellt (lange zeile ggf. beachten)<br /> <br /> nano start-worker.sh<br /> <br /> #!/bin/bash<br /> . ~/.bash_profile<br /> cd ~/zammad<br /> exec ${BUNDLE_BINARY} exec script/background-worker.rb start &gt; ~/monit/worker.log 2&gt;&amp;1 &amp;<br /> echo $! &gt; ~/monit/worker.pid<br /> <br /> nano start-websocket.sh<br /> <br /> #!/bin/bash<br /> . ~/.bash_profile<br /> cd ~/zammad<br /> # warnung, der socket produziert relativ viel log output im normalen Betrieb ggf. anpassen<br /> exec ${BUNDLE_BINARY} exec script/websocket-server.rb -b ${ZAMMAD_BIND_IP} -p ${ZAMMAD_WEBSOCKET_PORT} start &gt; ~/monit/socket.log 2&gt;&amp;1 &amp; <br /> echo $! &gt; ~/monit/socket.pid<br /> <br /> nano stop-worker.sh<br /> <br /> kill $( cat ~/monit/worker.pid )<br /> <br /> nano stop-websocket.sh<br /> <br /> kill $( cat ~/monit/socket.pid )<br /> <br /> Das dann alles noch in der `~/.monitrc` zusammenführen (achtung einige xyz00, zammad (user) und Mail Platzhalter):<br /> <br /> nano ~/.monitrc<br /> <br /> set daemon 60 with start delay 10<br /> set logfile /home/pacs/xyz00/users/zammad/monit/monit.log<br /> set idfile /home/pacs/xyz00/users/zammad/monit/monit.id<br /> set statefile /home/pacs/xyz00/users/zammad/monit/monit.state<br /> set mailserver localhost<br /> set mail-format { from: monit@your-domain.com }<br /> #set httpd port 39008 address localhost<br /> # allow zammadadmin:ein-monit-passwort<br /> check process zammad_worker with pidfile /home/pacs/xyz00/users/zammad/monit/worker.pid<br /> start program &quot;/home/pacs/xyz00/users/zammad/monit/start-worker.sh&quot;<br /> stop program &quot;/home/pacs/xyz00/users/zammad/monit/stop-worker.sh&quot;<br /> check process zammad_socket with pidfile /home/pacs/opa00/users/zammad/monit/socket.pid<br /> start program &quot;/home/pacs/xyz00/users/zammad/monit/start-websocket.sh&quot;<br /> stop program &quot;/home/pacs/xyz00/users/zammad/monit/stop-websocket.sh&quot;<br /> <br /> Noch schnell die rechte der 4 scripts anpassen: <br /> chmod u+x ~/monit/*.sh<br /> <br /> Monit kann dann mit <br /> monit<br /> gestartet werden.<br /> <br /> Sobald monit einmal erfolgreich anlief sollte der monit Ordner so aussehen:<br /> ls -lh<br /> <br /> -rw-r--r-- 1 xyz00-zammad xyz00 32 Feb 23 11:59 monit.id<br /> -rw-r--r-- 1 xyz00-zammad xyz00 2867 Feb 24 23:46 monit.log<br /> -rw------- 1 xyz00-zammad xyz00 800 Feb 24 13:20 monit.state<br /> -rw-r--r-- 1 xyz00-zammad xyz00 41048 Feb 25 00:49 socket.log<br /> -rw-r--r-- 1 xyz00-zammad xyz00 5 Feb 24 23:45 socket.pid<br /> -rwxr--r-- 1 xyz00-zammad xyz00 209 Feb 24 23:45 start-websocket.sh<br /> -rwxr--r-- 1 xyz00-zammad xyz00 161 Feb 24 23:27 start-worker.sh<br /> -rwxr--r-- 1 xyz00-zammad xyz00 34 Feb 24 23:30 stop-websocket.sh<br /> -rwxr--r-- 1 xyz00-zammad xyz00 34 Feb 23 11:53 stop-worker.sh<br /> -rw-r--r-- 1 xyz00-zammad xyz00 0 Feb 24 23:38 worker.log<br /> -rw-r--r-- 1 xyz00-zammad xyz00 5 Feb 24 23:38 worker.pid<br /> <br /> == Optional: Elasticsearch anbindung ==<br /> <br /> Weiteren User nach [[Elasticsearch]] anlegen. Dieser muss dann mit zammad verknüpft werden. Hier wird der Port 39200 angenommen. <br /> <br /> cd ~/zammad<br /> rails r &quot;Setting.set('es_url', 'http://localhost:39200')&quot;<br /> rails r &quot;Setting.set('es_user', 'elasticsearch')&quot;<br /> rails r &quot;Setting.set('es_password', 'changeme')&quot;<br /> <br /> Um Elasticsearch wieder zu deaktivieren einfach die URL durch einen leeren string ersetzen. <br /> <br /> == Zammad Upgrade ==<br /> <br /> &lt;pre&gt;<br /> killall -u $USER<br /> killall -u $USER 9<br /> <br /> cp -a zammad zammad-old<br /> cd zammad<br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Ruby 2.2.5 fehlt!<br /> <br /> cd<br /> rbenv install 2.5.5<br /> <br /> Geht nicht, Rbenv ist zu alt!<br /> <br /> cd ~/.rbenv/plugins/ruby-build<br /> git pull<br /> cd<br /> rbenv install 2.5.5<br /> rbenv global 2.5.5<br /> rbenv local 2.5.5<br /> <br /> cd zammad<br /> gem install bundle<br /> gem install bundler<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Bundler 1.17.x wird gebraucht.<br /> <br /> gem install bundler==1.17.3<br /> <br /> Geht auch nicht.<br /> Dann hacken wir das mal versuchsweise ins Lock.<br /> <br /> vim Gemfile.lock<br /> <br /> bundle install --without test development mysql<br /> <br /> Es fehlen Libs.<br /> HS bitte installieren...<br /> [...]<br /> Danke!<br /> <br /> bundle install --without test development mysql<br /> export RAILS_ENV=production<br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> /usr/bin/supervisord -c $HOME/supervisor/etc/supervisord.conf<br /> &lt;/pre&gt;<br /> <br /> [[Kategorie:HSDoku]]<br /> [[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:RubyOnRails]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Zammad&diff=6031 2023-02-25T00:08:06Z

<p>Opa00: </p> <hr /> <div><br /> Zammad ist ein relativ umfangreiches, mächtiges und modernes OSS Helpdesk Tool. Für die Instalation wird benötigt: <br /> <br /> * 2+ User im HS Admin (einer für den Webspace und mindestens einen für die eingehenden Ticketmails als Postfach)<br /> * eine (Sub)Domain <br /> * 2 bis 4 GB RAM (Schätzung, eure Erfahrung kann abweichen, je nach Nutzung)<br /> * ruby<br /> * nodejs<br /> * Optional: monit (für die hintergrund Dienste)<br /> * Optional: elasticsearch (für die Statistiken und eine bessere Suche)<br /> <br /> == Installation ==<br /> <br /> Die Installation orientiert sich an dieser Anleitung und wurde für zammad 5.3 verfasst. <br /> Einige HS spezifische Abweichungen gibt es jedoch.<br /> <br /> * https://docs.zammad.org/en/latest/install/source.html <br /> <br /> === User anlegen ===<br /> Für diese Anleitung wird angenommen das der User unter dem zammad laufen soll xyz00-zammad im Packet xyz00 ist.<br /> <br /> === Installation ruby / ruby env ===<br /> Prüfe die Version von ruby die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#ruby-programming-language hier].<br /> <br /> Für diese Anleitung nehmen wir Version 3.0.5 an für zammad 5.2+.<br /> <br /> Die Installationsanleitung für rubyenv und ruby findet sich unter [[RubyRBEnv]].<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> ruby -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Installation nodejs ===<br /> Prüfe die Version von nodejs die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#node-js hier].<br /> <br /> Für diese Anleitung nehmen wir Version 16.0+ an für zammad 5.2+.<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> node -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Umgebungsvariablen === <br /> <br /> Meine `.profile`, `.bashrc`, `.bash_profile` sahen dann wie folgt aus (möglicherweise gibt es hier optimierungspotential)<br /> <br /> Die Datei `.bash_profile`:<br /> . ~/.profile<br /> . ~/.bashrc<br /> Die Datei `.profile` (vgl instalation ruby und nodejs):<br /> #ruby<br /> export PATH=&quot;$HOME/.rbenv/bin:$PATH&quot;<br /> eval &quot;$(rbenv init -)&quot;<br /> #nodejs<br /> export NVM_DIR=&quot;$HOME/.nvm&quot;<br /> [ -s &quot;$NVM_DIR/nvm.sh&quot; ] &amp;&amp; \. &quot;$NVM_DIR/nvm.sh&quot; # This loads nvm<br /> [ -s &quot;$NVM_DIR/bash_completion&quot; ] &amp;&amp; \. &quot;$NVM_DIR/bash_completion&quot; # This loads nvm bash_completion<br /> und die Datei `.bashrc`. Quellen vgl. [https://github.com/zammad/zammad/tree/develop/script/systemd/zammad.env] und [https://docs.zammad.org/en/latest/appendix/configure-env-vars.html#performance-tuning]<br /> # zammad env config<br /> WEB_CONCURRENCY=4<br /> # service config<br /> BUNDLE_BINARY=bundle<br /> RAILS_ENV=production<br /> ZAMMAD_BIND_IP=127.0.0.1<br /> ZAMMAD_RAILS_PORT=3000<br /> ZAMMAD_WEBSOCKET_PORT=6042<br /> <br /> Dann entweder alles neu einlesen oder einmal aus und wieder einloggen. Wenn alles geklappt hat, sollten die folgenden Befehle alle sinnvolle Ausgaben liefern<br /> echo $RAILS_ENV # Ausgabe: production<br /> ruby -v # Ausgabe vgl. oben<br /> nodejs -v # Ausgabe vgl. oben<br /> <br /> === Installation von Zammad ===<br /> Zuerst laden wir zammad herunter, entpacken es, und installieren die dependencies (nur production)<br /> <br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> cd zammad<br /> bundle config set --local without 'test development mysql'<br /> bundle install<br /> <br /> Dann tragen wir die zugangsdaten der postgres Datenbank ein (auf HS Admin selbst erstellen) hier: beides `xyz00_zammad`<br /> Mit folgendem Inhalt (Einrückung beachten!): <br /> nano config/database.yml<br /> <br /> # config/database.yml<br /> production:<br /> adapter: postgresql<br /> host: localhost<br /> database: xyz00_zammad<br /> pool: 50<br /> timeout: 5000<br /> encoding: utf8<br /> username: xyz00_zammad<br /> password: changeme<br /> <br /> Wenn alles stimmt sollten sich die folgenden Befehle ohne Fehler ausführen lassen und die Datenbanktabellen sowie die statischen Dateien zum ausliefern anlegen<br /> <br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> === Zammad ausliefern === <br /> Um via Browser auf zammad zugreifen zu können kann es via [[Phusion Passenger]] ausgeliefert werden. Dazu muss im HS Admin eine Domain aufgeschaltet werden. Dann wird:<br /> * die .htaccess wie folgend gesetzt werden <br /> * der zammad ordner nach app-ssl gelinkt werden<br /> * und der statische content in htdocs-ssl<br /> * Optional kann das Domain Template noch um die subdomains bereinigt werden (2. Befehl)<br /> <br /> cd ~/doms/zammad.example.org/<br /> rm -r subs*<br /> rm -r htdocs-ssl<br /> rm -r app-ssl<br /> ln -s ~/zammad app-ssl<br /> ln -s ~/zammad/public htdocs-ssl<br /> nano .htaccess<br /> <br /> # Inhalt .htaccess<br /> #PassengerFriendlyErrorPages on # falls nötig zum debuggen einkommentieren<br /> RackEnv production<br /> RailsEnv production<br /> PassengerRuby /home/pacs/xyz00/users/zammad/.rbenv/shims/ruby<br /> # local websocket ssl forwarding<br /> RewriteCond %{HTTP:Connection} Upgrade [NC]<br /> RewriteCond %{HTTP:Upgrade} websocket [NC]<br /> RewriteRule /(.*) ws://127.0.0.1:6042/$1 [P,L]<br /> <br /> Wenn alles geklappt hat sollte auf der Domain das restliche Web-basierte Setup zu sehen sein. Dort muss dann auch der andere HS Postfach User eingetragen werden. Theoretisch könnte man das auf dem gleichen Account abwickeln, ich persönlich würde es allerdings trennen. Piping wie bei manch andren Mailbasierten Anwendungen scheint nicht so einfach möglich zu sein (needs more investigation)<br /> <br /> === Hintergrunddienste === <br /> <br /> Damit der Websocket-Server und der Hintergrund Worker ordentlich laufen müssen folgende Befehle ausgeführt werden. Die IP Adresse und der Port beim Socket werden aus den Enviroment Variablen von oben bezogen, können allerdings auch manuell gesetzt werden.<br /> cd zammad<br /> bundle exec script/background-worker.rb start<br /> bundle exec script/websocket-server.rb -b ${ZAMMAD_BIND_IP} -p ${ZAMMAD_WEBSOCKET_PORT} start<br /> <br /> === Monit ===<br /> Ich habe alles monit spezifische in den ordner monit gepackt<br /> cd <br /> mkdir monit<br /> cd monit<br /> Zum starten habe ich ein kleines start und stop script (für monit) erstellt (lange zeile ggf. beachten)<br /> <br /> nano start-worker.sh<br /> <br /> #!/bin/bash<br /> . ~/.bash_profile<br /> cd ~/zammad<br /> exec ${BUNDLE_BINARY} exec script/background-worker.rb start &gt; ~/monit/worker.log 2&gt;&amp;1 &amp;<br /> echo $! &gt; ~/monit/worker.pid<br /> <br /> nano start-websocket.sh<br /> <br /> #!/bin/bash<br /> . ~/.bash_profile<br /> cd ~/zammad<br /> # warnung, der socket produziert relativ viel log output im normalen Betrieb ggf. anpassen<br /> exec ${BUNDLE_BINARY} exec script/websocket-server.rb -b ${ZAMMAD_BIND_IP} -p ${ZAMMAD_WEBSOCKET_PORT} start &gt; ~/monit/socket.log 2&gt;&amp;1 &amp; <br /> echo $! &gt; ~/monit/socket.pid<br /> <br /> nano stop-worker.sh<br /> <br /> kill $( cat ~/monit/worker.pid )<br /> <br /> nano stop-websocket.sh<br /> <br /> kill $( cat ~/monit/socket.pid )<br /> <br /> Das dann alles noch in der `~/.monitrc` zusammenführen (achtung einige xyz00, zammad (user) und Mail Platzhalter):<br /> <br /> nano ~/.monitrc<br /> <br /> set daemon 60 with start delay 10<br /> set logfile /home/pacs/xyz00/users/zammad/monit/monit.log<br /> set idfile /home/pacs/xyz00/users/zammad/monit/monit.id<br /> set statefile /home/pacs/xyz00/users/zammad/monit/monit.state<br /> set mailserver localhost<br /> set mail-format { from: monit@your-domain.com }<br /> #set httpd port 39008 address localhost<br /> # allow zammadadmin:ein-monit-passwort<br /> check process zammad_worker with pidfile /home/pacs/xyz00/users/zammad/monit/worker.pid<br /> start program &quot;/home/pacs/xyz00/users/zammad/monit/start-worker.sh&quot;<br /> stop program &quot;/home/pacs/xyz00/users/zammad/monit/stop-worker.sh&quot;<br /> check process zammad_socket with pidfile /home/pacs/opa00/users/zammad/monit/socket.pid<br /> start program &quot;/home/pacs/xyz00/users/zammad/monit/start-websocket.sh&quot;<br /> stop program &quot;/home/pacs/xyz00/users/zammad/monit/stop-websocket.sh&quot;<br /> <br /> Noch schnell die rechte der 4 scripts anpassen: <br /> chmod u+x ~/monit/*.sh<br /> <br /> Monit kann dann mit <br /> monit<br /> gestartet werden.<br /> <br /> Sobald monit einmal erfolgreich anlief sollte der monit Ordner so aussehen:<br /> ls -lh<br /> <br /> -rw-r--r-- 1 xyz00-zammad xyz00 32 Feb 23 11:59 monit.id<br /> -rw-r--r-- 1 xyz00-zammad xyz00 2867 Feb 24 23:46 monit.log<br /> -rw------- 1 xyz00-zammad xyz00 800 Feb 24 13:20 monit.state<br /> -rw-r--r-- 1 xyz00-zammad xyz00 41048 Feb 25 00:49 socket.log<br /> -rw-r--r-- 1 xyz00-zammad xyz00 5 Feb 24 23:45 socket.pid<br /> -rwxr--r-- 1 xyz00-zammad xyz00 209 Feb 24 23:45 start-websocket.sh<br /> -rwxr--r-- 1 xyz00-zammad xyz00 161 Feb 24 23:27 start-worker.sh<br /> -rwxr--r-- 1 xyz00-zammad xyz00 34 Feb 24 23:30 stop-websocket.sh<br /> -rwxr--r-- 1 xyz00-zammad xyz00 34 Feb 23 11:53 stop-worker.sh<br /> -rw-r--r-- 1 xyz00-zammad xyz00 0 Feb 24 23:38 worker.log<br /> -rw-r--r-- 1 xyz00-zammad xyz00 5 Feb 24 23:38 worker.pid<br /> <br /> === Optinal: Elasticsearch anbindung === <br /> <br /> Weiteren User nach [[Elasticsearch]] anlegen. Dieser muss dann mit zammad verknüpft werden. Hier wird der Port 39200 angenommen. <br /> <br /> cd ~/zammad<br /> rails r &quot;Setting.set('es_url', 'http://localhost:39200')&quot;<br /> rails r &quot;Setting.set('es_user', 'elasticsearch')&quot;<br /> rails r &quot;Setting.set('es_password', 'changeme')&quot;<br /> <br /> Um Elasticsearch wieder zu deaktivieren einfach die URL durch einen leeren string ersetzen. <br /> <br /> == Zammad Upgrade ==<br /> <br /> &lt;pre&gt;<br /> killall -u $USER<br /> killall -u $USER 9<br /> <br /> cp -a zammad zammad-old<br /> cd zammad<br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Ruby 2.2.5 fehlt!<br /> <br /> cd<br /> rbenv install 2.5.5<br /> <br /> Geht nicht, Rbenv ist zu alt!<br /> <br /> cd ~/.rbenv/plugins/ruby-build<br /> git pull<br /> cd<br /> rbenv install 2.5.5<br /> rbenv global 2.5.5<br /> rbenv local 2.5.5<br /> <br /> cd zammad<br /> gem install bundle<br /> gem install bundler<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Bundler 1.17.x wird gebraucht.<br /> <br /> gem install bundler==1.17.3<br /> <br /> Geht auch nicht.<br /> Dann hacken wir das mal versuchsweise ins Lock.<br /> <br /> vim Gemfile.lock<br /> <br /> bundle install --without test development mysql<br /> <br /> Es fehlen Libs.<br /> HS bitte installieren...<br /> [...]<br /> Danke!<br /> <br /> bundle install --without test development mysql<br /> export RAILS_ENV=production<br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> /usr/bin/supervisord -c $HOME/supervisor/etc/supervisord.conf<br /> &lt;/pre&gt;<br /> <br /> [[Kategorie:HSDoku]]<br /> [[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:RubyOnRails]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Monit_installieren&diff=6013 2023-02-19T03:25:06Z

<p>Opa00: fixed path</p> <hr /> <div>[[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:eigene Daemons]]<br /> [[Kategorie:Managed Server]]<br /> <br /> Monit ist ein ressourcensparendes Programm zur Überwachung eines Server oder von [[Daemon|Diensten (&quot;Daemons&quot;)]] auf einem Server. <br /> <br /> Es fragt regelmäßig den Zustand des zu überwachenden Prozesses ab und kann bei einem Absturz den Prozess selbstständig neu starten. Für Betriebssystem-Ressourcen, wie Festplatten-Kapazität oder CPU- und RAM-Auslastung, können Schwellwerte angegeben werden, bei deren Überschreitung Monit per E-Mail alarmiert und in eine Log-Datei protokolliert.<br /> <br /> In dieser Beschreibung wird der Start des Servers und von Monit durch den Paketadmin angenommen. Sollte ein davon verschiedener Domain-Admin der &quot;Befehlshaber&quot; sein, so müssen die Pfade entsprechend korrigiert werden. Von &quot;/home/pacs/xyz00&quot; zu &quot;/home/pacs/xyz00/users/user&quot;.<br /> <br /> == Konfiguration ==<br /> <br /> Monit sucht seine Konfiguration beim Start zuerst in der Datei ~/.monitrc im Homeverzeichnis des Users, der monit startet.<br /> <br /> Wir erstellen also diese Datei im Hauptverzeichnis des Users und sorgen dafür, dass sie nur von diesem gelesen und beschrieben werden kann:<br /> <br /> &lt;pre&gt;<br /> xyz00@hxx:~$ cd<br /> xyz00@hxx:~$ touch .monitrc<br /> xyz00@hxx:~$ chmod 0600 .monitrc<br /> xyz00@hxx:~$ edit .monitrc<br /> &lt;/pre&gt;<br /> <br /> Und füllen sie mit folgendem Inhalt:<br /> <br /> &lt;pre&gt;<br /> set daemon 600<br /> set logfile /home/pacs/xyz00/var/monit.log<br /> set mailserver localhost<br /> set alert admin@example.tld<br /> <br /> check process apache2 with pidfile /home/pacs/xyz00/etc/apache2/run/apache2.pid<br /> start program &quot;/bin/bash -c '/home/pacs/xyz00/etc/apache2/apache2_start'&quot;<br /> stop program &quot;/bin/bash -c '/home/pacs/xyz00/etc/apache2/apache2_stop'&quot;<br /> if failed host example.tld port 8080 with timeout 60 seconds then restart<br /> &lt;/pre&gt;<br /> <br /> '''Achtung:''' Dieses Beispiel geht davon aus, dass die entsprechenden Start- und Stopskripte existieren und der Pfad zum pidfile des Apachen stimmt.<br /> <br /> == Monit Starten und Stoppen ==<br /> <br /> '''Start:''' monit&lt;br&gt;<br /> '''Stop:''' monit quit<br /> <br /> === Start eigener [[Daemon|Daemons]] beim Start des Servers ===<br /> <br /> In die eigene [[Cron#Crontab|crontab]] folgenden Eintrag:<br /> <br /> @reboot rm -f $HOME/.monit.pid &amp;&amp; /usr/bin/monit -c &quot;/home/pacs/xyz00/.monitrc&quot;<br /> <br /> == Managed Server monitoren ==<br /> <br /> Bei der Nutzung eines Managed Server ist das Hostsharing-Mitglied selbst dafür verantwortlich, die Ressourcen des Servers<br /> ausreichend zu dimensionieren. Monit kann helfen Engpässe zu entdecken.<br /> <br /> Mit den folgenden Zeilen in der .monitrc wird bei der Überschreitung von bestimmten Schwellwerten beim Load,<br /> bei der RAM- und CPU-Auslastung und der Festplatten-Auslastung der E-Mail alarmiert und ins monit.log protokolliert:<br /> <br /> &lt;pre&gt;<br /> check system h00.hostsharing.net<br /> if loadavg (1min) &gt; 5 then alert<br /> if loadavg (5min) &gt; 3 then alert<br /> if memory usage &gt; 85% then alert<br /> if cpu usage (user) &gt; 70% then alert<br /> if cpu usage (system) &gt; 30% then alert<br /> if cpu usage (wait) &gt; 20% then alert<br /> <br /> check device datafs with path /dev/vda2<br /> if failed permission 0660 then alert<br /> if failed uid root then alert<br /> if failed gid &quot;disk&quot; then alert<br /> if space usage &gt; 85 % then alert<br /> if inode usage &gt; 85 % then alert<br /> &lt;/pre&gt;<br /> <br /> == Logfiles kontrollieren ==<br /> <br /> Monit loggt entsprechend der Konfiguration seine &quot;Taten&quot; in ~/var/monit.log<br /> <br /> Damit das Logfile nicht zu groß wird, benutzen wir '''logrotate''', das von [[cron]] aufgerufen wird, einmal pro Woche das Logfile komprimiert und zwei alte Versionen hält. Dazu erstellen wir die Konfigdatei .logrotate im Hauptverzeichnis des Users:<br /> <br /> touch .logrotate<br /> <br /> Darin schreiben wir:<br /> <br /> &lt;pre&gt;<br /> compress<br /> <br /> /home/pacs/xyz00/var/monit.log {<br /> rotate 2<br /> weekly<br /> }<br /> &lt;/pre&gt;<br /> <br /> Nun brauchen wir noch einen Aufruf von logrotate durch [[cron]]. Bitte beachten, logrotate merkt sich den letzten Zustand der Logdatei in einem Statusfile. Das muss in der [[Cron#Crontab|crontab]] mit angegeben werden. Wir editieren die crontab und schreiben:<br /> <br /> 27 7 * * 5 logrotate -s /home/pacs/xyz00/.logrotate_state /home/pacs/xyz00/.logrotate<br /> <br /> Damit wird jeden Freitag um 7:27 Uhr das monit.log &quot;rotiert&quot;. '''Achtung:''' bitte einen anderen Tag und eine andere Uhrzeit wählen, damit nicht alle logrotates zur gleichen Zeit starten.<br /> <br /> == externe Links ==<br /> <br /> * [https://www.mmonit.com/monit/ Monit Homepage]<br /> * [https://www.mmonit.com/monit/documentation/monit.html Monit Dokumentation]<br /> * [https://www.mmonit.com/wiki/ Monit Wiki]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Zammad&diff=6012 2023-02-18T03:47:32Z

<p>Opa00: </p> <hr /> <div>{{Baustelle}}<br /> <br /> == Installation ==<br /> <br /> sollte nach einer Hostsharing-Variante der folgenden Beschreibung funktionieren:<br /> <br /> * https://docs.zammad.org/en/latest/install/source.html <br /> <br /> === Installation ruby / ruby env ===<br /> Prüfe die Version von ruby die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#ruby-programming-language hier].<br /> <br /> Für diese Anleitung nehmen wir Version 3.0.5 an für zammad 5.2+.<br /> <br /> Die Installationsanleitung für rubyenv und ruby findet sich unter [[RubyRBEnv]].<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> ruby -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Installation nodejs ===<br /> Prüfe die Version von nodejs die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#node-js hier].<br /> <br /> Für diese Anleitung nehmen wir Version 16.0+ an für zammad 5.2+.<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> node -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Installation von Zammad ===<br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> cd zammad<br /> bundle config set --local without 'test development mysql'<br /> bundle install<br /> nano config/database.yml<br /> <br /> Mit folgendem Inhalt: <br /> <br /> production:<br /> adapter: postgresql<br /> database: xyz00_zammad<br /> pool: 50<br /> timeout: 5000<br /> encoding: utf8<br /> username: xyz00_zammad<br /> password: changeme<br /> <br /> Der Datenbank user und die Tabelle müssen in HS Admin entsprechend angelegt werden und in der config datei die entsprechenden Namen und Passwörter erstetzt werden. YAML einrückung beachten!<br /> <br /> export RAILS_ENV=production<br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> === Zammad ausliefern === <br /> Um via Browser auf zammad zugreifen zu können muss es via [[Phusion Passenger]] ausgeliefert werden. Dazu muss die .htaccess wie dort im wiki Artikel beschrieben gesetzt werden. Zusätzlich muss der zammad ordner noch in app-ssl gelinkt werden und der statische content in htdocs-ssl. Optional kann das Domain Template noch um die subdomains bereinigt werden (2. Befehl)<br /> <br /> cd ~/doms/zammad.example.org/<br /> rm -r subs*<br /> rm -r htdocs-ssl<br /> rm -r app-ssl<br /> ln -s ~/zammad app-ssl<br /> ln -s ~/zammad/public htdocs-ssl<br /> <br /> Durch aufrufen der Domain im Browser sollte das restliche Web-basierte Setup ablaufen. <br /> <br /> == Zammad Upgrade ==<br /> <br /> &lt;pre&gt;<br /> killall -u $USER<br /> killall -u $USER 9<br /> <br /> cp -a zammad zammad-old<br /> cd zammad<br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Ruby 2.2.5 fehlt!<br /> <br /> cd<br /> rbenv install 2.5.5<br /> <br /> Geht nicht, Rbenv ist zu alt!<br /> <br /> cd ~/.rbenv/plugins/ruby-build<br /> git pull<br /> cd<br /> rbenv install 2.5.5<br /> rbenv global 2.5.5<br /> rbenv local 2.5.5<br /> <br /> cd zammad<br /> gem install bundle<br /> gem install bundler<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Bundler 1.17.x wird gebraucht.<br /> <br /> gem install bundler==1.17.3<br /> <br /> Geht auch nicht.<br /> Dann hacken wir das mal versuchsweise ins Lock.<br /> <br /> vim Gemfile.lock<br /> <br /> bundle install --without test development mysql<br /> <br /> Es fehlen Libs.<br /> HS bitte installieren...<br /> [...]<br /> Danke!<br /> <br /> bundle install --without test development mysql<br /> export RAILS_ENV=production<br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> /usr/bin/supervisord -c $HOME/supervisor/etc/supervisord.conf<br /> &lt;/pre&gt;<br /> <br /> [[Kategorie:HSDoku]]<br /> [[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:RubyOnRails]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Zammad&diff=6011 2023-02-18T03:46:17Z

<p>Opa00: </p> <hr /> <div>{{Baustelle}}<br /> <br /> == Installation ==<br /> <br /> sollte nach einer Hostsharing-Variante der folgenden Beschreibung funktionieren:<br /> <br /> * https://docs.zammad.org/en/latest/install/source.html <br /> <br /> === Installation ruby / ruby env ===<br /> Prüfe die Version von ruby die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#ruby-programming-language hier].<br /> <br /> Für diese Anleitung nehmen wir Version 3.0.5 an für zammad 5.2+.<br /> <br /> Die Installationsanleitung für rubyenv und ruby findet sich unter [[RubyRBEnv]].<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> ruby -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Installation nodejs ===<br /> Prüfe die Version von nodejs die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#node-js hier].<br /> <br /> Für diese Anleitung nehmen wir Version 16.0+ an für zammad 5.2+.<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> node -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Installation von Zammad ===<br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> cd zammad<br /> bundle config set --local without 'test development mysql'<br /> bundle install<br /> cp config/database/database.yml config/database.yml<br /> nano config/database.yml<br /> <br /> Inhalt des config files kann grob so bleiben wie es ist. Der Teil mit Production sollte ersetzt werden: <br /> production:<br /> adapter: postgresql<br /> database: xyz00_zammad<br /> pool: 50<br /> timeout: 5000<br /> encoding: utf8<br /> username: xyz00_zammad<br /> password: changeme<br /> <br /> Der Datenbank user und die Tabelle müssen in HS Admin entsprechend angelegt werden und in der config datei die entsprechenden Namen und Passwörter erstetzt werden. YAML einrückung beachten!<br /> <br /> export RAILS_ENV=production<br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> === Zammad ausliefern === <br /> Um via Browser auf zammad zugreifen zu können muss es via [[Phusion Passenger]] ausgeliefert werden. Dazu muss die .htaccess wie dort im wiki Artikel beschrieben gesetzt werden. Zusätzlich muss der zammad ordner noch in app-ssl gelinkt werden und der statische content in htdocs-ssl. Optional kann das Domain Template noch um die subdomains bereinigt werden (2. Befehl)<br /> <br /> cd ~/doms/zammad.example.org/<br /> rm -r subs*<br /> rm -r htdocs-ssl<br /> rm -r app-ssl<br /> ln -s ~/zammad app-ssl<br /> ln -s ~/zammad/public htdocs-ssl<br /> <br /> Durch aufrufen der Domain im Browser sollte das restliche Web-basierte Setup ablaufen. <br /> <br /> == Zammad Upgrade ==<br /> <br /> &lt;pre&gt;<br /> killall -u $USER<br /> killall -u $USER 9<br /> <br /> cp -a zammad zammad-old<br /> cd zammad<br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Ruby 2.2.5 fehlt!<br /> <br /> cd<br /> rbenv install 2.5.5<br /> <br /> Geht nicht, Rbenv ist zu alt!<br /> <br /> cd ~/.rbenv/plugins/ruby-build<br /> git pull<br /> cd<br /> rbenv install 2.5.5<br /> rbenv global 2.5.5<br /> rbenv local 2.5.5<br /> <br /> cd zammad<br /> gem install bundle<br /> gem install bundler<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Bundler 1.17.x wird gebraucht.<br /> <br /> gem install bundler==1.17.3<br /> <br /> Geht auch nicht.<br /> Dann hacken wir das mal versuchsweise ins Lock.<br /> <br /> vim Gemfile.lock<br /> <br /> bundle install --without test development mysql<br /> <br /> Es fehlen Libs.<br /> HS bitte installieren...<br /> [...]<br /> Danke!<br /> <br /> bundle install --without test development mysql<br /> export RAILS_ENV=production<br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> /usr/bin/supervisord -c $HOME/supervisor/etc/supervisord.conf<br /> &lt;/pre&gt;<br /> <br /> [[Kategorie:HSDoku]]<br /> [[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:RubyOnRails]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Zammad&diff=6010 2023-02-17T18:51:23Z

<p>Opa00: wip - webserver starten und per htaccess verfügbar machen fehlt noch</p> <hr /> <div>{{Baustelle}}<br /> <br /> == Installation ==<br /> <br /> sollte nach einer Hostsharing-Variante der folgenden Beschreibung funktionieren:<br /> <br /> * https://docs.zammad.org/en/latest/install/source.html <br /> <br /> === Installation ruby / ruby env ===<br /> Prüfe die Version von ruby die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#ruby-programming-language hier].<br /> <br /> Für diese Anleitung nehmen wir Version 3.0.5 an für zammad 5.2+.<br /> <br /> Die Installationsanleitung für rubyenv und ruby findet sich unter [[RubyRBEnv]].<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> ruby -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Installation nodejs ===<br /> Prüfe die Version von nodejs die zammad benötigt [https://docs.zammad.org/en/latest/prerequisites/software.html#node-js hier].<br /> <br /> Für diese Anleitung nehmen wir Version 16.0+ an für zammad 5.2+.<br /> <br /> Verifiziere das die Installation geklappt hat mit<br /> node -v <br /> dies sollte der herausgesuchten Versionsnummer entsprechen<br /> <br /> === Installation von Zammad ===<br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> cd zammad<br /> bundle config set --local without 'test development mysql'<br /> bundle install<br /> cp config/database/database.yml config/database.yml<br /> nano config/database.yml<br /> <br /> Inhalt des config files kann grob so bleiben wie es ist. Der Teil mit Production sollte ersetzt werden: <br /> production:<br /> adapter: postgresql<br /> database: xyz00_zammad<br /> pool: 50<br /> timeout: 5000<br /> encoding: utf8<br /> username: xyz00_zammad<br /> password: changeme<br /> <br /> Der Datenbank user und die Tabelle müssen in HS Admin entsprechend angelegt werden und in der config datei die entsprechenden Namen und Passwörter erstetzt werden. YAML einrückung beachten!<br /> <br /> export RAILS_ENV=production<br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> == Zammad Upgrade ==<br /> <br /> &lt;pre&gt;<br /> killall -u $USER<br /> killall -u $USER 9<br /> <br /> cp -a zammad zammad-old<br /> cd zammad<br /> wget -O - https://ftp.zammad.com/zammad-latest.tar.gz |tar -xvvz<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Ruby 2.2.5 fehlt!<br /> <br /> cd<br /> rbenv install 2.5.5<br /> <br /> Geht nicht, Rbenv ist zu alt!<br /> <br /> cd ~/.rbenv/plugins/ruby-build<br /> git pull<br /> cd<br /> rbenv install 2.5.5<br /> rbenv global 2.5.5<br /> rbenv local 2.5.5<br /> <br /> cd zammad<br /> gem install bundle<br /> gem install bundler<br /> bundle install --without test development mysql<br /> <br /> Geht nicht, Bundler 1.17.x wird gebraucht.<br /> <br /> gem install bundler==1.17.3<br /> <br /> Geht auch nicht.<br /> Dann hacken wir das mal versuchsweise ins Lock.<br /> <br /> vim Gemfile.lock<br /> <br /> bundle install --without test development mysql<br /> <br /> Es fehlen Libs.<br /> HS bitte installieren...<br /> [...]<br /> Danke!<br /> <br /> bundle install --without test development mysql<br /> export RAILS_ENV=production<br /> rake db:migrate<br /> rake assets:precompile<br /> <br /> /usr/bin/supervisord -c $HOME/supervisor/etc/supervisord.conf<br /> &lt;/pre&gt;<br /> <br /> [[Kategorie:HSDoku]]<br /> [[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:RubyOnRails]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Goaccess&diff=6000 2023-02-16T12:24:50Z

<p>Opa00: /* Aktuellere Geo Location */</p> <hr /> <div>Um den [[Traffic]] des Pakets beziehungweise die Einträge der [[Logging|Logdateien]] im grafischen Blick zu halten, falls das Vorgehen im gerade wenn unerwartet eine Mail mit erhöhtem Datenvolumen kommt (im terminal oder als webpage) bietet sich das tool goaccess an (https://goaccess.io/download). Es ist ein sehr schlankes tool was gerade mal 690kB im Download des tar.gz wiegt (Version 1.7)<br /> <br /> ==Installation==<br /> Die Installation ist erst einmal sehr einfach, daher kann es fast so installiert werden wie auf goaccess.io/download beschrieben:<br /> eingeloggt als Paketadmin z.B. per ssh xyz00<br /> Da wir als Paketadmin keine Programme für alle installieren kann ein lokales Directory für die Installation des Programms (und ähnlicher angelegt werden:<br /> z.B. /home/pacs/xyz00/usr <br /> ~$mkdir usr<br /> um dann automatisch dorthin auch ein /bin Ordner anzulegen (wird durch configure danach gemacht)<br /> und auch den PATH anpassen, damit Programme hier in bin direkt ausgeführt werden.<br /> ~$ echo 'export PATH=&quot;$HOME/usr/bin:$PATH&quot;' &gt;&gt;.bashrc<br /> leider wird .bashrc nicht immer gelesen wenn wir mit ssh einloggen, wir müssen es in .bash_profile festlegen:<br /> ~$ echo '[[ -f ~/.bashrc ]] &amp;&amp; . ~/.bashrc' &gt;&gt; ~/.bash_profile<br /> nun sind wir bereit für die Installation:<br /> ~$ wget https://tar.goaccess.io/goaccess-1.7.tar.gz<br /> ~$ tar -xzvf goaccess-1.7.tar.gz<br /> ~$ cd goaccess-1.7/<br /> Eine Systemweite Installation wird mangels Berechtigung nicht funktionieren. Damit configure direkt unseren Pfad anlegt, befehlen wir das Installationsdirectory $HOME als prefix<br /> ~/goaccess-1.7$ ./configure --enable-utf8 --enable-geoip=legacy --prefix=$HOME/usr<br /> ~/goaccess-1.7$ make<br /> ~/goaccess-1.7# make install<br /> Nun liegt $HOME//usr/bin/goaccess in unserem PATH an erster Stelle<br /> ein Aufruf von<br /> ~$ goaccess --version<br /> sollte das zeigen<br /> ~$ goaccess --v<br /> GoAccess - 1.7.<br /> For more details visit: https://goaccess.io/<br /> Copyright (C) 2009-2022 by Gerardo Orellana<br /> <br /> Build configure arguments:<br /> --enable-utf8<br /> --enable-geoip=legacy<br /> <br /> ==Anwendung==<br /> Dann, nach der Installation beginnt der hostsharingspezifische Teil, denn das file web.log, welches alle aktuellen logs der letzten zwei Tage beinhaltet beginnt nicht mit Datum und Uhrzeit, sondern mit den Domainnamen, was für goaccess zu Verwirrung führt.<br /> === Pipe mit zcat ===<br /> Am leichtesten ist die Nutzung einer Pipe für die Prozessierung der gzip2 gezippten logfiles die alle nach dem Schema:<br /> web-subdomain.example.com-YYYYMMDD-hhmm.log.gz im Ordner $HOME/var liegen.<br /> Eine Auswertung des Weblogs von example.com z.B. vom 14.02.2023 liegt unter /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz vor<br /> Die Auswertung muss also entzippt werden, das geht on-the-fly mit zcat<br /> ~$ zcat /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz <br /> === Wildcards ===<br /> zcat kann sehr gut mit Wildcards umgehen, der Aufruf <br /> ~$ '''zcat ~/var/web*.log.gz''' | goaccess -o webstat.html --log-format=COMBINED -<br /> zum Beispiel fasst alle logfiles aller Domains und aller Tage zusammen.<br /> Es geht auch nur eine Domain: '''''&quot;var/web-example.com*.log.gz&quot;''''' oder nur den Januar 2023: '''''&quot;var/web*202301*log.gz&quot;''''' (es sollte beachtet werden, dass natürlich immer die Datei, die dann am Tag früh morgens (bei mir ist das zwischen 01:38h und 01:40h) erstellt wird natürlich für den vorherigen Tag ist. Das heißt in der 20230101 ist vor allem der 31.12. geloggt<br /> <br /> === Auswertung mit goaccess ===<br /> ~$ zcat ... | goaccess -o webstat.html --log-format=COMBINED -<br /> legt eine Datei webstat.html im aktuellen Ordner ab, diese kann dann zum Beispiel heruntergeladen werden, oder in einer Domain erreichbar gemacht werden. '''Empfehlung:''' Datei per scp heruntergeladen, auf dem eigenen, geschützten Rechner angeschaut, und schnell vernichtet.<br /> == Finetuning ==<br /> === Anonymisierte IPs ===<br /> Um nur anonymisierte IPs anzeigen zu lassen kann das zusätzliche Flag --anonymize-ip verwendet werden<br /> <br /> ~$ zcat ... | goaccess ... --anonymize-ip -<br /> <br /> In der Doku ist beschrieben wie die IP Adresse noch gröber anonymisiert werden kann. <br /> === Aktuellere Geo Location ===<br /> Um die aktuellere Version der Geolocations zu verwenden muss bei <br /> <br /> ./configure ... --enable-geoip=mmdb ...<br /> <br /> statt legacy verwendet werden. Dafür gibt es eine kostenlose Länder[https://db-ip.com/db/download/ip-to-country-lite] oder Städte[https://db-ip.com/db/download/ip-to-city-lite] lite-Version unter CC BY 4.0. Falls diese nicht genau genug sind, gibt es auch kommerzielle Alternativen vom selben Anbieter. <br /> <br /> Die Datenbank sollte im mmdb format heruntergeladen werden. Der direkte Downloadlink kann von oben direkt kopiert werden. Der Download Befehl auf der Konsole könnte bspw so aussehen (Datum und Version beachten! ggf. Link selbst einfügen). Zum heutigen Stand hatte die lite-cities Datenbank eine Größe von rund 100 MB.<br /> <br /> wget https://download.db-ip.com/free/dbip-city-lite-2023-02.mmdb.gz<br /> gzip -d dbip-city-lite-2023-02.mmdb.gz<br /> <br /> Beim ausführen von goaccess muss dann auch immer angegeben werden welche IP Datenbank verwendet werden soll. Dies geht mit folgendem zusätzlichen Flag (ggf. Pfad der db anpassen) <br /> ~$ zcat ... | goaccess ... --geoip-database=dbip-city-lite-2023-02.mmdb -<br /> <br /> === Automatisierung pro Domain des Paketes ===<br /> <br /> Mit dem folgenden kleinen shell script kann in einer logs.example.com (muss ersetzt werden!) Domain die statischen html files zum ansehen hinterlegt werden. Diese sollten dort nicht ohne Login ausgeliefert werden und nicht ohne https. Grundsätzlich könnte goaccess die logs auch live aufbereiten, die Komprimierung könnte dort jedoch ggf in der neusten Version ein Hindernis darstellen.<br /> <br /> #inhalt generate-logs.sh<br /> logdom=logs.example.com<br /> for dom in $(find /home/doms -type l -lname &quot;$HOME/users/*&quot;) # list domain names<br /> do<br /> dom=${dom##*/}<br /> echo ${dom}<br /> zcat $HOME/var/web-$dom-*.log.gz | goaccess -o $HOME/doms/$logdom/htdocs-ssl/$dom.html --log-format=COMBINED --anonymize-ip --geoip-database=dbip-city-lite-2023-02.mmdb --ignore-crawler --unknowns-as-crawlers -<br /> done<br /> <br /> Erklärung des scripts: Zuerst wird die logdomain auf der die Dateien abgelegt werden sollen festgelegt. Dann wird via find im Ordner /home/doms nach Dateien vom Typ Link gesucht, dessen Linkziel genauso beginnt wie das home des aktuellen users (der Paketuser). Es listet also alle domains, welche im aktuellen Paket Verwendung finden und iteriert über diese indem es die aktuelle Iteration in der Variablen dom speichert. Die nächste Zeile entfernt den Pfad vor dem Domainnamen, sodass die Variable nur noch den reinen Domainnamen beinhaltet. Der echo Befehl ist nur zur Übersicht beim manuellen ausführen und kann nach Wunsch mit # auskommentiert werden. Anschließend wird wie gewohnt (für jede Domain nacheinander) goaccess aufgerufen und für jede Domain eine eigene html Datei erzeugt. Eventuell muss der goaccess Befehl noch an die eigenen Wünsche angepasst werden. <br /> <br /> Mit einem [[cron]] Eintrag könnte dieses Script regelmäßig aufgerufen werden. z.B.:<br /> <br /> 10 02 * * * sh ~/generate-logs.sh &gt; /dev/null<br /> <br /> == Warnung: Datenschutz ==<br /> Man beachte, dass die Auswertungen Datenschutzrelevante Inhalte wie die IP Adresse und die aufgerufenen Pfade enthalten daher kann es nicht ausreichen nur die IPs zu anonymisieren. Bei einer Nextcloud Instanz beinhalten die Pfade z.B. häufig auch den Username und somit ggf. den Klarnamen. Entsprechend sollte diese Auswertung nicht öffentlich (ohne Passwortschutz) zugänglich gemacht werden. Siehe dazu [[.htaccess#Passwortschutz_f.C3.BCr_Dateien|Passwortschutz mit htaccess]].<br /> <br /> [[Kategorie:Traffic]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Goaccess&diff=5999 2023-02-16T03:56:16Z

<p>Opa00: /* Automatisierung pro Domain des Paketes */</p> <hr /> <div>Um den [[Traffic]] des Pakets beziehungweise die Einträge der [[Logging|Logdateien]] im grafischen Blick zu halten, falls das Vorgehen im gerade wenn unerwartet eine Mail mit erhöhtem Datenvolumen kommt (im terminal oder als webpage) bietet sich das tool goaccess an (https://goaccess.io/download). Es ist ein sehr schlankes tool was gerade mal 690kB im Download des tar.gz wiegt (Version 1.7)<br /> <br /> ==Installation==<br /> Die Installation ist erst einmal sehr einfach, daher kann es fast so installiert werden wie auf goaccess.io/download beschrieben:<br /> eingeloggt als Paketadmin z.B. per ssh xyz00<br /> Da wir als Paketadmin keine Programme für alle installieren kann ein lokales Directory für die Installation des Programms (und ähnlicher angelegt werden:<br /> z.B. /home/pacs/xyz00/usr <br /> ~$mkdir usr<br /> um dann automatisch dorthin auch ein /bin Ordner anzulegen (wird durch configure danach gemacht)<br /> und auch den PATH anpassen, damit Programme hier in bin direkt ausgeführt werden.<br /> ~$ echo 'export PATH=&quot;$HOME/usr/bin:$PATH&quot;' &gt;&gt;.bashrc<br /> leider wird .bashrc nicht immer gelesen wenn wir mit ssh einloggen, wir müssen es in .bash_profile festlegen:<br /> ~$ echo '[[ -f ~/.bashrc ]] &amp;&amp; . ~/.bashrc' &gt;&gt; ~/.bash_profile<br /> nun sind wir bereit für die Installation:<br /> ~$ wget https://tar.goaccess.io/goaccess-1.7.tar.gz<br /> ~$ tar -xzvf goaccess-1.7.tar.gz<br /> ~$ cd goaccess-1.7/<br /> Eine Systemweite Installation wird mangels Berechtigung nicht funktionieren. Damit configure direkt unseren Pfad anlegt, befehlen wir das Installationsdirectory $HOME als prefix<br /> ~/goaccess-1.7$ ./configure --enable-utf8 --enable-geoip=legacy --prefix=$HOME/usr<br /> ~/goaccess-1.7$ make<br /> ~/goaccess-1.7# make install<br /> Nun liegt $HOME//usr/bin/goaccess in unserem PATH an erster Stelle<br /> ein Aufruf von<br /> ~$ goaccess --version<br /> sollte das zeigen<br /> ~$ goaccess --v<br /> GoAccess - 1.7.<br /> For more details visit: https://goaccess.io/<br /> Copyright (C) 2009-2022 by Gerardo Orellana<br /> <br /> Build configure arguments:<br /> --enable-utf8<br /> --enable-geoip=legacy<br /> <br /> ==Anwendung==<br /> Dann, nach der Installation beginnt der hostsharingspezifische Teil, denn das file web.log, welches alle aktuellen logs der letzten zwei Tage beinhaltet beginnt nicht mit Datum und Uhrzeit, sondern mit den Domainnamen, was für goaccess zu Verwirrung führt.<br /> === Pipe mit zcat ===<br /> Am leichtesten ist die Nutzung einer Pipe für die Prozessierung der gzip2 gezippten logfiles die alle nach dem Schema:<br /> web-subdomain.example.com-YYYYMMDD-hhmm.log.gz im Ordner $HOME/var liegen.<br /> Eine Auswertung des Weblogs von example.com z.B. vom 14.02.2023 liegt unter /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz vor<br /> Die Auswertung muss also entzippt werden, das geht on-the-fly mit zcat<br /> ~$ zcat /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz <br /> === Wildcards ===<br /> zcat kann sehr gut mit Wildcards umgehen, der Aufruf <br /> ~$ '''zcat ~/var/web*.log.gz''' | goaccess -o webstat.html --log-format=COMBINED -<br /> zum Beispiel fasst alle logfiles aller Domains und aller Tage zusammen.<br /> Es geht auch nur eine Domain: '''''&quot;var/web-example.com*.log.gz&quot;''''' oder nur den Januar 2023: '''''&quot;var/web*202301*log.gz&quot;''''' (es sollte beachtet werden, dass natürlich immer die Datei, die dann am Tag früh morgens (bei mir ist das zwischen 01:38h und 01:40h) erstellt wird natürlich für den vorherigen Tag ist. Das heißt in der 20230101 ist vor allem der 31.12. geloggt<br /> <br /> === Auswertung mit goaccess ===<br /> ~$ zcat ... | goaccess -o webstat.html --log-format=COMBINED -<br /> legt eine Datei webstat.html im aktuellen Ordner ab, diese kann dann zum Beispiel heruntergeladen werden, oder in einer Domain erreichbar gemacht werden. '''Empfehlung:''' Datei per scp heruntergeladen, auf dem eigenen, geschützten Rechner angeschaut, und schnell vernichtet.<br /> == Finetuning ==<br /> === Anonymisierte IPs ===<br /> Um nur anonymisierte IPs anzeigen zu lassen kann das zusätzliche Flag --anonymize-ip verwendet werden<br /> <br /> ~$ zcat ... | goaccess ... --anonymize-ip -<br /> <br /> In der Doku ist beschrieben wie die IP Adresse noch gröber anonymisiert werden kann. <br /> === Aktuellere Geo Location ===<br /> Um die aktuellere Version der Geolocations zu verwenden muss bei <br /> <br /> ./configure ... --enable-geoip=mmdb ...<br /> <br /> statt legacy verwendet werden. Dafür gibt es eine kostenlose [https://db-ip.com/db/download/ip-to-country-lite|Länder] oder [https://db-ip.com/db/download/ip-to-city-lite|Städte] lite-Version unter CC BY 4.0. Falls diese nicht genau genug sind, gibt es auch kommerzielle Alternativen vom selben Anbieter. <br /> <br /> Die Datenbank sollte im mmdb format heruntergeladen werden. Der direkte Downloadlink kann von oben direkt kopiert werden. Der Download Befehl auf der Konsole könnte bspw so aussehen (Datum und Version beachten! ggf. Link selbst einfügen). Zum heutigen Stand hatte die lite-cities Datenbank eine Größe von rund 100 MB.<br /> <br /> wget https://download.db-ip.com/free/dbip-city-lite-2023-02.mmdb.gz<br /> gzip -d dbip-city-lite-2023-02.mmdb.gz<br /> <br /> Beim ausführen von goaccess muss dann auch immer angegeben werden welche IP Datenbank verwendet werden soll. Dies geht mit folgendem zusätzlichen Flag (ggf. Pfad der db anpassen) <br /> ~$ zcat ... | goaccess ... --geoip-database=dbip-city-lite-2023-02.mmdb -<br /> <br /> === Automatisierung pro Domain des Paketes ===<br /> <br /> Mit dem folgenden kleinen shell script kann in einer logs.example.com (muss ersetzt werden!) Domain die statischen html files zum ansehen hinterlegt werden. Diese sollten dort nicht ohne Login ausgeliefert werden und nicht ohne https. Grundsätzlich könnte goaccess die logs auch live aufbereiten, die Komprimierung könnte dort jedoch ggf in der neusten Version ein Hindernis darstellen.<br /> <br /> #inhalt generate-logs.sh<br /> logdom=logs.example.com<br /> for dom in $(find /home/doms -type l -lname &quot;$HOME/users/*&quot;) # list domain names<br /> do<br /> dom=${dom##*/}<br /> echo ${dom}<br /> zcat $HOME/var/web-$dom-*.log.gz | goaccess -o $HOME/doms/$logdom/htdocs-ssl/$dom.html --log-format=COMBINED --anonymize-ip --geoip-database=dbip-city-lite-2023-02.mmdb --ignore-crawler --unknowns-as-crawlers -<br /> done<br /> <br /> Erklärung des scripts: Zuerst wird die logdomain auf der die Dateien abgelegt werden sollen festgelegt. Dann wird via find im Ordner /home/doms nach Dateien vom Typ Link gesucht, dessen Linkziel genauso beginnt wie das home des aktuellen users (der Paketuser). Es listet also alle domains, welche im aktuellen Paket Verwendung finden und iteriert über diese indem es die aktuelle Iteration in der Variablen dom speichert. Die nächste Zeile entfernt den Pfad vor dem Domainnamen, sodass die Variable nur noch den reinen Domainnamen beinhaltet. Der echo Befehl ist nur zur Übersicht beim manuellen ausführen und kann nach Wunsch mit # auskommentiert werden. Anschließend wird wie gewohnt (für jede Domain nacheinander) goaccess aufgerufen und für jede Domain eine eigene html Datei erzeugt. Eventuell muss der goaccess Befehl noch an die eigenen Wünsche angepasst werden. <br /> <br /> Mit einem [[cron]] Eintrag könnte dieses Script regelmäßig aufgerufen werden. z.B.:<br /> <br /> 10 02 * * * sh ~/generate-logs.sh &gt; /dev/null<br /> <br /> == Warnung: Datenschutz ==<br /> Man beachte, dass die Auswertungen Datenschutzrelevante Inhalte wie die IP Adresse und die aufgerufenen Pfade enthalten daher kann es nicht ausreichen nur die IPs zu anonymisieren. Bei einer Nextcloud Instanz beinhalten die Pfade z.B. häufig auch den Username und somit ggf. den Klarnamen. Entsprechend sollte diese Auswertung nicht öffentlich (ohne Passwortschutz) zugänglich gemacht werden. Siehe dazu [[.htaccess#Passwortschutz_f.C3.BCr_Dateien|Passwortschutz mit htaccess]].<br /> <br /> [[Kategorie:Traffic]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Goaccess&diff=5998 2023-02-16T03:55:44Z

<p>Opa00: /* Automatisierung pro Domain des Paketes */</p> <hr /> <div>Um den [[Traffic]] des Pakets beziehungweise die Einträge der [[Logging|Logdateien]] im grafischen Blick zu halten, falls das Vorgehen im gerade wenn unerwartet eine Mail mit erhöhtem Datenvolumen kommt (im terminal oder als webpage) bietet sich das tool goaccess an (https://goaccess.io/download). Es ist ein sehr schlankes tool was gerade mal 690kB im Download des tar.gz wiegt (Version 1.7)<br /> <br /> ==Installation==<br /> Die Installation ist erst einmal sehr einfach, daher kann es fast so installiert werden wie auf goaccess.io/download beschrieben:<br /> eingeloggt als Paketadmin z.B. per ssh xyz00<br /> Da wir als Paketadmin keine Programme für alle installieren kann ein lokales Directory für die Installation des Programms (und ähnlicher angelegt werden:<br /> z.B. /home/pacs/xyz00/usr <br /> ~$mkdir usr<br /> um dann automatisch dorthin auch ein /bin Ordner anzulegen (wird durch configure danach gemacht)<br /> und auch den PATH anpassen, damit Programme hier in bin direkt ausgeführt werden.<br /> ~$ echo 'export PATH=&quot;$HOME/usr/bin:$PATH&quot;' &gt;&gt;.bashrc<br /> leider wird .bashrc nicht immer gelesen wenn wir mit ssh einloggen, wir müssen es in .bash_profile festlegen:<br /> ~$ echo '[[ -f ~/.bashrc ]] &amp;&amp; . ~/.bashrc' &gt;&gt; ~/.bash_profile<br /> nun sind wir bereit für die Installation:<br /> ~$ wget https://tar.goaccess.io/goaccess-1.7.tar.gz<br /> ~$ tar -xzvf goaccess-1.7.tar.gz<br /> ~$ cd goaccess-1.7/<br /> Eine Systemweite Installation wird mangels Berechtigung nicht funktionieren. Damit configure direkt unseren Pfad anlegt, befehlen wir das Installationsdirectory $HOME als prefix<br /> ~/goaccess-1.7$ ./configure --enable-utf8 --enable-geoip=legacy --prefix=$HOME/usr<br /> ~/goaccess-1.7$ make<br /> ~/goaccess-1.7# make install<br /> Nun liegt $HOME//usr/bin/goaccess in unserem PATH an erster Stelle<br /> ein Aufruf von<br /> ~$ goaccess --version<br /> sollte das zeigen<br /> ~$ goaccess --v<br /> GoAccess - 1.7.<br /> For more details visit: https://goaccess.io/<br /> Copyright (C) 2009-2022 by Gerardo Orellana<br /> <br /> Build configure arguments:<br /> --enable-utf8<br /> --enable-geoip=legacy<br /> <br /> ==Anwendung==<br /> Dann, nach der Installation beginnt der hostsharingspezifische Teil, denn das file web.log, welches alle aktuellen logs der letzten zwei Tage beinhaltet beginnt nicht mit Datum und Uhrzeit, sondern mit den Domainnamen, was für goaccess zu Verwirrung führt.<br /> === Pipe mit zcat ===<br /> Am leichtesten ist die Nutzung einer Pipe für die Prozessierung der gzip2 gezippten logfiles die alle nach dem Schema:<br /> web-subdomain.example.com-YYYYMMDD-hhmm.log.gz im Ordner $HOME/var liegen.<br /> Eine Auswertung des Weblogs von example.com z.B. vom 14.02.2023 liegt unter /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz vor<br /> Die Auswertung muss also entzippt werden, das geht on-the-fly mit zcat<br /> ~$ zcat /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz <br /> === Wildcards ===<br /> zcat kann sehr gut mit Wildcards umgehen, der Aufruf <br /> ~$ '''zcat ~/var/web*.log.gz''' | goaccess -o webstat.html --log-format=COMBINED -<br /> zum Beispiel fasst alle logfiles aller Domains und aller Tage zusammen.<br /> Es geht auch nur eine Domain: '''''&quot;var/web-example.com*.log.gz&quot;''''' oder nur den Januar 2023: '''''&quot;var/web*202301*log.gz&quot;''''' (es sollte beachtet werden, dass natürlich immer die Datei, die dann am Tag früh morgens (bei mir ist das zwischen 01:38h und 01:40h) erstellt wird natürlich für den vorherigen Tag ist. Das heißt in der 20230101 ist vor allem der 31.12. geloggt<br /> <br /> === Auswertung mit goaccess ===<br /> ~$ zcat ... | goaccess -o webstat.html --log-format=COMBINED -<br /> legt eine Datei webstat.html im aktuellen Ordner ab, diese kann dann zum Beispiel heruntergeladen werden, oder in einer Domain erreichbar gemacht werden. '''Empfehlung:''' Datei per scp heruntergeladen, auf dem eigenen, geschützten Rechner angeschaut, und schnell vernichtet.<br /> == Finetuning ==<br /> === Anonymisierte IPs ===<br /> Um nur anonymisierte IPs anzeigen zu lassen kann das zusätzliche Flag --anonymize-ip verwendet werden<br /> <br /> ~$ zcat ... | goaccess ... --anonymize-ip -<br /> <br /> In der Doku ist beschrieben wie die IP Adresse noch gröber anonymisiert werden kann. <br /> === Aktuellere Geo Location ===<br /> Um die aktuellere Version der Geolocations zu verwenden muss bei <br /> <br /> ./configure ... --enable-geoip=mmdb ...<br /> <br /> statt legacy verwendet werden. Dafür gibt es eine kostenlose [https://db-ip.com/db/download/ip-to-country-lite|Länder] oder [https://db-ip.com/db/download/ip-to-city-lite|Städte] lite-Version unter CC BY 4.0. Falls diese nicht genau genug sind, gibt es auch kommerzielle Alternativen vom selben Anbieter. <br /> <br /> Die Datenbank sollte im mmdb format heruntergeladen werden. Der direkte Downloadlink kann von oben direkt kopiert werden. Der Download Befehl auf der Konsole könnte bspw so aussehen (Datum und Version beachten! ggf. Link selbst einfügen). Zum heutigen Stand hatte die lite-cities Datenbank eine Größe von rund 100 MB.<br /> <br /> wget https://download.db-ip.com/free/dbip-city-lite-2023-02.mmdb.gz<br /> gzip -d dbip-city-lite-2023-02.mmdb.gz<br /> <br /> Beim ausführen von goaccess muss dann auch immer angegeben werden welche IP Datenbank verwendet werden soll. Dies geht mit folgendem zusätzlichen Flag (ggf. Pfad der db anpassen) <br /> ~$ zcat ... | goaccess ... --geoip-database=dbip-city-lite-2023-02.mmdb -<br /> <br /> === Automatisierung pro Domain des Paketes ===<br /> <br /> Mit dem folgenden kleinen shell script kann in einer logs.example.com (muss ersetzt werden!) Domain die statischen html files zum ansehen hinterlegt werden. Diese sollten dort nicht ohne Login ausgeliefert werden und nicht ohne https. Grundsätzlich könnte goaccess die logs auch live aufbereiten, die Komprimierung könnte dort jedoch ggf in der neusten Version ein Hindernis darstellen.<br /> <br /> logdom=logs.example.com<br /> for dom in $(find /home/doms -type l -lname &quot;$HOME/users/*&quot;) # list domain names<br /> do<br /> dom=${dom##*/}<br /> echo ${dom}<br /> zcat $HOME/var/web-$dom-*.log.gz | goaccess -o $HOME/doms/$logdom/htdocs-ssl/$dom.html --log-format=COMBINED --anonymize-ip --geoip-database=dbip-city-lite-2023-02.mmdb --ignore-crawler --unknowns-as-crawlers -<br /> done<br /> <br /> Erklärung des scripts: Zuerst wird die logdomain auf der die Dateien abgelegt werden sollen festgelegt. Dann wird via find im Ordner /home/doms nach Dateien vom Typ Link gesucht, dessen Linkziel genauso beginnt wie das home des aktuellen users (der Paketuser). Es listet also alle domains, welche im aktuellen Paket Verwendung finden und iteriert über diese indem es die aktuelle Iteration in der Variablen dom speichert. Die nächste Zeile entfernt den Pfad vor dem Domainnamen, sodass die Variable nur noch den reinen Domainnamen beinhaltet. Der echo Befehl ist nur zur Übersicht beim manuellen ausführen und kann nach Wunsch mit # auskommentiert werden. Anschließend wird wie gewohnt (für jede Domain nacheinander) goaccess aufgerufen und für jede Domain eine eigene html Datei erzeugt. Eventuell muss der goaccess Befehl noch an die eigenen Wünsche angepasst werden. <br /> <br /> Mit einem [[cron]] Eintrag könnte dieses Script regelmäßig aufgerufen werden. z.B.:<br /> <br /> 10 02 * * * sh ~/generate-logs.sh &gt; /dev/null<br /> <br /> == Warnung: Datenschutz ==<br /> Man beachte, dass die Auswertungen Datenschutzrelevante Inhalte wie die IP Adresse und die aufgerufenen Pfade enthalten daher kann es nicht ausreichen nur die IPs zu anonymisieren. Bei einer Nextcloud Instanz beinhalten die Pfade z.B. häufig auch den Username und somit ggf. den Klarnamen. Entsprechend sollte diese Auswertung nicht öffentlich (ohne Passwortschutz) zugänglich gemacht werden. Siehe dazu [[.htaccess#Passwortschutz_f.C3.BCr_Dateien|Passwortschutz mit htaccess]].<br /> <br /> [[Kategorie:Traffic]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Goaccess&diff=5997 2023-02-16T03:40:24Z

<p>Opa00: /* Automatisierung */</p> <hr /> <div>Um den [[Traffic]] des Pakets beziehungweise die Einträge der [[Logging|Logdateien]] im grafischen Blick zu halten, falls das Vorgehen im gerade wenn unerwartet eine Mail mit erhöhtem Datenvolumen kommt (im terminal oder als webpage) bietet sich das tool goaccess an (https://goaccess.io/download). Es ist ein sehr schlankes tool was gerade mal 690kB im Download des tar.gz wiegt (Version 1.7)<br /> <br /> ==Installation==<br /> Die Installation ist erst einmal sehr einfach, daher kann es fast so installiert werden wie auf goaccess.io/download beschrieben:<br /> eingeloggt als Paketadmin z.B. per ssh xyz00<br /> Da wir als Paketadmin keine Programme für alle installieren kann ein lokales Directory für die Installation des Programms (und ähnlicher angelegt werden:<br /> z.B. /home/pacs/xyz00/usr <br /> ~$mkdir usr<br /> um dann automatisch dorthin auch ein /bin Ordner anzulegen (wird durch configure danach gemacht)<br /> und auch den PATH anpassen, damit Programme hier in bin direkt ausgeführt werden.<br /> ~$ echo 'export PATH=&quot;$HOME/usr/bin:$PATH&quot;' &gt;&gt;.bashrc<br /> leider wird .bashrc nicht immer gelesen wenn wir mit ssh einloggen, wir müssen es in .bash_profile festlegen:<br /> ~$ echo '[[ -f ~/.bashrc ]] &amp;&amp; . ~/.bashrc' &gt;&gt; ~/.bash_profile<br /> nun sind wir bereit für die Installation:<br /> ~$ wget https://tar.goaccess.io/goaccess-1.7.tar.gz<br /> ~$ tar -xzvf goaccess-1.7.tar.gz<br /> ~$ cd goaccess-1.7/<br /> Eine Systemweite Installation wird mangels Berechtigung nicht funktionieren. Damit configure direkt unseren Pfad anlegt, befehlen wir das Installationsdirectory $HOME als prefix<br /> ~/goaccess-1.7$ ./configure --enable-utf8 --enable-geoip=legacy --prefix=$HOME/usr<br /> ~/goaccess-1.7$ make<br /> ~/goaccess-1.7# make install<br /> Nun liegt $HOME//usr/bin/goaccess in unserem PATH an erster Stelle<br /> ein Aufruf von<br /> ~$ goaccess --version<br /> sollte das zeigen<br /> ~$ goaccess --v<br /> GoAccess - 1.7.<br /> For more details visit: https://goaccess.io/<br /> Copyright (C) 2009-2022 by Gerardo Orellana<br /> <br /> Build configure arguments:<br /> --enable-utf8<br /> --enable-geoip=legacy<br /> <br /> ==Anwendung==<br /> Dann, nach der Installation beginnt der hostsharingspezifische Teil, denn das file web.log, welches alle aktuellen logs der letzten zwei Tage beinhaltet beginnt nicht mit Datum und Uhrzeit, sondern mit den Domainnamen, was für goaccess zu Verwirrung führt.<br /> === Pipe mit zcat ===<br /> Am leichtesten ist die Nutzung einer Pipe für die Prozessierung der gzip2 gezippten logfiles die alle nach dem Schema:<br /> web-subdomain.example.com-YYYYMMDD-hhmm.log.gz im Ordner $HOME/var liegen.<br /> Eine Auswertung des Weblogs von example.com z.B. vom 14.02.2023 liegt unter /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz vor<br /> Die Auswertung muss also entzippt werden, das geht on-the-fly mit zcat<br /> ~$ zcat /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz <br /> === Wildcards ===<br /> zcat kann sehr gut mit Wildcards umgehen, der Aufruf <br /> ~$ '''zcat ~/var/web*.log.gz''' | goaccess -o webstat.html --log-format=COMBINED -<br /> zum Beispiel fasst alle logfiles aller Domains und aller Tage zusammen.<br /> Es geht auch nur eine Domain: '''''&quot;var/web-example.com*.log.gz&quot;''''' oder nur den Januar 2023: '''''&quot;var/web*202301*log.gz&quot;''''' (es sollte beachtet werden, dass natürlich immer die Datei, die dann am Tag früh morgens (bei mir ist das zwischen 01:38h und 01:40h) erstellt wird natürlich für den vorherigen Tag ist. Das heißt in der 20230101 ist vor allem der 31.12. geloggt<br /> <br /> === Auswertung mit goaccess ===<br /> ~$ zcat ... | goaccess -o webstat.html --log-format=COMBINED -<br /> legt eine Datei webstat.html im aktuellen Ordner ab, diese kann dann zum Beispiel heruntergeladen werden, oder in einer Domain erreichbar gemacht werden. '''Empfehlung:''' Datei per scp heruntergeladen, auf dem eigenen, geschützten Rechner angeschaut, und schnell vernichtet.<br /> == Finetuning ==<br /> === Anonymisierte IPs ===<br /> Um nur anonymisierte IPs anzeigen zu lassen kann das zusätzliche Flag --anonymize-ip verwendet werden<br /> <br /> ~$ zcat ... | goaccess ... --anonymize-ip -<br /> <br /> In der Doku ist beschrieben wie die IP Adresse noch gröber anonymisiert werden kann. <br /> === Aktuellere Geo Location ===<br /> Um die aktuellere Version der Geolocations zu verwenden muss bei <br /> <br /> ./configure ... --enable-geoip=mmdb ...<br /> <br /> statt legacy verwendet werden. Dafür gibt es eine kostenlose [https://db-ip.com/db/download/ip-to-country-lite|Länder] oder [https://db-ip.com/db/download/ip-to-city-lite|Städte] lite-Version unter CC BY 4.0. Falls diese nicht genau genug sind, gibt es auch kommerzielle Alternativen vom selben Anbieter. <br /> <br /> Die Datenbank sollte im mmdb format heruntergeladen werden. Der direkte Downloadlink kann von oben direkt kopiert werden. Der Download Befehl auf der Konsole könnte bspw so aussehen (Datum und Version beachten! ggf. Link selbst einfügen). Zum heutigen Stand hatte die lite-cities Datenbank eine Größe von rund 100 MB.<br /> <br /> wget https://download.db-ip.com/free/dbip-city-lite-2023-02.mmdb.gz<br /> gzip -d dbip-city-lite-2023-02.mmdb.gz<br /> <br /> Beim ausführen von goaccess muss dann auch immer angegeben werden welche IP Datenbank verwendet werden soll. Dies geht mit folgendem zusätzlichen Flag (ggf. Pfad der db anpassen) <br /> ~$ zcat ... | goaccess ... --geoip-database=dbip-city-lite-2023-02.mmdb -<br /> <br /> === Automatisierung pro Domain des Paketes ===<br /> <br /> Mit dem folgenden kleinen shell script kann in einer logs.example.com (muss ersetzt werden!) Domain die statischen html files zum ansehen hinterlegt werden. Diese sollten dort nicht ohne Login ausgeliefert werden und nicht ohne https.<br /> <br /> logdom=logs.example.com<br /> for dom in $(find /home/doms -type l -lname &quot;$HOME/users/*&quot;) # list domain names<br /> do<br /> dom=${dom##*/}<br /> echo ${dom}<br /> zcat $HOME/var/web-$dom-*.log.gz | goaccess -o $HOME/doms/$logdom/htdocs-ssl/$dom.html --log-format=COMBINED --anonymize-ip --geoip-database=dbip-city-lite-2023-02.mmdb --ignore-crawler --unknowns-as-crawlers -<br /> done<br /> <br /> Erklärung des scripts: Zuerst wird die logdomain auf der die Dateien abgelegt werden sollen festgelegt. Dann wird via find im Ordner /home/doms nach Dateien vom Typ Link gesucht, dessen Linkziel genauso beginnt wie das home des aktuellen users (der Paketuser). Es listet also alle domains, welche im aktuellen Paket Verwendung finden und iteriert über diese indem es die aktuelle Iteration in der Variablen dom speichert. Die nächste Zeile entfernt den Pfad vor dem Domainnamen, sodass die Variable nur noch den reinen Domainnamen beinhaltet. Der echo befehl ist nur zur Übersicht beim manuellen ausführen und kann nach Wunsch mit # auskommentiert werden. Anschließend wird wie gewohnt (für jede Domain nacheinander) goaccess aufgerufen und für jede Domain eine eigene html Datei erzeugt. Eventuell muss der goaccess Befehl noch an die eigenen Wünsche angepasst werden. <br /> <br /> Mit einem [[cron]] Eintrag könnte dieses Script regelmäßig aufgerufen werden.<br /> <br /> == Warnung: Datenschutz ==<br /> Man beachte, dass die Auswertungen Datenschutzrelevante Inhalte wie die IP Adresse und die aufgerufenen Pfade enthalten daher kann es nicht ausreichen nur die IPs zu anonymisieren. Bei einer Nextcloud Instanz beinhalten die Pfade z.B. häufig auch den Username und somit ggf. den Klarnamen. Entsprechend sollte diese Auswertung nicht öffentlich (ohne Passwortschutz) zugänglich gemacht werden. Siehe dazu [[.htaccess#Passwortschutz_f.C3.BCr_Dateien|Passwortschutz mit htaccess]].<br /> <br /> [[Kategorie:Traffic]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Goaccess&diff=5996 2023-02-16T03:17:46Z

<p>Opa00: bessere geolocation und ip Anonymisierung</p> <hr /> <div>Um den [[Traffic]] des Pakets beziehungweise die Einträge der [[Logging|Logdateien]] im grafischen Blick zu halten, falls das Vorgehen im gerade wenn unerwartet eine Mail mit erhöhtem Datenvolumen kommt (im terminal oder als webpage) bietet sich das tool goaccess an (https://goaccess.io/download). Es ist ein sehr schlankes tool was gerade mal 690kB im Download des tar.gz wiegt (Version 1.7)<br /> <br /> ==Installation==<br /> Die Installation ist erst einmal sehr einfach, daher kann es fast so installiert werden wie auf goaccess.io/download beschrieben:<br /> eingeloggt als Paketadmin z.B. per ssh xyz00<br /> Da wir als Paketadmin keine Programme für alle installieren kann ein lokales Directory für die Installation des Programms (und ähnlicher angelegt werden:<br /> z.B. /home/pacs/xyz00/usr <br /> ~$mkdir usr<br /> um dann automatisch dorthin auch ein /bin Ordner anzulegen (wird durch configure danach gemacht)<br /> und auch den PATH anpassen, damit Programme hier in bin direkt ausgeführt werden.<br /> ~$ echo 'export PATH=&quot;$HOME/usr/bin:$PATH&quot;' &gt;&gt;.bashrc<br /> leider wird .bashrc nicht immer gelesen wenn wir mit ssh einloggen, wir müssen es in .bash_profile festlegen:<br /> ~$ echo '[[ -f ~/.bashrc ]] &amp;&amp; . ~/.bashrc' &gt;&gt; ~/.bash_profile<br /> nun sind wir bereit für die Installation:<br /> ~$ wget https://tar.goaccess.io/goaccess-1.7.tar.gz<br /> ~$ tar -xzvf goaccess-1.7.tar.gz<br /> ~$ cd goaccess-1.7/<br /> Eine Systemweite Installation wird mangels Berechtigung nicht funktionieren. Damit configure direkt unseren Pfad anlegt, befehlen wir das Installationsdirectory $HOME als prefix<br /> ~/goaccess-1.7$ ./configure --enable-utf8 --enable-geoip=legacy --prefix=$HOME/usr<br /> ~/goaccess-1.7$ make<br /> ~/goaccess-1.7# make install<br /> Nun liegt $HOME//usr/bin/goaccess in unserem PATH an erster Stelle<br /> ein Aufruf von<br /> ~$ goaccess --version<br /> sollte das zeigen<br /> ~$ goaccess --v<br /> GoAccess - 1.7.<br /> For more details visit: https://goaccess.io/<br /> Copyright (C) 2009-2022 by Gerardo Orellana<br /> <br /> Build configure arguments:<br /> --enable-utf8<br /> --enable-geoip=legacy<br /> <br /> ==Anwendung==<br /> Dann, nach der Installation beginnt der hostsharingspezifische Teil, denn das file web.log, welches alle aktuellen logs der letzten zwei Tage beinhaltet beginnt nicht mit Datum und Uhrzeit, sondern mit den Domainnamen, was für goaccess zu Verwirrung führt.<br /> === Pipe mit zcat ===<br /> Am leichtesten ist die Nutzung einer Pipe für die Prozessierung der gzip2 gezippten logfiles die alle nach dem Schema:<br /> web-subdomain.example.com-YYYYMMDD-hhmm.log.gz im Ordner $HOME/var liegen.<br /> Eine Auswertung des Weblogs von example.com z.B. vom 14.02.2023 liegt unter /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz vor<br /> Die Auswertung muss also entzippt werden, das geht on-the-fly mit zcat<br /> ~$ zcat /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz <br /> === Wildcards ===<br /> zcat kann sehr gut mit Wildcards umgehen, der Aufruf <br /> ~$ '''zcat ~/var/web*.log.gz''' | goaccess -o webstat.html --log-format=COMBINED -<br /> zum Beispiel fasst alle logfiles aller Domains und aller Tage zusammen.<br /> Es geht auch nur eine Domain: '''''&quot;var/web-example.com*.log.gz&quot;''''' oder nur den Januar 2023: '''''&quot;var/web*202301*log.gz&quot;''''' (es sollte beachtet werden, dass natürlich immer die Datei, die dann am Tag früh morgens (bei mir ist das zwischen 01:38h und 01:40h) erstellt wird natürlich für den vorherigen Tag ist. Das heißt in der 20230101 ist vor allem der 31.12. geloggt<br /> <br /> === Auswertung mit goaccess ===<br /> ~$ zcat ... | goaccess -o webstat.html --log-format=COMBINED -<br /> legt eine Datei webstat.html im aktuellen Ordner ab, diese kann dann zum Beispiel heruntergeladen werden, oder in einer Domain erreichbar gemacht werden. '''Empfehlung:''' Datei per scp heruntergeladen, auf dem eigenen, geschützten Rechner angeschaut, und schnell vernichtet.<br /> == Finetuning ==<br /> === Anonymisierte IPs ===<br /> Um nur anonymisierte IPs anzeigen zu lassen kann das zusätzliche Flag --anonymize-ip verwendet werden<br /> <br /> ~$ zcat ... | goaccess ... --anonymize-ip -<br /> <br /> In der Doku ist beschrieben wie die IP Adresse noch gröber anonymisiert werden kann. <br /> === Aktuellere Geo Location ===<br /> Um die aktuellere Version der Geolocations zu verwenden muss bei <br /> <br /> ./configure ... --enable-geoip=mmdb ...<br /> <br /> statt legacy verwendet werden. Dafür gibt es eine kostenlose [https://db-ip.com/db/download/ip-to-country-lite|Länder] oder [https://db-ip.com/db/download/ip-to-city-lite|Städte] lite-Version unter CC BY 4.0. Falls diese nicht genau genug sind, gibt es auch kommerzielle Alternativen vom selben Anbieter. <br /> <br /> Die Datenbank sollte im mmdb format heruntergeladen werden. Der direkte Downloadlink kann von oben direkt kopiert werden. Der Download Befehl auf der Konsole könnte bspw so aussehen (Datum und Version beachten! ggf. Link selbst einfügen). Zum heutigen Stand hatte die lite-cities Datenbank eine Größe von rund 100 MB.<br /> <br /> wget https://download.db-ip.com/free/dbip-city-lite-2023-02.mmdb.gz<br /> gzip -d dbip-city-lite-2023-02.mmdb.gz<br /> <br /> Beim ausführen von goaccess muss dann auch immer angegeben werden welche IP Datenbank verwendet werden soll. Dies geht mit folgendem zusätzlichen Flag (ggf. Pfad der db anpassen) <br /> ~$ zcat ... | goaccess ... --geoip-database=dbip-city-lite-2023-02.mmdb -<br /> <br /> === Automatisierung ===<br /> <br /> tbc<br /> <br /> == Warnung: Datenschutz ==<br /> Man beachte, dass die Auswertungen Datenschutzrelevante Inhalte wie die IP Adresse und die aufgerufenen Pfade enthalten daher kann es nicht ausreichen nur die IPs zu anonymisieren. Bei einer Nextcloud Instanz beinhalten die Pfade z.B. häufig auch den Username und somit ggf. den Klarnamen. Entsprechend sollte diese Auswertung nicht öffentlich (ohne Passwortschutz) zugänglich gemacht werden. Siehe dazu [[.htaccess#Passwortschutz_f.C3.BCr_Dateien|Passwortschutz mit htaccess]].<br /> <br /> [[Kategorie:Traffic]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Goaccess&diff=5995 2023-02-16T00:49:10Z

<p>Opa00: kleine Anpassung des log verzeichnisses</p> <hr /> <div>Um den [[Traffic]] des Pakets beziehungweise die Einträge der [[Logging|Logdateien]] im grafischen Blick zu halten, falls das Vorgehen im gerade wenn unerwartet eine Mail mit erhöhtem Datenvolumen kommt (im terminal oder als webpage) bietet sich das tool goaccess an (https://goaccess.io/download). Es ist ein sehr schlankes tool was gerade mal 690kB im Download des tar.gz wiegt (Version 1.7)<br /> <br /> ==Installation==<br /> Die Installation ist erst einmal sehr einfach, daher kann es fast so installiert werden wie auf goaccess.io/download beschrieben:<br /> eingeloggt als Paketadmin z.B. per ssh xyz00<br /> Da wir als Paketadmin keine Programme für alle installieren kann ein lokales Directory für die Installation des Programms (und ähnlicher angelegt werden:<br /> z.B. /home/pacs/xyz00/usr <br /> ~$mkdir usr<br /> um dann automatisch dorthin auch ein /bin Ordner anzulegen (wird durch configure danach gemacht)<br /> und auch den PATH anpassen, damit Programme hier in bin direkt ausgeführt werden.<br /> ~$ echo 'export PATH=&quot;$HOME/usr/bin:$PATH&quot;' &gt;&gt;.bashrc<br /> leider wird .bashrc nicht immer gelesen wenn wir mit ssh einloggen, wir müssen es in .bash_profile festlegen:<br /> ~$ echo '[[ -f ~/.bashrc ]] &amp;&amp; . ~/.bashrc' &gt;&gt; ~/.bash_profile<br /> nun sind wir bereit für die Installation:<br /> ~$ wget https://tar.goaccess.io/goaccess-1.7.tar.gz<br /> ~$ tar -xzvf goaccess-1.7.tar.gz<br /> ~$ cd goaccess-1.7/<br /> Eine Systemweite Installation wird mangels Berechtigung nicht funktionieren. Damit configure direkt unseren Pfad anlegt, befehlen wir das Installationsdirectory $HOME als prefix<br /> ~/goaccess-1.7$ ./configure --enable-utf8 --enable-geoip=mmdb --prefix=$HOME/usr<br /> ~/goaccess-1.7$ make<br /> ~/goaccess-1.7# make install<br /> Nun liegt $HOME//usr/bin/goaccess in unserem PATH an erster Stelle<br /> ein Aufruf von<br /> ~$ goaccess --version<br /> sollte das zeigen<br /> ~$ goaccess --v<br /> GoAccess - 1.7.<br /> For more details visit: https://goaccess.io/<br /> Copyright (C) 2009-2022 by Gerardo Orellana<br /> <br /> Build configure arguments:<br /> --enable-utf8<br /> --enable-geoip=mmdb<br /> <br /> ==Anwendung==<br /> Dann, nach der Installation beginnt der hostsharingspezifische Teil, denn das file web.log, welches alle aktuellen logs der letzten zwei Tage beinhaltet beginnt nicht mit Datum und Uhrzeit, sondern mit den Domainnamen, was für goaccess zu Verwirrung führt.<br /> === Pipe mit zcat ===<br /> Am leichtesten ist die Nutzung einer Pipe für die Prozessierung der gzip2 gezippten logfiles die alle nach dem Schema:<br /> web-subdomain.example.com-YYYYMMDD-hhmm.log.gz im Ordner $HOME/var liegen.<br /> Eine Auswertung des Weblogs von example.com z.B. vom 14.02.2023 liegt unter /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz vor<br /> Die Auswertung muss also entzippt werden, das geht on-the-fly mit zcat<br /> ~$ zcat /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz <br /> === Wildcards ===<br /> zcat kann sehr gut mit Wildcards umgehen, der Aufruf <br /> ~$ '''zcat ~/var/web*.log.gz''' | goaccess -o webstat.html --log-format=COMBINED -<br /> zum Beispiel fasst alle logfiles aller Domains und aller Tage zusammen.<br /> Es geht auch nur eine Domain: '''''&quot;var/web-example.com*.log.gz&quot;''''' oder nur den Januar 2023: '''''&quot;var/web*202301*log.gz&quot;''''' (es sollte beachtet werden, dass natürlich immer die Datei, die dann am Tag früh morgens (bei mir ist das zwischen 01:38h und 01:40h) erstellt wird natürlich für den vorherigen Tag ist. Das heißt in der 20230101 ist vor allem der 31.12. geloggt<br /> <br /> === Auswertung mit goaccess ===<br /> ~$ zcat ... | goaccess -o webstat.html --log-format=COMBINED -<br /> legt eine Datei webstat.html im aktuellen Ordner ab, diese kann dann zum Beispiel heruntergeladen werden, oder in einer Domain erreichbar gemacht werden. '''Empfehlung:''' Datei per scp heruntergeladen, auf dem eigenen, geschützten Rechner angeschaut, und schnell vernichtet.<br /> <br /> == Warnung: Datenschutz ==<br /> Man beachte, dass die Auswertungen Datenschutzrelevante Inhalte wie die IP Adresse und die aufgerufenen Pfade enthalten, bei Nextcloud beinhalten diese häufig auch den Username und somit ggf. den Klarnamen. Entsprechend sollte diese Auswertung nicht öffentlich (ohne Passwortschutz) zugänglich gemacht werden. Siehe dazu [[.htaccess#Passwortschutz_f.C3.BCr_Dateien|Passwortschutz mit htaccess]].<br /> <br /> [[Kategorie:Traffic]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Goaccess&diff=5992 2023-02-15T20:46:46Z

<p>Opa00: Warnung zu Datenschutzrechtlichen Bedenken bei Veröffentlichung der Logfile hinzugefügt</p> <hr /> <div>Um den [[Traffic]] des Pakets beziehungweise die Einträge der [[Logging|Logdateien]] im grafischen Blick zu halten, falls das Vorgehen im gerade wenn unerwartet eine Mail mit erhöhtem Datenvolumen kommt (im terminal oder als webpage) bietet sich das tool goaccess an (https://goaccess.io/download). Es ist ein sehr schlankes tool was gerade mal 690kB im Download des tar.gz wiegt (Version 1.7)<br /> <br /> ==Installation==<br /> Die Installation ist erst einmal sehr einfach, daher kann es fast so installiert werden wie auf goaccess.io/download beschrieben:<br /> eingeloggt als Paketadmin z.B. per ssh xyz00<br /> Da wir als Paketadmin keine Programme für alle installieren kann ein lokales Directory für die Installation des Programms (und ähnlicher angelegt werden:<br /> z.B. /home/pacs/xyz00/usr <br /> ~$mkdir usr<br /> um dann automatisch dorthin auch ein /bin Ordner anzulegen (wird durch configure danach gemacht)<br /> und auch den PATH anpassen, damit Programme hier in bin direkt ausgeführt werden.<br /> ~$ echo 'export PATH=&quot;$HOME/usr/bin:$PATH&quot;' &gt;&gt;.bashrc<br /> leider wird .bashrc nicht immer gelesen wenn wir mit ssh einloggen, wir müssen es in .bash_profile festlegen:<br /> ~$ echo '[[ -f ~/.bashrc ]] &amp;&amp; . ~/.bashrc' &gt;&gt; ~/.bash_profile<br /> nun sind wir bereit für die Installation:<br /> ~$ wget https://tar.goaccess.io/goaccess-1.7.tar.gz<br /> ~$ tar -xzvf goaccess-1.7.tar.gz<br /> ~$ cd goaccess-1.7/<br /> Eine Systemweite Installation wird mangels Berechtigung nicht funktionieren. Damit configure direkt unseren Pfad anlegt, befehlen wir das Installationsdirectory $HOME als prefix<br /> ~/goaccess-1.7$ ./configure --enable-utf8 --enable-geoip=mmdb --prefix=$HOME/usr<br /> ~/goaccess-1.7$ make<br /> ~/goaccess-1.7# make install<br /> Nun liegt $HOME//usr/bin/goaccess in unserem PATH an erster Stelle<br /> ein Aufruf von<br /> ~$ goaccess --version<br /> sollte das zeigen<br /> ~$ goaccess --v<br /> GoAccess - 1.7.<br /> For more details visit: https://goaccess.io/<br /> Copyright (C) 2009-2022 by Gerardo Orellana<br /> <br /> Build configure arguments:<br /> --enable-utf8<br /> --enable-geoip=mmdb<br /> <br /> ==Anwendung==<br /> Dann, nach der Installation beginnt der hostsharingspezifische Teil, denn das file web.log, welches alle aktuellen logs der letzten zwei Tage beinhaltet beginnt nicht mit Datum und Uhrzeit, sondern mit den Domainnamen, was für goaccess zu Verwirrung führt.<br /> === Pipe mit zcat ===<br /> Am leichtesten ist die Nutzung einer Pipe für die Prozessierung der gzip2 gezippten logfiles die alle nach dem Schema:<br /> web-subdomain.example.com-YYYYMMDD-hhmm.log.gz im Ordner $HOME/var liegen.<br /> Eine Auswertung des Weblogs von example.com z.B. vom 14.02.2023 liegt unter /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz vor<br /> Die Auswertung muss also entzippt werden, das geht on-the-fly mit zcat<br /> ~$ zcat /home/pacs/xyz00/var/web-example.com-20230215-0139.log.gz <br /> === Wildcards ===<br /> zcat kann sehr gut mit Wildcards umgehen, der Aufruf <br /> ~$ zcat var/web*.log.gz | goaccess -o webstat.html --log-format=COMBINED -<br /> zum Beispiel fasst alle logfiles aller Domains und aller Tage zusammen.<br /> oder nur per Domain: &quot;var/web-example.com*.log.gz&quot; oder nur den Januar 2023: &quot;var/web*202301*log.gz&quot;<br /> <br /> === Auswertung mit goaccess ===<br /> ~$ zcat ... | goaccess -o webstat.html --log-format=COMBINED -<br /> legt eine Datei webstat.html im aktuellen Ordner ab, diese kann dann zum Beispiel heruntergeladen werden, oder in einer Domain erreichbar gemacht werden. Man beachte das die Auswertungen Datenschutzrelevante Inhalte wie die IP Adresse und die aufgerufenen Pfade enthalten, bei Nextcloud beinhalten diese häufig auch den Username und somit ggf. den Klarnamen. Entsprechend sollte diese Auswertung nicht öffentlich (ohne Passwortschutz) zugänglich gemacht werden. Siehe dazu [[.htaccess#Passwortschutz_f.C3.BCr_Dateien|Passwortschutz mit htaccess]].<br /> <br /> <br /> <br /> [[Kategorie:Traffic]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Goaccess&diff=5988 2023-02-14T17:25:24Z

<p>Opa00: Added: analyse eines domain weblogs</p> <hr /> <div>Um den [[Traffic]] des Pakets beziehungweise die Einträge der [[Logging|Logdateien]] im grafischen Blick zu halten, falls das Vorgehen im gerade wenn unerwartet eine Mail mit erhöhtem Datenvolumen kommt (im terminal oder als webpage) bietet sich das tool goaccess an (https://goaccess.io/download). Es ist ein sehr schlankes tool was gerade mal 690kB im Download des tar.gz wiegt (Version 1.7)<br /> <br /> ==Installation==<br /> Die Installation ist erst einmal sehr einfach, allerdings kommt beim aktivieren der geoip eine Fehlermeldung, daher kann es mit leichten Modifikationen so installiert werden wie auf goaccess.io/download beschrieben:<br /> eingeloggt als Paketadmin z.B. per ssh xyz00<br /> ~$ wget https://tar.goaccess.io/goaccess-1.7.tar.gz<br /> ~$ tar -xzvf goaccess-1.7.tar.gz<br /> ~$ cd goaccess-1.7/<br /> ~/goaccess-1.7$ ./configure --enable-utf8 &lt;s&gt;--enable-geoip=mmdb&lt;/s&gt;<br /> ~/goaccess-1.7$ make<br /> &lt;s&gt;~/goaccess-1.7# make install&lt;/s&gt;<br /> ===Post installation===<br /> Dann, nach der Installation beginnt der hostsharingspezifische Teil, denn alle Konfigurationen die mit dem Aufruf:<br /> ~/goaccess-1.7$ ./goaccess ./config.guess<br /> angeboten werden haben das falsche Zeitformat für hostsharing, es muss folgendermaßen angepasst werden:<br /> ... to be continued...<br /> <br /> === Einzelnes Log File einer Domain und eines Tages auswerden === <br /> Um ein Log File eines Tages und einer Domain anzusehen benötigt man erstmal das richtige logfile. Wie in der Kerndoku beschrieben findet man das im Paketadmin xyz00 unter ~/var/web-example.com-YYYYMMDD-????.log.gz<br /> <br /> Um daraus einen Report zu generieren muss das log erstmal entpackt werden. <br /> <br /> ~/$ mkdir tmp<br /> ~/$ cd tmp<br /> ~/tmp$ gzip -d ~/var/web-example.com-YYYYMMDD-????.log.gz<br /> ~/tmp$ mv ~/var/web-example.com-YYYYMMDD-????.log ./<br /> ~/tmp$ ~/goaccess-1.7/goaccess web-example.com-YYYYMMDD-????.log -o ~/tmp/report.html --log-format=COMBINED<br /> <br /> Das entpackte Logfile muss nicht zwangsläufig verschoben werden, eher zur Übersichtlichkeit.<br /> <br /> Der Report befindet sich dann in ~/tmp/log und kann dann in ein entsprechendes htdocs(-ssl) Verzeichnis verschoben werden. <br /> <br /> <br /> <br /> [[Kategorie:Traffic]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Mattermost_Installieren&diff=5854 2022-08-06T22:41:07Z

<p>Opa00: fix c&amp;p error</p> <hr /> <div>== Über Mattermost ==<br /> <br /> Mattermost ist ein Chat-Server unter einer freien MIT Lizenz. Der Server ist in der Programmiersprache [https://de.wikipedia.org/wiki/Go_%28Programmiersprache%29 go] implementiert.<br /> <br /> Mattermost ist eine selbst-gehostete Alternative zum Cloud-Dienst [https://de.wikipedia.org/wiki/Slack_(Software) Slack] oder zum proprietären [https://en.wikipedia.org/wiki/HipChat HipChat].<br /> <br /> == Vorbereitungen ==<br /> <br /> Die hier beschriebene Installation benötigt bei Hostsharing die Paket-Option &quot;individuelle Serverdienste (1 Daemon)&quot;. Im Managed Webspace ist diese Option kostenpflichtig: https://www.hostsharing.net/angebote/managed-webspace/<br /> <br /> Auf einem Managed Server melden Sie einfach die kostenlose Option &quot;Eigener Daemon&quot; an. Bei der Anmeldung geben Sie einen User an (dient als Admin/Service-User). Unter dieser User-Kennung läuft später der Mattermost-Server. Der User sollte vor der Anmeldung mit HSAdmin angelegt werden. Als User-Beispiel nutzen wir im Folgenden &quot;xyz00-chat&quot;.<br /> <br /> Ebenfalls mit HSAdmin muss eine (Sub-)Domain für den Chat-Dienst aufgeschaltet/angelegt werden. Die Domain muss dem User &quot;xyz00-chat&quot; zugeordnet werden. In dieser Anleitung nutze ich die Domain &quot;beispiel-chat.de&quot;.<br /> <br /> Weiterhin benötigt Mattermost eine MariaDB- oder eine PostgreSQL-Datenbank. Wir empfehlen PostgreSQL und legen also mit Hilfe von HSAdmin einen PostgreSQL-User (&quot;xyz00_mm_user&quot; mit Passwort &quot;geheim&quot;) und eine Datenbank (&quot;xyz00_mm_db&quot; mit dem Eigentümer &quot;xyz00_mm_user&quot;) an.<br /> <br /> == Installation ==<br /> <br /> Als User &quot;xyz00-chat&quot; lade ich die Software herunter (aktuelle Version am 06.08.2022 ist 7.1.2):<br /> <br /> wget https://releases.mattermost.com/7.1.2/mattermost-7.1.2-linux-amd64.tar.gz<br /> <br /> Die tar.gz-Datei wird ausgepackt:<br /> <br /> tar xzf mattermost-7.1.2-linux-amd64.tar.gz<br /> <br /> Dann finden wir im $HOME des Users &quot;xyz00-chat&quot; ein Unterverzeichnis &quot;$HOME/mattermost&quot;<br /> <br /> == Konfiguration ==<br /> <br /> Die Konfiguration von Mattermost nehmen wir in der Datei $&quot;HOME/mattermost/config/config.json&quot; vor:<br /> <br /> Im Abschnitt &quot;ServiceSettings&quot; definieren wir die Parameter &quot;SiteURL&quot;, &quot;WebsocketURL&quot; und &quot;ListenAddress&quot;:<br /> <br /> &quot;ServiceSettings&quot;: {<br /> &quot;SiteURL&quot;: &quot;https://beispiel-chat.de&quot;,<br /> ...<br /> &quot;ListenAddress&quot;: &quot;xyz00.hostsharing.net:34567&quot;,<br /> ...<br /> <br /> Dabei sei &quot;https://beispiel-chat.de&quot; die Domain, unter der der Chat betrieben werden soll und &quot;34567&quot; der Port,<br /> der vom Hostsharing-Service für den &quot;Eigenen Daemon&quot; zugewiesen wurde.<br /> <br /> Im Abschnitt &quot;TeamSettings&quot; kann für den Chat ein Name vergeben werden:<br /> <br /> &quot;TeamSettings&quot;: {<br /> &quot;SiteName&quot;: &quot;Beispiel-Chat&quot;,<br /> ...<br /> <br /> Im Abschnitt &quot;SqlSettings&quot; wird die PostgreSQL Datenbank konfiguriert:<br /> <br /> &quot;SqlSettings&quot;: {<br /> &quot;DriverName&quot;: &quot;postgres&quot;,<br /> &quot;DataSource&quot;: &quot;postgres://xyz00_mm_user:geheim@127.0.0.1:5432/xyz00_mm_db?sslmode=disable\u0026connect_timeout=10&quot;,<br /> ...<br /> <br /> Weiter noch unter &quot;FileSettings&quot; und &quot;EMailSettings&quot;:<br /> <br /> &quot;FileSettings&quot;: {<br /> &quot;MaxFileSize&quot;: 4096000,<br /> &quot;DriverName&quot;: &quot;local&quot;,<br /> &quot;Directory&quot;: &quot;./data/&quot;,<br /> ...<br /> <br /> &quot;EmailSettings&quot;: {<br /> &quot;EnableSignUpWithEmail&quot;: true,<br /> &quot;EnableSignInWithEmail&quot;: true,<br /> &quot;EnableSignInWithUsername&quot;: true,<br /> &quot;SendEmailNotifications&quot;: true,<br /> &quot;RequireEmailVerification&quot;: true,<br /> &quot;FeedbackName&quot;: &quot;Beispiel-Chat&quot;,<br /> &quot;FeedbackEmail&quot;: &quot;mattermost@beispiel-chat.de&quot;,<br /> &quot;FeedbackOrganization&quot;: &quot;Beispiel&quot;,<br /> &quot;SMTPUsername&quot;: &quot;&quot;,<br /> &quot;SMTPPassword&quot;: &quot;&quot;,<br /> &quot;SMTPServer&quot;: &quot;localhost&quot;,<br /> &quot;SMTPPort&quot;: &quot;25&quot;,<br /> ...<br /> <br /> Im Verzeichnis &quot;htdocs-ssl&quot; unter &quot;$HOME/doms/beispiel-chat.de&quot; wird eine &quot;.htaccess&quot;-Datei abgelegt, <br /> die dafür sorgt, dass alle Requests an den Mattermost-Server weitergegeben werden. Dabei verwendet Mattermost<br /> auch Websocket-Verbindungen (&quot;ws://&quot;). Inhalt der &quot;.htaccess&quot;:<br /> <br /> DirectoryIndex disabled<br /> RewriteEngine On<br /> RewriteBase /<br /> <br /> RewriteCond %{REQUEST_URI} ^/api/v1/websocket [NC,OR]<br /> RewriteCond %{HTTP:UPGRADE} ^WebSocket$ [NC,OR]<br /> RewriteCond %{HTTP:CONNECTION} ^Upgrade$ [NC]<br /> RewriteRule .* ws://xyz00.hostsharing.net:34567%{REQUEST_URI} [proxy]<br /> <br /> RewriteCond %{DOCUMENT_ROOT}/%{REQUEST_FILENAME} !-f<br /> RewriteRule .* http://xyz00.hostsharing.net:34567%{REQUEST_URI} [proxy]<br /> RequestHeader set X-Forwarded-Proto &quot;https&quot;<br /> <br /> Im Verzeichnis &quot;htdocs&quot; wird eine &quot;.htaccess&quot;-Datei abgelegt, die für eine <br /> Weiterleitung auf das https-Protokoll sorgt:<br /> <br /> Redirect permanent / https://beispiel-chat.de/<br /> <br /> == Start des Servers ==<br /> <br /> Der Chat-Server lässt sich starten mit:<br /> <br /> cd $HOME/mattermost<br /> ./bin/mattermost<br /> <br /> Ein kleines Start-Skript könnte so aussehen:<br /> <br /> #!/bin/bash<br /> export HOME=/home/pacs/xyz00/users/chat<br /> cd $HOME/mattermost<br /> rm -f running.pid<br /> nohup ./bin/mattermost 1&gt;/dev/null 2&gt;&amp;1 &amp;<br /> echo $! &gt; running.pid<br /> <br /> Zum automatischen Start des Servers bei einem Reboot sollte <br /> man einen Eintrag &quot;@reboot&quot; in die crontab vornehmen.<br /> <br /> == Links ==<br /> <br /> *[https://about.mattermost.com/ Mattermost Homepage (Englisch)]<br /> *[https://github.com/mattermost/platform git Repository bei Github]<br /> <br /> ----<br /> [[Kategorie:HSDoku]]<br /> [[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:Software]]<br /> [[Kategorie:Eigene Daemons]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Mattermost_Installieren&diff=5853 2022-08-06T22:03:46Z

<p>Opa00: an einer stelle vergessen</p> <hr /> <div>== Über Mattermost ==<br /> <br /> Mattermost ist ein Chat-Server unter einer freien MIT Lizenz. Der Server ist in der Programmiersprache [https://de.wikipedia.org/wiki/Go_%28Programmiersprache%29 go] implementiert.<br /> <br /> Mattermost ist eine selbst-gehostete Alternative zum Cloud-Dienst [https://de.wikipedia.org/wiki/Slack_(Software) Slack] oder zum proprietären [https://en.wikipedia.org/wiki/HipChat HipChat].<br /> <br /> == Vorbereitungen ==<br /> <br /> Die hier beschriebene Installation benötigt bei Hostsharing die Paket-Option &quot;individuelle Serverdienste (1 Daemon)&quot;. Im Managed Webspace ist diese Option kostenpflichtig: https://www.hostsharing.net/angebote/managed-webspace/<br /> <br /> Auf einem Managed Server melden Sie einfach die kostenlose Option &quot;Eigener Daemon&quot; an. Bei der Anmeldung geben Sie einen User an (dient als Admin/Service-User). Unter dieser User-Kennung läuft später der Mattermost-Server. Der User sollte vor der Anmeldung mit HSAdmin angelegt werden. Als User-Beispiel nutzen wir im Folgenden &quot;xyz00-chat&quot;.<br /> <br /> Ebenfalls mit HSAdmin muss eine (Sub-)Domain für den Chat-Dienst aufgeschaltet/angelegt werden. Die Domain muss dem User &quot;xyz00-chat&quot; zugeordnet werden. In dieser Anleitung nutze ich die Domain &quot;beispiel-chat.de&quot;.<br /> <br /> Weiterhin benötigt Mattermost eine MariaDB- oder eine PostgreSQL-Datenbank. Wir empfehlen PostgreSQL und legen also mit Hilfe von HSAdmin einen PostgreSQL-User (&quot;xyz00_mm_user&quot; mit Passwort &quot;geheim&quot;) und eine Datenbank (&quot;xyz00_mm_db&quot; mit dem Eigentümer &quot;xyz00_mm_user&quot;) an.<br /> <br /> == Installation ==<br /> <br /> Als User &quot;xyz00-chat&quot; lade ich die Software herunter (aktuelle Version am 06.08.2022 ist 7.1.2):<br /> <br /> wget https://releases.mattermost.com/7.1.2/mattermost-7.1.2-linux-amd64.tar.gz<br /> <br /> Die tar.gz-Datei wird ausgepackt:<br /> <br /> tar xzf mattermost-7.1.2-linux-amd64.tar.gz<br /> <br /> Dann finden wir im $HOME des Users &quot;xyz00-chat&quot; ein Unterverzeichnis &quot;$HOME/mattermost&quot;<br /> <br /> == Konfiguration ==<br /> <br /> Die Konfiguration von Mattermost nehmen wir in der Datei $&quot;HOME/mattermost/config/config.json&quot; vor:<br /> <br /> Im Abschnitt &quot;ServiceSettings&quot; definieren wir die Parameter &quot;SiteURL&quot;, &quot;WebsocketURL&quot; und &quot;ListenAddress&quot;:<br /> <br /> &quot;ServiceSettings&quot;: {<br /> &quot;SiteURL&quot;: &quot;https://beispiel-chat.de&quot;,<br /> &quot;WebsocketURL&quot;: &quot;ws://xyz00.hostsharing.net&quot;,<br /> &quot;ListenAddress&quot;: &quot;:34567&quot;,<br /> ...<br /> <br /> Dabei sei &quot;https://beispiel-chat.de&quot; die Domain, unter der der Chat betrieben werden soll und &quot;34567&quot; der Port,<br /> der vom Hostsharing-Service für den &quot;Eigenen Daemon&quot; zugewiesen wurde.<br /> <br /> Im Abschnitt &quot;TeamSettings&quot; kann für den Chat ein Name vergeben werden:<br /> <br /> &quot;TeamSettings&quot;: {<br /> &quot;SiteName&quot;: &quot;Beispiel-Chat&quot;,<br /> ...<br /> <br /> Im Abschnitt &quot;SqlSettings&quot; wird die PostgreSQL Datenbank konfiguriert:<br /> <br /> &quot;SqlSettings&quot;: {<br /> &quot;DriverName&quot;: &quot;postgres&quot;,<br /> &quot;DataSource&quot;: &quot;postgres://xyz00_mm_user:geheim@127.0.0.1:5432/xyz00_mm_db?sslmode=disable\u0026connect_timeout=10&quot;,<br /> ...<br /> <br /> Weiter noch unter &quot;FileSettings&quot; und &quot;EMailSettings&quot;:<br /> <br /> &quot;FileSettings&quot;: {<br /> &quot;MaxFileSize&quot;: 4096000,<br /> &quot;DriverName&quot;: &quot;local&quot;,<br /> &quot;Directory&quot;: &quot;./data/&quot;,<br /> ...<br /> <br /> &quot;EmailSettings&quot;: {<br /> &quot;EnableSignUpWithEmail&quot;: true,<br /> &quot;EnableSignInWithEmail&quot;: true,<br /> &quot;EnableSignInWithUsername&quot;: true,<br /> &quot;SendEmailNotifications&quot;: true,<br /> &quot;RequireEmailVerification&quot;: true,<br /> &quot;FeedbackName&quot;: &quot;Beispiel-Chat&quot;,<br /> &quot;FeedbackEmail&quot;: &quot;mattermost@beispiel-chat.de&quot;,<br /> &quot;FeedbackOrganization&quot;: &quot;Beispiel&quot;,<br /> &quot;SMTPUsername&quot;: &quot;&quot;,<br /> &quot;SMTPPassword&quot;: &quot;&quot;,<br /> &quot;SMTPServer&quot;: &quot;localhost&quot;,<br /> &quot;SMTPPort&quot;: &quot;25&quot;,<br /> ...<br /> <br /> Im Verzeichnis &quot;htdocs-ssl&quot; unter &quot;$HOME/doms/beispiel-chat.de&quot; wird eine &quot;.htaccess&quot;-Datei abgelegt, <br /> die dafür sorgt, dass alle Requests an den Mattermost-Server weitergegeben werden. Dabei verwendet Mattermost<br /> auch Websocket-Verbindungen (&quot;ws://&quot;). Inhalt der &quot;.htaccess&quot;:<br /> <br /> DirectoryIndex disabled<br /> RewriteEngine On<br /> RewriteBase /<br /> <br /> RewriteCond %{REQUEST_URI} ^/api/v1/websocket [NC,OR]<br /> RewriteCond %{HTTP:UPGRADE} ^WebSocket$ [NC,OR]<br /> RewriteCond %{HTTP:CONNECTION} ^Upgrade$ [NC]<br /> RewriteRule .* ws://xyz00.hostsharing.net:34567%{REQUEST_URI} [proxy]<br /> <br /> RewriteCond %{DOCUMENT_ROOT}/%{REQUEST_FILENAME} !-f<br /> RewriteRule .* http://xyz00.hostsharing.net:34567%{REQUEST_URI} [proxy]<br /> RequestHeader set X-Forwarded-Proto &quot;https&quot;<br /> <br /> Im Verzeichnis &quot;htdocs&quot; wird eine &quot;.htaccess&quot;-Datei abgelegt, die für eine <br /> Weiterleitung auf das https-Protokoll sorgt:<br /> <br /> Redirect permanent / https://beispiel-chat.de/<br /> <br /> == Start des Servers ==<br /> <br /> Der Chat-Server lässt sich starten mit:<br /> <br /> cd $HOME/mattermost<br /> ./bin/mattermost<br /> <br /> Ein kleines Start-Skript könnte so aussehen:<br /> <br /> #!/bin/bash<br /> export HOME=/home/pacs/xyz00/users/chat<br /> cd $HOME/mattermost<br /> rm -f running.pid<br /> nohup ./bin/mattermost 1&gt;/dev/null 2&gt;&amp;1 &amp;<br /> echo $! &gt; running.pid<br /> <br /> Zum automatischen Start des Servers bei einem Reboot sollte <br /> man einen Eintrag &quot;@reboot&quot; in die crontab vornehmen.<br /> <br /> == Links ==<br /> <br /> *[https://about.mattermost.com/ Mattermost Homepage (Englisch)]<br /> *[https://github.com/mattermost/platform git Repository bei Github]<br /> <br /> ----<br /> [[Kategorie:HSDoku]]<br /> [[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:Software]]<br /> [[Kategorie:Eigene Daemons]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Mattermost_Installieren&diff=5852 2022-08-06T22:01:39Z

<p>Opa00: auf aktuelle version gehoben</p> <hr /> <div>== Über Mattermost ==<br /> <br /> Mattermost ist ein Chat-Server unter einer freien MIT Lizenz. Der Server ist in der Programmiersprache [https://de.wikipedia.org/wiki/Go_%28Programmiersprache%29 go] implementiert.<br /> <br /> Mattermost ist eine selbst-gehostete Alternative zum Cloud-Dienst [https://de.wikipedia.org/wiki/Slack_(Software) Slack] oder zum proprietären [https://en.wikipedia.org/wiki/HipChat HipChat].<br /> <br /> == Vorbereitungen ==<br /> <br /> Die hier beschriebene Installation benötigt bei Hostsharing die Paket-Option &quot;individuelle Serverdienste (1 Daemon)&quot;. Im Managed Webspace ist diese Option kostenpflichtig: https://www.hostsharing.net/angebote/managed-webspace/<br /> <br /> Auf einem Managed Server melden Sie einfach die kostenlose Option &quot;Eigener Daemon&quot; an. Bei der Anmeldung geben Sie einen User an (dient als Admin/Service-User). Unter dieser User-Kennung läuft später der Mattermost-Server. Der User sollte vor der Anmeldung mit HSAdmin angelegt werden. Als User-Beispiel nutzen wir im Folgenden &quot;xyz00-chat&quot;.<br /> <br /> Ebenfalls mit HSAdmin muss eine (Sub-)Domain für den Chat-Dienst aufgeschaltet/angelegt werden. Die Domain muss dem User &quot;xyz00-chat&quot; zugeordnet werden. In dieser Anleitung nutze ich die Domain &quot;beispiel-chat.de&quot;.<br /> <br /> Weiterhin benötigt Mattermost eine MariaDB- oder eine PostgreSQL-Datenbank. Wir empfehlen PostgreSQL und legen also mit Hilfe von HSAdmin einen PostgreSQL-User (&quot;xyz00_mm_user&quot; mit Passwort &quot;geheim&quot;) und eine Datenbank (&quot;xyz00_mm_db&quot; mit dem Eigentümer &quot;xyz00_mm_user&quot;) an.<br /> <br /> == Installation ==<br /> <br /> Als User &quot;xyz00-chat&quot; lade ich die Software herunter (aktuelle Version am 06.08.2022 ist 7.1.2):<br /> <br /> wget https://releases.mattermost.com/7.1.2/mattermost-7.1.2-linux-amd64.tar.gz<br /> <br /> Die tar.gz-Datei wird ausgepackt:<br /> <br /> tar xzf mattermost-7.1.2-linux-amd64.tar.gz<br /> <br /> Dann finden wir im $HOME des Users &quot;xyz00-chat&quot; ein Unterverzeichnis &quot;$HOME/mattermost&quot;<br /> <br /> == Konfiguration ==<br /> <br /> Die Konfiguration von Mattermost nehmen wir in der Datei $&quot;HOME/mattermost/config/config.json&quot; vor:<br /> <br /> Im Abschnitt &quot;ServiceSettings&quot; definieren wir die Parameter &quot;SiteURL&quot;, &quot;WebsocketURL&quot; und &quot;ListenAddress&quot;:<br /> <br /> &quot;ServiceSettings&quot;: {<br /> &quot;SiteURL&quot;: &quot;https://beispiel-chat.de&quot;,<br /> &quot;WebsocketURL&quot;: &quot;ws://xyz00.hostsharing.net&quot;,<br /> &quot;ListenAddress&quot;: &quot;:34567&quot;,<br /> ...<br /> <br /> Dabei sei &quot;https://beispiel-chat.de&quot; die Domain, unter der der Chat betrieben werden soll und &quot;34567&quot; der Port,<br /> der vom Hostsharing-Service für den &quot;Eigenen Daemon&quot; zugewiesen wurde.<br /> <br /> Im Abschnitt &quot;TeamSettings&quot; kann für den Chat ein Name vergeben werden:<br /> <br /> &quot;TeamSettings&quot;: {<br /> &quot;SiteName&quot;: &quot;Beispiel-Chat&quot;,<br /> ...<br /> <br /> Im Abschnitt &quot;SqlSettings&quot; wird die PostgreSQL Datenbank konfiguriert:<br /> <br /> &quot;SqlSettings&quot;: {<br /> &quot;DriverName&quot;: &quot;postgres&quot;,<br /> &quot;DataSource&quot;: &quot;postgres://xyz00_mm_user:geheim@127.0.0.1:5432/xyz00_mm_db?sslmode=disable\u0026connect_timeout=10&quot;,<br /> ...<br /> <br /> Weiter noch unter &quot;FileSettings&quot; und &quot;EMailSettings&quot;:<br /> <br /> &quot;FileSettings&quot;: {<br /> &quot;MaxFileSize&quot;: 4096000,<br /> &quot;DriverName&quot;: &quot;local&quot;,<br /> &quot;Directory&quot;: &quot;./data/&quot;,<br /> ...<br /> <br /> &quot;EmailSettings&quot;: {<br /> &quot;EnableSignUpWithEmail&quot;: true,<br /> &quot;EnableSignInWithEmail&quot;: true,<br /> &quot;EnableSignInWithUsername&quot;: true,<br /> &quot;SendEmailNotifications&quot;: true,<br /> &quot;RequireEmailVerification&quot;: true,<br /> &quot;FeedbackName&quot;: &quot;Beispiel-Chat&quot;,<br /> &quot;FeedbackEmail&quot;: &quot;mattermost@beispiel-chat.de&quot;,<br /> &quot;FeedbackOrganization&quot;: &quot;Beispiel&quot;,<br /> &quot;SMTPUsername&quot;: &quot;&quot;,<br /> &quot;SMTPPassword&quot;: &quot;&quot;,<br /> &quot;SMTPServer&quot;: &quot;localhost&quot;,<br /> &quot;SMTPPort&quot;: &quot;25&quot;,<br /> ...<br /> <br /> Im Verzeichnis &quot;htdocs-ssl&quot; unter &quot;$HOME/doms/beispiel-chat.de&quot; wird eine &quot;.htaccess&quot;-Datei abgelegt, <br /> die dafür sorgt, dass alle Requests an den Mattermost-Server weitergegeben werden. Dabei verwendet Mattermost<br /> auch Websocket-Verbindungen (&quot;ws://&quot;). Inhalt der &quot;.htaccess&quot;:<br /> <br /> DirectoryIndex disabled<br /> RewriteEngine On<br /> RewriteBase /<br /> <br /> RewriteCond %{REQUEST_URI} ^/api/v1/websocket [NC,OR]<br /> RewriteCond %{HTTP:UPGRADE} ^WebSocket$ [NC,OR]<br /> RewriteCond %{HTTP:CONNECTION} ^Upgrade$ [NC]<br /> RewriteRule .* ws://xyz00.hostsharing.net:34567%{REQUEST_URI} [proxy]<br /> <br /> RewriteCond %{DOCUMENT_ROOT}/%{REQUEST_FILENAME} !-f<br /> RewriteRule .* http://xyz00.hostsharing.net:34567%{REQUEST_URI} [proxy]<br /> RequestHeader set X-Forwarded-Proto &quot;https&quot;<br /> <br /> Im Verzeichnis &quot;htdocs&quot; wird eine &quot;.htaccess&quot;-Datei abgelegt, die für eine <br /> Weiterleitung auf das https-Protokoll sorgt:<br /> <br /> Redirect permanent / https://beispiel-chat.de/<br /> <br /> == Start des Servers ==<br /> <br /> Der Chat-Server lässt sich starten mit:<br /> <br /> cd $HOME/mattermost<br /> ./bin/mattermost<br /> <br /> Ein kleines Start-Skript könnte so aussehen:<br /> <br /> #!/bin/bash<br /> export HOME=/home/pacs/xyz00/users/chat<br /> cd $HOME/mattermost<br /> rm -f running.pid<br /> nohup ./bin/platform 1&gt;/dev/null 2&gt;&amp;1 &amp;<br /> echo $! &gt; running.pid<br /> <br /> Zum automatischen Start des Servers bei einem Reboot sollte <br /> man einen Eintrag &quot;@reboot&quot; in die crontab vornehmen.<br /> <br /> == Links ==<br /> <br /> *[https://about.mattermost.com/ Mattermost Homepage (Englisch)]<br /> *[https://github.com/mattermost/platform git Repository bei Github]<br /> <br /> ----<br /> [[Kategorie:HSDoku]]<br /> [[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:Software]]<br /> [[Kategorie:Eigene Daemons]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Diskussion:CAS_Authentication_Server&diff=5351 2021-01-07T05:10:53Z

<p>Opa00: /* Notwendige Änderungen für CAS 6.3 */</p> <hr /> <div>Aktuell anzupassen:<br /> <br /> * CAS Version ist 6.1.3<br /> * Build mit Gradle<br /> * Tomcat &gt; 9.0.23 erforderlich<br /> <br /> == Notwendige Änderungen für CAS 6.3 ==<br /> <br /> * ./build.sh muss durch ./gradlew clean build ersetzt werden<br /> * der ajp Connector in server.xml muss entweder secretRequired=&quot;false&quot; oder ein secret=&quot;...&quot; bekommen. vgl: https://tomcat.apache.org/tomcat-9.0-doc/config/ajp.html<br /> * RewriteRule unterstützt secrets aber scheinbar nicht - entsprechend müsste ProxyPass verwendet werden (in .htaccess aber scheinbar nicht möglich) -&gt; daher wohl eher ohne secret arbeiten<br /> * implementation &quot;org.apereo.cas:cas-server-support-json-service-registry:${project.'cas.version'}&quot; (compile ist deprecated)</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Diskussion:CAS_Authentication_Server&diff=5350 2021-01-07T04:17:58Z

<p>Opa00: /* Notwendige Änderungen für CAS 6.3 */</p> <hr /> <div>Aktuell anzupassen:<br /> <br /> * CAS Version ist 6.1.3<br /> * Build mit Gradle<br /> * Tomcat &gt; 9.0.23 erforderlich<br /> <br /> == Notwendige Änderungen für CAS 6.3 ==<br /> <br /> * ./build.sh muss durch ./gradlew clean build ersetzt werden<br /> * der ajp Connector in server.xml muss entweder secretRequired=&quot;false&quot; oder ein secret=&quot;...&quot; bekommen. vgl: https://tomcat.apache.org/tomcat-9.0-doc/config/ajp.html<br /> * RewriteRule unterstützt secrets aber scheinbar nicht - entsprechend müsste ProxyPass verwendet werden (in .htaccess aber scheinbar nicht möglich) -&gt; daher wohl eher ohne secret arbeiten</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Diskussion:CAS_Authentication_Server&diff=5349 2021-01-07T04:06:05Z

<p>Opa00: /* Notwendige Änderungen für CAS 7.3 */</p> <hr /> <div>Aktuell anzupassen:<br /> <br /> * CAS Version ist 6.1.3<br /> * Build mit Gradle<br /> * Tomcat &gt; 9.0.23 erforderlich<br /> <br /> == Notwendige Änderungen für CAS 6.3 ==<br /> <br /> * ./build.sh muss durch ./gradlew clean build ersetzt werden<br /> * der ajp Connector in server.xml muss entweder secretRequired=&quot;false&quot; (vmtl eher nicht empfohlen?) oder ein secret=&quot;...&quot; bekommen. vgl: https://tomcat.apache.org/tomcat-9.0-doc/config/ajp.html<br /> * RewriteRule unterstützt secrets aber scheinbar nicht - entsprechend müsste ProxyPass verwendet werden (in .htaccess aber scheinbar nicht möglich) -&gt; daher wohl eher ohne secret arbeiten</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Diskussion:CAS_Authentication_Server&diff=5348 2021-01-07T04:05:18Z

<p>Opa00: Neuer Abschnitt /* Notwendige Änderungen für CAS 7.3 */</p> <hr /> <div>Aktuell anzupassen:<br /> <br /> * CAS Version ist 6.1.3<br /> * Build mit Gradle<br /> * Tomcat &gt; 9.0.23 erforderlich<br /> <br /> == Notwendige Änderungen für CAS 7.3 ==<br /> <br /> * ./build.sh muss durch ./gradlew clean build ersetzt werden<br /> * der ajp Connector in server.xml muss entweder secretRequired=&quot;false&quot; (vmtl eher nicht empfohlen?) oder ein secret=&quot;...&quot; bekommen. vgl: https://tomcat.apache.org/tomcat-9.0-doc/config/ajp.html<br /> * RewriteRule unterstützt secrets aber scheinbar nicht - entsprechend müsste ProxyPass verwendet werden (in .htaccess aber scheinbar nicht möglich) -&gt; daher wohl eher ohne secret arbeiten</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Diskussion:Mailman_3_installieren&diff=5347 2021-01-05T07:00:52Z

<p>Opa00: Neuer Abschnitt /* Pfad ist inkonsistent */</p> <hr /> <div>== Pfad ist inkonsistent ==<br /> <br /> Müsste <br /> ~/mailman-suite/mailman-suite_project/settings_local.py <br /> nicht eigentlich <br /> ~/mailman/mailman-suite/mailman-suite_project/settings_local.py <br /> sein?</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Mailman_3_installieren&diff=5346 2021-01-05T06:33:12Z

<p>Opa00: Änderung 5345 von Opa00 (Diskussion) rückgängig gemacht.</p> <hr /> <div>Die folgende Anleitung zur Installation von Mailman 3 auf Hostsharing geht davon aus, dass als Domäne ''lists.example.org'' und als Domänennutzer ''xyz00-lists'' verwendet wird. Es ist zu empfehlen, auszuführende Befehle und Konfigurationen vorab auf zu ersetzende Werte zu prüfen. Alle Befehle sind als Benutzer ''xyz00-lists'' zu starten. Damit mehrere aufeinander folgende Shell-Kommandos leichter kopiert werden können, wird nur vor das jeweils erste Kommando ein ''$'' gesetzt. Zum Verständnis mancher der folgenden Anweisungen kann es hilfreich sein, die [https://mailman.readthedocs.io/ Mailman-Dokumentation] gelesen und sich mit [https://pipenv.readthedocs.io/en/latest/ Pipenv] beschäftigt zu haben.<br /> <br /> Achtung: Mailman 3 benötigt zahlreiche Hintergrundprozesse, was beim Managed Webspace zusätzliche Kosten verursacht.<br /> <br /> == Datenbank ==<br /> Zunächst muss eine PostgreSQL- oder MySQL-Datenbank angelegt werden. (Mailman läuft auch mit SQLite, ist aber für den Produktivbetrieb nicht empfohlen.) Je nach gewählter Datenbank unterscheiden sich manche Schritte geringfügig, was an den entsprechenden Stellen dokumentiert ist.<br /> <br /> == Mailman Core ==<br /> Für die Installation von Mailman Core sind folgende Kommandos auszuführen:<br /> $ pip3 install --user pipenv<br /> echo 'export PATH=&quot;$HOME/.local/bin:$PATH&quot;' &gt;&gt; ~/.profile<br /> source ~/.profile<br /> mkdir ~/mailman<br /> cd ~/mailman<br /> pipenv install mailman mailman-hyperkitty<br /> pipenv install psycopg2-binary # Für PostgreSQL<br /> pipenv install pymsql # Für MySQL&lt;/code&gt;<br /> <br /> Anschließend wird das Verzeichnis für die Konfigurationsdatei angelegt:<br /> $ mkdir -p ~/mailman/var/etc<br /> <br /> Die Konfiguration wird in die Datei &lt;code&gt;~/mailman/var/etc/mailman.cfg&lt;/code&gt; geschrieben:<br /> [mailman]<br /> site_owner: admin@example.org<br /> default_language: de<br /> <br /> [database] # https://mailman.readthedocs.io/en/latest/src/mailman/docs/database.html<br /> class: mailman.database.postgresql.PostgreSQLDatabase<br /> url: postgres://myuser:mypassword@mypghost/mailman<br /> # Fallls MySQL verwendet:<br /> #class: mailman.database.mysql.MySQLDatabase<br /> #url: mysql+pymysql://myuser:mypassword@mymysqlhost/mailman?charset=utf8&amp;use_unicode=1<br /> # SQLite ist Standard, wenn nichts konfiguriert ist<br /> <br /> [webservice] # REST Service von Mailman. Wird von [[#Web_Frontend|Web Frontend]] verwendet<br /> port: 8001 # ändern, falls belegt<br /> admin_user: restadmin<br /> admin_pass: restpass<br /> <br /> [mta]<br /> smtp_host: xyz00.hostsharing.net<br /> smtp_port: 4587<br /> smtp_user: xyz00-lists<br /> smtp_pass: secret<br /> smtp_secure_mode: starttls<br /> verp_confirm_format: $address # VERP ist nicht möglich, da [https://de.wikipedia.org/wiki/Mail_Transfer_Agent MTA] nicht selbst konfiguriert werden kann<br /> # https://mailman.readthedocs.io/en/latest/src/mailman/docs/mta.html<br /> incoming: mailman.mta.null.NullMTA # NullMTA, da MTA MTA nicht selbst konfiguriert werden kann<br /> lmtp_port: 8024 # ändern, falls belegt<br /> <br /> [runner.nntp]<br /> start: no # Runner für [https://de.wikipedia.org/wiki/Network_News_Transfer_Protocol NNTP] Gateway ausschalten<br /> <br /> [archiver.hyperkitty]<br /> class: mailman_hyperkitty.Archiver<br /> enable: yes<br /> # $HOME muss durch den tatsächlichen Pfad zum Benutzerverzeichnis ersetzt werden<br /> configuration: $HOME/mailman/var/etc/mailman-hyperkitty.cfg<br /> <br /> Zugriffsrechte einschränken:<br /> $ chmod 0600 ~/mailman/var/etc/mailman.cfg<br /> <br /> Damit Hyperkitty als [[#Web_Frontend|Web Frontend]] für das Archiv verwendet werden kann, ist in die Datei &lt;code&gt;~/mailman/var/etc/mailman-hyperkitty.cfg&lt;/code&gt; Foglendes zu schreiben:<br /> [general]<br /> base_url: &lt;nowiki&gt;https://lists.example.org/hyperkitty/&lt;/nowiki&gt;<br /> # Muss identisch mit Key in Hyperkitty sein<br /> api_key: SecretArchiverAPIKey<br /> <br /> Zugriffsrechte einschränken:<br /> $ chmod 0600 ~/mailman/var/etc/mailman-hyperkitty.cfg<br /> <br /> Kommando ''mailman'' anlegen:<br /> $ cat &lt;&lt;'EOD' &gt;~/.local/bin/mailman<br /> #!/bin/sh<br /> <br /> cd ~/mailman<br /> pipenv run mailman &quot;$@&quot;<br /> EOD<br /> <br /> chmod +x ~/.local/bin/mailman<br /> <br /> Nun kann mit &lt;code&gt;mailman info&lt;/code&gt; nochmal die aktuelle Konfiguration geprüft werden.<br /> Danach kann Mailman gestartet werden:<br /> $ mailman start<br /> <br /> == Web Frontend ==<br /> In diesem Abschnitt wird die Installation des Web Frontends beschrieben.<br /> <br /> Zunächst werden die Redirects aus der &lt;code&gt;.htaccess&lt;/code&gt; gelöscht:<br /> $ echo &quot;&quot; &gt; ~/doms/lists.example.org/htdocs-ssl/.htaccess<br /> <br /> Anschließend werden die erforderlichen Python-Pakete installiert:<br /> $ cd ~/mailman<br /> pipenv install whoosh postorius hyperkitty<br /> <br /> Um Plattenplatz freizugeben, kann optional der Pip Cache gelöscht werden:<br /> $ rm -r ~/.cache/pip*<br /> <br /> Nun werden die Dateien geladen, mit denen Postorius und Hyperkitty konfiguriert und gestartet werden:<br /> $ git clone https://gitlab.com/mailman/mailman-suite.git<br /> <br /> Zur Konfiguration von Hyperkitty wird die IP-Adresse benötigt, von der die Anfragen von Mailman Core kommen. Diese kann wie folgt ermittelt werden:<br /> $ cat &lt;&lt;EOD &gt;~/doms/lists.example.org/htdocs-ssl/ip.php<br /> &lt;?php<br /> echo $_SERVER['REMOTE_ADDR'] . &quot;\n&quot;;<br /> EOD<br /> curl &lt;nowiki&gt;https://lists.example.org/ip.php&lt;/nowiki&gt;<br /> rm ~/doms/lists.example.org/htdocs-ssl/ip.php<br /> <br /> Die Konfiguration wird nun in Die Datei &lt;code&gt;~/mailman-suite/mailman-suite_project/settings_local.py&lt;/code&gt; geschrieben:<br /> SECRET_KEY = 'change-this-on-your-production-server'<br /> Debug = False<br /> ADMINS = (<br /> ('Mailman Suite Admin', 'admin@example.org'),<br /> )<br /> ALLOWED_HOSTS = [<br /> 'lists.example.org',<br /> ]<br /> MAILMAN_REST_API_URL = '&lt;nowiki&gt;http://localhost:8001&lt;/nowiki&gt;'<br /> MAILMAN_REST_API_USER = 'restadmin'<br /> MAILMAN_REST_API_PASS = 'restpass'<br /> MAILMAN_ARCHIVER_KEY = 'SecretArchiverAPIKey'<br /> MAILMAN_ARCHIVER_FROM = ('&lt;IP von Mailman Core&gt;')<br /> <br /> # Authentifizierung über externe Dienste ausschalten (s. django-allauth)<br /> from settings import INSTALLED_APPS<br /> INSTALLED_APPS = filter(lambda app: not app.startswith('allauth.socialaccount.') and app != 'django_mailman3.lib.auth.fedora', INSTALLED_APPS)<br /> INSTALLED_APPS = (<br /> 'hyperkitty',<br /> 'postorius',<br /> 'django_mailman3',<br /> # Uncomment the next line to enable the admin:<br /> 'django.contrib.admin',<br /> # Uncomment the next line to enable admin documentation:<br /> # 'django.contrib.admindocs',<br /> 'django.contrib.auth',<br /> 'django.contrib.contenttypes',<br /> 'django.contrib.sessions',<br /> 'django.contrib.sites',<br /> 'django.contrib.messages',<br /> 'django.contrib.staticfiles',<br /> 'rest_framework',<br /> 'django_gravatar',<br /> 'compressor',<br /> 'haystack',<br /> 'django_extensions',<br /> 'django_q',<br /> 'allauth',<br /> 'allauth.account',<br /> 'allauth.socialaccount',<br /> )<br /> <br /> # Standardkonfiguration verwendet SQLite<br /> DATABASES = {<br /> 'default': {<br /> 'ENGINE': 'django.db.backends.postgresql_psycopg2', # Für MySQL: django.db.backends.mysql<br /> 'HOST': 'localhost',<br /> 'NAME': 'database_name',<br /> 'USER': 'database_user',<br /> 'PASSWORD': 'database_password',<br /> }<br /> }<br /> <br /> LANGUAGE_CODE = 'de-de'<br /> TIME_ZONE = 'Europe/Berlin'<br /> DEFAULT_FROM_EMAIL = 'mailing-lists@example.org'<br /> SERVER_EMAIL = 'mailing-lists@example.org'<br /> EMAIL_BACKEND = 'django.core.mail.backends.smtp.EmailBackend'<br /> EMAIL_HOST = 'xyz00.hostsharing.net'<br /> EMAIL_PORT = 4587<br /> EMAIL_USE_TLS = True<br /> EMAIL_HOST_USER = 'xyz00-lists'<br /> EMAIL_HOST_PASSWORD = 'secret'<br /> EMAIL_TIMEOUT = 60<br /> <br /> ACCOUNT_DEFAULT_HTTP_PROTOCOL = 'https'<br /> <br /> COMPRESS_PRECOMPILERS = (<br /> ('text/less', 'lessc {infile} {outfile}'),<br /> ('text/x-scss', 'sass -t compressed {infile} {outfile}'),<br /> ('text/x-sass', 'sass -t compressed {infile} {outfile}'),<br /> )<br /> COMPRESS_OFFLINE = True<br /> <br /> # Workeranzahl reduzieren (optional)<br /> Q_CLUSTER = {<br /> 'workers': 1,<br /> 'timeout': 300,<br /> 'save_limit': 100,<br /> 'orm': 'default',<br /> }<br /> <br /> Hinweis: Die Einstellungen in &lt;code&gt;settings_local.py&lt;/code&gt; überschreiben solche in &lt;code&gt;settings.py&lt;/code&gt;. Zwar kann &lt;code&gt;settings.py&lt;/code&gt; auch direkt angepasst werden, auf diese Weise werden jedoch mögliche Konflikte beim Update vermieden. &lt;code&gt;settings.py&lt;/code&gt; sollte dennoch dahingehend geprüft werden, ob man ggf. weitere Optionen ändern möchte.<br /> <br /> Das Mailman Web Frontend nutzt das Framework Django. Einige der Einstellungen sind in der [https://docs.djangoproject.com/en/2.2/ref/settings/ Dokumentation von Django] beschrieben, andere konfigurieren eine der in &lt;code&gt;INSTALLED_APPS&lt;/code&gt; definierten Anwendungen.<br /> <br /> Damit per Django verfügbare Kommandos leicht ausgeführt werden können, wird der Befehl ''mailman-django'' eingerichtet:<br /> $ cat &lt;&lt;'EOD' &gt;~/.local/bin/mailman-django<br /> #!/bin/sh<br /> <br /> cd ~/mailman<br /> pipenv run mailman-suite/mailman-suite_project/manage.py &quot;$@&quot;<br /> EOD<br /> <br /> chmod +x ~/.local/bin/mailman-django<br /> <br /> Anschließend können folgende Kommandos ausgeführt werden:<br /> $ mailman-django migrate<br /> mailman-django collectstatic<br /> mailman-django compress<br /> mailman-django createsuperuser<br /> <br /> Nun müssen die statischen Dateien für das Web Frontend noch per HTTPS verfügbar gemacht werden:<br /> $ ln -s ~/mailman/mailman-suite/mailman-suite_project/static ~/doms/lists.example.org/htdocs-ssl/<br /> <br /> Damit das Web Frontend per [[Phusion_Passenger|Phusion Passenger]] geladen werden kann:<br /> $ cat &lt;&lt;EOD &gt;~/doms/lists.example.org/app-ssl/passenger_wsgi.py<br /> import os<br /> import subprocess<br /> import sys<br /> <br /> os.environ['LANG'] = 'C.UTF-8'<br /> os.environ['LC_ALL'] = 'C.UTF-8'<br /> <br /> HOME = os.getenv('HOME')<br /> PIPENV = os.path.join(HOME, '.local', 'bin', 'pipenv')<br /> PIPFILE_DIR = os.path.join(HOME, 'mailman')<br /> INTERP = subprocess.check_output([PIPENV, 'run', 'which', 'python'], cwd=PIPFILE_DIR).strip().decode('utf-8')<br /> if sys.executable != INTERP:<br /> os.execl(INTERP, INTERP, *sys.argv)<br /> <br /> WSGI_DIR = os.path.join(HOME, 'mailman', 'mailman-suite', 'mailman-suite_project')<br /> sys.path.append(WSGI_DIR)<br /> <br /> from wsgi import application<br /> EOD<br /> <br /> Nun steht das Web Frontend unter &lt;code&gt;&lt;nowiki&gt;https://lists.example.org/&lt;/nowiki&gt;&lt;/code&gt; zur Verfügung. Über die Django Administration sollte unter &lt;code&gt;&lt;nowiki&gt;https://lists.example.org/admin/sites/site/1/change/&lt;/nowiki&gt;&lt;/code&gt; die Domäne angepasst werden.<br /> <br /> == Cron Jobs ==<br /> Es sind verschiedene Cron Jobs erforderlich. Hierzu &lt;code&gt;crontab -e&lt;/code&gt; ausführen und Folgendes eintragen:<br /> # An die in MAILTO eingetragene Adressen werden Ausgaben der Cron Jobs gesendet (optional)<br /> #MAILTO=admin@example.org<br /> PATH=$HOME/.local/bin:$PATH<br /> <br /> @reboot mailman start<br /> <br /> # Send periodic digests.<br /> @daily mailman digests --send<br /> <br /> @reboot mailman-django qcluster<br /> # Alternativ qcluster minütlich ausführen<br /> # * * * * * mailman-django qcluster --run-once<br /> <br /> * * * * * mailman-django runjobs minutely<br /> 2,17,32,47 * * * * mailman-django runjobs quarter_hourly<br /> @hourly mailman-django runjobs hourly<br /> @daily mailman-django runjobs daily<br /> @weekly mailman-django runjobs weekly<br /> @monthly mailman-django runjobs monthly<br /> @yearly mailman-django runjobs yearly<br /> <br /> Hinweis: Der Einfachheit halber wird hier für ''mailman start'' und ''qcluster'' &lt;code&gt;@reboot&lt;/code&gt; verwendet. Besser wäre der Einsatz von monit. Beim Einsatz von monit würde sich auch der Neustart der Dienste nach einem [[#Update|Update]] ändern. (Anleitung gerne anpassen, sollte jemand monit einrichten.)<br /> <br /> == Mails an Mailman weiterleiten ==<br /> Da die MTA-Konfiguration nicht direkt angepasst werden kann, ist ein Hilfskonstrukt erforderlich: Mittels ''.forward-Dateien'' werden eingehende Mails an das Programm msmtp weitergeleitet, welches diese per [https://de.wikipedia.org/wiki/Local_Mail_Transfer_Protocol LMTP] bei Mailman abliefert.<br /> <br /> msmtp kann wie folgt installiert werden:<br /> $ MSMTP_VERSION=1.8.6 # ggf. aktualisieren<br /> wget &lt;nowiki&gt;https://marlam.de/msmtp/releases/msmtp-$MSMTP_VERSION.tar.xz&lt;/nowiki&gt;<br /> tar xf msmtp-$MSMTP_VERSION.tar.xz<br /> cd msmtp-$MSMTP_VERSION<br /> ./configure --without-msmtpd<br /> make<br /> mv src/msmtp ~/.local/bin/<br /> cd ..<br /> rm -r msmtp-$MSMTP_VERSION msmtp-$MSMTP_VERSION.tar.xz<br /> <br /> Die Einrichtung der eigentlichen Weiterleitung erfolgt im nächsten Abschnitt.<br /> <br /> == Liste anlegen ==<br /> Damit Mailman tatsächlich genutzt werden kann, muss natürlich eine Liste eingerichtet werden.<br /> <br /> Mit den folgenden Kommandos werden eine Liste in Mailman erstellt, E-Mail-Adressen angelegt sowie Weiterleitungen konfiguriert:<br /> $ LISTNAME=test<br /> DOMAIN_ADMIN=xyz00<br /> DOMAIN_USER=xyz00-lists<br /> DOMAIN=lists.example.org<br /> LMTP_PORT=8024 # In Mailman Core konfigurierter Port<br /> <br /> mailman create $LISTNAME@$DOMAIN # Alternativ über Web Frontend<br /> <br /> for localpart in $LISTNAME ${LISTNAME}-admin ${LISTNAME}-bounces ${LISTNAME}-confirm ${LISTNAME}-join ${LISTNAME}-leave ${LISTNAME}-owner ${LISTNAME}-request ${LISTNAME}-subscribe ${LISTNAME}-unsubscribe; do<br /> hsscript -u $DOMAIN_ADMIN -e &quot;emailaddress.add({set:{domain:'$DOMAIN',localpart:'$localpart',target:'$DOMAIN_USER+$localpart'}})&quot;<br /> echo &quot;\&quot;|$HOME/.local/bin/msmtp --host=localhost --port=$LMTP_PORT --protocol=lmtp $localpart@$DOMAIN\&quot;&quot; &gt;~/.forward+$localpart<br /> done<br /> <br /> == Update ==<br /> Mailman lässt sich wie im Folgenden beschrieben aktualisieren.<br /> <br /> Python-Pakete für die Aktualisierungen vorliegen ausgeben:<br /> $ cd ~/mailman<br /> pipenv update --outdated<br /> <br /> Vor dem eigentlichen Update empfiehlt es sich, die Release Notes (zumindest von Mailman) zu lesen und auf relevante Änderungen zu prüfen.<br /> <br /> Update der Pakete:<br /> $ pipenv update<br /> <br /> Ggf. Pip Cache löschen:<br /> $ rm -r ~/.cache/pip*<br /> <br /> Anschließend werden die Dateien aus dem ''mailman-suite'' Git-Repository aktualisiert. Vor dem Übernehmen der Änderungen (merge), sollten die Commit Logs und die Änderungen begutachtet werden, um festzustellen, ob ggf. die Konfiguration anzupassen ist:<br /> $ cd mailman-suite<br /> git fetch origin<br /> git log master..origin/master # Zeigt Commit logs<br /> git diff master..origin/master # Zeigt Änderungen<br /> <br /> Änderungen übernehmen:<br /> $ git merge origin/master<br /> <br /> Abschließend die verschiedenen Dienste neu starten:<br /> $ mailman restart<br /> <br /> qcluster neu starten, wenn als Dienst und nicht als Cron Job gestartet:<br /> $ pkill --oldest --full 'mailman-suite_project/manage.py qcluster$'<br /> mailman-django qcluster &amp;disown<br /> <br /> Web Frontend neu starten:<br /> $ mkdir -p ~/doms/&lt;domain&gt;/app-ssl/tmp<br /> touch ~/doms/&lt;domain&gt;/app-ssl/tmp/restart.txt<br /> <br /> Zur Aktualisierung von msmtp können die Schritte zur Installation (mit angepasster Versionsnummer) wiederholt werden.<br /> <br /> [[Kategorie:HSDoku]]<br /> [[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:Software]]<br /> [[Kategorie:Mailinglisten]]<br /> [[Kategorie:E-Mail]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Mailman_3_installieren&diff=5345 2021-01-05T06:25:20Z

<p>Opa00: /* Web Frontend */ kleine Änderung zur Klarstellung wohin cloned wird</p> <hr /> <div>Die folgende Anleitung zur Installation von Mailman 3 auf Hostsharing geht davon aus, dass als Domäne ''lists.example.org'' und als Domänennutzer ''xyz00-lists'' verwendet wird. Es ist zu empfehlen, auszuführende Befehle und Konfigurationen vorab auf zu ersetzende Werte zu prüfen. Alle Befehle sind als Benutzer ''xyz00-lists'' zu starten. Damit mehrere aufeinander folgende Shell-Kommandos leichter kopiert werden können, wird nur vor das jeweils erste Kommando ein ''$'' gesetzt. Zum Verständnis mancher der folgenden Anweisungen kann es hilfreich sein, die [https://mailman.readthedocs.io/ Mailman-Dokumentation] gelesen und sich mit [https://pipenv.readthedocs.io/en/latest/ Pipenv] beschäftigt zu haben.<br /> <br /> Achtung: Mailman 3 benötigt zahlreiche Hintergrundprozesse, was beim Managed Webspace zusätzliche Kosten verursacht.<br /> <br /> == Datenbank ==<br /> Zunächst muss eine PostgreSQL- oder MySQL-Datenbank angelegt werden. (Mailman läuft auch mit SQLite, ist aber für den Produktivbetrieb nicht empfohlen.) Je nach gewählter Datenbank unterscheiden sich manche Schritte geringfügig, was an den entsprechenden Stellen dokumentiert ist.<br /> <br /> == Mailman Core ==<br /> Für die Installation von Mailman Core sind folgende Kommandos auszuführen:<br /> $ pip3 install --user pipenv<br /> echo 'export PATH=&quot;$HOME/.local/bin:$PATH&quot;' &gt;&gt; ~/.profile<br /> source ~/.profile<br /> mkdir ~/mailman<br /> cd ~/mailman<br /> pipenv install mailman mailman-hyperkitty<br /> pipenv install psycopg2-binary # Für PostgreSQL<br /> pipenv install pymsql # Für MySQL&lt;/code&gt;<br /> <br /> Anschließend wird das Verzeichnis für die Konfigurationsdatei angelegt:<br /> $ mkdir -p ~/mailman/var/etc<br /> <br /> Die Konfiguration wird in die Datei &lt;code&gt;~/mailman/var/etc/mailman.cfg&lt;/code&gt; geschrieben:<br /> [mailman]<br /> site_owner: admin@example.org<br /> default_language: de<br /> <br /> [database] # https://mailman.readthedocs.io/en/latest/src/mailman/docs/database.html<br /> class: mailman.database.postgresql.PostgreSQLDatabase<br /> url: postgres://myuser:mypassword@mypghost/mailman<br /> # Fallls MySQL verwendet:<br /> #class: mailman.database.mysql.MySQLDatabase<br /> #url: mysql+pymysql://myuser:mypassword@mymysqlhost/mailman?charset=utf8&amp;use_unicode=1<br /> # SQLite ist Standard, wenn nichts konfiguriert ist<br /> <br /> [webservice] # REST Service von Mailman. Wird von [[#Web_Frontend|Web Frontend]] verwendet<br /> port: 8001 # ändern, falls belegt<br /> admin_user: restadmin<br /> admin_pass: restpass<br /> <br /> [mta]<br /> smtp_host: xyz00.hostsharing.net<br /> smtp_port: 4587<br /> smtp_user: xyz00-lists<br /> smtp_pass: secret<br /> smtp_secure_mode: starttls<br /> verp_confirm_format: $address # VERP ist nicht möglich, da [https://de.wikipedia.org/wiki/Mail_Transfer_Agent MTA] nicht selbst konfiguriert werden kann<br /> # https://mailman.readthedocs.io/en/latest/src/mailman/docs/mta.html<br /> incoming: mailman.mta.null.NullMTA # NullMTA, da MTA MTA nicht selbst konfiguriert werden kann<br /> lmtp_port: 8024 # ändern, falls belegt<br /> <br /> [runner.nntp]<br /> start: no # Runner für [https://de.wikipedia.org/wiki/Network_News_Transfer_Protocol NNTP] Gateway ausschalten<br /> <br /> [archiver.hyperkitty]<br /> class: mailman_hyperkitty.Archiver<br /> enable: yes<br /> # $HOME muss durch den tatsächlichen Pfad zum Benutzerverzeichnis ersetzt werden<br /> configuration: $HOME/mailman/var/etc/mailman-hyperkitty.cfg<br /> <br /> Zugriffsrechte einschränken:<br /> $ chmod 0600 ~/mailman/var/etc/mailman.cfg<br /> <br /> Damit Hyperkitty als [[#Web_Frontend|Web Frontend]] für das Archiv verwendet werden kann, ist in die Datei &lt;code&gt;~/mailman/var/etc/mailman-hyperkitty.cfg&lt;/code&gt; Foglendes zu schreiben:<br /> [general]<br /> base_url: &lt;nowiki&gt;https://lists.example.org/hyperkitty/&lt;/nowiki&gt;<br /> # Muss identisch mit Key in Hyperkitty sein<br /> api_key: SecretArchiverAPIKey<br /> <br /> Zugriffsrechte einschränken:<br /> $ chmod 0600 ~/mailman/var/etc/mailman-hyperkitty.cfg<br /> <br /> Kommando ''mailman'' anlegen:<br /> $ cat &lt;&lt;'EOD' &gt;~/.local/bin/mailman<br /> #!/bin/sh<br /> <br /> cd ~/mailman<br /> pipenv run mailman &quot;$@&quot;<br /> EOD<br /> <br /> chmod +x ~/.local/bin/mailman<br /> <br /> Nun kann mit &lt;code&gt;mailman info&lt;/code&gt; nochmal die aktuelle Konfiguration geprüft werden.<br /> Danach kann Mailman gestartet werden:<br /> $ mailman start<br /> <br /> == Web Frontend ==<br /> In diesem Abschnitt wird die Installation des Web Frontends beschrieben.<br /> <br /> Zunächst werden die Redirects aus der &lt;code&gt;.htaccess&lt;/code&gt; gelöscht:<br /> $ echo &quot;&quot; &gt; ~/doms/lists.example.org/htdocs-ssl/.htaccess<br /> <br /> Anschließend werden die erforderlichen Python-Pakete installiert:<br /> $ cd ~/mailman<br /> pipenv install whoosh postorius hyperkitty<br /> <br /> Um Plattenplatz freizugeben, kann optional der Pip Cache gelöscht werden:<br /> $ rm -r ~/.cache/pip*<br /> <br /> Nun werden die Dateien geladen, mit denen Postorius und Hyperkitty konfiguriert und gestartet werden:<br /> $ cd <br /> git clone https://gitlab.com/mailman/mailman-suite.git<br /> <br /> Zur Konfiguration von Hyperkitty wird die IP-Adresse benötigt, von der die Anfragen von Mailman Core kommen. Diese kann wie folgt ermittelt werden:<br /> $ cat &lt;&lt;EOD &gt;~/doms/lists.example.org/htdocs-ssl/ip.php<br /> &lt;?php<br /> echo $_SERVER['REMOTE_ADDR'] . &quot;\n&quot;;<br /> EOD<br /> curl &lt;nowiki&gt;https://lists.example.org/ip.php&lt;/nowiki&gt;<br /> rm ~/doms/lists.example.org/htdocs-ssl/ip.php<br /> <br /> Die Konfiguration wird nun in Die Datei &lt;code&gt;~/mailman-suite/mailman-suite_project/settings_local.py&lt;/code&gt; geschrieben:<br /> SECRET_KEY = 'change-this-on-your-production-server'<br /> Debug = False<br /> ADMINS = (<br /> ('Mailman Suite Admin', 'admin@example.org'),<br /> )<br /> ALLOWED_HOSTS = [<br /> 'lists.example.org',<br /> ]<br /> MAILMAN_REST_API_URL = '&lt;nowiki&gt;http://localhost:8001&lt;/nowiki&gt;'<br /> MAILMAN_REST_API_USER = 'restadmin'<br /> MAILMAN_REST_API_PASS = 'restpass'<br /> MAILMAN_ARCHIVER_KEY = 'SecretArchiverAPIKey'<br /> MAILMAN_ARCHIVER_FROM = ('&lt;IP von Mailman Core&gt;')<br /> <br /> # Authentifizierung über externe Dienste ausschalten (s. django-allauth)<br /> from settings import INSTALLED_APPS<br /> INSTALLED_APPS = filter(lambda app: not app.startswith('allauth.socialaccount.') and app != 'django_mailman3.lib.auth.fedora', INSTALLED_APPS)<br /> INSTALLED_APPS = (<br /> 'hyperkitty',<br /> 'postorius',<br /> 'django_mailman3',<br /> # Uncomment the next line to enable the admin:<br /> 'django.contrib.admin',<br /> # Uncomment the next line to enable admin documentation:<br /> # 'django.contrib.admindocs',<br /> 'django.contrib.auth',<br /> 'django.contrib.contenttypes',<br /> 'django.contrib.sessions',<br /> 'django.contrib.sites',<br /> 'django.contrib.messages',<br /> 'django.contrib.staticfiles',<br /> 'rest_framework',<br /> 'django_gravatar',<br /> 'compressor',<br /> 'haystack',<br /> 'django_extensions',<br /> 'django_q',<br /> 'allauth',<br /> 'allauth.account',<br /> 'allauth.socialaccount',<br /> )<br /> <br /> # Standardkonfiguration verwendet SQLite<br /> DATABASES = {<br /> 'default': {<br /> 'ENGINE': 'django.db.backends.postgresql_psycopg2', # Für MySQL: django.db.backends.mysql<br /> 'HOST': 'localhost',<br /> 'NAME': 'database_name',<br /> 'USER': 'database_user',<br /> 'PASSWORD': 'database_password',<br /> }<br /> }<br /> <br /> LANGUAGE_CODE = 'de-de'<br /> TIME_ZONE = 'Europe/Berlin'<br /> DEFAULT_FROM_EMAIL = 'mailing-lists@example.org'<br /> SERVER_EMAIL = 'mailing-lists@example.org'<br /> EMAIL_BACKEND = 'django.core.mail.backends.smtp.EmailBackend'<br /> EMAIL_HOST = 'xyz00.hostsharing.net'<br /> EMAIL_PORT = 4587<br /> EMAIL_USE_TLS = True<br /> EMAIL_HOST_USER = 'xyz00-lists'<br /> EMAIL_HOST_PASSWORD = 'secret'<br /> EMAIL_TIMEOUT = 60<br /> <br /> ACCOUNT_DEFAULT_HTTP_PROTOCOL = 'https'<br /> <br /> COMPRESS_PRECOMPILERS = (<br /> ('text/less', 'lessc {infile} {outfile}'),<br /> ('text/x-scss', 'sass -t compressed {infile} {outfile}'),<br /> ('text/x-sass', 'sass -t compressed {infile} {outfile}'),<br /> )<br /> COMPRESS_OFFLINE = True<br /> <br /> # Workeranzahl reduzieren (optional)<br /> Q_CLUSTER = {<br /> 'workers': 1,<br /> 'timeout': 300,<br /> 'save_limit': 100,<br /> 'orm': 'default',<br /> }<br /> <br /> Hinweis: Die Einstellungen in &lt;code&gt;settings_local.py&lt;/code&gt; überschreiben solche in &lt;code&gt;settings.py&lt;/code&gt;. Zwar kann &lt;code&gt;settings.py&lt;/code&gt; auch direkt angepasst werden, auf diese Weise werden jedoch mögliche Konflikte beim Update vermieden. &lt;code&gt;settings.py&lt;/code&gt; sollte dennoch dahingehend geprüft werden, ob man ggf. weitere Optionen ändern möchte.<br /> <br /> Das Mailman Web Frontend nutzt das Framework Django. Einige der Einstellungen sind in der [https://docs.djangoproject.com/en/2.2/ref/settings/ Dokumentation von Django] beschrieben, andere konfigurieren eine der in &lt;code&gt;INSTALLED_APPS&lt;/code&gt; definierten Anwendungen.<br /> <br /> Damit per Django verfügbare Kommandos leicht ausgeführt werden können, wird der Befehl ''mailman-django'' eingerichtet:<br /> $ cat &lt;&lt;'EOD' &gt;~/.local/bin/mailman-django<br /> #!/bin/sh<br /> <br /> cd ~/mailman<br /> pipenv run mailman-suite/mailman-suite_project/manage.py &quot;$@&quot;<br /> EOD<br /> <br /> chmod +x ~/.local/bin/mailman-django<br /> <br /> Anschließend können folgende Kommandos ausgeführt werden:<br /> $ mailman-django migrate<br /> mailman-django collectstatic<br /> mailman-django compress<br /> mailman-django createsuperuser<br /> <br /> Nun müssen die statischen Dateien für das Web Frontend noch per HTTPS verfügbar gemacht werden:<br /> $ ln -s ~/mailman/mailman-suite/mailman-suite_project/static ~/doms/lists.example.org/htdocs-ssl/<br /> <br /> Damit das Web Frontend per [[Phusion_Passenger|Phusion Passenger]] geladen werden kann:<br /> $ cat &lt;&lt;EOD &gt;~/doms/lists.example.org/app-ssl/passenger_wsgi.py<br /> import os<br /> import subprocess<br /> import sys<br /> <br /> os.environ['LANG'] = 'C.UTF-8'<br /> os.environ['LC_ALL'] = 'C.UTF-8'<br /> <br /> HOME = os.getenv('HOME')<br /> PIPENV = os.path.join(HOME, '.local', 'bin', 'pipenv')<br /> PIPFILE_DIR = os.path.join(HOME, 'mailman')<br /> INTERP = subprocess.check_output([PIPENV, 'run', 'which', 'python'], cwd=PIPFILE_DIR).strip().decode('utf-8')<br /> if sys.executable != INTERP:<br /> os.execl(INTERP, INTERP, *sys.argv)<br /> <br /> WSGI_DIR = os.path.join(HOME, 'mailman', 'mailman-suite', 'mailman-suite_project')<br /> sys.path.append(WSGI_DIR)<br /> <br /> from wsgi import application<br /> EOD<br /> <br /> Nun steht das Web Frontend unter &lt;code&gt;&lt;nowiki&gt;https://lists.example.org/&lt;/nowiki&gt;&lt;/code&gt; zur Verfügung. Über die Django Administration sollte unter &lt;code&gt;&lt;nowiki&gt;https://lists.example.org/admin/sites/site/1/change/&lt;/nowiki&gt;&lt;/code&gt; die Domäne angepasst werden.<br /> <br /> == Cron Jobs ==<br /> Es sind verschiedene Cron Jobs erforderlich. Hierzu &lt;code&gt;crontab -e&lt;/code&gt; ausführen und Folgendes eintragen:<br /> # An die in MAILTO eingetragene Adressen werden Ausgaben der Cron Jobs gesendet (optional)<br /> #MAILTO=admin@example.org<br /> PATH=$HOME/.local/bin:$PATH<br /> <br /> @reboot mailman start<br /> <br /> # Send periodic digests.<br /> @daily mailman digests --send<br /> <br /> @reboot mailman-django qcluster<br /> # Alternativ qcluster minütlich ausführen<br /> # * * * * * mailman-django qcluster --run-once<br /> <br /> * * * * * mailman-django runjobs minutely<br /> 2,17,32,47 * * * * mailman-django runjobs quarter_hourly<br /> @hourly mailman-django runjobs hourly<br /> @daily mailman-django runjobs daily<br /> @weekly mailman-django runjobs weekly<br /> @monthly mailman-django runjobs monthly<br /> @yearly mailman-django runjobs yearly<br /> <br /> Hinweis: Der Einfachheit halber wird hier für ''mailman start'' und ''qcluster'' &lt;code&gt;@reboot&lt;/code&gt; verwendet. Besser wäre der Einsatz von monit. Beim Einsatz von monit würde sich auch der Neustart der Dienste nach einem [[#Update|Update]] ändern. (Anleitung gerne anpassen, sollte jemand monit einrichten.)<br /> <br /> == Mails an Mailman weiterleiten ==<br /> Da die MTA-Konfiguration nicht direkt angepasst werden kann, ist ein Hilfskonstrukt erforderlich: Mittels ''.forward-Dateien'' werden eingehende Mails an das Programm msmtp weitergeleitet, welches diese per [https://de.wikipedia.org/wiki/Local_Mail_Transfer_Protocol LMTP] bei Mailman abliefert.<br /> <br /> msmtp kann wie folgt installiert werden:<br /> $ MSMTP_VERSION=1.8.6 # ggf. aktualisieren<br /> wget &lt;nowiki&gt;https://marlam.de/msmtp/releases/msmtp-$MSMTP_VERSION.tar.xz&lt;/nowiki&gt;<br /> tar xf msmtp-$MSMTP_VERSION.tar.xz<br /> cd msmtp-$MSMTP_VERSION<br /> ./configure --without-msmtpd<br /> make<br /> mv src/msmtp ~/.local/bin/<br /> cd ..<br /> rm -r msmtp-$MSMTP_VERSION msmtp-$MSMTP_VERSION.tar.xz<br /> <br /> Die Einrichtung der eigentlichen Weiterleitung erfolgt im nächsten Abschnitt.<br /> <br /> == Liste anlegen ==<br /> Damit Mailman tatsächlich genutzt werden kann, muss natürlich eine Liste eingerichtet werden.<br /> <br /> Mit den folgenden Kommandos werden eine Liste in Mailman erstellt, E-Mail-Adressen angelegt sowie Weiterleitungen konfiguriert:<br /> $ LISTNAME=test<br /> DOMAIN_ADMIN=xyz00<br /> DOMAIN_USER=xyz00-lists<br /> DOMAIN=lists.example.org<br /> LMTP_PORT=8024 # In Mailman Core konfigurierter Port<br /> <br /> mailman create $LISTNAME@$DOMAIN # Alternativ über Web Frontend<br /> <br /> for localpart in $LISTNAME ${LISTNAME}-admin ${LISTNAME}-bounces ${LISTNAME}-confirm ${LISTNAME}-join ${LISTNAME}-leave ${LISTNAME}-owner ${LISTNAME}-request ${LISTNAME}-subscribe ${LISTNAME}-unsubscribe; do<br /> hsscript -u $DOMAIN_ADMIN -e &quot;emailaddress.add({set:{domain:'$DOMAIN',localpart:'$localpart',target:'$DOMAIN_USER+$localpart'}})&quot;<br /> echo &quot;\&quot;|$HOME/.local/bin/msmtp --host=localhost --port=$LMTP_PORT --protocol=lmtp $localpart@$DOMAIN\&quot;&quot; &gt;~/.forward+$localpart<br /> done<br /> <br /> == Update ==<br /> Mailman lässt sich wie im Folgenden beschrieben aktualisieren.<br /> <br /> Python-Pakete für die Aktualisierungen vorliegen ausgeben:<br /> $ cd ~/mailman<br /> pipenv update --outdated<br /> <br /> Vor dem eigentlichen Update empfiehlt es sich, die Release Notes (zumindest von Mailman) zu lesen und auf relevante Änderungen zu prüfen.<br /> <br /> Update der Pakete:<br /> $ pipenv update<br /> <br /> Ggf. Pip Cache löschen:<br /> $ rm -r ~/.cache/pip*<br /> <br /> Anschließend werden die Dateien aus dem ''mailman-suite'' Git-Repository aktualisiert. Vor dem Übernehmen der Änderungen (merge), sollten die Commit Logs und die Änderungen begutachtet werden, um festzustellen, ob ggf. die Konfiguration anzupassen ist:<br /> $ cd mailman-suite<br /> git fetch origin<br /> git log master..origin/master # Zeigt Commit logs<br /> git diff master..origin/master # Zeigt Änderungen<br /> <br /> Änderungen übernehmen:<br /> $ git merge origin/master<br /> <br /> Abschließend die verschiedenen Dienste neu starten:<br /> $ mailman restart<br /> <br /> qcluster neu starten, wenn als Dienst und nicht als Cron Job gestartet:<br /> $ pkill --oldest --full 'mailman-suite_project/manage.py qcluster$'<br /> mailman-django qcluster &amp;disown<br /> <br /> Web Frontend neu starten:<br /> $ mkdir -p ~/doms/&lt;domain&gt;/app-ssl/tmp<br /> touch ~/doms/&lt;domain&gt;/app-ssl/tmp/restart.txt<br /> <br /> Zur Aktualisierung von msmtp können die Schritte zur Installation (mit angepasster Versionsnummer) wiederholt werden.<br /> <br /> [[Kategorie:HSDoku]]<br /> [[Kategorie:Installationsanleitungen]]<br /> [[Kategorie:Software]]<br /> [[Kategorie:Mailinglisten]]<br /> [[Kategorie:E-Mail]]</div>

Opa00 https://wiki.hostsharing.net/index.php?title=Diskussion:Nextcloud&diff=5344 2021-01-04T23:26:35Z

<p>Opa00: Neuer Abschnitt /* Mehr Performance Tuning */</p> <hr /> <div><br /> == Umstellung auf bigint ==<br /> Unter https://docs.nextcloud.com/server/17/admin_manual/configuration_database/bigint_identifiers.html steht etwas was wohl sudo benötigt.<br /> Wie kann das eingerichtet werden?<br /> <br /> == Mehr Performance Tuning ==<br /> <br /> https://docs.nextcloud.com/server/20/admin_manual/installation/server_tuning.html<br /> <br /> Bei mir war die Nextcloud anfangs enorm langsam (sogar der login ist gescheitert aufgrund der langen Laufzeit. Ich habe in die php.ini folgende Zeilen aus o.g. Doku hinzugefügt und ein bisschen die Apps / Plugins verändert. <br /> <br /> pm = dynamic<br /> pm.max_children = 120<br /> pm.start_servers = 12<br /> pm.min_spare_servers = 6<br /> pm.max_spare_servers = 18</div>

Opa00