This page (revision-76) was last changed on 19-Mar-2022 23:42 by Christoph S.

This page was created on 25-Apr-2020 22:51 by Christoph S.

Only authorized users are allowed to rename pages.

Only authorized users are allowed to delete pages.

Page revision history

Version Date Modified Size Author Changes ... Change note
76 19-Mar-2022 23:42 26 KB Christoph S. to previous
75 22-Apr-2021 12:50 26 KB jitsi_meet to previous | to last
74 25-Jan-2021 23:20 26 KB Christoph S. to previous | to last
73 25-Jan-2021 23:20 26 KB Christoph S. to previous | to last
72 25-Jan-2021 23:13 26 KB Christoph S. to previous | to last
71 19-Jan-2021 00:23 26 KB Christoph S. to previous | to last
70 18-Jan-2021 22:51 25 KB Christoph S. to previous | to last
69 08-Jan-2021 13:36 24 KB Christoph S. to previous | to last
68 08-Jan-2021 13:36 24 KB Christoph S. to previous | to last
67 08-Jan-2021 13:30 23 KB Christoph S. to previous | to last
66 08-Jan-2021 13:24 23 KB Christoph S. to previous | to last
65 07-Jan-2021 07:26 22 KB Christoph S. to previous | to last
64 07-Jan-2021 07:20 22 KB Christoph S. to previous | to last
63 06-Jan-2021 19:34 22 KB Christoph S. to previous | to last
62 06-Jan-2021 19:19 21 KB Christoph S. to previous | to last
61 30-Dec-2020 17:10 21 KB Christoph S. to previous | to last

Page References

Incoming links Outgoing links
AdminJitsi
AdminJitsi

Version management

Difference between version and

At line 5 changed one line
Anleitung: [https://jitsi.github.io/handbook/docs/devops-guide/devops-guide-quickstart]
Offizielle Anleitung: [https://jitsi.github.io/handbook/docs/devops-guide/devops-guide-quickstart]
At line 7 added 2 lines
Weitere Anleitung inkl. Telefoneinwahl: [https://doku.jgz-energie.net/jitsi-meet/]
At line 9 changed one line
Anleitung: [https://jitsi.github.io/handbook/docs/devops-guide/devops-guide-scalable]
Offizielle Anleitung: [https://jitsi.github.io/handbook/docs/devops-guide/devops-guide-scalable]
At line 11 changed 2 lines
Architektur: 1x Signaling Node mit prosody, jicofo, nginx, jitsi-meet-web
Nx Video Node mit jitsi-videobridge2 (und optional jigasi)
Weitere Doku zur Architektur und Skalierung von meet.ffmuc.net:
At line 14 changed one line
!!! Setup Signaling Node
* [https://www.slideshare.net/AnnikaWickert/freifunk-munich-how-to-scale-jitsi-231999167]
* [https://github.com/freifunkMUC/ffmuc-salt-public/tree/master/jitsi]
At line 16 changed one line
Nginx, Prosody, certbot + gültiges Zertifikat für meet.example.org
! Architektur
At line 20 added 12 lines
* 1-mal Signaling Node mit prosody, jicofo, nginx, jitsi-meet-web: 1 core, 2GB RAM ausreichend
* 1-mal SIP Node mit asterisk: Minimale Konfiguration, also 1 core, 500MB RAM ausreichend
* N-mal Video Node mit jitsi-videobridge2 (und optional jigasi): 4-8 cores, 8GB RAM, 1GBit/s Netzwerk, dedizierte Hardware (zB. IONOS L-16 HDD, Hetzner AX41 oder vergleichbares)
Übersicht der vollständigen Architektur von {{{jitsi.luki.org}}} als Beispiel:
[jitsi-architecture.png]
! Setup Signaling Node
Nginx, Prosody, certbot und gültiges Zertifikat für meet.example.org:
At line 19 changed 2 lines
apt install prosody nginx
add-apt-repository ppa:certbot/certbot
apt install prosody lua-event nginx
At line 22 changed one line
certbot --nginx
certbot --nginx -d meet.example.org
At line 38 added 3 lines
In prosody libevent aktivieren, ansonsten ist bei 1024 connections Schluss:
In /etc/prosody/prosody.cfg.lua:
At line 42 added 8 lines
use_libevent = true
network_backend = "event"
}}}
Jicofo und Jitsi Meet Web:
{{{
At line 27 changed one line
echo 'deb [[signed-by=/usr/share/keyrings/jitsi-keyring.gpg] https://download.jitsi.org stable/' | sudo tee /etc/apt/sources.list.d/jitsi-stable.list > /dev/null
echo 'deb [signed-by=/usr/share/keyrings/jitsi-keyring.gpg] https://download.jitsi.org stable/' | sudo tee /etc/apt/sources.list.d/jitsi-stable.list > /dev/null
At line 36 changed one line
Bei der Installation von {{{jitsi-meet-prosody}}} wird ein Videobridge-Passwort abgefragt. Hier ein sicheres Passwort erstellen und dann später beim Setup der Video Nodes verwenden.
Bei der Installation von {{{jitsi-meet-prosody}}} wird ein Videobridge-Passwort abgefragt. Dieses kann zufällig gesetzt werden, es wird später bei der Installation des ersten Video Nodes mit {{{prosodyctl}}} überschrieben.
At line 38 changed one line
Nach der Installation von jicofo kontrollieren, dass in der {{{/etc/jitsi/jicofo/config}}} folgendes gesetzt ist:
Nach der Installation von jicofo in der {{{/etc/jitsi/jicofo/config}}} folgendes setzen:
At line 41 removed one line
JICOFO_HOST=localhost
At line 44 removed one line
JICOFO_AUTH_USER=focus
At line 47 changed one line
Außerdem kontrollieren, dass in der {{{/etc/jitsi/jicofo/sip-communicator.properties}}} folgendes gesetzt ist:
Außerdem in der {{{/etc/jitsi/jicofo/sip-communicator.properties}}} folgendes setzen:
At line 52 changed one line
!!! Setup Video Node
RAM-Einstellungen für jicofo. In {{{/etc/jitsi/jicofo/config}}} folgendes am Anfang der JAVA_SYS_PROPS ergänzen setzen, hier 1GB:
{{{
JAVA_SYS_PROPS="-Xms1g -Xmx1g ...
}}}
At line 79 added 4 lines
WebSocket-Verbindung von Clients zu Prosody für XMPP ermöglichen:
In {{{/etc/prosody/conf.avail/meet.example.org.cfg.lua}}} folgendes global ergänzen:
At line 84 added 39 lines
consider_websocket_secure = true;
cross_domain_websocket = true;
}}}
Außerdem in {{{/etc/prosody/conf.avail/meet.example.org.cfg.lua}}} im existiereden Abschnitt {{{VirtualHost "meet.example.org"}}} die {{{modules_enabled}}} um {{{"websocket";}}} ergänzen:
{{{
VirtualHost "meet.example.org"
modules_enabled = {
"bosh";
"pubsub";
"ping"; -- Enable mod_ping
"speakerstats";
"turncredentials";
"conference_duration";
"websocket"; -- Neu für XMPP von Clients zu Prosody
}
}}}
Danach prosody neustarten und in der {{{/etc/jitsi/meet/meet.example.org-config.js}}} für die Clients bekanntmachen, indem die websocket:-Zeile einkommentiert wird:
{{{
// Websocket URL
websocket: 'wss://meet.example.org/xmpp-websocket',
}}}
wasm im nginx als mime-type bekannt machen, damit der Fehler "TypeError: Failed to execute 'compile' on 'WebAssembly'" behoben wird. Dazu in der {{{/etc/nginx/mime.types}}} Folgendes ergänzen:
{{{
application/wasm wasm;
}}}
! Setup Video Node
Der oder die Video Node(s) sollten dedizierte Server mit dedizierten Netzwerkkarten sein, damit der Netzwerktraffic (Packets / Sekunde) auch bewältigt werden.
Installation der Software:
{{{
At line 56 changed one line
echo 'deb [[signed-by=/usr/share/keyrings/jitsi-keyring.gpg] https://download.jitsi.org stable/' | sudo tee /etc/apt/sources.list.d/jitsi-stable.list > /dev/null
echo 'deb [signed-by=/usr/share/keyrings/jitsi-keyring.gpg] https://download.jitsi.org stable/' | sudo tee /etc/apt/sources.list.d/jitsi-stable.list > /dev/null
At line 64 changed one line
Nach Videobridge-Installation auf jeden Fall Passwort in {{{/etc/jitsi/videobridge/config}}} und {{{/etc/jitsi/jicofo/sip-communicator.properties}}} mit prosody auf Signaling Node abgleichen. Falls Login fehlschlägt, mit {{{prosodyctl}}} auf Signaling Node zurücksetzen.
Nach Videobridge-Installation Passwort der JVB auf Signaling Node zurücksetzen:
At line 66 changed one line
Bei Fehler "Could not build trust path": {{{auth.meet.example.org.crt}}} in jeder videobridge als {{{.crt}}} in {{{/usr/local/share/ca-certificates}}} aufnehmen und {{{update-ca-certificates}}} ausführen.
{{{
prosodyctl passwd jvb@auth.meet.example.org
}}}
At line 68 changed one line
Setup von websocket als datachannel
Dann in {{{/etc/jitsi/videobridge/config}}} und {{{/etc/jitsi/videobridge/jvb.conf}}} eintragen.
At line 70 changed one line
In {{{/etc/jitsi/videobridge/sip-communicator.properties}}} folgendes hinzufügen:
In {{{/etc/jitsi/videobridge/jvb.conf}}} folgendes hinzufügen:
At line 72 changed 5 lines
# datachannel
org.jitsi.videobridge.rest.jetty.port=9090
org.jitsi.videobridge.rest.jetty.host=localhost
org.jitsi.videobridge.rest.COLIBRI_WS_TLS=true
org.jitsi.videobridge.rest.COLIBRI_WS_DOMAIN=jvb1.meet.example.org:443
videobridge {
apis {
xmpp-client {
configs {
connection-id {
hostname = "meet.example.org"
domain = "auth.meet.example.org"
username = "jvb"
password = "...."
muc_jids = "JvbBrewery@internal.auth.meet.example.org"
muc_nickname = "..."
disable_certificate_verification = true
}
}
}
rest {
enabled = true
}
}
}
At line 165 added 21 lines
RAM-Einstellungen für videobridge. In {{{/etc/jitsi/videobridge/config}}} folgendes setzen, hier 8GB:
{{{
VIDEOBRIDGE_MAX_MEMORY="8g -Xms8g"
}}}
Setup von websocket als Bridge channel:
In {{{/etc/jitsi/videobridge/jvb.conf}}} folgendes hinzufügen:
{{{
http-servers {
public {
port = 9090
}
}
websockets {
enabled = true
domain = "jvb1.meet.example.org:443"
tls = true
}
}}}
At line 83 removed one line
add-apt-repository ppa:certbot/certbot
At line 85 changed one line
certbot --nginx
certbot --nginx -d jvb1.meet.example.org
At line 198 added 5 lines
upstream jvb {
zone upstreams 64K;
server 127.0.0.1:9090;
keepalive 2;
}
At line 208 added 3 lines
access_log off;
error_log off;
At line 104 changed one line
proxy_pass http://127.0.0.1:9090/colibri-ws/default-id/$1$is_args$args;
proxy_pass http://jvb/colibri-ws/default-id/$1$is_args$args;
At line 227 added one line
Falls gewünscht, die Statistik-APIs in {{{/etc/jitsi/videobridge/jvb.conf}}} anschalten, evtl. mit {{{host = ...}}} auf internes Interface legen:
At line 114 changed one line
Weitere Doku zur Architektur und Skalierung von meet.ffmuc.net: [https://www.slideshare.net/AnnikaWickert/freifunk-munich-how-to-scale-jitsi-231999167]
{{{
http-servers {
private {
port = 8080
}
}
}}}
At line 237 added 82 lines
Da auf den Video Nodes nur vertrauenswürdiger Code läuft, können die Spectre & Meltdown-Mitigations abgeschaltet werden. Dies verbessert die context-switching-Performance, siehe [https://www.phoronix.com/scan.php?page=article&item=3-years-specmelt&num=1].
Daher in der {{{/etc/default/grub}}} (oder bei Hetzner in der {{{/etc/default/grub.d/hetzner.cfg}}}) Folgendes zu {{{GRUB_CMDLINE_LINUX_DEFAULT}}} hinzufügen:
{{{
mitigations=off
}}}
Danach mit {{{sudo update-grub}}} aktivieren und den Server neu starten. Dann mit {{{lscpu}}} nachsehen, ob die Einstellung greift. Wenn bei den Vulnerabilties "Vulnerable" steht, dann ist alles in Ordnung:
{{{
Vulnerability Itlb multihit: KVM: Vulnerable
Vulnerability L1tf: Mitigation; PTE Inversion; VMX vulnerable
Vulnerability Mds: Vulnerable; SMT vulnerable
Vulnerability Meltdown: Vulnerable
Vulnerability Spec store bypass: Vulnerable
Vulnerability Spectre v1: Vulnerable: __user pointer sanitization and usercopy barriers only; no swapgs barriers
Vulnerability Spectre v2: Vulnerable, IBPB: disabled, STIBP: disabled
Vulnerability Srbds: Vulnerable
Vulnerability Tsx async abort: Vulnerable
}}}
Außerdem laufen die Videokonferenzen zuverlässiger, wenn die CPUs nicht hoch- und runtertakten. Dazu auf den CPU-Governor "performance" umstellen:
{{{
systemctl disable ondemand.service
apt install cpufrequtils
}}}
In der {{{/etc/default/cpufrequtils}}} Folgendes einstellen:
{{{
ENABLE="true"
GOVERNOR="performance"
}}}
Danach reboot und mittels {{{cpufreq-info}}} überprüfen:
{{{
cpufreq-info
...
The governor "performance" may decide which speed to use
...
}}}
! Logging deaktivieren
Jicofo {{{/etc/jitsi/jicofo/logging.properties}}}: top-Level auf OFF, alle anderen level auskommentieren:
{{{
.level=OFF
#net.sf.level=SEVERE
#net.java.sip.communicator.plugin.reconnectplugin.level=FINE
#org.ice4j.level=SEVERE
#org.jitsi.impl.neomedia.level=SEVERE
}}}
Prosody {{{/etc/prosody/prosody.cfg.lua}}}:
{{{
log = {
-- Log files (change 'info' to 'debug' for debug logs):
--info = "/var/log/prosody/prosody.log";
error = "/var/log/prosody/prosody.err";
-- Syslog:
--{ levels = { "error" }; to = "syslog"; };
}
}}}
Videobridge {{{/etc/jitsi/videobridge/logging.properties}}}: top-Level auf OFF, alle anderen level auskommentieren:
{{{
.level=OFF
#org.jitsi.videobridge.xmpp.ComponentImpl.level=FINE
# All of the INFO level logs from MediaStreamImpl are unnecessary in the context of jitsi-videobridge.
#org.jitsi.impl.neomedia.MediaStreamImpl.level=WARNING
}}}
Nginx: In allen vhosts:
{{{
access_log off;
}}}
At line 325 added 4 lines
Aus den Jitsi-Community-Foren: [https://community.jitsi.org/t/maximum-number-of-participants-on-a-meeting-on-meet-jit-si-server/22273/47]
Tuning-Tipps auf Server- und Client-Seite: [https://community.jitsi.org/t/maximum-number-of-participants-on-a-meeting-on-meet-jit-si-server/22273/80]
At line 334 added one line
* 40 User: 16% CPU-Auslasting für [PX61-NVMe|https://www.hetzner.com/de/news/dedicated-root-server-mit-dem-standard-der-zukunft/] (Xeon(R) CPU E3-1275 v5 @ 3.60GHz), 80MBit/s eingehend, 30 MBit/s ausgehend
At line 336 added 33 lines
Der "Stress-Level" eine einheitenlose Kennzahl, standardmäßig auf 50000pps (eingehend+ausgehend) normiert. Als Beispiel: Wenn die Video-Node 10000pps eingehend und 10000pps ausgehend hat, dann ergibt das 20000pps / 50000pps = 0.4, also einen "Stress-Level" von 0.4 oder 40%.
Kalibrierung des Stress-Berechnung an vorhandene Hardware. Dazu einmal eine "große" Konferenz, zB mit 15 Personen starten, dabei die Paket-Rate (pps) und CPU-Auslastung erfassen.
Als Beispiel: 25000pps auf 8-Core Intel(R) Xeon(R) CPU E3-1275 v5 @ 3.60GHz führten zu 16% CPU-Auslastung. Annahme: Bis zu 80% CPU ist ok, dann heißt das geschätzt 80%/16% = 5 * 25000pps = 125000pps als Lastgrenze:
In {{{/etc/jitsi/videobridge/jvb.conf}}} das Ergebnis eintragen:
{{{
load-management {
# Whether or not the reducer will be enabled to take actions to mitigate load
reducer-enabled = true
load-measurements {
packet-rate {
# 25000 pps produced 16% CPU utilization => load threshold at 80% CPU => 125000 pps
load-threshold = 125000
# 80% load-threshold
recovery-threshold = 100000
}
}
load-reducers {
last-n {
reduction-scale = .75
recover-scale = 1.25
impact-time = 1 minute
minimum-last-n-value = 0
maximum-enforced-last-n-value = 40
}
}
}
}}}
At line 222 removed 3 lines
/// Nur letzte 6 Sprecher als Video anzeigen, schont CPU auf Clients und Bandbreite
channelLastN: 6,
At line 482 added 34 lines
!!! Hardening
Nginx-Konfiguration auf sicheren und schnellen Stand bringen: TLSv1.3 aktivieren, HTTP2 aktivieren,Cipher auf "ECDHE+AESGCM:ECDHE+CHACHA20" beschränken:
{{{
server {
listen 443 ssl http2;
listen [::]:443 ssl http2;
server_name jitsi.luki.org;
ssl_protocols TLSv1.2 TLSv1.3;
ssl_prefer_server_ciphers on;
ssl_ciphers "ECDHE+AESGCM:ECDHE+CHACHA20";
}
}}}
Jicofo REST-API in {{{/etc/jitsi/jicofo/sip-communicator.properties}}} auf localhost beschränken:
{{{
org.jitsi.jicofo.auth.jetty.host=localhost
}}}
Jigasi REST-API in {{{/etc/jitsi/jigasi/sip-communicator.properties}}} auf localhost beschränken:
{{{
org.jitsi.jigasi.rest.jetty.host=localhost
}}}
Prosody auf lokale Netzwerke in der {{{/etc/prosody/prosody.cfg.lua}}} beschränken:
{{{
interfaces = { "127.0.0.1", "10.0.0.2" }
}}}
At line 296 changed one line
Ubuntu Server 20.04, Asterisk installieren, default-Konfiguration löschen
Ubuntu Server 20.04, Asterisk und jq (für conferenceMapper-API) installieren, default-Konfiguration löschen
At line 299 changed one line
apt install asterisk
apt install asterisk jq
At line 339 changed one line
extensions.conf, aaaa ist Sipgate User, https://meet.example.org/conferenceMapper ist die Adresse des ConferenceMappers (siehe unten)
extensions.conf, aaaa ist Sipgate User, https://meet.example.org/conferenceMapper ist die Adresse des ConferenceMappers (siehe unten).
At line 614 added one line
exten => s,1,Hangup()
At line 345 changed 3 lines
same => n,Read(confid,conf-getpin&astcc-followed-by-pound)
same => n,Set(CURL_RESULT=${SHELL(curl --silent https://meet.example.org/conferenceMapper?id=${confid} | sed -e 's/.*"conference":"\(.*\)@.*/\1/')})
same => n,Verbose(0, ${CURL_RESULT});
same => n,Read(confid,hello&conf-getpin&astcc-followed-by-pound)
same => n,Log(NOTICE, query conferenceMapper for pin ${confid});
same => n,Set(CURL_RESULT=${SHELL(curl --silent https://meet.example.org/conferenceMapper?id=${confid} | jq -r .conference)})
same => n,Log(NOTICE, conferenceMapper result is ${CURL_RESULT});
same => n,GotoIf($[ ${CURL_RESULT} = false]?conf-unknown)
At line 349 changed 4 lines
same => n,Set(CDR(userfield)=Jitsi:${CURL_RESULT})
same => n,Dial(SIP/2000,3)
same => n,Verbose(0, Contacting Jigasi... Status is ${DIALSTATUS} );
same => n,GotoIf($["${DIALSTATUS}" = "BUSY"]?unknown)
same => n,Dial(SIP/2000,5)
same => n,Log(NOTICE, Contacting Jigasi... Status is ${DIALSTATUS} );
same => n,GotoIf($["${DIALSTATUS}" = "BUSY"]?error)
At line 354 changed 6 lines
same => n,GotoIf($["${DIALSTATUS}" = "CANCEL"]?unknown)
same => n,GotoIf($["${DIALSTATUS}" = "CONGESTION"]?unknown)
same => n,GotoIf($["${DIALSTATUS}" = "CHANUNAVAIL"]?unknown)
same => n,GotoIf($["${DIALSTATUS}" = "DONTCALL"]?unknown)
same => n,GotoIf($["${DIALSTATUS}" = "TORTURE"]?unknown)
same => n,GotoIf($["${DIALSTATUS}" = "INVALIDARGS"]?unknown)
same => n,GotoIf($["${DIALSTATUS}" = "CANCEL"]?error)
same => n,GotoIf($["${DIALSTATUS}" = "CONGESTION"]?error)
same => n,GotoIf($["${DIALSTATUS}" = "CHANUNAVAIL"]?error)
same => n,GotoIf($["${DIALSTATUS}" = "DONTCALL"]?error)
same => n,GotoIf($["${DIALSTATUS}" = "TORTURE"]?error)
same => n,GotoIf($["${DIALSTATUS}" = "INVALIDARGS"]?error)
At line 635 added 6 lines
same => n(conf-unknown),Playback(conf-invalid)
same => n,Log(ERROR, conferenceMapper did not find a conference for pin ${confid});
same => n,Hangup()
same => n(error),Playback(an-error-has-occured&pls-try-call-later)
same => n,Log(ERROR, joining conference ${confid}, status is ${DIALSTATUS});
same => n,Hangup()
At line 642 added one line
same => n,Log(NOTICE, waiting 120 sec for conference with pin ${confid} to start);
At line 367 changed one line
system restart asterisk
systemctl restart asterisk
At line 376 changed 2 lines
mkdir /var/lib/asterisk/sounds/de
cd /var/lib/asterisk/sounds/de
mkdir /usr/share/asterisk/sounds/de
cd /usr/share/asterisk/sounds/de
At line 382 changed 2 lines
chown -R asterisk.asterisk /var/lib/asterisk/sounds/de
find /var/lib/asterisk/sounds/de -type d -exec chmod 0775 {} \;
chown -R asterisk:asterisk /usr/share/asterisk/sounds/de
At line 435 changed one line
{"message":"Einwahlnummbern","numbers":{"DE":["FFFF/FFFF"]},"numbersEnabled":true}
{"message":"Einwahlnummern","numbers":{"DE":["FFFF/FFFF"]},"numbersEnabled":true}
At line 451 changed one line
* Codecs von jigasi und codecs von initialer DTMF-Übertragung stimmen nicht über ein -> Asterisk, sip.conf: disallow=all, allow=alaw sowohl bei Sipgate-Abschnitt als auch bei Jigasi-Abschnitt
* Codecs von jigasi und codecs von initialer DTMF/Menü-Übertragung stimmen nicht über ein -> Asterisk, sip.conf: disallow=all, allow=alaw sowohl bei Sipgate-Abschnitt als auch bei Jigasi-Abschnitt
* HD-Telefonie (G.722) funktioniert nicht reibungslos mit Jigasi, daher auch -> Asterisk, sip.conf: disallow=all, allow=alaw sowohl bei Sipgate-Abschnitt als auch bei Jigasi-Abschnitt
At line 453 changed one line
Asterisk-Konfiguration wird nur nach Neustart von Asterisk vollständig übernommen. Daher gerade bei Fehlersuche und Konfigurationsänderungen immer askterisk komplett neustarten! Das in manchen Dokumentationen genannte {{{asterisk -rx 'core reload'}}} reicht nicht.
Asterisk-Konfiguration wird nur nach Neustart von Asterisk vollständig übernommen. Daher gerade bei Fehlersuche und Konfigurationsänderungen immer asterisk mit {{{systemctl restart asterisk}}} komplett neustarten! Das in manchen Dokumentationen genannte {{{asterisk -rx 'core reload'}}} reicht nicht.
!!! Sonstiges
Jitsi on ARM: [https://github.com/jitsi/jitsi-meet/issues/6449]
Frage: Kann Asterisk auch gleichzeitig für ausgehende Telefonate (dial out, call out) konfiguriert werden, so dass man die Telefoneinladung von Jitsi Meet nutzen kann? Was müsste man dann noch in der Konfiguration ergänzen? (Bitte entschuldigen Sie diesen Eintrag hier, ich konnte keine andere Möglichkeit finden diese Frage sonst zu stellen.)
This page (revision-76) was last changed on 19-Mar-2022 23:42 by Christoph S.Top