Fröling: [ANNOUNCE] p4d - Visualisierung und Einstellung der S-3200 via COM1

klossheimer · 24. Mai 2020

Hallo meute
Abfrage Datenbankgröße

SQL

SELECT date_format(MIN(time), '%d/%m/%Y %H:%i') AS seit FROM samples; 


SELECT 
	table_name AS 'Table', 
	table_rows AS 'Row Count', 
	ROUND(((data_length + index_length) / 1024 / 1024), 2) "Size in MB" 
FROM information_schema.tables 
	WHERE table_schema = 'p4' 
	ORDER BY (data_length + index_length) DESC;

Gruß Peter

meute · 24. Mai 2020

Hallo,

Zitat von klossheimer

Abfrage Datenbankgröße

Danke für die SQL-Strings.

Aber mich hätte die erzeugte Datenmenge pro Jahr interessiert. Meine Fröling muss ja erst noch eingebaut werden.

Von konreas konreas kam ja schon eine Antwort mit 1,5 GB in 4 Jahren.
Dann kann man wohl weniger als 0,5 GB/Jahr annehmen.
Also sollten 32 GB für über 60 Jahre reichen. Da ist die Heizung schon längst im Nirwana.

Gruß
meute

paicl01 · 24. Mai 2020

Zitat von horchi

kannst du mir einen login auf den Raspi geben dann schaue ich mal ob ich die Ursache finde

Nach einem Upgrade auf Buster, (vorher alle alten Konfigdateien und WebIF gesichert und dann aus den aktiven Verzeichnissen gelöscht) und Neuinstallation von p4d über den apt-Pfad funktionieren jetzt Dämon und das WebInterface in der neuesten Version. Während des Einrichtens wurde mir aber leider auch wieder klar, warum ich davor so lange zurückgeschreckt hatte: es dauerte halt doch ein paar Stunden, bis über den Vergleich mit der alten Installation wieder alle Stellen gefunden und an meine Umgebung angepasst waren (externer SQL-Server auf Synology, Anbindung an OpenHAB, Grafana …, s. Post #166999 in diesem Thread)

Aus dieser Erfahrung hätte ich einen Verbesserungsvorschlag:

ALLE Parameter der Datenbank-Anbindung sollten für den Dämon UND für das Web-Interface in EINER config-Datei zusammengefasst werden!

Das ist zwar für den Dämon in der Datei „p4d.conf“ so gemacht, aber NICHT für das WebIF. Damit würde man sich die mühsame Suche in einzelnen PHP Dateien sparen, wo jeweils noch Werte z.B. für den SQL-Port gesetzt werden (Standard 3306, muss aber für MariaDB auf 3307 umgesetzt werden). Das gleiche gilt für den Namen der Datenbank (standardmässig p4, in meinem Fall aber „openhab“).
Jetzt läuft die Kiste auf jeden Fall wieder, und ich kann auch wieder die MQTT-Werte sehen und dank der neuen Einstellmöglichkeiten auch anpassen.
Werd ich mir in den nächsten Tagen mal genauer anschauen.

horchi · 25. Mai 2020

Zitat

ALLE Parameter der Datenbank-Anbindung sollten für den Dämon UND für das Web-Interface in EINER config-Datei zusammengefasst werden!

das gestaltet sich schwierig da der p4d und der apache auf unterschiedlichen Hosts laufen können, wie stellst du dir das vor?

Zitat

Das ist zwar für den Dämon in der Datei „p4d.conf“ so gemacht, aber NICHT für das WebIF. Damit würde man sich die mühsame Suche in einzelnen PHP Dateien sparen, wo jeweils noch Werte z.B. für den SQL-Port gesetzt werden (Standard 3306, muss aber für MariaDB auf 3307 umgesetzt werden).

es sind zwei Dateien, die p4d.conf und die config.php

Zitat

Das gleiche gilt für den Namen der Datenbank (standardmässig p4, in meinem Fall aber „openhab“).

warum musst du sie umbenennen, greift denn openhab direkt auf die Tabellen des p4d zu?

horchi · 25. Mai 2020

Zitat von meute

Hallo,
Danke für die SQL-Strings.
Aber mich hätte die erzeugte Datenmenge pro Jahr interessiert. Meine Fröling muss ja erst noch eingebaut werden.

Von konreas konreas kam ja schon eine Antwort mit 1,5 GB in 4 Jahren.
Dann kann man wohl weniger als 0,5 GB/Jahr annehmen.
Also sollten 32 GB für über 60 Jahre reichen. Da ist die Heizung schon längst im Nirwana.

Gruß
meute

Alles anzeigen

meine Tabellen haben im Moment 2,1GB

Code

root@gate~> du -sh  /var/lib/mysql/p4/
2,1G    /var/lib/mysql/p4/

sie enthalten werte zurück bis Juni 2013

Code

MariaDB [p4]> select min(time) from samples;
+---------------------+
| min(time)           |
+---------------------+
| 2013-06-14 13:45:00 |
+---------------------+

davon 13767877 Einzelwerte und 3882731 aggregierte

Code

MariaDB [p4]> select aggregate, count(1) from samples group by aggregate;     
+-----------+----------+
| aggregate | count(1) |
+-----------+----------+
| A         |  3882731 |
| S         | 13767877 |
+-----------+----------+

so verteilen sie sich über die Jahre:

Code

MariaDB [p4]> select year(time), aggregate, count(1) from samples group by year(time), aggregate;
+------------+-----------+----------+
| year(time) | aggregate | count(1) |
+------------+-----------+----------+
|       2013 | A         |   401638 |
|       2014 | A         |   863453 |
|       2015 | A         |   945594 |
|       2016 | A         |   856504 |
|       2017 | A         |   145080 |
|       2018 | A         |   309608 |
|       2019 | A         |   360854 |
|       2019 | S         |  8218288 |
|       2020 | S         |  5549643 |
+------------+-----------+----------+

Alles anzeigen

also bis auf die letzten beiden Jahre alles aggregiert (bei mir auf 15 Minuten). Die Aufzeichnung der Einzelwerte seht auf 60 Sekunden (Intervall der Aufzeichnung)

konreas · 25. Mai 2020

Zitat von horchi

es sind zwei Dateien, die p4d.conf und die config.php

Hallo zusammen,

kleine Ergänzung: da ich auch MariaDB verwende habe ich den Port 3307 zus. zur "config.php" auch in die Dateien "header.php" und "detail.php" eingetragen.

Und noch ein Warnhinweis zu den Threads bzgl. Raspi-Boot vom NAS oder SSD-Festplatte: Es kann passieren, dass der Raspi gar nicht mehr bootet bzw. zerstört wird!
Also Vorsicht bei der Duchführung von Firmware-Updates ...

Gruß
Andreas

horchi · 25. Mai 2020

stimmt . Das ist ein Bug, der Port sollte nur in config.php stehen. das passe ich an

paicl01 · 25. Mai 2020

horchi schrieb:

Zitat

ALLE Parameter der Datenbank-Anbindung sollten für den Dämon UND für das Web-Interface in EINER config-Datei zusammengefasst werden!

das gestaltet sich schwierig da der p4d und der apache auf unterschiedlichen Hosts laufen können, wie stellst du dir das vor?
Sorry, so eng hab ich das nicht gemeint, es können natürlich auch zwei Dateien sein für Apache und p4d. Aber es sollte eben auch für Apache eine klar erkennbare und in der Anleitung benannte Konfigurationsdatei geben, in der alle Anbindungen klar geregelt sind. Momentan sind die Werte auch noch in anderen php-Dateien, und es war (zumindest für mich) nicht so dokumentiert, dass Anpassungen leicht möglich sind.

Zitat

Das ist zwar für den Dämon in der Datei „p4d.conf“ so gemacht, aber NICHT für das WebIF. Damit würde man sich die mühsame Suche in einzelnen PHP Dateien sparen, wo jeweils noch Werte z.B. für den SQL-Port gesetzt werden (Standard 3306, muss aber für MariaDB auf 3307 umgesetzt werden).

es sind zwei Dateien, die p4d.conf und die config.php

Zitat

Das gleiche gilt für den Namen der Datenbank (standardmässig p4, in meinem Fall aber „openhab“).

warum musst du sie umbenennen, greift denn openhab direkt auf die Tabellen des p4d zu?

Ja, ich greife sowohl aus openhab als auch aus Grafana direkt LESEND über SQL-Befehle auf die Datenbank zu, das hab ich ja bereits vor längerer Zeit ellenlang dokumentiert, wie man damit sowohl eine sehr mächtige Darstellung aller geloggten Daten in Grafana und auch einen Zugriff auf p4-Werte als Input-Parameter für eigene Regeleingriffe in Openhab bekommt.

Ich will schliesslich der Heizung nicht nur beim Brennen zuschauen, sondern ihre Funktion optimieren, nur dazu brauch ich die ganzen Daten.

Dazu müsste ich die SQL-Datenbank nicht unbedingt umbenennen, es war für mich halt zu der Zeit einfacher, p4 in openhab umzubenennen. Aber solche Dinge sollten halt sauber dokumentiert sein.

horchi · 25. Mai 2020

Kannst du bitte das Quoting in deinem Post anpassen, so ist dieser recht schwierig zu lesen.

Zitat

Das ist zwar für den Dämon in der Datei „p4d.conf“ so gemacht, aber NICHT für das WebIF. Damit würde man sich die mühsame Suche in einzelnen PHP Dateien sparen, wo jeweils noch Werte z.B. für den SQL-Port gesetzt werden (Standard 3306, muss aber für MariaDB auf 3307 umgesetzt werden)

wie schon geschrieben, das es sich auf mehrere PHP Dateien verteilt ist ein Fehler, das werde ich anpassen.

Zitat

Dazu müsste ich die SQL-Datenbank nicht unbedingt umbenennen, es war für mich halt zu der Zeit einfacher, p4 in openhab umzubenennen. Aber solche Dinge sollten halt sauber dokumentiert sein.

kommt auf die Ausrichtung an - das Umbenennen der Datenbank ist nicht vorgesehen daher nicht dokumentiert - natürlich kann man viel mehr machen wenn man sich auskennt. Sogar die C++ Source Codes anpassen und erweitern

meute · 25. Mai 2020

Hallo,

Zitat von konreas

Und noch ein Warnhinweis zu den Threads bzgl. Raspi-Boot vom NAS oder SSD-Festplatte: Es kann passieren, dass der Raspi gar nicht mehr bootet bzw. zerstört wird!Also Vorsicht bei der Duchführung von Firmware-Updates ...

Kannst Du das bitte näher erläutern.

Ich wollte mir diese Woche für den Raspi nämlich eine kleine SSD bestellen.
Vermutlich die Transcend ESD240C 120GB.

Gruß
meute

konreas · 25. Mai 2020

Hallo Meute,

da die Firmware für das USB-Boot noch in der Entwicklung steckt sollte man die Hinweise auf dem Github genau lesen und überlegen, ob man die Beta-Version installiert oder auf die Stable-Version wartet. Es gibt einige Threads, in denen User davon berichten, dass sie ihren Raspi gehimmelt haben. Ich achte auch darauf, wann die Anleitungen geschrieben wurden und sich halbwegs auf die aktuelle Version beziehen.

Ich weise nur darauf hin, dass das Flashen nicht ohne Risiko ist.

Github-Release-Notes: https://github.com/raspberrypi…firmware/release-notes.md
2 Erfahrungsberichte: https://pi-buch.info/eeprom-updates-fuer-den-raspberry-pi-4/
https://jamesachambers.com/ras…-updating-recovery-guide/

Gruß
Andreas

konreas · 25. Mai 2020

Hallo MQTT-Freunde,

habe auch mein WebIf aktualisiert und versuche, MQTT-Daten in Openhab darzustellen.

"MQTT Data Topic Name: p4d2mqtt/Heizung/state" bringt folgendes Ergebnis (gekürzt):

{"Heizung": {
"Heizkreispumpe_0x0": {"value": "1.00"},
"Kesseltemperatur_0x0": {"value": "62.00"},
"Status": {"value": "Betriebsbereit"},
"Abgastemperatur_0x1": {"value": "56.00"}
}}

Hat jemand ein Beispiel für ein "Thing" und ein "Item" (vllt. für Visual Studio Code)? Oder einen Tipp, wie ich weitermachen kann. Mache auch gerne ein neues Thema auf...
Habe alle Thread dazu hier gelesen aber bin irgendwie nicht schlauer geworden.

Gruß
Andreas

meute · 25. Mai 2020

Hallo,

Zitat von konreas

da die Firmware für das USB-Boot noch in der Entwicklung steckt sollte man die Hinweise auf dem Github genau lesen
...
Ich weise nur darauf hin, dass das Flashen nicht ohne Risiko ist.

OK, Du sprichst von der Beta-Firmware für den Raspi 4.
Hm?

Aktuell habe ich einen Raspi 3 B+.
Ich wollte für p4d einen Raspi 4 kaufen.

Für die SSD wollte ich mich an diese Anleitung halten:
https://electrodrome.net/raspb…ssd-laufwerke-einrichten/
Da bleibt die SD-Karte drin.
Booten von SD-Karte.
Root-Ordner liegt auf der SSD.

Aber anscheinend sind nicht alle USB-Adapter kompatibel:
https://jamesachambers.com/ras…ide-for-ssd-flash-drives/

Vll. nehme ich dann doch den Raspi 3 B+ für p4d.

Gruß
meute

konreas · 25. Mai 2020

Hallo meute,

jepp - mit Beta-Firmware meinte ich den Raspi4. Für die p4d und etwas Drumherum reicht der Raspi 3B+ m.E. locker aus.
Ich habe zum Raspi4 gegriffen, weil mein alter Raspi kein NetBoot unterstützt.

Gruß
Andreas

paicl01 · 26. Mai 2020

Zitat von konreas

Hallo MQTT-Freunde,

habe auch mein WebIf aktualisiert und versuche, MQTT-Daten in Openhab darzustellen.

"MQTT Data Topic Name: p4d2mqtt/Heizung/state" bringt folgendes Ergebnis (gekürzt):

{"Heizung": {
"Heizkreispumpe_0x0": {"value": "1.00"},
"Kesseltemperatur_0x0": {"value": "62.00"},
"Status": {"value": "Betriebsbereit"},
"Abgastemperatur_0x1": {"value": "56.00"}
}}

Hat jemand ein Beispiel für ein "Thing" und ein "Item" (vllt. für Visual Studio Code)? Oder einen Tipp, wie ich weitermachen kann. Mache auch gerne ein neues Thema auf...
Habe alle Thread dazu hier gelesen aber bin irgendwie nicht schlauer geworden.

Gruß
Andreas

Alles anzeigen

Voila:
In meiner Einstellung ist das Wort /sensor/ aus dem MQTT-Bezeichner entfernt. Dann sieht das für ein paar Beispiele so aus

Brainfuck: p4.things

Bridge   mqtt:broker:mymqttbroker [ host="192.168.2.60", secure=false, clientID="openhab_mosquitto" ]
{
Thing topic P4_Read "P4 Daemon Read" {
    Channels:
Type number : 0x15 "Vorlauf-Isttemperatur"  [ stateTopic="p4d2mqtt/Vorlauf-Isttemperatur_0x15/state",   transformationPattern="JSONPATH:$.value"]
Type number : 0x16 "Vorlauf-Solltemperatur" [ stateTopic="p4d2mqtt/Vorlauf-Solltemperatur_0x16/state",  transformationPattern="JSONPATH:$.value"]
Type string : 0xZeit "Uhrzeit P4" [ stateTopic="p4d2mqtt/Uhrzeit/state",  transformationPattern="JSONPATH:$.value"]
... weitere Channels ....
     }
}

und für die items:

Code: p4.items

NumberP4DaemonRead0X15"Vorlauf isttemperatur" {channel="mqtt:topic:mymqttbroker:P4_Read:0x15"}
NumberP4DaemonRead0X16"Vorlauf solltemperatur" {channel="mqtt:topic:mymqttbroker:P4_Read:0x16"}
String 0XZeit "Uhrzeit p4" {channel="mqtt:topic:mymqttbroker:P4_Read:0xZeit"}

Mir ist leider immer noch nicht ganz klar, was das Ziel der ganzen Daten-Leserei sein soll.

Wir sollten dringend mal am besten in einem neuen Thread weiterdiskutieren, wie man von hier aus dazu kommt, auch Commands an den Dämon zu schicken.

Wilfried

konreas · 26. Mai 2020

Hallo paicl01,

besten Dank - funktioniert!

Zu meinem Ziel: Ich habe ESP8266s in meinem Openhab integriert, deren Werte ich mit der Aussentemperatur aus p4d verknüpfen möchte. Nach meinem Verständnis benötigen wir doch auch die Daten, um auf ein Event (mittels Rules/Node-Red) reagieren zu können bevor Daten zurückgeschrieben werden.

Gruß
Andreas

hoppel118 · 27. Mai 2020

Zitat von hoppel118

Moin @horchi

da du darauf bisher noch nicht reagiert hast... Kannst du dir das bei Gelegenheit mal anschauen?

Man kann hier max. 100 Sekunden beim Intervall eingeben. Gilt dieser Intervall eigentlich nur für das Schreiben der Daten in die Datenbank oder auch für die Übertragung per MQTT? Wenn dieser Intervall für beides gelten würde, wäre das toll. Ansonsten kann man das natürlich auch beides getrennt voneinander per WebUI konfigurierbar machen. Wie es dir lieber ist bzw. am wenigsten Aufwand verursacht.

Da mein RPi momentan per WLAN angebunden ist, möchte ich nicht, dass quasi konstant (alle 60Sek) Daten per WLAN übertragen werden. Mir reicht wahrscheinlich ein Intervall von 5min.

Gibt es einen alternativen Weg das Intervall zu konfigurieren (bis man das im WebUI konfigurieren kann)?

Viele Grüße Hoppel

hoppel118 · 27. Mai 2020

Zitat von paicl01

Mir ist leider immer noch nicht ganz klar, was das Ziel der ganzen Daten-Leserei sein soll.

Wir sollten dringend mal am besten in einem neuen Thread weiterdiskutieren, wie man von hier aus dazu kommt, auch Commands an den Dämon zu schicken.

Also in FHEM kann man sich mit diesen ganzen Daten relativ schöne Diagramme/Plots bauen. Mein Ziel ist alle meine Messwerte in eine SQL-Datenbank zu schreiben und darauf dann nicht nur mit FHEM, sondern auch mit Grafana zuzugreifen. So kann man immer genau sehen, was wann passiert ist und teilweise auch Fehler bzw. Fehlkonfigurationen besser analysieren. Ich habe für fast jedes Device und tlws. auch mehrere Devices in Kombination ein Diagramm.

Wenn man die Hausautomatisierungssoftware dazu verwenden möchte, auf Ereignisse mit Aktionen zu reagieren, dann müsste p4d auch Befehle per MQTT empfangen können. Kürzlich hat @horchi einige Änderungen an MQTT vorgenommen. Wir waren uns da aber alle einig, dass das Senden von Befehlen per MQTT momentan keine Prio hat. Bald gehen unsere Heizungen wahrscheinlich alle in den Sommerschlaf.

Ansonsten kannst du natürlich jetzt schon, anhand der von p4d empfangenen Daten, Aktionen an anderen Geräten deiner Hausautomatisierung auslösen.

Viele Grüße Hoppel

horchi · 27. Mai 2020

Zitat von hoppel118

Moin @horchi

da du darauf bisher noch nicht reagiert hast... Kannst du dir das bei Gelegenheit mal anschauen?

Man kann hier max. 100 Sekunden beim Intervall eingeben. Gilt dieser Intervall eigentlich nur für das Schreiben der Daten in die Datenbank oder auch für die Übertragung per MQTT? Wenn dieser Intervall für beides gelten würde, wäre das toll. Ansonsten kann man das natürlich auch beides getrennt voneinander per WebUI konfigurierbar machen. Wie es dir lieber ist bzw. am wenigsten Aufwand verursacht.

Da mein RPi momentan per WLAN angebunden ist, möchte ich nicht, dass quasi konstant (alle 60Sek) Daten per WLAN übertragen werden. Mir reicht wahrscheinlich ein Intervall von 5min.

Gibt es einen alternativen Weg das Intervall zu konfigurieren (bis man das im WebUI konfigurieren kann)?

Viele Grüße Hoppel

Alles anzeigen

der Interval ist für beides gleich.

keine Ahnung warum das unten durchgestrichenen erscheint :o

Um Werte bis 5 Minuten eingeben zu können, passe diese Zeile in deiner basecfg.php an (das fett gedruckte kommt hinzu):

configNumItem(3, "Intervall der Aufzeichnung", "interval", $_SESSION['interval'], "Datenbank Aufzeichnung [ s ]", 0, 300 ) ;
[Moderation] Wg. BB-Code-Problem: Der rot markierte Text war ursprünglich ohne "blanks" vor und hinter dem "s".

Ich passe es für die nächste Version an. Mit kamen Werte > 100 unnötig vor.

hoppel118 · 27. Mai 2020

Super, danke dir! Komme allerdings frühestens Freitag an meinen Laptop. Bin gerade im Urlaub.

Viele Grüße Hoppel

Fröling: [ANNOUNCE] p4d - Visualisierung und Einstellung der S-3200 via COM1

Jetzt mitmachen!

Teilen