-: Portal zur Aufzeichnung beliebiger Daten

Hallo zusammen,

da ich beruflich mit dem Thema zu tun habe und diese Dinge spannend und nützlich finde, wollte ich in die Runde fragen, ob Interesse an einem Portal besteht, welches Daten beliebiger Geräte aufzeichnen kann. Es werden Schnittstellen wie zB MQTT und eine REST Api angeboten. Über diese können Daten gesendet werden und dann über das Portal abgerufen werden.

Damit lassen sich dann Überwachungslösungen realisieren, ohne dass man sich um den Backend-Teil kümmern muss. Ich selbst verwende so ein System beispielsweise, um die Temperaturen an unserem Ferienhaus auf Island zu überwachen. Es lassen sich Alarme einrichten, so dass ich eine Email / SMS bekomme, wenn zB die Heizung ausfällt oder die Temperaturen unter bestimmte Schwellen fallen.

Das Ganze sieht so aus:

Es geht darum dem Tüftler die Arbeit abzunehmen, selbst irgendwelche MQTT Broker aufzusetzen / sich um Grafana etc zu kümmern.
Falls es interessant ist, würde ich euch dieses Portal anbieten.

Viele Grüße
Alex

Hallo Michael,

vielen Dank.Stand jetzt, was möglich ist.

• Aufzeichnung der Daten mit beliebiger Frequenz (industriell machen wir in der Firma nanoSekunden, das wird im Amateurbereich so nicht notwendig sein -> Thema Datenmenge)
• Erstellung von beliebigen Berechnungen mit den Daten mit einem visuellen Editor (beispielsweise um Sensor-Offsets im Backend zu korrigieren)
• 
• Erstellung von Alarmen (Angabe Schwellwert min/max) und Benachrichtigung per Mail
• Gruppierung der aufgezeichneten Daten (täglich, wöchentlich, monatlich) und Operationen dadrauf (AVG,SUM,ABSOLUTE,COUNT). Damit lassen sich beispielsweise Verbrauchswerte täglich darstellen (hier zeichne ich einfach den Smartmeter-Stand auf und leite daraus den täglichen Verbrauch mit dem oben beschriebenen Filter ab):
• 
• In der Übersicht lassen sich Geräte beliebig logisch gruppieren. Hier am Beispiel von meinem Ferienhaus mit den 3 ESP32 und DHT22 Sensoren:
• 

Insgesamt sind da eigentlich keine Grenzen gesetzt. Mir geht es hier darum einfach in eine Diskussion einzusteigen und zu verstehen, ob Bedarf an solch einer Lösung besteht. Falls ja, investiere ich gerne meine Zeit und stelle das zur Verfügung. Mir geht es nicht darum, damit reich zu werden - ich habe einfach Spaß an diesen Dingen, mache es beruflich und könnte es parallel dazu für den Hobbygebrauch privat anbieten. Wenn meine Serverkosten gedeckt sind, ich ein paar Bier davon kaufen kann und die Leute glücklich sind, hat man eine Win-Win Situation

Grüße
Alex

Ich habe nun die Anmeldung hier zum Testen freigeschaltet:

http://datahub.010102.de/uv1/login

Würde mich über jede Art von Feedback freuen.
Daten können Stand jetzt über REST oder MQTT empfangen werden.

Ich schreibe Dir (PN)

Gerne.

Also es funktioniert so:

1) Anmelden unter https://datahub.010102.de/uv1/login
2) Ein Device anlegen (zB Kessel)
3) Sensoren anlegen (Temperatur, Leistung)
4) Sensoren zu dem Device zuordnen (unter Sensor --> Edit, unten das Device auswählen und mit "OK" bestätigen)
5) Unter dem Device rechts oben "Actions" --> "Sensor Config". Dort sind nun alle zugeordneten Sensoren zu sehen. Wenn man auf "How to transmit data" klickt, öffnet sich unter jedem Sensor eine Erklärung, wie man die Daten übermitteln muss.

Datenübermittlung über REST

• In diesem Fall muss ein X-AUTH-TOKEN in den Request Header geschrieben werden und der Wert mit einem POST Request an die URL aus der Beschreibung gesendet werden. Der X-AUTH-TOKEN identifiziert den User - also einfach aus der Info-Box rauskopieren. Dieser Token is pro User einmalig.
• Die Url setzt sich immer gleich zusammen: http://datahub.010102.de/uv1/api/sensor/{sensorId}/measurement
• Der Payload ist der Sensorwert: { "value":12567 } (json).
• content-type muss application/json sein

Datenübermittlung über MQTT

• Hier eine MQTT Verbindung mit den Daten aus dem Info-Fenster herstellen. Benutzername und Passwort sind die Zugangsdaten aus der Portalanmeldung.
• Client-ID muss die Device-ID sein. Diese findet man raus, wenn man das Device bearbeitet (EDIT) - dort die ID kopieren.
• Der Topic an den die Daten gesendet werden müssen, setzt sich immer gleich zusammen: device/{deviceId}/rawdata
• Der payload setzt sich so zusammen: {"value": 5.0, "sensor_id": "b7747dc9-18f5-451c-8ca3-5ec69c723e3b"} die SensorID ist hier ein Beispiel - die korrekte ID steht dann bei jedem Sensor in der Übersicht dabei

6) Wenn nun Daten gesendet werden, kann man unter Actions-->Dashboards sich schöne Dashboards zusammenklicken und speichern. Diese erscheinen dann bei dem Device.

Wenn was unklar ist - gerne fragen.

Ja klasse - wie gesagt, wenn Du angemeldet bist, die Schritte aus dem Posting drüber befolgen und Daten senden. Eigentlich recht selbsterklärend

Falls jemand per Arduino MQTT Daten senden möchte: hier ist ein Beispiel-Sketch für den ESP32

https://github.com/filthz/data…lob/main/arduino-mqtt.ino

Hi,

ist es die API von Deiner Anlage?
Dort kann man wohl die Werte abrufen.

Im pdf ist es halbwegs beschrieben, auch wenn nicht besonders gut.

1) Man muss sich wohl als "expert" - das wird der Benutzername sein authentifizieren
2) Dann schickt man einen Request an *ip-der-anlage*/INCLUDE/api.cgi und hängt die Parameter an, also zb *ip-der-anlage*/INCLUDE/api.cgi?jsonnode=51&jsonparam=I,O2,O4,SG wobei 52 die id von einem Knoten ist (kannst Du irgendwo eine Liste sehen?)
3) Dieser Aufruf sollte Dir Werte liefern

Hi Karl,

ah alles klar. Aber grundsätzlich ist es damit kein Problem - man liest die Daten aus dem CMI und sendet die an mein Backend. Damit sind die dann visualisierbar und zeitlich dargestellt.
Dann könnte man auch Alarme etc drauf setzen oder die Anlage mit den sichtbaren Daten optimieren.

Grüße
Alex

Hi Karl,

schwer zu sagen, da ich das Gerät nicht kenne. Evtl ist device=87 das Grundgerät. Also nicht der Knoten sondern die Steuerung selbst.

Grüße
Alex

Für REST:

1) Kopiere den Api-Token, den du hier findest: https://datahub.010102.de/uv1/user/profile
2) beim Post request einen Header setzen: X-AUTH-TOKEN und der Wert ist der kopierte Api-Token
3) Post-Request an https://datahub.010102.de/uv1/…-6334a9c0b261/measurement senden. Der Payload ist { "value":12567 }

Die lange nummer (id) hinter /sensor/ musst du für den jeweiligen Sensor, mit dem Du die Daten sendest anpassen.

Das wars

Zum Rest-Testen eignet sich dieses Chrome Plugin sehr gut - damit kannst du es bequem aus dem Browser testen:

https://chrome.google.com/webs…ddffdnphfgcellkdfbfbjeloo