Prosit Neujahr 2016

Das war es also das Jahr 2015, draussen explodieren die Raketen und verkünden das Ende. Ja, mein Blog ist noch jung und ich möchte mich allen Lesern bedanken und freue mich schon auf das nächste Jahr. Wie man auch mit 30 keine Biografie macht, macht man auch ein paar Beiträgen noch keinen Jahresrückblick. Aber man fasst gute Vorsätze zu fassen, schmiedet große Pläne und teilt diese mit seiner Leserschaft.

Also, für das neue Jahr habe ich mir vorgenommen die Updaterate von ca. einem Beitrag pro Woche beizubehalten. Ich hoffe das gelingt denn ich mache das hier schließlich nur als Hobby und bin in meinem Brotberuf mitunter auch sehr eingespannt. Außerdem habe ich vor demnächst eine englische Übersetzung meines Blogs anzubieten, in der dann die Beiträge ein paar Tage versetzt auch auf Englisch erscheinen. Vielleicht gelingt es mir auch irgendein Cross-Over Projekt mit einer ganz anderen Welt einzufädeln. Mich würde irgend etwas mit Kunst interessieren also, wenn wer eine Idee hat und einen Partner für das Technische sucht dann meldet euch.

Auf der Softwareseite steht ein Projekt mit Erlang auf dem Raspi sowie ein Projekt mit MATLAB/Simulink auf dem Programm. Bei Erlang gefällt wie das Thema Verteilung dort gehandhabt wird und außerdem ist es mal ein Exot unter den Programmiersprachen. Mathworks macht in letzter Zeit viel in Richtung Raspberry, Arduino, LEGO Mindstorms usw und das möchte ich mir mal ansehen. Was es genau wird weiß ich selber noch nicht also lasst euch einfach überraschen.

Auf der Hardwareseite habe ich noch nicht so konkrete Pläne. Ich habe mir ein Lillypad besorgt und suche noch eine Idee dafür, aber ansonsten ist noch kein Plan in der Pipeline. Solltet ihr Ideen haben oder eine Sache von der Ihr denkt “Hey das würde mich mal interessieren” dann nehmt euch ein Herz und schreibt mir, ich freue mich immer über den Austausch mit Geistesbrüdern.

So, nun gehts aber auch für mich ans feiern und es bleibt mir euch etwas zu wünschen. Da man als Techniker nur all zu gut weiß wie elementar das Thema Scheitern zum Leben dazu gehört wünsche ich euch ein Prosit Neujahr 2016 und wünsche euch für das Jahr 2016, dass ihr aus euren Fehlern und Irrwegen die richtigen Lehren ziehen könnt.

 

Bewässerung – Teil 4: Automatisches Backup der Datenbank

Gerade habe ich mal wieder die typische Wechseldusche erlebt die “IT Menschen” nur all zu gut kennen. Eigentlich wollte ich “nur mal schnell” die eth0 Schnittstelle an meinem Raspberry aktivieren um ihn vom WLAN zu bekommen. Leider stellte sich heraus, dass das ziemlich fuchsen kann. Während der Arbeit wurde mir kurz mal heiß als ich dachte ich müsse den Raspi den Strom kappen. Aus eigener leidvoller Erfahrung weiß ich dass er das nicht unbedingt schätzt und seinen Unmut darüber schon mal damit zum Ausdruck bringt dass man ihn neu aufsetzen muß. Naja, zum Glück blieb mir das Experiment erspart aber mir wurde bewusst dass mein RPI zwar brav Daten aufzeichnet, ich diese aber nirgendwo gesichert habe.

Da ich nicht einen weiteren Server 24h am Tage laufen haben will werde ich mein Backup einfach in meine Dropbox laden. Dazu erstelle ich erstmal einen Ordner namens rpi2backup meiner Dropbox, sowie einen Ordner namens /tmp/dbbackup/ auf dem Raspi. Für den Upload verwende ich den Uploader von Andrea Faprizi.

Nachdem ich den Uploader installiert und den Anweisungen nach der APP Rechte zu meinem Dropbox Account gegeben habe mache ich mich an das Backup der MariaDB. Ich werde dafür das Rad nicht neu erfinden, sondern halte mich einfach an das Tutorial hier.

Ich passe lediglich mein Backup Script so an dass mein Backup nach dem Erstellen in meine Dropbox geladen wird.

 

Bewässerung – Teil 3: Datenvisualisierung

Mich interessieren natürlich die Messwerte meiner Bewässerungsanlage. Aber es ist etwas umständlich dafür jedesmal in die Datenbank zu sehen. Deshalb werde ich eine kleine Visualisierung für meine Messdaten machen.In dieser möchte ich  jeweils die letzten gemessenen Daten als Text sowie zwei Trend-Grafiken, einmal mit den Daten der letzten 24h und einmal die Daten der letzten Woche anzeigen.

Das Mittel der Wahl für mich, nachdem ich sowieso schon einen Webserver konfiguriert habe, ist natürlich die Visualisierung mittels einer kleinen Website. Aber das ist nicht der einzige Grund, es ist ein genereller Trend Front-Ends in Webtechnologien umzusetzen denn die Vorteile liegen auf der Hand: einfaches Deployment und weite Unabhängigkeit der Clientplattform (speziell auch im mobilen Bereich). Darüber hinaus haben sich in den letzten Jahren die Möglichkeiten dieser Technologie rapide gesteigert (Websockets, HTML5+SVG) und auch die Performance der Engines reicht mittlerweile aus um Trends und Grafiken flüssig zu rendern.

Die Querys die ich für die Abfrage der Daten verwende, habe ich vorher in der Workbench ausprobiert und zur besseren Lesbarkeit unten separat eingefügt. Damit die Daten gut interpretierbar sind, werden die Daten für die 24h auf Stunden, die Daten für die Wochenanzeige auf Vierteltage gemittelt. Den Wert für die Bodenfeuchtigkeit rechne ich zur besseren Darstellung auf einen Prozentwert (100%=1024) um.

Normalerweise würde ich die Querys in Stored Procedures kapseln aber leider mag die mysqli Extension Stored Procedure mit mehreren Rowsets nicht besonders, deshalb findet ihr die Querys hartkodiert im Code.

Für die Anzeige der Trenddaten greife ich auf eine fertige Charting Libary zurück. In dem Fall verwende ich Chart.js. Es ist sicher nicht die umfangreichste Libary, aber sie ist einfach, schnell und vor allem Open Source und gratis (MIT License).

Der Code für meine Webseite sieht wie folgt aus.

Das Ergebnis ist eine, wie ich meine, recht ansehnliche Website die auch auf Mobilgeräte einen guten Eindruck hinterlässt.

Datenanzeige

Bewässerung – Teil 2: Datenaufzeichnung

Die “Kommandozentrale” bildet ein Raspberry PI 2.  Ihr braucht dazu noch eine Speicherkarte, eine Stromversorgung (ich versorge den PI mittels USB von meinem Access Point) und eventuell einen WLAN Stick. Auf alle Fälle empfehle ich euch ein einfaches Gehäuse wie z.B. das hier.

Zuerst muß für den Raspberry ein Betriebssystem (Raspbian) installiert werden. Images und Anleitungen findet ihr hier. Wie man im Arduino Projekt schon sehen kann, sende ich meine Daten an einen Webserver. Einen einfachen Socket-Server zu schreiben wäre zwar eine leichtgewichtigere Lösung aber man stellt es sich viel einfacher vor einen Dienst zu machen der wirklich 24/7 stabil, robust und zuverlässlich läuft. Deshalb setze ich gerne auch vernünftige Middleware auf. Für Datenaufzeichnung ist die Kombination aus Apache Webserver, PHP und MySQL (LAMP) ideal. Für die Installation gibt es massenweise Tutorials, ich habe dieses hier verwendet. Anstatt des “echten” MySQL verwende ich allerdings den OpenSource Nachfolger MariaDB. Dazu verwendet ihr einfach statt

apt-get install apache2 apache2-utils php5 libapache2-mod-php5 php5-mysql mysql-server mysql-client phpmyadmin -y

diesen Befehl

apt-get install apache2 apache2-utils php5 libapache2-mod-php5 php5-mysql mariadb-server mysql-client phpmyadmin -y

Da MariaDB umfassend zu MySQL kompatibel ist, können alle weiteren Tools die bei MySQL funktionieren auch bei MariaDB verwendet werden.

Für das weitere Arbeiten installiere ich noch einen Samba Server, eine Anleitung gibt’s hier. Da ich mit Windows auf meinem Entwicklungsrechner arbeite kann ich so einfach das wwwroot meines RasPIs als Netzlaufwerk einrichten und kann darin entwickeln, ohne den mühsamen Umweg über FTP. Für die Entwicklung in MariaDB könnt ihr entweder das installierte phpmyadmin verwenden oder ihr installiere auf eurem Entwicklungsrechner die MySQL Workbench. Diese bringt zwar eine Warnmeldung wenn man sich zu einem MariaDB Server verbindet, funktioniert aber tadellos. Welche Variante ihr verwendet ist geschmackssache, ich selber bevorzuge lieber die Workbench Variante da ich es gewohnt bin mit einer DB Entwicklungsumgebung zu arbeiten und mir das phpmyadmin deshalb etwas ungewohnt daherkommt.

Wenn ihr den Raspberry aufgesetzt habt und eure Entwicklungstools beisammen habt könnt ihr in der Datenbank eine Datenbank erzeugen. Ich nenne meine Datenbank einfach “templogg”

Und dann erzeugen wir noch eine Tabelle namens “tbllogging”

Diese hat eine Spalte namens “dt” vom Typ datetime und ist mein Primärschlüssel.  Meine weiteren Spalten heißen “temp”, “humidity” und “soil”, vom Datentyp double. Diese werden meine Meßwerte aufnehmen.

Wie man in meinem Arduino Code sehen kann benötige ich zum Eintragen der Werte noch ein PHP Script namens “newrecord.php”, das ich der Einfachheit halber direkt ins wwwroot lege.

Damit das Script läuft muss auf dem Arduino in der php.ini die Extension für mysql Zugrif aktiviert sein.

Wie zuvor erwähnt, ist die mysqli-Erweiterung nicht standardmäßig aktiviert, daher muss die php_mysqli.dll-DLL in der php.ini aktiviert werden. Um dies zu tun, müssen Sie die php.ini-Datei finden (typischerweise liegt diese unter c:\php) und überprüfen, dass das Kommentarzeichen (ein Semikolon) vom Anfang der Zeile extension=php_mysqli.dll in der Sektion [PHP_MYSQLI] entfernt wurde.- http://php.net/manual/de/mysqli.installation.php

So, wenn das geschafft ist teste ich ob da Script funktioniert und rufe dazu die URL in einem beliebigen Browser mit Testparameter auf um Daten einzutragen.

http://raspberryip/newrecord.php?temp=33.00&humidity=44.00&soil=55.00

Danach könnt ihr prüfen ob die Daten richtig eingetragen wurden.

Nachdem es bei mir funktioniert hat lösche ich die Daten danach aus der Datenbank

Jetzt starte ich meinen Arduino und überprüfe ob auch diese seine Daten richtig einträgt und nachdem auch das funktioniert darf er erstmal ein paar Tage die Daten einer Zimmerpflanze aufzeichnen um zu sehen ob alles gut funktioniert.

Prototype in Aktion

Und damit es nicht langweilig wird werde ich in der Zwischenzeit eine Webseite machen um mir die Aufgezeichneten Daten anzeigen zu lassen ohne jedes Mal auf die Datenbank zu gehen

Bewässerung – Teil 1: Ein Prototyp

Als ersten Schritt werde ich einen Prototypen bauen. Normalerweise baut man einen Prototyp ja auf einem Steckbrett . Ich möchte den Prototypen aber ein paar Wochen ausprobieren damit ich sehe wie viel Energie er braucht und wie sich die Messungen verhalten. Deswegen mache ich meinen Prototypen auf einer Lochraster Platine. Außerdem werde ich auf meinem Arduino eine Datenaufzeichnung in einer Datenbank einrichten und eine kleine Webvisualisierung dazu erstellen.

Meine Einkaufsliste dazu:

Zusätzlich noch:

  • eine Lochraster Platine
  • 3 Stk. 10k Widerstände (oder höherohmig, es müssen nur drei gleiche sein)
  • 1 Stk Elektrolytkondesator (> 500 uF)
  • 1 Stk. Transistor (z.B. BC547C)
  • 1 Stk 3,3K Widerstand
  • eine Steckerleiste (2 pins)
  • einen Jumper
  • und einen Lötkolben.

Ich weiß, über Lötkolben wird viel fachgesimpelt aber mir persönlich reicht eine 22€ Lötstation. Außerdem ist dabei eine recht gute Entlötpumpe dabei und so ein Gerät empfehle ich auch dringend jedem Anfänger. Überschüssiges Geld ist am besten in vernünftigem Lötzinn angelegt. Für die Stromversorgung verwende ich eine USB Powerbank die ich als Werbegeschenk erhalten habe.  Man bekommt die zur Zeit eh überall geschenkt, ansonsten erhält man sie auch für unter 10 € im Netz (z.B. hier).

Ich vermeide bei Prototypen stets die Bauteile direkt einzulöten. Deswegen verwende ich gerne Steckerleisten. Diese haben zwar den Nachteil dass man etwas vorsichtig mit dem Aufbau umgehen muß aber dafür kann ich einfach Bauteile für Versuche einfach raus nehmen ohne gleich zum Lötkolben greifen zu müssen.

Das der ESP8266 nur 3,3V verträgt verwende ich den USB zu TTL Konverter auch gleich als Spannungswandler. Dazu muß nur der Jumper auf dem Board auf 3,3 V gesteckt werden. Zum Energiesparen werde ich den ESP in den Deep-Sleep-Modus versetzen. Damit die beiden Sensoren derweilen keinen Strom verbrauchen schalte ich sie über einen Ausgang und einen Transistor weg. Der ESP benötigt bei Verbindungsaufbau zum WLAN relativ viel Strom, deshalb muß parallel zur Versorgung ein Elektrolytkondensator geschaltet werden. Es ist keine Raketenwissenschaft diesen auszulegen, er sollte irgendwas zwischen 400uF und 2200uF bei 6-10V haben. Für das Programmieren muß der CH_PD Pin auf GND gezogen werden. Manche empfehlen dafür einen Taster, ich bevorzuge eine kleine Steckerleiste und einen Jumper.

In der ESP8266 Dokumentation ist beschrieben, dass zum Aufwachen aus dem Deep-Sleep der PIN16 mit CH_PD verbunden sein muß. Leider hat das bei meinem ESP nicht funktioniert. Deshalb verwende ich den RESET für den Wakeup. Ich kann dadurch zwar ein paar Optionen des Deep-Sleep nicht verwenden aber für den Prototypen ist mir das egal.

Der Prototyp in EAGLE
Der Prototyp in EAGLE

 

Es bedarf etwas an Tüftelei die Bauelemente auf der Platine sinnvoll zu platzieren, ich habe versucht Platz zu sparen, vor allem weil ich einen relativ kleines Platinenstück übrig hatte.

Meine Prototyen Platine
Meine Prototyen Platine

Zum Programmieren des ESP verwende ich meine Arduino IDE. Dazu muß man in der Arduino Software, in den Einstellungen http://arduino.esp8266.com/stable/package_esp8266com_index.json eintragen. Dann unter Tools > Board „…“ > Board Manager… auswählen, esp8266 anklicken und Install drücken. Danach kann der ESP wie jeder andere Arduino programmiert werden. Zum Programmieren muß der Jumper beim Initialisieren gesetzt sein. Bei mir zickt das Hochladen des Programmes ab und zu. In dem Fall nehme ich einfach kurz die Spannung weg (aber lange genug dass ich der ELKO entlädt) und versuche es nochmal. ACHTUNG, wenn beim Aufwachen aus dem Deep Sleep der Jumper noch immer gesetzt ist dann startet der ESP nicht richtig.

 

Automatische Bewässerungsanlange

Also ich liebe ja eigenes Gemüse. Wenn man seine Tomaten frisch vom Strauch pflückt weiß man erst wie gut Tomaten schmecken können. Leider bin ich immer nachlässig was das Gießen angeht. Und ich Hochsommer brauchen so Tomaten wirklich viel Wasser und daher ist es mir passiert, dass die Ernte im letzten Jahr nicht ganz so toll ausgefallen ist wie es hätte sein können.

Daher habe ich beschlossen eine automatische Bewässerungsanlage zu bauen. Ich werde mittels Arduino Boards Feuchtigskeitsmesssonden basteln die die aktuellen Daten mittels WLAN an meine Zentrale, einen Raspberry PI schicken. Die Messsonden sollen autark sein und von ihren Strom aus jeweils einer kleinen Solarzelle beziehen. Der Raspberry zeichnet die Daten auf und agiert als Regler für die Bewässerung. Für das Gießen selbst werde ich eine Schaltung für die Pumpen benötigen da sich eine Versorgung über Schwerkraft vermutlich nicht realisieren läßt.

Zu guter letzt soll das ganze nicht zu viel kosten… I

Adieu meine Magic Karten – Teil 2: Das PHP Script

Nachdem ich das letzte Mal meine Daten aufbereitet habe gehts jetzt an das Script. Ich werde das Script in PHP machen, weil ich die Sprache mag und einigermaßen fit darin bin. Außerdem kann ich sie auf Windows und Linux gleichermaßen benutzen. In dem Fall verwende ich die Netbeans IDE, obwohl natürlich ein einfacher Editor auch reichen würde. Natürlich eignet sich jede andere Programmiersprache auch dafür (so wie Phyton, TCL, was auch immer).

So wie das letzte Mal muß ich mir erst mal den HTML Code ansehen. Ich schaue mir dazu wieder den Quelltext an und suche nach den <TABLE> Tags und werde prompt fündig. Ohne jetzt wieder genauer darauf einzugehen schaue ich mir an woran ich die einzelnen Spalten eindeutig identifizieren kann. Wenn ich so etwas mache dann habe ich immer im Hintergrund eine Textdatei in meinem Notepad++ offen und kopiere mir diese ganzen Infos gleich da rein. Da habe ich alles beieinander und kann mir dann alles Notwendige wieder rauskopieren.

Dann schreibe ich ein Script dass meine CSV Zeile für Zeile durchgeht, die Parameter rausholt. Dann rufe ich die Webseite mit den Parametern auf, parse den Quelltext nach meinen gesuchten Informationen und schreibe diese wieder in eine CSV Datei.

Ich arbeite unten im Code übrigens mit REGEX. Viele mögen das nicht aber ich finde das unheimlich mächtig für solche Aufgaben. Zugegeben es ist ein bißchen kompliziert am Anfang aber es gibt ein paar gute Hilfen. Ich verwende zum Beispiel zum Entwickeln und Testen https://regex101.com/

Damit der unten stehende Code läuft müssen in der php.ini folgende extension aktiviert sein:

  • extension=php_openssl.dll
  • extension=php_curl.dll

außerdem muß “allow_url_fopen = On” gesetzt sein.

 

Als Ergebnis erhaltet ihr eine schöne CSV Datei die ihr wieder in einer Tabellenkalkulation öffnen könnt.

Adieu meine Magic Karten – Teil 1: Ein bißchen Reverse Engineering, Notepad Action und Tabellenkalkulationsmagie

Ich möchte also den Wert meiner Magickarten bestimmen indem ich automatisch mittels Scripting, Daten von einer Webseite abfrage. Dazu habe ich mich erstmal 2 Stunden hingesetzt und die Namen meiner Sammelkarten in eine Tabellenkalkulation abgetippt. Als Knauserer verwende ich privat dazu Openoffice Calc, das reicht für den alltäglichen Bedarf obwohl es leider nicht ganz an den Funktionsumfang von Excel herankommt.

In meiner Tabelle habe ich also den Namen meiner Karte und die Edition eingetragen weil ich gelesen habe dass letztere für den Wert der Karte eine Rolle spielen kann.

OpenOffice Calc Tabellenblatt
OpenOffice Calc Tabellenblatt

Jetzt mache ich mich auf die Suche nach einer geeigneten Seite die mir die Preisdaten liefern soll. Der Einfachheit halber suche ich mir eine Seite die die Daten in der URL übergibt da das für mich einfach zu lesen und sehr transparent ist. Dazu suche ich einfach auf der Seite nach eine x-beliebigen Karte.

In meinem Falls suche ich nach der Karte mit dem malerischen Namen “Holzbrecher” aus der Serie “Nemesis” und erhalte folgendes Ergebnis.

Testabfrage
Testabfrage

Wenn ich mir die übergebenen Parameter nach dem “/?” ansehe dann fällt mir gleich als erstes ins Auge dass der Kartenname im Klartext übergeben wird “cardName=Holzbrecher”. Da die Variablennamen sehr sprechend sind kann sehe ich außerdem dass idExpansion wohl die Serie angiebt, leider aber nicht im Klarnamen sondern diese in eine ID kodiert und die anderen Variablen Suchoptionen sind die man zusätzlich angeben könnte, die für mich aber ohne Belang sind. Außerdem fällt mir auf dass das Suchergebnis in einer schönen Tabelle geliefert wird was mit später das Parsen erleichtert.

Als nächstes muss ich mir also ansehen wie ich an Zuordnung Serienname zu idExpansion komme. Da mir die Seriennamen ja in der HTML Seite angezeigt werden sind diese irgendwo im HTML Quellcode enthalten. Um mir das genauer anzusehen lasse ich mir den Seitenquellcode von der Suchseite anzeigen. Das geht in allen Browsern ähnlich indem man irgendwo auf einen leeren Bereich rechtsklickt und “Seitenquelltext anzeigen” auswählt. Leider erhalte ich den Code fast unformattiert zurück (was nicht unüblich ist) und kann erstmal gar nichts erkennen. Man könnte jetzt mit einem vernünftigen HTML Editor eine Formattierung herstellen lassen, ich gehe aber einen noch einfacheren Weg über mein geliebtes Notepad++.

Ich kopiere also den gesamten Quellcode und füge ihn in ein neues, leeres Dokument ein.Ich suche dann nach dem Namen meiner Serie “Nemesis” und finde dass die Namen in Option Tags eingebettet sind die mir jeweils den Namen und die ID lieferen. (Jedem HTML Programmierer ist das natürlich schon vorher klar 😉 )

Jetzt muß man sich ein bißchen mit HTML auskennen. In HTML sind Formattierung und Elemente immer in Tags eingeschlossen. In meinem Beispiel schauen die Elemente für die auswähbaren Serien so aus:

<option  value=”32″>Nemesis</option>

Es ist also immer <option value=”idExpansion”>Klaxtextname

Ich formatieren den Code jetzt etwas um indem ich mittels suchen Ersetzen nach jedem “</option>” einen Zeilenumbruch (\r\n) einfüge

Umformatieren
Umformatieren

Wenn ich jetzt durch mein Dokument scrolle sehe ich sehr schnell wo meine gewünschten Daten anfangen und wo sie aufhören. Ich lösche jetzt einfach alles vor dem ersten “<option” und=”” nach=”” dem=”” letzten=”” “<=”” option=””>” händisch raus und habe jetzt nur mehr meine Nutzdaten in meiner Datei. Dabei entferne ich auch gleich noch die erste Zeile “Alle” da diese offenbar ohne Nutzen für mich sein wird.

Anfang meiner Nutzdaten
Anfang meiner Nutzdaten

Jetzt muß ich sie nur noch in ein schönes Format bringen um es in meine Tabellenkalkulation importieren zu können. Dazu gehe ich noch ein paar mal mit Suchen&Ersetzen drüber: Ich Ersetze “<option  value=”” durch einen Leerstring, “”>” durch einen Tabulator “\t” und “” wieder durch einen Leerstring und erhalte eine schöne Tabstop getrennte Textdatei.

Tabstopp getrennter Text
Tabstopp getrennter Text

Jetzt mache ich mit ein bißchen Excel-Magic (Jaja ich weiß, es sollte “Openoffice.Calc Magic” oder noch besser “Tabellenkalkulationsmagic”) Ich importiere diese Liste in meine Tabellenkalkulation in ein separates Blatt und füge in meiner Liste mittels “VERWEIS” die IDs zu meinen Klartextnamen ein.

Importierte Zuordnungsliste
Importierte Zuordnungsliste
Liste mit Verweis
Liste mit Verweis

Jetzt speichere ich das erstmal im Originalformat und dann gleich das erste Blatt nochmal als CSV und habe meine Daten für den nächsten Schritt aufbereitet. Das nächste Mal gehts weiter mit dem Script.

Adieu meine Magic Karten – Teil 2: Das PHP Script