Bewässerung – Teil 1: Ein Prototyp

Als ersten Schritt werde ich einen Prototypen bauen. Normalerweise baut man einen Prototyp ja auf einem Steckbrett . Ich möchte den Prototypen aber ein paar Wochen ausprobieren damit ich sehe wie viel Energie er braucht und wie sich die Messungen verhalten. Deswegen mache ich meinen Prototypen auf einer Lochraster Platine. Außerdem werde ich auf meinem Arduino eine Datenaufzeichnung in einer Datenbank einrichten und eine kleine Webvisualisierung dazu erstellen.

Meine Einkaufsliste dazu:

Zusätzlich noch:

  • eine Lochraster Platine
  • 3 Stk. 10k Widerstände (oder höherohmig, es müssen nur drei gleiche sein)
  • 1 Stk Elektrolytkondesator (> 500 uF)
  • 1 Stk. Transistor (z.B. BC547C)
  • 1 Stk 3,3K Widerstand
  • eine Steckerleiste (2 pins)
  • einen Jumper
  • und einen Lötkolben.

Ich weiß, über Lötkolben wird viel fachgesimpelt aber mir persönlich reicht eine 22€ Lötstation. Außerdem ist dabei eine recht gute Entlötpumpe dabei und so ein Gerät empfehle ich auch dringend jedem Anfänger. Überschüssiges Geld ist am besten in vernünftigem Lötzinn angelegt. Für die Stromversorgung verwende ich eine USB Powerbank die ich als Werbegeschenk erhalten habe.  Man bekommt die zur Zeit eh überall geschenkt, ansonsten erhält man sie auch für unter 10 € im Netz (z.B. hier).

Ich vermeide bei Prototypen stets die Bauteile direkt einzulöten. Deswegen verwende ich gerne Steckerleisten. Diese haben zwar den Nachteil dass man etwas vorsichtig mit dem Aufbau umgehen muß aber dafür kann ich einfach Bauteile für Versuche einfach raus nehmen ohne gleich zum Lötkolben greifen zu müssen.

Das der ESP8266 nur 3,3V verträgt verwende ich den USB zu TTL Konverter auch gleich als Spannungswandler. Dazu muß nur der Jumper auf dem Board auf 3,3 V gesteckt werden. Zum Energiesparen werde ich den ESP in den Deep-Sleep-Modus versetzen. Damit die beiden Sensoren derweilen keinen Strom verbrauchen schalte ich sie über einen Ausgang und einen Transistor weg. Der ESP benötigt bei Verbindungsaufbau zum WLAN relativ viel Strom, deshalb muß parallel zur Versorgung ein Elektrolytkondensator geschaltet werden. Es ist keine Raketenwissenschaft diesen auszulegen, er sollte irgendwas zwischen 400uF und 2200uF bei 6-10V haben. Für das Programmieren muß der CH_PD Pin auf GND gezogen werden. Manche empfehlen dafür einen Taster, ich bevorzuge eine kleine Steckerleiste und einen Jumper.

In der ESP8266 Dokumentation ist beschrieben, dass zum Aufwachen aus dem Deep-Sleep der PIN16 mit CH_PD verbunden sein muß. Leider hat das bei meinem ESP nicht funktioniert. Deshalb verwende ich den RESET für den Wakeup. Ich kann dadurch zwar ein paar Optionen des Deep-Sleep nicht verwenden aber für den Prototypen ist mir das egal.

Der Prototyp in EAGLE
Der Prototyp in EAGLE

 

Es bedarf etwas an Tüftelei die Bauelemente auf der Platine sinnvoll zu platzieren, ich habe versucht Platz zu sparen, vor allem weil ich einen relativ kleines Platinenstück übrig hatte.

Meine Prototyen Platine
Meine Prototyen Platine

Zum Programmieren des ESP verwende ich meine Arduino IDE. Dazu muß man in der Arduino Software, in den Einstellungen http://arduino.esp8266.com/stable/package_esp8266com_index.json eintragen. Dann unter Tools > Board „…“ > Board Manager… auswählen, esp8266 anklicken und Install drücken. Danach kann der ESP wie jeder andere Arduino programmiert werden. Zum Programmieren muß der Jumper beim Initialisieren gesetzt sein. Bei mir zickt das Hochladen des Programmes ab und zu. In dem Fall nehme ich einfach kurz die Spannung weg (aber lange genug dass ich der ELKO entlädt) und versuche es nochmal. ACHTUNG, wenn beim Aufwachen aus dem Deep Sleep der Jumper noch immer gesetzt ist dann startet der ESP nicht richtig.

 

Automatische Bewässerungsanlange

Also ich liebe ja eigenes Gemüse. Wenn man seine Tomaten frisch vom Strauch pflückt weiß man erst wie gut Tomaten schmecken können. Leider bin ich immer nachlässig was das Gießen angeht. Und ich Hochsommer brauchen so Tomaten wirklich viel Wasser und daher ist es mir passiert, dass die Ernte im letzten Jahr nicht ganz so toll ausgefallen ist wie es hätte sein können.

Daher habe ich beschlossen eine automatische Bewässerungsanlage zu bauen. Ich werde mittels Arduino Boards Feuchtigskeitsmesssonden basteln die die aktuellen Daten mittels WLAN an meine Zentrale, einen Raspberry PI schicken. Die Messsonden sollen autark sein und von ihren Strom aus jeweils einer kleinen Solarzelle beziehen. Der Raspberry zeichnet die Daten auf und agiert als Regler für die Bewässerung. Für das Gießen selbst werde ich eine Schaltung für die Pumpen benötigen da sich eine Versorgung über Schwerkraft vermutlich nicht realisieren läßt.

Zu guter letzt soll das ganze nicht zu viel kosten… I

Adieu meine Magic Karten – Teil 2: Das PHP Script

Nachdem ich das letzte Mal meine Daten aufbereitet habe gehts jetzt an das Script. Ich werde das Script in PHP machen, weil ich die Sprache mag und einigermaßen fit darin bin. Außerdem kann ich sie auf Windows und Linux gleichermaßen benutzen. In dem Fall verwende ich die Netbeans IDE, obwohl natürlich ein einfacher Editor auch reichen würde. Natürlich eignet sich jede andere Programmiersprache auch dafür (so wie Phyton, TCL, was auch immer).

So wie das letzte Mal muß ich mir erst mal den HTML Code ansehen. Ich schaue mir dazu wieder den Quelltext an und suche nach den <TABLE> Tags und werde prompt fündig. Ohne jetzt wieder genauer darauf einzugehen schaue ich mir an woran ich die einzelnen Spalten eindeutig identifizieren kann. Wenn ich so etwas mache dann habe ich immer im Hintergrund eine Textdatei in meinem Notepad++ offen und kopiere mir diese ganzen Infos gleich da rein. Da habe ich alles beieinander und kann mir dann alles Notwendige wieder rauskopieren.

Dann schreibe ich ein Script dass meine CSV Zeile für Zeile durchgeht, die Parameter rausholt. Dann rufe ich die Webseite mit den Parametern auf, parse den Quelltext nach meinen gesuchten Informationen und schreibe diese wieder in eine CSV Datei.

Ich arbeite unten im Code übrigens mit REGEX. Viele mögen das nicht aber ich finde das unheimlich mächtig für solche Aufgaben. Zugegeben es ist ein bißchen kompliziert am Anfang aber es gibt ein paar gute Hilfen. Ich verwende zum Beispiel zum Entwickeln und Testen https://regex101.com/

Damit der unten stehende Code läuft müssen in der php.ini folgende extension aktiviert sein:

  • extension=php_openssl.dll
  • extension=php_curl.dll

außerdem muß “allow_url_fopen = On” gesetzt sein.

 

Als Ergebnis erhaltet ihr eine schöne CSV Datei die ihr wieder in einer Tabellenkalkulation öffnen könnt.

Adieu meine Magic Karten – Teil 1: Ein bißchen Reverse Engineering, Notepad Action und Tabellenkalkulationsmagie

Ich möchte also den Wert meiner Magickarten bestimmen indem ich automatisch mittels Scripting, Daten von einer Webseite abfrage. Dazu habe ich mich erstmal 2 Stunden hingesetzt und die Namen meiner Sammelkarten in eine Tabellenkalkulation abgetippt. Als Knauserer verwende ich privat dazu Openoffice Calc, das reicht für den alltäglichen Bedarf obwohl es leider nicht ganz an den Funktionsumfang von Excel herankommt.

In meiner Tabelle habe ich also den Namen meiner Karte und die Edition eingetragen weil ich gelesen habe dass letztere für den Wert der Karte eine Rolle spielen kann.

OpenOffice Calc Tabellenblatt
OpenOffice Calc Tabellenblatt

Jetzt mache ich mich auf die Suche nach einer geeigneten Seite die mir die Preisdaten liefern soll. Der Einfachheit halber suche ich mir eine Seite die die Daten in der URL übergibt da das für mich einfach zu lesen und sehr transparent ist. Dazu suche ich einfach auf der Seite nach eine x-beliebigen Karte.

In meinem Falls suche ich nach der Karte mit dem malerischen Namen “Holzbrecher” aus der Serie “Nemesis” und erhalte folgendes Ergebnis.

Testabfrage
Testabfrage

Wenn ich mir die übergebenen Parameter nach dem “/?” ansehe dann fällt mir gleich als erstes ins Auge dass der Kartenname im Klartext übergeben wird “cardName=Holzbrecher”. Da die Variablennamen sehr sprechend sind kann sehe ich außerdem dass idExpansion wohl die Serie angiebt, leider aber nicht im Klarnamen sondern diese in eine ID kodiert und die anderen Variablen Suchoptionen sind die man zusätzlich angeben könnte, die für mich aber ohne Belang sind. Außerdem fällt mir auf dass das Suchergebnis in einer schönen Tabelle geliefert wird was mit später das Parsen erleichtert.

Als nächstes muss ich mir also ansehen wie ich an Zuordnung Serienname zu idExpansion komme. Da mir die Seriennamen ja in der HTML Seite angezeigt werden sind diese irgendwo im HTML Quellcode enthalten. Um mir das genauer anzusehen lasse ich mir den Seitenquellcode von der Suchseite anzeigen. Das geht in allen Browsern ähnlich indem man irgendwo auf einen leeren Bereich rechtsklickt und “Seitenquelltext anzeigen” auswählt. Leider erhalte ich den Code fast unformattiert zurück (was nicht unüblich ist) und kann erstmal gar nichts erkennen. Man könnte jetzt mit einem vernünftigen HTML Editor eine Formattierung herstellen lassen, ich gehe aber einen noch einfacheren Weg über mein geliebtes Notepad++.

Ich kopiere also den gesamten Quellcode und füge ihn in ein neues, leeres Dokument ein.Ich suche dann nach dem Namen meiner Serie “Nemesis” und finde dass die Namen in Option Tags eingebettet sind die mir jeweils den Namen und die ID lieferen. (Jedem HTML Programmierer ist das natürlich schon vorher klar 😉 )

Jetzt muß man sich ein bißchen mit HTML auskennen. In HTML sind Formattierung und Elemente immer in Tags eingeschlossen. In meinem Beispiel schauen die Elemente für die auswähbaren Serien so aus:

<option  value=”32″>Nemesis</option>

Es ist also immer <option value=”idExpansion”>Klaxtextname

Ich formatieren den Code jetzt etwas um indem ich mittels suchen Ersetzen nach jedem “</option>” einen Zeilenumbruch (\r\n) einfüge

Umformatieren
Umformatieren

Wenn ich jetzt durch mein Dokument scrolle sehe ich sehr schnell wo meine gewünschten Daten anfangen und wo sie aufhören. Ich lösche jetzt einfach alles vor dem ersten “<option” und=”” nach=”” dem=”” letzten=”” “<=”” option=””>” händisch raus und habe jetzt nur mehr meine Nutzdaten in meiner Datei. Dabei entferne ich auch gleich noch die erste Zeile “Alle” da diese offenbar ohne Nutzen für mich sein wird.

Anfang meiner Nutzdaten
Anfang meiner Nutzdaten

Jetzt muß ich sie nur noch in ein schönes Format bringen um es in meine Tabellenkalkulation importieren zu können. Dazu gehe ich noch ein paar mal mit Suchen&Ersetzen drüber: Ich Ersetze “<option  value=”” durch einen Leerstring, “”>” durch einen Tabulator “\t” und “” wieder durch einen Leerstring und erhalte eine schöne Tabstop getrennte Textdatei.

Tabstopp getrennter Text
Tabstopp getrennter Text

Jetzt mache ich mit ein bißchen Excel-Magic (Jaja ich weiß, es sollte “Openoffice.Calc Magic” oder noch besser “Tabellenkalkulationsmagic”) Ich importiere diese Liste in meine Tabellenkalkulation in ein separates Blatt und füge in meiner Liste mittels “VERWEIS” die IDs zu meinen Klartextnamen ein.

Importierte Zuordnungsliste
Importierte Zuordnungsliste
Liste mit Verweis
Liste mit Verweis

Jetzt speichere ich das erstmal im Originalformat und dann gleich das erste Blatt nochmal als CSV und habe meine Daten für den nächsten Schritt aufbereitet. Das nächste Mal gehts weiter mit dem Script.

Adieu meine Magic Karten – Teil 2: Das PHP Script

Adieu meine Magic Karten…

Es ist so weit. Nachdem sie jahrelang einsam in meinem Kasten verstaubt sind habe ich heute beschlossen meine Magic – The Gathering Sammelkarten zu verkaufen. Meine Frau meinte ja ich solle sie einfach wegwerfen aber nachdem ich meine alte Stereoanlage erfolgreich auf willhaben verkauft habe, hat mich der Kapitalismus in seinen Bann gezogen und ich werde auch mein altes Hobby zu Geld machen. Im Ernst, es ist doch sinnbefreit eine Anschaffung die viel Geld gekostet hat einfach in die Tonne zu werfen. Selbst wenn ich nur ein paar EURO bekomme macht es doch Sinn. Die Frage ist nur: Was ist ein angemessener Preis?

Dazu habe ich mir überlegt ich werde den Preis über einen kleinen Robot (ein Script) bestimmen lassen. Eine kleiner Livehack und nebenbei eine gute kleine Programmierfingerübung.