Priusfreunde.de

MarieCurie schrieb:
Soweit ich weiss, enthält die Datenbank fuer eine gegebene Fahrt mehr als das, was als Trip Daten in die txt Datei geschrieben wird.
Die Datenbank des HA enthält genau 1 Tabelle (FASTLOG) für die zeitlich zugeordneten Werte. Die vom Reporter exportierte .txt-Datei enthält genau diese Daten, nur der Timestamp wird aufgelöst in Datum und Uhrzeit, und beim SOC werden ein paar Nachkommastellen weggelassen. Darüber hinaus gibt es eben keine zeitlich zuordenbare Daten in der Datenbank.

Folgende Tabellen enthalten Trip-bezogene Daten:

TRIPS: Timestamp (Trip-Anfang), Timestamp (Trip-Ende), Anzahl der Datensätze, Streckenlänge

TRIPINFO: Timestamp (Trip-Ende), Auto (Modell-Code, VIN), HA-Version, Anzahl der Datensätze, OBD-Adapter (Verbindungsart-Code, MAC-Adresse, Bezeichnung, Hersteller), HV-Batterie (kWh+, kWh-), ICE (kWh), Anzahl (Übermäßige EV-Ereignisse, Bremsungen, davon schlechte, gemixte), Rekuperation (kWh gesamt), Nervosität am Gaspedal, Anzahl(Zündungen, davon ineffizient), SOC% zurückgewonnen (Bremsen, Segeln, ICE geladen), OBD (Firmware, Disconnections, Corrupted Frames, Total Frames), GlideType

Beide Tabellen enthalten jeweils 1 Datensatz je Trip.
Mehrere Zeilen je Trip enthalten die folgenden 3 Tabellen, die vermutlich Zwischenergebnisse für die Reports enthalten:

AVERAGED (=gemittelt, 1 Zeile je ID und KEY): Timestamp (Trip-Ende), ID, Key, Value, Samples
STAT ( =? Statistik, 1 Zeile je Stat): Timestamp (Trip-Ende), Stat, Start, End, Min, Max, Avg, Variance
STATE ( =? Status, 1 Zeile je State): Timestamp (Trip-Ende), State, Maxlength, Percent

Ferner gibt es noch die Tabellen PREFERENCE für die HA-Einstellungen, PALETTE für Farb-Codes sowie Tabellen, die in meiner DB noch keine Einträge haben: NOTES, BATTLOG, HVCHECK, HVCHECKCELL, HVCHECKTEMPERATURE. Also insgesammt 13 Tabellen.

Meiner Meinung nach enthält die DB keine zusätzlichen Informationen zur .txt-Datei, die für Auswertungen, die nicht schon der HR liefert, nützlich wären.
Was die Einbeziehung der Höhen-Daten in eine Fahrer-Auswertung betrifft, hätte ich Bedenken bezüglich der Genauigkeit der GPS-Angaben während der Fahrt. Und den Wind berücksichtigen? Sehr ambitioniert. Ich wünsche dir viel Erfolg bei deinen Vorhaben.

Zum Einfluß des Windes auf die Fahrt: sicherlich gibt es relevanten Rücken- wie auch Gegenwind. Aber diesen wird man nicht ermitteln können, wenn nicht an der ganzen Strecke auf Fahrzeughöhe gemessen wird. Der Wind kann in verschiedenen Höhen sehr unterschiedlich sein, sein es von der Richtung wie auch von der Stärke. Insofern halte ich die Einbeziehung irgendwelcher Wetterdaten aus dem Internet für wenig hilfreich, vielleicht sogar eher mit negativem Effekt.

So Skript läuft

Bis jetzt findet er alle TXT Dateien die im gleichen Ordner sind und lädt sie vollautomatisch auf einen MySQL Server.

Falls es bedarf gibt lukas.kraemer.4.8.2000@gmail.com
bitte einmal melden. Es ist aber noch in der Beta

Ich arbeite noch an der Dokumentation bzw Installationsanleitung.

Man muss halt relativ viel vorladen.

Habe dann schon Ideen das zu lösen aber es ist halt angenehmer ein konfigurierbares Skript zu haben und dann einfach in der Bedienung.

Falls jmd Interesse an der vorab Version hat bitte melden.

Wenn es dann die finale Version ist kommt die kostenfrei auf github, es ist kostenlos

Alles ist fertig und getestet, danke an alle Beta-Tester

Habe es gestern Nacht um 4 Uhr fertig gestellt und heute wurde es abgenommen und kann veröffentlicht werden

github.com/LukasKraemer/Public/blob/mast...rsion_1_0_public.zip

In der Zip Datei ist das "Programm", des SQL Befehl um die DB zu erstellen und eine Ream me. Die Read me enthält den Link zum YT Video.

Ich wünsche viel Spaß, je nach Ressonanz werden weitere Funktionen hinzugefügt. Habe noch einige halbfertige Sachen auf meinem PC. Bis jetzt nimmt er nur Daten und läd sie auf eine Lokale Datenbank, von der man dann weiter mit Excel oder ähnlichem Auswertungen machen kann.

Ich wünsche viel Spaß

Hallo Forum,

wie in einem bereits von mir erstellten Beitrag angesprochen, habe ich ein kleines Programm das die Daten auf eine "richtige" Datenbank lädt. Somit kann man per ODBC mit fast jedem Programm auf diese Werte zugreifen um sie zu verarbeiten oder grafisch darzustellen.

Das Programm liest alle TXT Dateien mit dem Namen: Trip*.txt ein, lädt sie in eine Tabelle in der DB. Von der DB aus kann man in Excel, Access oder jedem ähnlichem Programm Auswertungen machen.

Das Projekt liegt auf GitHub, einfach die Zip Datei unterladen, die Datei enthält:

Das "Programm", das mit Python Programmiert wurde und Quellcode offen ist

Ein SQL Befehl, zum Erstellen der formatierten Tabelle mit allen 48 Spalten.

Eine Read me- in der meine E-Mail Adresse liegt, ein Link zum minimalistisches Erklärvideo und alle Links die benötigt werden.

Das klingt jetzt erstmal viel, ich habe alles in 10min installiert und eingerichtet. Somit sollten die 15min eine Sinnvolle Investition sein.

Als kleiner Benchmark, er hat 300.00 Zeilen in zirka 2 min hochgeladen, jeder Händische Input dauert länger.

Man legt alle Text Dateien in ein Ordner, startet das Programm und drückt auf Start. Das wars

PS: Ich lege kein Wert auf Rechtschreibung und das ist beabsichtigt, das Entwickeln der Lösung dauerte schon unverhältnismäßig lange und damit hatte ich wenig Interesse Grammatikalisch Richtigen Kommentaren und Forenbeiträge zum Schreiben.

Komplette Arbeitsdauert schätzungsweise 100 Stunden weil,

- ich viele Lösungsansätze hatte um es Nutzerfreundlich zu machen
- ich eine gute Performance haben wollte
- ich mit fremden Datenbankvorlagen angefangen habe
- selbst kein Hybrid fahre

Für Kritik und Verbesserungsvorschläge könnt ihr mir gerne eine Nachricht schreiben.

Bei Rückfragen stehe ich Ihnen gerne zur Verfügung

Euch einen schönen Tag

Hallo Forum,

werde bei der HA-APP bei allen Autos die gleichen Werte erfasst?

könnte jmd mir sagen welche Werte von welchem Auto nicht erfasst werden?

Ich habe vor zirka einem halben Jahr schon ein stumpfes Tool veröffentlicht, es lädt Daten auf eine Datenbank von einer Textdatei.

Jetzt ist dieses Freizeitprojekt etwas größer und es geht um die Validierung der Daten.

- Es hat eine schönere Gui
- Loginwerte können in der GUI eingeben werden
- Spritkosten upload von Spritmonitor.de (bis jetzt nur als txt Datei)
- generieren eine Übersichtstabelle
- Berechnungen werden auf mehreren Prozessen durchgeführt, bessere Performance

Ich möchte falsche oder fehlende Werte abfangen, um es an die Community zu übergeben

Die bereits verrechneten Werte sollen in ein Übersichtsdiagramm fließen, dass hoffentlich dynamisch und sehr variable ist.

das ganze soll mit PHP, MYSQL und Ajax realisiert werden.

Ich habe zufälligerweise keine 10 Autos in meiner Einfahrt, also eine kurze Übersicht über fehlende Werte oder falsche Werte.

Ich weiß, dass im April ein paar weitere Werte hinzukamen
ich weiß, dass es etwas dauert bis er den Akkustand abfangen kann
ich weiß, dass manche Fahrten keine Fahrten sind (Zündung anmachen um z.B. das Fenster zu schließen kann auch schon als Fahrt zählen)

Was hattet ihr für Eigenheiten bei euch?

Danke im Vorraus

Hallo Lukas,

der von Dir geteilte github-Link funktioniert zwischenzeitlich nicht mehr.

Kannst Du ein paar Screenshot des GUIs und Entwurf des Übersichtsdiagramms etc. hier einstellen, damit man sich den Funktionsumfang ungefähr vorstellen kann?

Das Projekt hört sich sehr interessant an.

Viele Grüße, yarison

die Repo von Github wurde auf privat gestellt,

es traten mir persönlich zu viele Fehler auf und es war noch nicht sehr individuell.

Ich gab mein Projekt an einen Nutzer, der von sehr vielen Fehlern berichtete.

Die Probleme waren er Umgebung geschuldet, ich nutze zum Entwicklern Linux und habe es ihm dann als .exe zur Verfügung geben, dies machte einige Probleme.

Wenn Sie möchten, kann ich es gerne wieder online stellen, es ist aber nicht mal in der Beta Phase und alles noch Spagetti Bolognese.

Von einem Finalen Release sind wir noch einige Tage entwerft.

Das Upload und Verrechnungstool ist im Grundgerüst fertig

An der Auswertung wurde mal testweise gearbeitet.

Gedacht ist, alle vorgerechneten Werte in ein Diagramm zu hauen.

Es soll Responsiv sein, also auf allen Geräten gut lesbar
Die Zeiträume sollen variable sein (also Start und Endpunkt)
Die Spalten sollen variable ansteuerbar sein
es sollen 5-6 Diagrammtypen zur auswahl stehen

Das wird anhand von einer Formulareingabe erlöst, die Diagramme sind eine JS Bibliothek

das Upload Tool erklärt sich hoffentlich alleine- erst Rohdaten von der app(txt) hochladen, dann die Spritkosten als txt datei hochladen, des ganze dann Verrechnen lassen.

Ich finde es die bequemste Lösung, einmal anmelden, alles in einen Ordner kopieren und 3 Knöpfchen drücken - dann kann man es auf einer Webseite auf allen Geräten anschauen(vorausgesetzt man hat eine Domaine/Server)

Es kann dauern mal schnell mehrere Millionen Datensätze zu verrechen, wenn man es auf mehreren Prozessen auslegt - kein Problem mehr. Di Anzahl der prozessen kann eingestellt werden (1-2-3-4-6-8-12-16) stehen zur Auswahl

Hallo Forum,

ich habe es auf Github wieder öffentlich gestellt, ich denke es erklärt sich alles, wenn ich - einfach melden.

github.com/LukasKraemer/HA_Tool

Die Sache ist einfach, wenn Ihr Python installiert habt und alle Bibliotheken. Ich werde bestimmt nach und nach auch eine exe anbieten, aber heute nicht mehr. Ich muss des ausgibt testen, wie sich des verhält.

Ein paare weitere Funktionen sind auch noch angedacht, wenn euch was einfällt, unter dieser Nachricht ist genug Platz für Probleme, Fehler und Vorschläge

Ich habe es nur als Skript angeboten, da muss man sich etwas zurechtfinden.

Für die CLI verrückten, ne leider nein - alles GUI.Bei Bedarf kann ich aber auch des für Cli schreiben

Je nach Interresse kann man da bestimmt noch viel machen und des ist nur der Uploader.

Für die Auswertung habe ich noch alte Bilder gefunden, aber die sind sehr abtrakt und alt, ich habe das zeug gerade nicht auf meinem DEV-PC, sonst hätte ich es gezeigt.

Es zeigt aber eine Richtung

kleines und wahrscheinlich eines der letzten Updates von mir hier im Forum

Das Tool ist ab jetzt verwendbar, im Normalbetrieb traten bei diversen Tests mit Linux und Win10 keine Fehler auf. In beiden Fällen wurde für den Uploader die neuste Python Version verwendet mit allen aktuellen Bibliotheken. Die Datenbank lag in Linux auf einer Mariadb und in Windows auf einer MySql Datenbank(version 8.xx). Als Webserver wurde in Linux der neuste Apache Webserver mit php 7.4.6 verwendet und in Windows das aktuellste XAMPP Paket, die DB hat nur Probleme gemacht.

Das Skript kann inzwischen
bei den Trips:
- doppelten Upload verhindern
- doppelte Dateien in einen anderen Ordner verschieben
- hochgeladene Dateien ins Archiv kopieren
- die Fahrten mit dem Trip_counter eindeutig festlegen

Spritkosten Uplaoder:
noch nichts, gedacht war eine Kostenanalyse zu erstellen - alles in Plannung

Übersicht:
- mehrere Prozesse gehen jede Fahrt durch und errechnet min/max/Durchschnittswerte und einige weitere Werte
-Werte unter einer gewissen Länge werden ignoriert und nicht berechnet

Die Gui zeigt den Fortschritt des Uploads an, das Terminal zeigt den Fortschritt der Berechnungen der Übersicht an. Ziel ist es, dass die Gui alle Fortschritte anzeigt.

Das ganze Tool läuft in Linux und Windows ohne mir bekannte Fehler, DAU Test fehlt noch.

---------------------------

Die Auswertung als einiges Tool

kann mit nur 2 Änderungen zu einer Universalen Darstellung unterschiedlicher Werte verwendet werden.

kann mit den aktuellen Einstellungen die Übersichtswerte gefiltert nach Datum und Spalten anzeigen lassen.

die Achsen passen sich automatisch an

beim drüberfahren mit der Maus wird der genaue Wert angezeigt

Hintergrundfarben, schattenfarben und alles weitere ist frei einstellbar. Einfach bei der Doku von www.chartjs.org/ nachschauen

weitere Funktionen sind auch dort zu entnehmen, bei Bedarf

bekannte Probleme:
-am Handy viel zu kleine Darstellung
- Handy bringt nicht die Nötige Rechenleistung, laden dauert bis zu 30sek

geplante Funktionen:
- weitere Filter(z.b. Fahrlängen Filtern, Uhrzeiten)
- Langzeitauswertung mit Wochen und Monatsübersicht

Ein Bild wie es gerade mit exemplarischen werte aussehen kann ist im Anhang

ich update die beiden Tools in sehr unregelmäßigen Abständen - einfach mal auf Github vorbei schreiben.

Bei Fragen stehe ich jederzeit zur Verfügung, private Nachricht oder hier im Beitrag.

Wer kurz mal Zeit hat und meine Tools benutzt, einfach mal gerne hier ein Feedback da lassen, das ich mich und das Programm verbessern kann.

PS: ich weiß Rechtschreibung und Grammatik ist nicht mein Fall um diese Uhrzeit, dieser Beitrag hier ist die letzte Tätigkeit für heute. Ich bin der Entwickler der Sache und wenn ich mich unverständlich ausdrücke einfach melden. Ich vergesse gerne, dass Ihr den Programmcode, den Aufbau und die Funktionen nicht kennt.

Hallo Priusfreunde,

ich lese schon seit mehreren Jahren hier im Forum mit, hatte mir aber bisher noch kein Account erstellt. Ich war bereits auch schon auf ein paar Rhein-Neckar-Stammtischen und Rügen – Treffen mit dabei. Seit über einem Jahr fahre ich ein Toyota Yaris Hybrid und verwende die Hybrid Assistant App.

Was mich beim Hybrid Assistent störte war, das keine Langzeitauswertung über einen längeren Zeitraum möglich ist.

Deshalb wollte ich die Daten aus dem Hybrid Reporter als txt-Datei exportieren, und in eine Access Datenbank bringen. Dies stellte sich aber als sehr aufwendig dar, und es gab einige Probleme weshalb ich mit dieser Lösung nicht ganz so zufrieden war.

Mit @Lukaskraemer versuchte ich deshalb dann eine andere Lösung zu finden. Dies war am Anfang ein Tool das lediglich die Txt-Dateien aus dem Hybrid Reporter in eine Datenbank bringt. Die Datenbank war damals dann per OBDC in Access erreichbar. Da es aber Probleme zwischen der Access Datenbank und der anderen Datenbank gab habe ich auch diese Lösung wieder verworfen.

Weil es Probleme mit den zwei Datenbanken gab, und in Access sowieso keine schöne Ansicht der Daten möglich ist, wurde dann zusätzlich zum Uploader für die txt-Dateien noch eine Website zur Übersicht entwickelt in der die Fahrten miteinander vergleichbar sind, in Diagrammen und Tabellen. Die Diagramme lassen sich als Bild speichern, und so exportieren. Die Daten die in den Diagrammen verwendet werden sollen lassen sich flexibel auf der Website auswählen, sowie der Diagrammtyp und der Zeitraum.

Da die Kosten für eine Fahrt auch interessant sind haben wir beschlossen dann auch noch die Daten aus dem Spritmonitor zu verwenden (Die vom eigenen Profil) und diese mit den Daten aus dem Hybrid Assistent zu verknüpfen. Diese Funktion ist aber noch nicht eingebaut.

Die Website für die Übsicht der Daten ist auch noch nicht fertig, aber im Aufbau. Und die Auswertung kommt noch lange nicht an das Niveau von der Html- Auswertung des Hybrid-Assistenten ran. (Habe wir aber auch nicht vor)

Aber jeder kann ja wenn er möchte sich das Programm runterladen und selbst um seine Wünsche ergänzen.

Zu meiner Person noch: Ich bin kein IT-ler und habe keine Programmierkenntnisse. Ich kenne mich lediglich mit Access und SQL ein wenig aus, und kümmere mich eigentlich nur um die Auswertung, und bin Beta-Tester des Programmes. Das Programm und die Übersicht wurden hauptsächlich von @Lukaskraemer entwickelt.

Hallo Forum,

haben ein paar interessante Neuerungen in der Nutzerfreundlichkeit eingebaut.

Es gibt das ganze Programm als .exe, einfach draufdrücken und los geht's - vorausgesetzt man hat die DB eingestellt.

Ich habe auf Github alles etwas ausführlicher Erklärt und für vieles eine Anleitung geschrieben.

Es gibt jetzt die Möglichkeit die Hintergrundfarbe und die Schriftfarbe nach belieben anzupassen, wir haben ein Logo eingefügt und wieder ein paar Fehler gefunden und behoben.

Es ist jetzt offiziell nutzbar. Schaut mal auf Github vorbei.

github.com/LukasKraemer/HA_Tool

Nach einer langen Pause mal wieder ein Beitrag von mir.

ich habe es übertrieben - Corona hat zugeschlagen

Die Beta Tests laufen schon und ich werde das Zeug hier veröffentlichen, wenn es fertig ist und getestet wurde.

Ich habe jetzt eine Lösung für IT-Freaks, die mit Server und Datenbanken umgehen können.

Was braucht man?
1 Computer/Server mit
-python und allen Libs(Liste ist auf Github)
-webserver(am besten Apache)
-relationale Datenbank(z.B. MySql)
Android Gerät(ab Android 7)
Interesse und etwas Zeit zum einrichten der Serverdienste
(optional) Domaine


Das Programm um die txt Dateien auf die Datenbank zu laden und Übersichtswerte zu errechnet, kennt ihr und wurde um eine CLI Oberfläche erweitert und einem Datenupload auf den Server(mit der API).

Die Auswertung auf der Webseite wurde um einen Filter erweitert, jetzt kann man nach Fahrtstrecke filtern (minderst und maximale Länge).

Dazu kommt jetzt noch eine APP und eine API(eine Schnittstelle). Die App sucht auf dem Handy im Hybrid Ordner nach den txt Dateien, gleicht sie mit dem "Server" ab und lädt die Differenz(also die neunen Daten) hoch, dann kann man noch das Programm mit der App auf dem Server starten.

Welchen Vorteil hat das? Ihr seid angekommen, macht euer Motor aus, öffnet die App und drückt auf Start- dann läuft alles automatisch. Bis Ihr am PC sitzt, sind alle Daten verarbeitet und die neusten Daten sind in der Auswertung. Keine Datenkabel und keine "wartezeiten".

Wenn ihr wollt, könnt ihr immernoch das Programm als Exe auf eurem PC ausführen, dann muss der Server nicht so leistungsstark sein. Die txt Dateien werden nach Upload auf die Datenbank ebenfalls auf den Server geladen(auf Wunsch). Somit macht es keinen Unterschied ob APP oder PC. Bei der APP rechnet der Server und beim Programm rechnet der PC.

Ihr habt Angst um die Sicherheit der Daten? braucht ihr nicht.

Ihr könnt nach belieben Sicherheitsheitsschlüssel mit unterschiedlichen Rechten erstellen. Die Schlüssel sind in der Datenbank "gehasht" und die Übertragung der Daten kann man ganz einfach mit TSL 1.3 Verschlüsseln.

Ihr seid für eure Server selbst verantwortlich, man kann die Überprüfung der Schlüssel, die Protokollierung der Logins und alles weitere nach belieben deaktiveren. Die Daten werden über eine http request versendet - mit let's encrpt relativ einfach mit TSL verschlüsselbar.

Ich möchte nicht zu sehr ins Detail gehen, stehe aber für Fragen zur Verfügung. Es müssen Funktionstest, Layout Test, Sicherheitstest und eine kleine Doku/Anleitung geschrieben werden(die ist noch nicht auf dem neusten Stand). Ich freue mich schon auf das Feedback vom Forum.

Für wen was verfügbar ist, kann man ganz schnell einstellen. Die ganzen Einstellungen werden näher erklärt, wenn es fertig ist.

und warum der Aufwand?
den Ha Report kennt ihr bestimmt, aber der zeigt nur eine Fahrt an, mein Tool speichert alles in einer Datenbank, errechnet ähnliche Werte und zeigt eine Übersicht aller Fahrten in einem ausgewählten Zeitraum und das ganze ist Weltweit abrufbar, wenn man will und alles richtig einstellt.

Meine Empfehlung für die einen Rasperry Pi haben:
eine NO-IP Domaine, MariaDB, Apache Webserver mit PHP 7.4.,Stromkosten zirka 5 € im Jahr.

Der Pi ist sehr gut dokumentiert und man findet für jedes Problem eine Lösung und Anleitung, der Pi kann auch anderweitig verwendet werden( Pi-hole, fileserver, Smart home usw)

ich bekomme dafür keine Geld, ich bin einfach nur sehr begeistert.


erste Screenshots, weitere Infos und viel mehr dann später - bin müde und des merkt man bestimmt beim lesen vom Text

PS: Sorry das auf Github schon lange nichts mehr kam und meine Rechtschreibung und Grammatik heute mal wieder "on point".

Hört sich interessant und nach ner Menge Arbeit an. Daumen hoch.

Nebenbei, der Reporter kann auch beliebig viele Fahrten anzeigen. Man muss dem nur sagen wie viele Fahrten von ausgewählten er rückwirkend mit einbeziehen soll.

Gruß Mario