256bit.org Blog

Wer sich mit Business Intelligence beschäftigt, der weiß, dass dieser Markt von den etablierten, kommerziellen Software Hersteller (IBM, SAP, Oracle, MS) beherrscht wird. Und doch finden sich auch hier OpenSource Anbieter, die fast den kompletten BI-Stack an Lösungen anbieten. Zu nennen wären da vor allem Talend, Pentaho, Jaspersoft und Jedox. In diesem Fachbuch geht es um diese - im Vergleich zu den etablierten Anbietern - "kleinen" und kostengünstigen Lösungen und ihre Leistungsfähigkeit. Man bekommt einen Überblick über die Leistungsfähigkeiten, Chancen und Risiken von Open Source Lösungen.

Das Buch ist so aufgebaut, dass nicht jedes Kapitel aufeinander aufbaut und man so gleich zu den interessanten Stellen springen kann. Man kann alternativ aber auch das Buch von vorne durchlesen. Nach einem Einführungskapitel mit Grundlagen zu Business Intelligence und Open Source folgt ein Kapitel über die Architektur und darauf dann Praxisbeispiele der verschiedenen Lösungen. Vorgestellt werden Talend Open Studio (ETL), die BI-Suiten von Jaspersoft, Pentaho und Palo Suite von Jedox und Data Mining mit dem RapidMiner. Das Buch schließt ein Kapitel zum Thema Markt und Trends.

Das Buch gibt einen guten Überblick über die vorhandenen Technologien und Architektur, Stärken und Schwächen der Anbieter, sowie die kommenden(?) Trends (massive Parallalelität durch GPUs) und natürlich die Geschäftsmodelle der Open Source Anbieter, denn offener Quellcode heißt nicht automatisch kostenlos. Das stimmt vor allem dann, wenn man weitergehende Funktionalitäten benötigt oder Beratungs- bzw. Wartungsverträge abschließt.

Dabei wird das Thema eher von der praktischen Seite von verschiedenen Autoren behandelt, was leider zu teilweisen Überschneidungen führt. Dennoch kann das Buch einen guten Einblick in das Thema vermitteln. Durch die umfangreichen Quellenangaben findet man auch leicht weiterführende Literatur. Das umfangreiche Thema sorgt leider dafür, dass nicht alle Aspekte der Business Intelligence betrachtet werden können (natürlich), das Thema Datenbanken und auch Berechtigungs- und Sicherheitsaspekte kommen mir etwas arg kurz angeschnitten vor und auch die Beschreibungen der Tools sind natürlich auf bestimmte Versionen beschränkt, die mittlerweile schon wieder veraltet sein könnten. Nachdem ich nun einen Einblick in Open Source Business Intelligence habe, fehlt mir persönlich jetzt nur noch der Vergleich zu den kommerziellen Anbietern. Wo liegen da Stärken, was sind Schwächen?

Am 8.12 findet der disjährige Open Source Business Intelligence Day statt. Das wird von meinem Arbeitgeber organisiert und da werde ich diesmal auch dabei sein. Es verspricht ein spannendes Programm zu werden. Mich interessiert vor allem, wie sich die OpenSource Lösungen im Vergleich zu den etablierten, kommerziellen Lösungen ausnehmen, die ich bisher hauptsächlich kenne. Ich bin gespannt.

Wem ist das eigentlich noch nicht passiert?

Man tippt shutdown -h now und merkt 2 Sekunden später, dass man das im falschen Terminal eingetippt hatte. Nun kann man versuchen zu canceln, aber ich wette, das fällt einem erst zu spät ein. Abhilfe schafft molly-guard:

Molly-guard legt in /usr/bin/ die Scripte poweroff, halt, reboot und shutdown an. Diese Scripte prüfen können verschiedene Prüfungen übernehmen (u.a. den Hostnamen prüfen). Und erst wenn alle Bedingungen erfüllt sind, rufen sie die "echten" Befehle in /sbin aus. Man kann leicht weitere Prüfungen hinzufügen, in dem man passende Scripte in /etc/molly-guard/run.d/ wirft.

Dies funktioniert aber nur, wenn /usr/sbin wirklich vor /sbin im Pfad kommt.

Ich schätze das Bild von Bob Marley, dass sich aus Hunderten kleinen Bildern zusammen setzt, kennt mittlerweile jeder. (Link zu Flickr).

Möchte man sowas selber mal ausprobieren, dann kann man dazu metapixel von Mark Probst verwenden. Damit das einigermaßen gut funktioniert, sollte man ein hinreichend großes Archive besitzen. Mit einigen Hundert Bildern wird das aber nicht unbedingt erfolgreich funktionieren.

Zunächst muß man sein Bilderarchiv indizieren lassen. Dafür bietet sich das Script metapixel-prepare an. Es durchsucht den angegebenen Ordner nach jpg, png und gif Dateien und speichert diese als Minibilder (Thumbnails) an einem angegeben Ort ab und speichert zusätzlich Metainformationen über jedes Bild in der Datei tables.mxt

Damit werden alle Bilder aus /mnt/Bilder analysiert und im Format 60x60 unter /mnt/temp/mosaik abgespeichert. Das kann eine ganze Weile dauern. Mit meinem lokalen Fotoarchiv hat das eine gute halbe Stunde gedauert um 6800 Bilder zu analysieren. Ich habe mit Absicht die Minibilder kleiner gemacht, damit nachher mehr von diesen kleinen Bildern zu einem großen Bild zusammengefügt werden können. Der Default sind 128 mal 128 Pixel. Wenn das resultierende Bild gedruckt werden soll, mag diese Auflösung gut sein, mir persönlich waren die Ergebnisse am Monitor in dieser Größe jedenfalls noch zu grob.

Als Beispiel Bild hab ich folgendes ausgesucht:


Damit das Mosaikbild später noch besser wirkt, habe ich es nochmal kräftig hochskaliert auf 4500 mal 6000 Pixel.

Nun kann es losgehen. Man gibt metapixel das Ausgangsbild vor und es versucht daraus ein Mosaikbild zu erstellen.


Damit wird ein normales Mosaikbild aus /mnt/Bilder/Moewe.jpg erstellt mithilfe aller Minibilder, die in /mnt/temp/mosaik erfasst wurden. Das Ergebnis sieht folgendermaßen aus:


Wenn das Ergebnis noch nicht zufriedenstellend ist, kann man mit den verschiedenen Optionen von metapixel noch einiges rausholen.

Zunächst kann man anstelle eines Mosaiks eine Collage erstellen. Dabei dürfen sich die Minibilder überlagern.
Das funktioniert so:

Dabei kommt dann sowas raus:


Wenn das immer noch nicht zufriedenstellend ist, kann man auch schummeln und das orginal Bild überlagern lassen. Passenderweise heißt die Option auch gleich --cheat In dem folgenden Beispiel wurde das Orginalbild mit 80% überlagert.



Mit der Option --antimosaic kann man auch ein normales Mosaik aus dem Bild erzeugen:

Achtung die Option --library darf hier (entgegen der Angabe der Dokumentation) nicht angegeben werden. Mit der Option -f 2 wird festgelegt, dass zwischen 2 gleichen Minibildern mindestens 2 andere liegen müssen.
Das Ergebnis sieht dann so aus:


Wenn man verhindern will, dass Minibilder doppelt verwendet werden, kann man die Option --search=global verwenden. Damit darf jedes Bild maximal einmal im Mosaik vorkommen. Der Autor warnt aber vor der Verwendung der entsprechenden Option, da diese das System deutlich stärker belastet. Bei mir brach metapixel auch mit einem Fehler ab, als ich diese Option benutzen wollte.

Das ist echt ein super Programm. Ich bin begeistert. Der einzige Nachteil ist, dass man ein sehr großes Bilderarchiv benötigt, um richtig schöne Mosaikbilder zu genererieren.

He cool, ein Imageviewer für den Framebuffer.

Die Bedienung ist schlicht aber praktisch, inklusive einem Hilfemenü.

Noch ein Grund weniger, einen X-Server zu starten ;)

gefunden via freebsdnews

Wow,
piclens (Addon für Firefox) ist ja das Killerargument für den Firefox. Ansonsten benutz ich das speicherfressende Monster ja kaum noch, die 3er Version begeistert mich bisher jedenfalls noch nicht sonderlich.

Ich bin ja sonst nicht so für Bildergalerien zu begeistern. Aber damit macht das echt Laune. Hoffentlich wird das öfter unterstützt. Und hoffentlich lädt das Plugin auch mal schneller, das ist ja auf einem etwas betagteren Rechner echt schnarchlangsam.

Den Hype um Flickr hab ich ja auch nie verstanden. So besonders fand ich das Portal nicht und zurecht gefunden hab ich mich dort eigentlich auch nicht. Aber mit piclens ist das eine komplett andere Erfahrung.

He cool,
Zak McKracken2 wurde gerade fertiggestellt. Als Fanprojekt, kostenlos verteilt, immerhin knapp 2 GB Daten.

Ich bin echt beeindruckt.

Letztens kam der Bedarf auf, ein FTP-Verzeichnis automatisch zu sichern auf einem anderen Rechner. Ich hab nicht groß gesucht, sondern einfach mal ein Perlscript geschrieben, weil ich ein bißchen Perl lernen wollte. Nun das Ergebnis findet sich jetzt hier.

Ich bin echt erstaunt, wie schnell man mit Perl sowas umsetzen kann, also hab ich noch ein paar Features hinzugefügt. Im Endeffekt, hat das, glaub ich ein paar interessante Funktionen (lokal verschlüsseln, lokal mehrere Versionen vorhalten und hardlinken, Backup per FXP gleich auf einem anderen ftp-Server speichern, exclude patterns..)
Selbst die passende Manpage war mit pod2man flink erstellt und weil ich gerade dabei war, hab ich auch gleich ein passendes Debian-Paket erstellt.

Ich muß sagen, Perl macht Spaß ;)

Ach und die Perl Shell find ich auch lustig.

Das wußte ich noch gar nicht.
Man kann einen neues Fenster in screen aufmachen. Sogar wenn man sich gar nicht in der Screen-Session befindet.
z.B.
screen -t vim -S session_name -X screen vim ~/.vimrc
öffnet die vimrc in der screen-Session in einem neuen Fenster.

Man kann so z.B. auch aus einem Programm ein weiteres Programm in einer neuen Session öffnen. Vim und mutt kommen da infrage. Allerdings kann Vim ja Splitwindows und auch Tabs. Und mutt wartet auf das Ende des gestarteten Programms, so dass es auch dort kaum sinnvoll ist. Man kann da mit mutt_bgrun was scripten, aber was einfaches wie den Editor für neue Mails zu starten ist damit trotzdem nicht möglich.

Für den Konsolen RSS-Reader newsbeuter kann man das aber z.B. nutzen, wenn man Links auf Websites lieber in einem neuen Fenster öffnen will. Man muß das ganze trotzdem noch in ein Shell-Script wrappen, um die übergebene URL zu quoten.

Man schreibe also ein einfaches Shell-Script z.B. screen_w3m.sh in ~/bin

und setze dann in der newsbeuter Konfigurationsdatei
browser ~/bin/screen_w3m.sh
und schon werden alle Links in einem neuen w3m Fenster geöffnet.

Es gibt verschiedene KDE4 - Live CDs.
Bei KDE gibt es eine Live-CD und Debians KDE-Team bietet auch eine Live-CD an.
Also runterladen und dann mit qemu testen:
qemu -cdrom debian-kde4beta-live-cd-i386.iso
Nach dem starten dann einloggen als user, passwort live

Ok, hier noch die obligatorischen Screenshots:




Okay, man kann natürlich die Live-CD innerhalb einer virtuellen Maschine starten. Quasi eine virtuelle Maschine innerhalb einer virtuellen Maschine. Da braucht man aber sehr viel Geduld. Ist aber eine blöde Idee:

Ach sieh an, man arbeitet doch wieder an archivemail. Gestern wurde Version 0.7.1 veröffentlicht, nachdem vorher fast 1 Jahr gar nichts passiert ist.
Ein paar Verbesserungsvorschläge hätte ich da noch.

Aber vielleicht wird man ja jetzt wieder mehr daran arbeiten und ein paar Verbesserungen aufnehmen.

Da ist es also, das neue Gimp. Die Releases Notes beschreiben die Änderungen. Neben optischen Verbesserungen (neue Icons, Verbesserungen in der Usability) gibt es auch ein Freistellungstool, Color-Management Support, Verbesserungen beim Zuschneiden, ein automatisches "Rote-Augen" - Tool und vieles weitere.

Ich bin mal gespannt, wie gut man damit dann arbeiten kann.

Ach ja, in Debian unstable ist doch tatsächlich schon gim2.4 enthalten. Nicht schlecht.