Hadoop is software waarmee hele grote hoeveelheden ongestructureerde gegevens verwerkt kunnen worden op gewone Pc’s die in een groep samenwerken. In dit geval wordt zo’n groep ook wel een cloud genoemd.
De basis voor Hadoop zijn MapReduce van Google en het Google Bestands Systeem (GFS). GFS is echter geen open source, dus heeft men een eigen versie ervan gemaakt, HDFS (Hadoop Distributed File System).
Distributie in deze context betekent het verdelen van gegevens en bewerkingen over heel veel computers, die zich geografisch gezien niet eens op één locatie hoeven te bevinden. Hadoop wordt gebruikt door onder andere Amazon, Adobe, Ebay, Facebook, Fox, Google, IBM, Last.fm, Microsoft, SARA, Spotify, StumbleUpon, Twitter en Yahoo!
Hadoop wordt gemaakt door de samenwerking tussen vele vrijwilligers (hobbyisten) en bedrijven, geleid door de Apache Software Foundation (ASF). De ASF is geen hobbyclubje – er werken ongeveer 60 mensen aan de begeleiding en de logistiek van open source software, aan zaken zoals copyright en intellectueel eigendom, aan het organiseren van conferenties en lesmateriaal, aan marketing en reclame. En dat voor een non-profit organisatie die gesponsord wordt door de leden (en niet door het verkopen van software).
De ASF produceert meer dan 100 bedrijfskritische open source programma’s, zoals CouchDB, Lucene/Solr, SpamAssassin, Xerces en Tomcat. Meer dan de helft van alle websites in de wereld draait op Apache, de webserver van de ASF, en de kans dat u open source software gebruikt zodra u een voet op Internet zet is 100%. De gewone gebruiker merkt het niet eens, maar de profesionele IT-er hoort in ieder geval bekend te zijn met een aantal producten van de ASF. \
Vorige week kreeg ik van een IT’er weer eens te horen dat open source iets is voor hobbyisten. Ik krijg de indruk dat het belang van open source en de rol die het speelt in de globale economie op ons eiland zwaar onderschat wordt, zowel door IT’ers als door scholen en politieke partijen.
Wil je naar een kenniseconomie doorgroeien, dan zou open source prioriteit nummer 1 moeten zijn.
www.apache.org
bit.ly/LAbG6l
www.apache.org/foundation/thanks.html
Rens van der Hammen, journalist bij Radio Hoyer en later bij het Antilliaans Dagblad, vroeg me op 1 maart 2010 om zijn column 'Byte Me' over te nemen. Deze verschijnt elke week in de zaterdagbijlage van het Antilliaans Dagblad (de AD Wikent). Op 20 maart werd het eerste stukje geplaatst.