Lead Developer und Architekt

Immer wachsende Datenmengen brachten die intelligente Suchlösung von Empolis an ihre Grenzen, da diese in den frühen 2000er Jahren nicht auf eine beliebige Skalierung ausgelegt war.

Daher wurde von mir eine komplett neue Architektur für die kommenden Big Data Herausforderungen entworfen und implementiert.

Inspiriert von dem im selben Jahr erschienenen Dynamo Paper wurde die Architektur konsequent auf Hochverfügbarkeit, Performanz und beliebige Skalierbarkeit ausgelegt.
Neben der Hashring basierten Persistenz wurden ein skalierendes verteiltes Jobmanagent für Batch Verarbeitungen, Map-Reduce, der Lambda-Architektur-Stack für Echtzeitsuchen, etc. implementiert.

Die Verfahren haben ihren Fokus im Bereich der Textanalyse, und intelligentem Retrieval sowie Machine-Learning und sind sehr flexibel mit einer Script-Sprache (Lua) anpassbar.

Aufgaben

• Konzeption einer Infinite-Scale-Clusterarchitektur
• Implementierung mehrere Big-Data Architekturansätze (Map/Reduce, Lambda, NoSQL) in C++ und Java
• Integration linguistischer Verfahren
• Konzeption einer DSL auf Basis von Lua
• Agile Transformation nach Scrum

Eingesetzte Qualifikationen/Technologien/Methoden

• Big Data Architektur
• Konzeption (IT)
• C++, Java, Lua
• Machine Learning, MapReduce
  -Verteilte Systeme
• Scrum