Back to top

Vespa: Die Big Data-Analyse über Open Source begrüßt den neusten Mitbewerber

vespa big data analytics platform overview

Die Branche der Suche und Big Data-Analyse zeichnet sich durch schnelle Änderungen und ständige Innovationen aus, daher behalten wir den Markt ständig im Auge, um Neuerungen und Trends sofort zu erkennen. Schon früh im letzten Jahr haben wir den Aufstieg von Open Source und die Annäherung von Suche und Big Data als zwei der treibenden Kräfte der Branche ausgemacht. Dies wurde später im Jahr bestätigt, als Oath, ein Unternehmen von Verizon, im September ankündigte, Vespa als Open Source freizugeben – eine leistungsfähige, aber weitgehend unbekannte Suchmaschine mit Big Data-Verarbeitung (die zufälligerweise denselben Namen trägt wie der bekannte italienische Motorroller). Sie kann über GitHub heruntergeladen und getestet werden.

Der Hintergrund hinter Oath ist recht interessant, falls noch nicht bekannt. Oath, ein Unternehmen von Verizon, wurde durch die Übernahme von AOL und Yahoo gebildet, das Team bestand aus Experten der verschiedenen Technologien, alle mit langjähriger Erfahrung. Noch unter dem Markennamen Yahoo wurde Vespa entwickelt und eingesetzt für „Yahoo.com, Yahoo Nachrichten, Yahoo Sport, Yahoo Finanzen, Yahoo Gemini, Flickr und andere – um jeden Tag Milliarden Anforderungen zu Milliarden Dokumenten zu verarbeiten und Ergebnisse zu liefern, während gleichzeitig Suchabfragen beantwortet, Empfehlungen ausgesprochen und personalisierter Content und personalisierte Werbung angezeigt werden“ (Oath). Eine weitere interessante Tatsache: Wussten Sie schon, dass der Mitbegründer von Hadoop, Doug Cutting, noch bei Yahoo arbeitete, als er das Hadoop-Projekt startete?

Aber wenn auf dem heutigen Markt schon eine Unzahl von Werkzeugen und Plattformen für die Big Data-Analyse verfügbar sind, welchen Mehrwert kann Vespa da noch bringen? Hier unsere ersten Beobachtungen:


1.  Eine Frage könnte sein: „Inwiefern unterscheidet sich Vespa von den auf Apache aufbauenden Werkzeugen, vor allem Hadoop?“ Wie von Oath angegeben: „Entwickler können den Hadoop-Stack nutzen, um Big Data zu speichern und in Batchprozessen zu verarbeiten, und Storm, um Daten im Stream zu verarbeiten, aber diese Technologien bringen die Resultate nicht zum Endnutzer.“ Vespa schon. Daher kann es eine ergänzende Technologie zu Hadoop sein: Hadoop verarbeitet massive Datenmengen, während Vespa die Benutzererfahrung des Endnutzers optimiert, indem die Herausforderungen der Skalierbarkeit und Geschwindigkeit bei der Lieferung von Resultaten in Echtzeit gelöst werden.


2.  „Vespa hört sich doch sehr nach einer Suchmaschine an“ – könnte man denken. Das stimmt, weil jede Big Data-Anwendung eine gute Suchmaschine haben sollte, zur Unterstützung im Hintergrund. Aber Vespa ist nicht nur eine Suchmaschine, sondern auch eine Plattform der Big Data-Analyse. Oath zeigt damit, dass die Technologie mehr kann als eine reine Suchmaschine. Und das bringt uns zum nächsten Punkt ...


3.  In der sich entwickelnden Welt der „Insight Engines“ und „kognitiven Suche“ findet Vespa als Plattform der Big Data-Analyse seinen Platz immer dort, wo im modernen Unternehmen mehr gebraucht wird als eine traditionelle Suche über große Contentmengen, um intelligente Antworten wie Empfehlungen und Personalisierung zu bieten. In dieser Hinsicht kann Vespa eine sinnvolle Ergänzung zu Technologiestacks der Big Data-Analyse sein, sowohl Open Source als auch kommerziellen Angeboten. Die Möglichkeit, schnell zu skalieren, zu verarbeiten und dem Endbenutzer den richtigen Content zu liefern kann in vielen Einsatzbereichen, mit denen wir schon zu tun hatten, nützlich sein. Beispiele dafür sind Empfehlungsdienste, Search and Match bei Personaldienstleistungen, Präzision in der Medizin, Präzision in der Landwirtschaft und sogar noch komplexere, durch Verarbeitung natürlicher Sprachen unterstützte Anwendungen wie Chatbots oder digitale Assistenten. 


4.  „Gut, aber wie ist die Leistung von Vespa verglichen mit anderen Technologien?“ Zu den kommerziellen Alternativen gehören ähnliche Produkte wie IBM Streams und Pachyderm. Im Bereich Open Source fallen direkt Kandidaten wie Elasticsearch und Solr ein. Wenn man einen schnellen Überblick sucht, bietet Oath eine Vergleichstabelle, in der Vespa mit Elasticsearch und relationalen Datenbanken verglichen wird. Man sollte aber immer bedenken, dass solche Tabellen und Beschreibungen nur einfache Richtlinien sind. Wir erinnern unsere Kunden immer daran, dass es keine objektiv „beste“ Plattform gibt – es kommt immer auf den Einsatzzweck an, die Branche, die Systeme und die Benutzeranforderungen. Oft kann ein benutzerdefinierter Stack verschiedener Werkzeuge die praktischste Lösung darstellen. Da Vespa jetzt Open Source ist, bietet sich das Potenzial, weiter zu forschen und zu entwickeln, um weitere, neue Einsatzbereiche zu erschließen.


Vespa steht als Werkzeug der Big Data-Analyse noch am Anfang und es ist noch unklar, wie stark die Technologie von Unternehmen genutzt werden wird. Aber durch den Fokus auf dem Endbenutzer verbunden mit der Erfahrung aus dem dynamischen Yahoo-Ökosystem kann Vespa zu einem einflussreichen Mitbewerber werden, der sich den bestehenden Akteuren des Big Data-Marktes stellen kann. Es besteht Potenzial, Suche und Content-Analyse sowohl für Unternehmensnutzer als auch Endkunden zu transformieren. 

0

Wir freuen uns, bekannt zu geben, dass wir jetzt Teil von Accenture sind! Lesen Sie die Ankündigung hier.