Back to top

Rückblick auf Suche und Big Data-Analyse 2016

Unsere 7 Highlights des Jahres

Suche und Big Data-Analyse haben sich in den letzten Jahren enorm entwickelt. Anfang 2016 haben wir vorausgesagt, dass maschinelle Lernverfahren und Suchmaschinen-Scoring die wichtigsten Entwicklungen in diesem Bereich erfahren würden. Über das Jahr 2016 hinweg haben wir einige Entwicklungen beobachtet, in verschiedenen Projekten, in die wir involviert waren. Diese Erkenntnisse haben wir auch durch ein besseres Verständnis der Erwartungen unserer Kunden an datengestützte Anwendungen gewonnen. Im Folgenden einige Highlights, die sieben beliebtesten Themen und Diskussionen, die uns durch das ganze Jahr begleitet haben.

open-source.png1. Der Aufstieg von Open-Source

Wir haben in zahlreichen Nutzungsfällen gesehen, dass Open-Source-Technologien immer mehr zur ersten Wahl wurden, für die traditionelle Unternehmenssuche oder Log-Analyse, die Suche im E-Commerce und sogar für die Dokumentensuche im Regierungskontext.

Daten belegen, dass die Suchmaschinen des Open-Source-Bereichs signifikant an Beliebtheit zugelegt haben. Gemäß DB-Engines sind Elasticsearch und Solr – zwei Open-Source-Suchmaschinen, die auf Lucene aufbauen – ganz oben auf der Liste der führenden Suchmaschinen, sowohl kommerziell als auch Open-Source. Falls Sie mehr erfahren wollen, wie diese beiden Suchmaschinen im Vergleich abschneiden: Wir haben in diesem Blog einen detaillierten Vergleich der Funktionen und Einschränkungen von Elasticsearch und Solr angestellt.

Werfen wir einen Blick auf einige Beispiele, die diesen Punkt belegen.

Im kommerziellen Bereich ist Splunk seit langem der Marktführer für Log-Analyse in Unternehmen. In letzter Zeit gab es aber immer mehr Bewegungen hin zu Open-Source und dem Elastic Stack. Einer unserer Kunden löste die Frage für sich durch eine Migration der Anwendung für die Log-Analyse zum Elastic Stack und erreichte damit signifikante Kosteneinsparung bei gleichzeitig gesteigerter Umwandlung und Flexibilität. Wenn Ihr Unternehmen die Vor- und Nachteile von Elastic Stack und Splunk für die Log-Analyse abwägt, haben wir hier auch ein hilfreiches vergleichendes Blog.

Im öffentlichen Sektor haben wir stolz ein verbessertes govinfo.gov gestartet (Englisch) – ein öffentliches Informationsportal des US Government Publishing Office (GPO). Hierbei haben wir eine Migration von einem proprietären Legacy-System hin zu Solr vorgenommen, einer weiteren Open-Source-Suchmaschine. Die neue Plattform bietet dem GPO mehr Funktionen, mehr Flexibilität und gleichzeitig auch Kostenersparnisse.

gsa-discontinued.png2. Das Ende der Google Search Appliance

Anfang 2016 hat Google bekannt gegeben, dass die Unterstützung für die Google Search Appliance im März 2019 auslaufen wird. Grund ist der strategische Ansatz, das Geschäft hin zu einer cloudbasierten Plattform zu verschieben. Seitdem mussten sich viele GSA-Nutzer nach einem Ersatz für ihre GSA umsehen. Wir haben unsere Kunden über alle Neuigkeiten von Google auf dem Laufenden gehalten und gleichzeitig vielen geholfen, sich auf ihre Migration von der GSA weg vorzubereiten und diese nahtlos zu implementieren. 

Wenn auch Sie die GSA nutzen und noch nach der passenden Strategie für die Migration suchen oder die Lösungen evaluieren, die als Ersatz in Erwägung kommen, können Sie unser E-Book Top 10 Kriterien für die Auswahl Ihres Ersatzes für die GSA als Anhaltspunkt und Hilfe nutzen.

data-lake.png3. Unternehmens-Datenseen

Unternehmen verfügen über große Mengen Daten, der Schlüssel zum Erfolg ist es aber, wie diese genutzt werden, um Einblicke zu gewinnen. Unternehmens-Datenseen (oder Unternehmens-Datenhubs) sind hierbei der letzte Schrei, sie sammeln verschiedene Datensilos und machen die richtigen Daten dem richtigen Nutzer zum richtigen Zeitpunkt verfügbar. Aber wie genau funktioniert das?  

In Datenseen liegen zahlreiche strukturierte und unstrukturierte Daten vor. Suchmaschinen sind die idealen Hilfsmittel, um diese Daten zu speichern, zu verarbeiten, auf diese zuzugreifen und sie zu präsentieren, weil Suchmaschinen schemafrei arbeiten und auf Milliarden Datensätze skaliert werden können. 

Die Möglichkeiten der Datenseen zu Suche und Analyse sind nahezu unbeschränkt, wenn Suchmaschinen, Hadoop und Dashboards für die Visualisierung kombiniert werden. Es ergeben sich Nutzungsfälle wie:

  • Bioinformatik – bietet den Geschäftsbenutzern Zugriff auf die Daten in nahezu Echtzeit und steigert die Sichtbarkeit der Prozesse bei Produktion und Forschung.
  • Agrikultur – steigert die Produktivität der Agrikultur durch Predictive Analytics, basierend auf Millionen Datensätzen historischer Vergleichsdaten.

In einem kürzlich abgehaltenen Webinar zu Unternehmens-Datenseen hat unser leitender Architekt dieses Thema im Detail besprochen und durch eine Live-Demo und Anwendungsbeispiele unserer Kunden hinterlegt. Das On-Demand-Webinar können Sie hier sehen (Englisch).

precision-medicine.png4. Präzision für die Medizin

Wie sehr könnten das Gesundheitswesen und Forschungseinrichtungen wohl davon profitieren, wenn eine übersichtliche Forschungsanwendung ihnen klinische Daten, Genomdaten und Literatur integriert und visualisiert anbietet, eingebettet in eine webbasierte Schnittstelle, welche es dem Forscher ermöglicht, fachbereichübergreifende Forschung einzusehen und phänotypische Daten mit Genomdaten zu hinterlegen? Genau das haben wir für eine Forschungseinrichtung an der Westküste der USA geschafft. Das intelligente Teilen der chromosom-basierten Daten hat zu einer substanziellen Steigerung der Leistung geführt, verglichen mit früheren Versuchen, ein solches System zu erstellen.

Die Infrastruktur, die hinter dieser Anwendung steckt, basiert auf einer Suchmaschine (Solr) und nutzt Clouderas Big Data-Plattform zusammen mit modernen Web-Technologien für die Benutzerschnittstelle.

Die beliebtesten Softwarepakete für die Forschung wurden lange vor dem Aufkommen der neusten Big Data-Technologien entworfen und entwickelt. Daher ist es für Unternehmen im Bereich des Gesundheitswesens und der medizinischen Forschung oft schwer, Werte aus dem wachsend überfluteten Pool der Daten der Genomforschung zu ziehen, der durch die immer kostengünstigeren Möglichkeiten der Sequenzierung immer schneller anwächst.

  • Unsere gerade entwickelte Anwendung hilft den Forschern dabei:
  • Strukturierte Daten zu analysieren und visualisieren
  • Genomannotationsdaten über Volltextsuche zu durchsuchen
  • Sicherzustellen, dass der Kunde leichter Fördermittel gewinnen kann, um diese Heilmittel zu erforschen und zu entwickeln

engine-scoring.png5. Suchmaschinen-Scoring

Die Analyse statistisch relevanter Bewertungen hilft dabei, die Relevanz von Suchmaschinen mit der Zeit zu steigern. Obwohl diese Methode Geschäftswerte und Profit signifikant steigern kann, setzen derzeit nur wenige Unternehmen ein solches Suchmaschinen-Scoring ein, bzw. nur wenige setzen es effektiv ein.

Wir können belegte Erfolge nachweisen, die durch die Nutzung neuer, besserer Algorithmen für den Scoring-Vorgang entstanden sind. Es handelt sich hierbei also um eine solide Technologie, die auch in den kommenden Jahren im Bereich Suche und Big Data noch weiter an Bedeutung gewinnen wird.

Für einen ersten Eindruck, wie man damit anfangen kann, oder wie Suchmaschinen-Scoring die Suchgenauigkeit verbessern kann, können Sie unser On-Demand-Webinar und unsere Live-Demo hier ansehen (Englisch).

regulatory-compliance.png6. Compliance für gesetzliche Vorschriften 

Im heutigen digitalen Zeitalter bieten Daten einen wahren Schatz von Einblicken in Unternehmen. Gleichzeitig stellt das enorme Volumen der Daten auch Herausforderungen an die effektive Verwaltung und Nutzung dieser Daten. In vielen Unternehmen ist es von kritischer Bedeutung, die Daten transparent zu halten, nicht nur für den Erfolg des eigenen Unternehmens, sondern auch, um die Anforderungen strikter Branchennormen einzuhalten.

So gibt es etwa im Bereich der Finanzdienstleistungen rechtliche Anforderungen, Daten für eine bestimmte Zeit aufzubewahren und verfügbar zu halten. Daher müssen Finanzdienstleister oft beträchtliche Kosten in Kauf nehmen, um ausreichende Datentransparenz zu bieten, um so die Compliance hinsichtlich der zahlreichen Anforderungen einhalten zu können.

Sehen Sie in diesem Video, wie wir Technologien der Suche und des Big Data eingesetzt haben, um eine Plattform der Compliance für Regierungsauflagen für einen großen Finanzdienstleister zu erstellen.

personalization.png7. Die Personalisierung der Suche

Wie man schon bei Google, Cortana, Siri und ähnlichen Assistenten sieht, wird auch die Suche zu immer mehr als nur einem reinen Abgleich von Stichwörtern. Wir kommen in ein Zeitalter der Personalisierung der Suchergebnisse. Suchmaschinen werden immer mehr zu persönlichen digitalen Assistenten, oder wie Gartner sie bezeichnet, Insight Engines. Dieser Trend wird überhaupt erst durch die Technologien der Big Data-Analyse, wie maschinelle Lernverfahren und Predictive Analytics, ermöglicht. Aktuell durchzieht dieser Trend die moderne Geschäftswelt in zahlreichen Nutzungsfällen. Wir haben großartige Erfolge bei Kunden gesehen, bei Nutzungsfällen wie der Intranetsuche oder Suche im E-Commerce, bei Personaldienstleistungen, medizinischer Forschung, Medien und Publishing und in vielen anderen Bereichen. 

  • Erfahren Sie mehr über einige der beliebtesten Nutzungsfälle
  • Lesen Sie mehr darüber (Englisch), wie wir Suche und Big Data genutzt haben, um diese Insight Engines zu erstellen 

Durch den Aufstieg von Open-Source, die massiven Mengen strukturierter und unstrukturierter Daten und dem Bedürfnis nach komplexer Analyse ist die Suche immer mehr zu einem integralen Bestandteil der Big Data-Revolution geworden. Dies zeigt sich immer wieder in den aufregenden Erfolgsgeschichten unserer Kunden, die durch Suche, Big Data und Analyse gefördert werden. Für 2017 erwarten wir einen weiteren Anstieg von Nutzungsfällen, in denen Suche und Big Data gemeinsam genutzt werden. Oder, wie unser leitender Architekt es ausgedrückt hat: Wir „bringen die Suchmaschinen in das Zeitalter der Aufklärung.“

0