Back to top

Suche und Big Data sind von entscheidender Bedeutung

“Google for the enterprise.”

Von Paul Nelson, leitender Architekt bei Search Technologies

"Google fürs Unternehmen."

...ist schon seit 2008 unser Wahlspruch für die unternehmensweite Suche, seit wir unseren Schwerpunkt auf Suchmaschinen für Unternehmen gelegt haben. Was wir damit meinen, ist, dass wir eine Suchfunktion für alle Ressourcen des Unternehmens bieten, die dem Benutzer wie eine Suche bei Google vorkommt.

Scheint doch sinnvoll, oder? Google ist ja schließlich der Maßstab für die Suche schlechthin, warum sollte man also nicht allen Mitarbeitern eine Suchfunktion dieser Qualität bieten.

In den letzten Projekten, die wir für unsere Kunden geleitet haben, ist jedoch immer wieder klar geworden: Wir können das noch besser.

Genau genommen ist "Google fürs Unternehmen" nicht einmal ein passender Vergleich dafür, was Unternehmen wirklich brauchen. Schafft man damit Umsatz? Erkennt man damit Verschwendung und reduziert Ausgaben? Ja, natürlich, aber der ROI ist nur gering und der Bezug zum Profit nur indirekt.

Was genau macht Google eigentlich aus? Google ist eine Suchmaschine, entworfen für die breite Öffentlichkeit, zur Verwendung durch unbedarfte Nutzer, die im Internet nach Websites suchen.

  • Sind die Nutzer in Unternehmen auch unbedarft? – Nein
    • Es sind anspruchsvolle, hochqualifizierte Angestellte, die wichtige Funktionen des Geschäfts ausüben.
  • Müssen Unternehmen nach Websites suchen? – Ja, aber die Suche nach Geschäftsdaten ist deutlich wichtiger
    • Nur ein kleiner Bruchteil der Daten innerhalb des Unternehmens liegt in Websites.
  • Wo befinden sich die meisten Daten?

1. In großen Content Management Systemen und

2. Im Data Warehouse.

  • Benötigen Unternehmen nur gelegentliche Nutzung? – Nein
    • Nicht, wenn die Suche Teil der zentralen Geschäftsfunktionen ist und hilft, Profit zu generieren und Ausgaben zu reduzieren. 

 

VON DOKUMENTEN ZU GESCHÄFTSDATEN

Zu Anbeginn der Suche haben textbasierte Suchmaschinen immer "nach Dokumenten gesucht". Die ersten Anwendung waren für Anwälte (frühes eDiscovery) und Publizisten (akademische Publikationen und Nachrichten) entworfen.

Daher war es nur natürlich, dass die Ersteller von Suchmaschinen zu den Unternehmen gegangen sind und gefragt haben:  "Nach welcher Art von Dokumenten wollt ihr suchen?"

In Unternehmen gibt es natürlich viele verschiedene Dokumente, nach denen gesucht werden kann, wie etwa Marktforschung, Produktforschung, Memos, Berichte, Ausschreibungen, Leistungsbeschreibungen, Richtlinien und Verfahrensweisen, Nachrichten des Konzerns und dergleichen mehr. Also waren die Ersteller der Suchmaschine froh. "Wir haben hier so viele Dokumente, nach denen wir suchen können", sagten sie. "Lasst uns ein paar Dokumente suchen gehen."

Und dabei bemerkten sie gar nicht, dass sie von Anfang an die falsche Frage gestellt hatten. Man hätte eigentlich fragen müssen:

"Wie können wir helfen, die Geschäftsdaten so zu durchsuchen, dass mehr Profit dadurch entsteht?"

Aha! So langsam kommen wir näher. Sobald man diese Frage stellt, bekommt man gleich viel interessantere Antworten:

  • "Wenn wir unsere Produktionsdaten durchsuchen könnten, um Abweichungen zu finden und damit Probleme schneller zu lösen, würden wir weniger Fehlprodukte herstellen und damit viel Geld sparen!"
  • "Wenn wir unsere Vertriebsdaten nach Trends, die wir ausnutzen können, durchsuchen könnten, könnten wir viel mehr Produkte absetzen!"
  • "Wenn wir die Versicherungsfälle nach Betrugsfällen durchsuchen könnten, könnten wir die zu bezahlenden Raten senken!"
  • "Wenn wir unsere Laboraufzeichnungen nach Medikamentenindikationen durchsuchen könnten, könnten wir neue Produkte entwickeln!"
  • "Wenn wir Arbeitstickets nach häufigen Problemen (oder häufigen Materialausfällen) durchsuchen könnten, könnten wir Probleme lösen, ehe sie entstehen, oder ehe sie zu kostspielig werden!"

Das macht schon was her. Auf einmal hat die Suche jetzt eine substanzielle und direkte Auswirkung auf den Profit:  "Betrug aufdecken", "Ausschuss verringern", "mehr Produkte absetzen", "neue Märkte erkennen", "neue Produkte entwickeln" usw.

 

DATENSURFEN - LEBENSLANGE ERFAHRUNG

Wir haben dieses Konzept bei einem führenden Versicherungsunternehmen für Arbeitnehmer-Entschädigung direkt in der Praxis ausprobiert. Es war eine bereichernde Erfahrung, sozusagen, als wir die Suchfunktion für Daten in Ansprüchen der Gesundheitsvorsorge aktivierten.

Man spricht immer davon, dass wir "im Internet surfen". Aber ist Google anklicken und ein paar Websites ansehen wirklich "surfen"? Im Vergleich zum echten Surfen auf Hawaii etwa erscheint das Klicken durch die Websites doch eher wie wirres Hüpfen in kleine Pfützen auf der Straße, als wie echtes Surfen.

Wir hatten jetzt aber auf einmal die Erfahrung einer echten Suchanwendung für Geschäftstransaktionen, und das war tatsächliches digitales Surfen. Unmengen von Daten direkt durch einen Klick erreichbar, Diagramme, Darstellungen, Tabellen, Filter, Facetten und Ergebnislisten, alles dynamisch aktualisiert durch nur ein paar Klicks oder das eine oder andere Stichwort. Unglaublich. Man fühlt sich wie der sprichwörtliche Zauberlehrling.

Und wie ein echter Surfer. Man springt geradezu auf das Surfboard und die Wellen tragen einen hinfort.

Nicht wirklich das, was man eigentlich im Büro eines Versicherungsunternehmens für Arbeitnehmer-Entschädigung erwartet!

 

BIG DATA UND SUCHE: EIGENTLICH DASSELBE

Big Data gibt uns die Möglichkeit, diese neuen Fragen zu stellen. Big Data bedeutet Skalierbarkeit. Skalieren zu sehr großen Datenbanken, jenseits von dem, was SQL und traditionelle relationale Datenbanken leisten können. Dafür gibt es No-SQL. Nicht, weil es leistungsfähiger wäre als SQL (ist es nicht), sondern wegen der Skalierbarkeit.

Und angefangen hat es mit Log-Dateien. Big Data ermöglicht es, dass wir Log-Dateien verarbeiten, um aus Milliarden Klicks wichtige Business Insight zu gewinnen. Jeder Klick, den ein Benutzer auf einer Website tätigt, liefert Informationen. Früher hätte man gefragt: "Passen die Windeln neben das Bier?" Jetzt fragen wir: "Klicken die Besucher auch auf das Bild der Windeln, nachdem sie auf unserer Website Bier eingekauft haben?"

Was machen wir, wenn Big Data eine spontane Abfrage benötigt? Man kann kein SQL verwenden, weil die Datenbank zu groß ist. SQL-Abfragen würden ewig dauern (die ganzen Verknüpfungen zerstören die Skalierbarkeit). Außerdem ist SQL nicht benutzerfreundlich für den Endnutzer.

Also kommt die Suche ins Spiel.

Die Suche bietet Skalierbarkeit, weil sie auf Datenbanken jeder Größe angewendet werden kann. In einem Projekt haben wir eine Milliarde Tweets an einem Wochenende indexiert und durchsucht (keine Übertreibung!). Für das System der Ansprüche in der Gesundheitsvorsorge haben wir mehr als 100 Millionen Rechnungszeilen (mit je mehr als 200 Feldern) in einigen Sekunden durchsucht und eine ganze Reihe Statistiken ausgegeben. Wir haben für verschiedene Kunden über die Suche Datenvisualisierungen erstellt, die Geschäftstransaktionen in Diagrammen, Tabellen und Zeitleisten anzeigen.

Wie bei No-SQL ist auch die Suche selbst nicht so leistungsfähig wie SQL, aber viel leichter zu verwenden. Und sie wird täglich leistungsfähiger, da immer fortgeschrittenere Query-Operatoren sowie Tools zur Datenanalyse und Visualisierung aufkommen.

Was bedeutet das für uns? Fortgeschrittene Query + Datenanalyse + Visualisierung, bei enormer Skalierung? Das hört sich doch sehr nach Geschäftsanalyse und Business Intelligence im Data Warehouse an. Big Data hat bereits den Fokus geändert und übernimmt das Data Warehouse. Immer mehr Anbieter für Big Data bieten vorbereitete Konnektoren für standardmäßige Data Warehouse-Systeme.

Und jetzt tritt auch die Suche in den Markt des Data Warehouse ein (vielen Dank, Big Data!) und bietet schnelle, spontane Abfrage und Analyse der rohen Geschäftsdaten.

Die Suche ist nun bereit, uns Antworten auf die wichtigen Fragen zu Geschäftsinhalten zu liefern und damit eine direkte Auswirkung auf den Profit zu bieten.

 

SUCHE FÜR GESCHÄFTSANALYSE UND BUSINESS INTELLIGENCE

Das folgende Diagramm zeigt, wie die Suche für Geschäftsanalyse und Business Intelligence verwendet wird:  

Big Data Suche

 Die wichtigsten Schritte in diesem Prozess sind:

 

DATEN SAMMELN – Daten aus den Geschäftssystemen einsammeln. Das schließt ein:

  • Konnektoren einrichten, die Daten aus Geschäftssystemen ziehen oder erhalten, darunter:
    • Daten aus dem Data Warehouse
    • Geschäftstransaktionen aus Logs
    • Arbeitsaufträge und Arbeitstickets
    • Gescannte Dokumentation (Rechnungen, Belege usw.)
    • Logs der Call Center und Kundentransaktionen
    • CRM-Transaktionen, Kommunikation und Kundenlisten im Vertrieb
    • Öffentliche Informationen (Watchlists, Nachrichten der Branche, Nachrichten und Transaktionen der Konkurrenz)
  • Verstehen und Einrichten des Sicherheitsmodells für die Daten (Dokument-ACLS, Gruppenmitgliedschaften der Benutzer und andere Sicherheitsrichtlinien)
  • Einrichten inkrementeller Updates, um die Daten synchron zu halten

 

VERARBEITEN – Wenn nötig, Daten verarbeiten, um sie durchsuchbar zu machen. Das schließt ein:

  • Tabellen in relationalen Datenbankmanagementsystemen denormalisieren, wenn für die Benutzerfreundlichkeit der Suche notwendig
    • z.B. JOINs in Felder mit mehreren Werten konvertieren
  • Aufzeichnungen aus mehreren Systemen zu Entitäten (360° Blick) kombinieren
    • Hierbei muss beachtet werden, dass die Sicherheitsbestimmungen sich mit den Daten entwickeln müssen. Daher müssen möglicherweise ACLs der Dokumente in Feld-ACLs umgewandelt werden, bei größeren, kombinierten Datensätzen.
  • Daten erweitern, wenn benötigt, um die Suche zu verbessern. Das kann umfassen:
    • Einfache Analyse:  Zusammenfassung der Anzahl, Gesamtsummen, Distanzberechnungen, Joins und Vergleiche
    • Komplexe Analyse:  Predictive Analytics (siehe unten), maschinelle Lernverfahren, Ausreißeranalyse, Red-Flag-Analyse, Extrahierung von Entitäten, Kennzeichnung von Stimmungen, latente Semantik, Kategorisierung (z.B. Kennzeichnung von Branchensektoren), Themenanalyse, kollaboratives Filtern (Analyse der Empfehlungen) usw.

 

ERFORSCHEN & ANALYSIEREN – Suchmaschinen mit Benutzerschnittstelle für Datenanalyse werden verwendet, um die Daten zu erforschen. Ziel ist es, sofort umsetzbare Einblicke zu gewinnen (Märkte, die verfolgt werden sollten, Produkte, die hergestellt werden sollten, Produktionsmittel, die überprüft werden sollten, Abteilungen oder Gruppen, die einem Audit unterzogen werden sollten usw.). Das schließt ein:

  • Individuelle interessante Datensätze auffinden und untersuchen, um ein tieferes Verständnis der zugrundeliegenden Daten zu erhalten
  • Cluster und Datentrends über Facetten und andere suchbasierte Analysemöglichkeiten (zusammenfassende Statistiken, Pivot-Tabellen, Heatmaps, Diagramme, Trendlinien usw.) erkennen
    • Solche Analysemöglichkeiten erfordern eventuell zusätzliche angepasste Operatoren für die Suchmaschine, um die geschäftsspezifische Analyse in einem Such-Framework zu implementieren.
  • Verschachtelte Suchen für komplexe Analysen und Vergleiche von großen Datensätzen verwenden
  • Die Ergebnisse verschiedener Suchen vergleichen, um Datenkorrelationen zu finden

 

VORHERSEHEN – Vorausschauende Analysen in großem Rahmen können als Batch im Big Data-Framework durchgeführt werden.

  • Einblicke aus dem Schritt Erforschen, die validiert wurden, können über maschinelle Lernverfahren in ein prognostizierendes Modell eingebaut werden.
    • Dieses nutzt Big Data, um automatisch Prognosen für alle Daten zu erstellen.
    • Prognostizierende Modelle können auch auf eingehende Daten angewandt werden, um direkt Geschäftsaktionen zu bestimmen, sobald diese eintreten.

+  Beispielsweise um potenziellen Betrug zu erkennen, bei dem umgehend Schritte unternommen werden müssen.

  • Die Prognosen werden zu den Entitätsdaten hinzugefügt und in der Suchmaschine gespeichert, für weitere Untersuchungen und Analysen.

 

BERICHT – Berichte und Diagramme werden direkt durch die Suchmaschine erstellt.

  • Diese können nach Bedarf in formelle Dokumente eingebunden und an die Geschäftseigner weitergeleitet werden. 

 

BUSINESS ANALYTICS IN WISSENSMANAGEMENT EINBINDEN

Zusätzlich zur Grundaufgabe der normalen Navigation unterstützt die unternehmensweite Suche auch das Wissensmanagement – die Verwaltung und Verteilung von Wissen, das im Unternehmen vorliegt.

Inzwischen kann man erkennen, dass das traditionelle Wissensmanagement – über die Suche – ausgedehnt wird, um neues Wissen über die Analyse der Daten von Geschäftstransaktionen zu schaffen:

 Big Data Suche

Auf die Art wird das "Wissensmanagement" zum Framework, über das die Mitarbeiter frühere Projekte nutzen und erweitern und daraus resultierende neue Einblicke in die Wissensbank des Unternehmens einbinden.

Durch tiefreichende Analyse der rohen Geschäftsdaten (Transaktionen, Vertriebsdaten, Produktionsdaten usw.) liefert das Wissensmanagement nun offensichtliche Vorteile für die Geschäftstätigkeit. Es fügt sich in das größere Ziel der kontinuierlichen Verbesserung ein und fördert Wachstum und Effizienz.

Die Suche bietet dazu den Verbindungspunkt. Sie dient als gemeinsame Schnittstelle zwischen der Analyse der Geschäftsdaten und der Suche nach Wissen (und dessen Wiederverwendung). Sie belohnt gutes Verhalten auf beiden Seiten.

Auch das Wissensmanagement wird auf diese Art für das Unternehmen von einem gerade mal nützlichen Hilfsmittel zu einem Geschäftsprozess von kritischer Bedeutung.

 

ABER ICH BRAUCHE IMMER NOCH EIN "GOOGLE FÜRS UNTERNEHMEN"!

Natürlich! Jeder braucht eine Schnittstelle wie bei Google, um durch die Daten und Ressourcen des Unternehmens zu navigieren. Dank der steigenden Konsumentenorientierung der IT erwarten Mitarbeitern und Führungskräften diesen Luxus.

Wir wollen auch gar nicht sagen, dass die einfache Suchnavigation keine Daseinsberechtigung mehr hat. Es ist nur so, dass sie inzwischen Teil eines größeren Geschäftsprozesses geworden ist. 

Wir bei Search Technologies haben die Vision einer Erweiterung der Suche, die alle Daten umfasst, die im Unternehmen vorliegen (strukturiert, unstrukturiert, Transaktionsdaten, Schriftliches, Log-Dateien, Produktionsdaten, Dokumentationen, Verfahrensweisen, Bilder, Videos usw.):

Suche und Big Data

Daher hat die traditionelle Suchschnittstelle, das einzelne Eingabefeld wie bei Google, jetzt mehrere Ziele:

  • Ziel 1:  "Dinge, die ich für meinen Job brauche" finden
  • Ziel 2:  "Dinge, von denen ich weiß, dass es sie gibt, und die ich jetzt brauche" finden
  • Ziel 3:  "Daten, die mir bei meinen Geschäftsanforderungen helfen" finden

Der letzte Punkt (Ziel Nr. 3) erweitert das traditionelle Suchfeld zu einem Hilfsmittel von kritischer Bedeutung. Wir sehen das Suchfeld "wie bei Google" nicht nur als einen Weg zum Ziel, sondern auch als Mittel zur Identifizierung von Datensätzen, die die Geschäftstätigkeit unterstützen und damit direkten Einfluss auf den Profit haben.

Das schließt ein:

  • Frühere Forschungsunterlagen finden, die meine Geschäftsanforderungen erfüllen
  • Datensätze bestimmen, die Daten enthalten, die analysiert werden können, um meine Geschäftsanforderungen zu erfüllen
  • Suche und Analyse für Geschäftsdaten bieten, um meine Anforderungen zu erfüllen

Auf diese Art wird die Google-ähnliche Suche zu einem Verteilungskanal für Geschäftsdaten an Mitarbeiter, um diesen zu helfen, konkrete Probleme zu bewältigen, sowie zum Startpunkt für die Analyse dieser Daten, um neue Einblicke zu gewinnen, die das Geschäft voran bringen.

 

ZUSAMMENFASSUNG

Ziel dieses Artikels war es, eine Vision zu präsentieren, wie die Suche Geschäftsentscheidungen unterstützen kann.  Früher wurden "Volltext-Suchmaschinen" nur genutzt, um nach Dokumenten und Websites zu suchen. Jetzt können Suchmaschinen alles suchen und ersetzen SQL als de-facto Standard für alle Geschäftszwecke, einschließlich Geschäftstransaktionen, Daten im Data Warehouse, Daten für Produktionsmittel usw.

Es geschieht jetzt und heute. Search Technologies arbeitet mit mehreren Unternehmen daran, die Geschäftstransaktionen aus Data Warehouses hin zu Big Data und Suchmaschinen zu exportieren. Als Endergebnis eröffnen sich damit schier unglaubliche Möglichkeiten. Die Daten werden damit so konkret, formbar und lebendig, dass es einem glatt den Atem raubt. Uns wurde klar:

"Wir haben hier die absolute Ideallösung für Big Data. Suche + Big Data werden für das Geschäft unersetzlich."

0