Business Application Research Center

Experten für Business Intelligence, Analytics, Big Data, CRM und ECM

BARC-Newsletter

Digitalisierung und Analytische Infrastruktur

RssRss

23.06.2015

Digitalisierung und Analytische Infrastruktur

Zu den zentralen Treibern im Datenmanagement zählen die IT-Meta-Trends "Consumerization" und die "Digitalisierung". Erstere fördert eine Erwartungshaltung der Anwender an die Systeme und Datenbereitstellung, getrieben aus den Nutzungserfahrungen mit Anwendungen und Clients im privaten Umfeld. Einfache Oberflächen, einfache Nutzung von Daten werden dabei auf andere Systeme projeziert. Ebenso werden eine hohe Performance und ständige Verfügbarkeit erwartet.

Die fortschreitende Digitalisierung für ihren Teil zwingt Unternehmen über die transaktionalen Daten hinaus neue Quellen und Formate einzubeziehen. Dies sind in der Regel maschinengenerierte Daten, Transaktionsdaten sowie menschlich generierte Daten. Eine Aufgabe ist es dabei, die "Störgeräusche" aus den vielen Daten herauszufiltern, also zu interpretieren, wozu man Experten braucht. Wie schon der BARC-Survey zu "Big Data Analytics" zeigte haben mittlerweile zahlreiche Unternehmen diese Herausforderung angenommen und nutzen nicht mehr nur Transaktionsdaten, sondern auch schwach bis nicht-strukturierte Daten: Nicht zuletzt die Einsicht, dass sämtlich Daten einen Vermögenswert darstellen, befördern diese Entwicklung. Weitere, wichtige Motive sind:

  • Mehr Daten sind heute verfügbar und lassen sich durch neue Techniken auch umfangreicher und günstiger nutzen!.
  • Die hohe Marktdynamik und Wettbewerb drängt zur Auseinandersetzung mit den Daten. Vieles ist heute standardisiert. Daher suchen Unternehmen nach neuen, innovativen Modellen bzw. nach Wegen wie sich Kernkompetenzen stärken lassen
  • Es besteht hoher Bedarf an bei der besseren Steuerung und Automatisierung der Prozesse, inklusive Nutzung von Analytics
  • Neue datengetriebene Geschäftsmodelle entstehen, Beispiel Predictive maintenance

Ergänzend finden sich zahlreiche weitere IT-Meta-Trends, die schon länger oder aktuell bei einer Betrachtung und Weiterentwicklung der Datenarchitektur zu Einfluss nehmen: Agilitiät und Kosteneffizienz, Datenschutz, Cloud und Virtualisierung, Geschäftsmodelle der IT-Anbieter (vom Softwarelieferanten zum Lösungsanbieter).Hinzu kommen Metatrends speziell in der BI und im Datenmanagement wie Marktreife und Commodisierung, Fachkräftemangel und die zunehmende Prozessorientierung (eine ausführliche Diskussion und Einordnung der kommenden Trends in der BI, finden Sie im BARC Research Service "BI-Manager").

So führt beispielsweise die zunehmende Nutzung von Big Data dazu, dass Unternehmen spezielle Data-Science-Teams schaffen, eine Diskussion über Vorgehensmodell und Rollen begonnen hat und auch der Aufbau und Betrieb von Cloud-Services ein Thema wird. Auf dem Gebiet der Analytics steht derzeit vor allem die weitere Kapselung von Komplexität im Vordergrund, was sich auch daran zeigt, dass mehr Standardsoftware für spezielle Anforderungen verfügbar ist (siehe auch die BARC-Studie zu Big Data Analytics).

Im bisherigen Datenmanagement versucht man weiter zu optimieren und dabei alte und neue Techniken zu verbinden. Der vermehrte Einsatz von Big-Data-Technik, eine stärkere Beschäftigung mit der Datenintegration und Data Governance sowie die Nutzung neuer Datenquellen für Analytics sind einige der aktuellen Schwerpunkte bei der Weiterentwicklung der bisherigen Datenarchitektur. Dabei gewinnt auch das schon lange geforderte  Thema "Datenstrategie" an Beachtung und zeigt wirtschaftliche Vorteile, wie "Best-in-class"-Unternehmen in der BARC-Umfrage "Datenmanagement im Wandel" gezeigt haben. Doch es bedarf insbesondere Resourcen, die vielerorts schlicht fehlen: "Ein echter Showstopper!", so Timm Grosser.

Fehlende Flexibilität der Data-Warehouse-Architektur

"Wir brauchen eine andere Denk- und Vorgehensweisen, um Informationen richtig zu transformieren", forderte BARC-Analyst Otto Görlich mit Blick auf die weitere Entwicklung der Datenarchitektur. Bisherige Data-Warehouse-Systeme können neue Anforderungen nur noch eingeschänkt adressieren. Daten würden stattdessen fortan immer öfter nahezu unbearbeitet in einen Datenspeicher geladen (Hadoop), dann erst interpretiert (entdeckende Analyse) und schließlich visualisiert. Das bedeutet, dass man durchaus auch "schlechte" und unnütze Daten zunächst speichert, während in einem klassischen Data Warehouse immer eine gute Aufbereitung vorausgeht. Konzeptionell entfernen sich Unternehmen künftig von der bisherigen Schichtenarchitektur hin zu einer Säulenarchitektur: Operational BI (z.B. CEP/Streaming/NOSQL/AnalyticalDBs),Taktische BI bzw. "klassische" BI (Z.B. Hadoop, SSBI, Analytical DB) und Explorative BI (Z.B. NoSQL, SearchIndex Catalog, Hadoop, Textanalyse, Analytische DB, SSBI/DI). Diese Säulen müssen über eine gemeinsame Infrastruktur inklusive Datenintegration, Virtualisierung etc. vereint und letztlich über ein logisches, übergreifenden Business-Datenmodell verknüpft werden.

Data Lake

Ein in jüngerer Zeit kursierender Begriff in der Diskussion über die künftige BI- und Datenarchitektur ist das Data-Lake-Konzept, das von Hadoop-Distrubutoren vorgeschlagen wurde, um sämtliche Daten in einem zentralen Repository zu sammeln und dort zu analysieren. Technisch besteht solch eine Lösung hautpsächlich aus der Hadoop-Infrastruktur, kann aber ebenso Reihe anderer Repositories wie ein Data Warehouse umfassen, erläuterte Otto Görlich. Doch wie lässt sich sicherstellen, dass dort letztlich nur gute und nützliche Daten liegen und kein "Datensumpf" entsteht? Hierzu bedürfe es wie schon im Data Warehousing einer strikter Datenintegration, Sicherheits-Features, Zugriffskontrollen  und einer Data Governance! Einsatzgebiete für einen Data Lake sind beispielsweise:

  • Verlagerung und Verwaltung neuer oder geränderten Transaktionsdaten, um auf Events unmittelbar und regelbasiert mit Real-time-Analytics reagieren zu können (Beispiel: Verlust von Kreditkarte)
  • Exploration von Rohdaten (Advanced Analytics auf Hadoop)
  • Datenverbesserung durch Datenintegration, Metadatenmanagement und Governance

BARC empfiehlt zudem, bei der technischen Umsetzung proprietäre Ansätze zu vermeiden und stattdessen offene Standards für Data-Lake-Infrastruktur zu nutzen sowie auch die Verwaltung der Lösung in einer Cloud-Infrastruktur zu erwägen.

 

Veränderungen der Architektur durch In-Memory

Ein weiterer der vielen Einflussfaktoren ist der zunehmende Einsatz von In-Memory-Datenbanken wie SAP HANA. Zwar muss jedes BI-System Daten für die Auswertung in den Speicher laden, doch sind In-Memory-Systeme für diese Arbeiten "optimiert", indem sie Prozessoren konsequent nutzen (Cores) und alle Daten im Hauptspeicher vorhalten können, wenngleich auch In-Memory-Datenbanken einen Plattspeicher etwa für Locking und Sicherung brauchen. In-Memory-Systeme sind für eine spezielle Hardware programmiert, um den Prozessor-Cache und -Rechenleistung optimal nutzen zu können. Ihre Spaltenorientierung ermöglich zudem hohe Datenkompressionsraten. Einsatzgebiete für In-Memory-Lösungen sind neben der klassischen BI beispielsweise auch als Ersatz für einen "Operational Data Store" oder als Core-Data-Warehouse (schneller, weniger "latency", weniger performance-objekte und Aggregate/Summen) sowie als Data Marts.

Die heutige Data-Warehouse-Architektur könnte sich dank In-Memory verändern. Gerade der oft komplexe Datenintegrationslayer lässt sich dabei verschlanken (Staging Area, Geschäftsregeln u.a.). Umgekehrt würde der Data-Warehouse-Layer dann mächtiger werden. Statt bisheriger Data Marts, die auf das Data Warehouse zugreifen, könnten künftig selbst komplexe Datenabfragen über "Views"  dargestellt werden. "Die Frage ist aber, ob Organisationen diesen Umbau mitmachen!"

Ausführliche Informationen, Best Practices und viele Anwenderbeispiele zum Thema bieten unter anderem die  BARC-Untersuchungen

...und unser Research-Service BI Manager