Weltgrößtes „Green Data Warehouse“ für strukturierte und unstrukturierte Daten basiert auf Sybase IQ
Der analytische Server Sybase IQ organisiert die Datenspeicherung des größten Data Warehouses, das bisher weltweit implementiert wurde. Es ist Teil der neuen Data-Warehouse-Referenzarchitektur von Sun Microsystems für strukturierte und unstrukturierte Daten. Bei einem unabhängigen Benchmark wurde für 1 Petabyte an Rohdaten – darunter auch unstrukturierte Daten wie E-Mails, Dokumente und Multimedia-Dateien – lediglich ein Speicherplatz von 260 Terabytes benötigt; das entspricht einer Kompressionsrate von 85 Prozent. Damit wurden nicht nur Speicherkosten gesenkt, sondern auch erhebliche ökologische Verbesserungen erzielt: Durch die hohe Kompression wurde der Energieverbrauch auf ein Zehntel reduziert und dadurch die CO2-Emmission um 90 Prozent gesenkt. Gleichzeitig müssen 26 Tonnen weniger Speichergeräte am Ende ihrer Betriebszeit entsorgt werden. Der Benchmark wurde von dem unabhängigen Auditing-Unternehmen Info Sizing mit Sitz in Colorado Springs (USA) durchgeführt. Die Data-Warehouse-Referenzarchitektur von Sun besteht aus einem Sun SPARC® Enterprise M9000 Server, der mit drei Sun StorageTek™ 6540 Arrays verbunden ist, mit dem Betriebssystem Solaris 10, dem analytischen Server Sybase IQ und BMMsoft DataFusion. Bei dem Benchmark hat Info Sizing folgende Ergebnisse gemessen: 1 Petabyte an Transaktions-Rohdaten (6 Billionen Börsen-Datensätze) wurden in ein vollständig indiziertes Star-Schema geladen. Damit wurde ein neuer, verifizierter Datenbestand für das größte Data Warehouse der Welt erzeugt. Beim Laden der Datenbank wurde eine Geschwindigkeit von 285 Milliarden Zeilen erreicht (das entspricht 3 Millionen Reihen pro Sekunde), die über drei Wochen aufrecht erhalten wurde. Es wurde eine Datenkompressions-Rate von 85 Prozent erzielt, indem 1 Petabyte an Rohdaten tatsächlich weniger als 260 Terabytes an Plattenplatz belegten. Daten, die neu in das Data Warehouse geladen wurden, waren nach weniger als 2 Sekunden verfügbar. Die Hälfte der Transaktionsdaten („T-Daten“) wurde durch 72 Terabytes an „EDM-Daten“ (E-Mails, Dokumente, Multimedia) ersetzt. Damit wurde ein Data Warehouse mit 572 Terabytes an „EDMT-Daten“ geschaffen. Beim Laden unstrukturierter Dokumente (E-Mails, Anhänge und andere) wurde eine Ladegeschwindigkeit von 26 Terabytes pro Tag gemessen. Auf diese Weise wurde die Datenbank mit 185 Millionen Dokumenten bestückt. Pro Stunde wurden zwei Millionen E-Mails und 6 Millionen Dokumente geladen. Während dieses Ladevorgangs wurden lediglich 7 Prozent der verfügbaren CPU-Leistung verbraucht. Damit standen die restlichen 93 Prozent der CPU Sybase IQ für Reports und Analysen zur Verfügung. Die Zahl der benötigten Plattenlaufwerke wurde substanziell reduziert. Damit wurden die CO2-Emmissionen während der Betriebsdauer der Data-Warehouse-Referenzarchitektur mindestens um 90 Prozent verringert. Bei den ökologischen Verbesserungen legte Info Sizing folgende Berechnungen zugrunde: Konventionelle Data-Warehouse-Lösungen benötigen in der Regel sogar mehr Speicherplatz als die Rohdaten (durch Indexe etc.) Dank der hohen Kompression benötigt die Sun-Referenzarchitektur mit Sybase IQ hingegen lediglich 10 Prozent des Energieverbrauchs einer konventionellen Lösung; auch müssen weniger Geräte gekühlt werden. Zudem werden Standfläche, Größe und Gewicht der Speichergeräte mindestens um 90 Prozent reduziert. Der Präsident von Info Sizing, Francois Raab, betonte, Sybase IQ habe in dem Benchmark bewiesen, dass es zuverlässig das Volumen von Multimedia-Dokumenten abwickeln kann, das bei der elektronischen Kommunikation von einer halben Million Händlern anfällt. Der vollständige Report über den Benchmark, „Sun Data Warehouse Reference Architecture for Structured and Unstructured Data” (August 2007) ist verfügbar unter: http://www.sybase.com/files/Product_Overviews/Ready-Time-Report_R1.2-090407.pdf Über Sybase Pressekontakt: |