Hier ein Überblick über die wichtigsten Datentechnologien, die auch für das Internet der Dinge eingesetzt werden könnten:
- Datennormalisierung:
Bei der Datennormalisierung werden sämtliche Daten, die von verschiedenen Börsen und Agenturen empfangen werden, in ein einheitliches Format konvertiert (jede Quelle nutzt eigene Formate und Protokolle). Die Normalisierung ermöglicht dem Nutzer, einheitliche Datenmanagement- und -verteilungsmethoden anzuwenden und sich nicht mit der Herkunft der Daten auseinandersetzen zu müssen. Sie lässt sich mit einer Übersetzung der Daten in eine Metasprache vergleichen. Als Ergebnis der Normalisierung werden alle Ereignisse in einem bestimmten Datenschema bereitgestellt.
- Verteilungssystem:
Hierbei handelt es sich um ein flexibles und skalierbares Datenschema, das die Verteilung jeder beliebigen Ereignisart ermöglicht. Es gewährleistet geringe Latenzzeiten und einen hohen Datendurchsatz, selbst unter volatilen Marktbedingungen. Bei einem Mini-Crash auf dem Aktienmarkt am 5. Februar 2018 mussten die Kunden eines führenden Fintech-Anbieters auch während der Belastungsspitzen, die durch die heftigen Marktbewegungen erzeugt wurden, keinerlei Ausfallzeiten in Kauf nehmen. Sie konnten ihre Tätigkeit wie gewohnt fortsetzen, obwohl die Zahl der Orders auf ihrer Trading-Plattform an diesem Tag (zwischen 13.00 und 14.00 Uhr) ca. 250.000 pro Stunde und insgesamt etwa 1,4 Millionen betrug. Diese abnorm hohe Zahl an Ereignissen wurde ohne Verzögerungen oder Datenverluste abgearbeitet – eine Zahl übrigens, die weit über dem Transaktionsvolumen eines sehr großen Einzelhändlers an einem „Black Friday“, dem Beginn der Weihnachtssaison, liegt. Ohne das Verteilungssystem wären einige der Ereignisse verloren gegangen, was zu Problemen bei der Bereitstellung von Marktdaten an die Endnutzer, die aktiven Trader, geführt hätte.
- Datenzusammenführung:
Die Zusammenführung von Daten ist eine wichtige Funktion des Nachrichten- und Datenverteilungssystems. Sie gewährleistet, dass die Daten tatsächlich in Echtzeit bereitgestellt werden. Sollte der Daten-Feed Microburst-Überlastungen aufweisen, wird er von der Datenverarbeitungsplattform bereinigt, um das Echtzeit-Streaming zentraler Nachrichten zu garantieren. Gleichzeitig werden „überflüssige“ Nachrichten nicht gelöscht; stattdessen werden sämtliche Ereignisse im Speicher für historische Daten abgelegt und können bei Bedarf abgerufen werden. Ein EUR/USD-Angebot kann seinen Preis beispielsweise tausend Mal pro Sekunde ändern. Das menschliche Auge ist jedoch nicht in der Lage, mehr als 20-25 Aktualisierungen pro Sekunde wahrzunehmen; es reicht daher aus, die wichtigsten Meldungen zu sehen und die anderen direkt im Speicher abzulegen. Ein vergleichbarer Fall in der IoT-Branche wäre ein Temperaturgeber, der hundert Updates mit dem Wert 0,1° versendet, obwohl 5 Updates pro Minute zu Überwachungszwecken mehr als genug sind.
- Speicherung im CDF-Format (Compressed Data Format):
Dieses Format wird verwendet, um eine bestimmte Datenmenge in einem beliebigen Dateiformat effektiv abzurufen oder das Streaming dieser Daten zu veranlassen. Im Internet der Dinge kann dies notwendig sein, um ein gründliches Audit oder Backtesting von Überwachungs- und Managementsystemen durchzuführen.
Es existiert bereits eine proprietäre Technologie zur Verarbeitung von Milliarden von Ereignissen: die Finanztechnologie. Anbieter von Fintech-Lösungen haben viele Jahre Erfahrung in der Erfassung wichtiger Daten von Tradern und für Trader. Für sie wäre es kein Problem, die Verarbeitungs-, Übertragungs-, Komprimierungs-, Speicherungs- und Abruffähigkeit dieser Daten für das Internet der Dinge anzupassen. Selbst die Masse an Daten, die vom IoT generiert wird, kommt nicht an das Datenvolumen heran, mit dem Fintech-Unternehmen täglich zu tun haben – mehrere Dutzend Gigabit Daten pro Sekunde sind für sie nichts Neues. Diese Chance sollten IoT-Verantwortliche nutzen und aus den Erfahrungen der Fintech-Branche mit Big Data lernen.
Autor: Michael Babushkin, CEO, General Manager bei Devexperts
