Handling von großen Datenmengen, Ansatz gesucht

Hi,

dies ist mein erster Post im Forum. Ich hoffe mal, ich bin mit meiner Frage im richtigen Unterforum gelandet.

Folgende Ausgangsstellung: Ich habe z.B. eine Binärdatei (bis zu 10GB) die einfache Messreihen enthält (andere Dateiformate als binär sind aber auch mgl.). Dabei sind die Messwerte wie bei einer Tabelle in Spalten und Zeilen unterteilt. Die Zeilenanzahl kann größer 15Millionen sein.

Diese Werte müssen vom Programm bearbeitet werden. Da ich bei der Menge an Werten nicht alle in den Speicher lesen kann, fehlt mir irgendwie der Ansatz wie das Ganze vernünftig zu handeln ist.

Bisher habe ich mir überlegt, dass ich eine Datenbank benutze sollte. Diese wollte ich mit den Werten füllen, um dann per SQL-Statements die Werte zu bearbeiten, oder je nach Bedarf in den Speicher zu lesen. Da die Anwendung ohne DB-Installation auskommen soll, habe ich bisher zwei Embedded-DBs ins Auge gefasst:
-SQLite
-Firebird

Aber ich weiss nicht, wie performant das Ganze ist. Hat damit jemand Erfahrung? Oder ist dieser Ansatz evtl. generell nicht zu empfehlen? Oder gibt es einen deutlich besseren?

Zweites Problem: Wie halte ich Werte am besten im Speicher? Ich habe dazu einmal Listen probiert. Damit schaffe ich es so um die 50Mil. Werte im Speicher zu halten.
Benutze ich eine DataTable (fand ich von der Strukturierung passender) ist dort schon bei knappen 10Mil Werten der Speicher voll.
Ob es jetzt sinnig ist soviele Werte im Speicher zu haben, ist natürlich eine andere Sache ;)

So...jetzt hoffe ich mal, dass meine Problemstellung verständlich geschrieben ist :) Ansonsten besser ich natürlich nach.

Zitat von Fitschy:

Aber ich weiss nicht, wie performant das Ganze ist. Hat damit jemand Erfahrung? Oder ist dieser Ansatz evtl. generell nicht zu empfehlen? Oder gibt es einen deutlich besseren?

Du verrätst uns ja nicht einmal, was du mit den Daten eigentlich machen willst. Um die Daten zu speichern und zu verarbeiten, eignet sich eine Datenbank, wie du schon vermutet hast. Aber wie performant das ganze wird, hängt natürlich davon ab, was genau du damit vor hast.

Christian

Danke schonmal für die Antworten.
Die Datenverarbeitung würde zB. einfache Sachen enthalten, wie "Alle Werte um einen bestimmten Wert erhöhen", oder "Jeden x-ten Wert löschen".

Aber ich denke Abt's Ansatz werde ich weiter verfolgen. Soweit ich es bisher überblicken kann, ergibt sich keine Bearbeitung bei der ich wirklich alle Daten im Speicher haben müsste.

Im Moment spiele ich gerade schon mit SQLite herum. Werde da gleich mal probieren einen größeren Datensatz abzulegen. Gefällt mir bisher aber ganz gut :).

Nochmals danke für die fixen Hilfestellungen hier.

Und für alle die es noch interessiert, habe ich ein Test von SQLite nach  SQLite DB mega langsam erstellt.

Dabei ergaben sich für das Schreiben in die DB die folgenden Zeiten:
Für 100k-Werte: 1,67s
Für 1M-Werte: 14,353s
Für 10M-Werte: 126,158s