[Python-de] dictionary > hauptspeicher

Jochen Wersdörfer jochen-python at wersdoerfer.de
Don Sep 22 12:29:48 CEST 2005


Hallo *,

ich habe eine sehr lange Liste von Strings, die ich sequentiell
durchgehen muß. In dieser Liste gibt es sehr viele Duplikate, die
ich gern herausfiltern würde. Dummerweise ist jetzt die Liste so
lang, daß das Dictionary zum Rausfiltern der Duplikate nicht mehr
in den Hauptspeicher passt.

Tjo, also irgendwie brauche ich da wohl eine Datenstruktur, die
dann eben auf die Platte schreibt, sobald kein Hauptspeicher mehr
da ist. Schön wäre natürlich, wenn nur selten vorkommende Strings
auf Platte ausgelagert würden. Gibt es soetwas schon? Oder sollte
man da Berkely DB oder etwas ähnliches verwenden?

Die Kiste einfach swappen zu lassen, damit der Kernel das Aus-
lagern übernimmt, hat nicht gut genug funktioniert :).

Gruss,
Jochen