[Python-de] dictionary > hauptspeicher

Christian Junker christianjunker at gmail.com
Don Sep 22 15:15:58 CEST 2005


Wenn dir die Anordnung der Strings egal ist, kannst du auch einfach
eine Menge daraus machen. In 2.4 gibts dafür den set bzw. frozenset
Typ, beide built-in. Bei 2.3 musst du dafür das sets Modul
importieren.

Wegen des Speicherproblems: Ich würde einfach mal Exception Handling
einbauen und zwar gibts eine Klasse 'MemoryError', die hier
wahrscheinlich genau richtig wäre.
Im Falle es wird ein MemoryError geworfen, kannst du ja die bis dahin
analysierten Daten dann irgendwo abspeichern, entweder dann eben mit
binärem dump (pickle z.B.) oder durch Abspeichern in einer Datenbank.
Wobei es natürlich bei Unmengen an Datenbergen viel sinnvoller ist von
Anfang an direkt Datenbanksoftware (MySQL z.B.) zu verwenden.

Am 22.09.05 schrieb Jochen Wersdörfer <jochen-python at wersdoerfer.de>:
> Hallo *,
>
> ich habe eine sehr lange Liste von Strings, die ich sequentiell
> durchgehen muß. In dieser Liste gibt es sehr viele Duplikate, die
> ich gern herausfiltern würde. Dummerweise ist jetzt die Liste so
> lang, daß das Dictionary zum Rausfiltern der Duplikate nicht mehr
> in den Hauptspeicher passt.
> [...]


--
Best Regards
Christian Junker