<p>Mechanize combined with Beautiful Soup are often a good combo. YMMV</p>
<p>- Roger</p>
<div class="gmail_quote">On Apr 23, 2011 9:51 PM,  &lt;<a href="mailto:trideceth12@gawab.com">trideceth12@gawab.com</a>&gt; wrote:<br type="attribution">&gt; Hi all,<br>&gt; <br>&gt; Can anyone recommend me a python package for handling webscraping<br>
&gt; operations. I need to be able to log-in to an https site and crawl from<br>&gt; there.<br>&gt; <br>&gt; I have been trying to use HtmlUnit for java and have seen some people<br>&gt; using HtmlUnit and Jython, but so far HtmlUnit seems a bit flaky -<br>
&gt; retaining logged-in status on some sites, not on others.<br>&gt; <br>&gt; Is this really so hard????  I&#39;m sure this must be a common operation.<br>&gt; <br>&gt; Thanks in advance,<br>&gt; Jake<br>&gt; <br>&gt; <br>
&gt; <br>&gt; _______________________________________________<br>&gt; python-au maillist  -  <a href="mailto:python-au@starship.python.net">python-au@starship.python.net</a><br>&gt; <a href="http://starship.python.net/mailman/listinfo/python-au">http://starship.python.net/mailman/listinfo/python-au</a><br>
</div>