Jak stočit nebo wget webovou stránku?

hlasů
16

Chtěl bych, aby se noční cron, že stahuje svou StackOverflow stránku a porovnávání jej ze strany včerejší, tak vidím souhrn změn na moje otázky, odpovědi, pořadí, atd.

Bohužel, nemohl jsem se dostat správné nastavení cookies, atd, aby to fungovalo. Nějaké nápady?

Také, když je beta skončí, můj stav stránky přístupné bez přihlášení?

Položena 05/08/2008 v 21:38
zdroj uživatelem
V jiných jazycích...                            


5 odpovědí

hlasů
9

Váš stav stránky je nyní k dispozici bez přihlášení (klikněte odhlášení a zkuste to). Když je beta-cookie vypnuta, bude existovat nic, co mezi vámi a vaší stavové stránce.

Pro wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
Odpovězeno 05/08/2008 v 21:43
zdroj uživatelem

hlasů
6

Od Mark Harrison

A tady je to, co funguje ...

curl -s --cookie soba =. https://stackoverflow.com/users

A pro wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
Odpovězeno 05/08/2008 v 23:04
zdroj uživatelem

hlasů
3

Skvělý nápad :)

Předpokládám, že jste použili Wgetu

--load-cookies (filename)

Možná trochu pomoci, ale to by mohlo být jednodušší použít něco jako Mechanize (v Perl nebo Python) napodobovat prohlížeč plněji získat dobré pavouka.

Odpovězeno 05/08/2008 v 21:43
zdroj uživatelem

hlasů
2

A tady je to, co funguje ...

curl -s --cookie soba=. http://stackoverflow.com/users
Odpovězeno 05/08/2008 v 22:22
zdroj uživatelem

hlasů
2

Nemohl jsem přijít na to, jak se dostat cookies fungovat buď, ale byl jsem schopen se dostat na mé stránce stavu ve svém prohlížeči, když jsem odhlásil, takže předpokládám, že to bude fungovat, jakmile Stackoverflow je zpřístupněn veřejnosti.

To je zajímavý nápad, ale nebude také vyzvednout diffy podkladové HTML kódu? Máte strategii, aby se zabránilo skončí s diff na html a ne skutečný obsah?

Odpovězeno 05/08/2008 v 21:46
zdroj uživatelem

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more