Zczytanie wszystkich linków(podstron) z portalu

[bambosz]

Witam,

 

nie wiem czy to dobry dział na moje pytanie ale ... jest ono częściowo związane ze stronami WWW xD

 

Czy natknął się ktoś może na jakiś programik, który zbierze mi do pliku wszystkie linki zawarte na wybranym portalu / stronie WWW ?

Niech np. chodzi o forum max3d.pl. Jest coś, co mi w jakiś sposób zrobil liste wszystkich adresów zawartych na forum (wszystkie podstrony, tematy, wątki itp itd ) ?

 

Firma, w krórej aktualnie robie zmienia stronę, i musza miec zebrane wszystkie linki z obecnych stron, żeby robic przekierowania (czy jakoś tak) :/.

 

Czy może mi ktoś pomóc ? podpowiedziec w jaki sposób można to... przyśpieszyć, żeby nie klikać strony po stronie ?

 

Pozdrawiam

Bambosz.

[olaf]

tak nie wyjdzie, bo URLe są obecnie generowane dynamicznie, a przekierowanie załatwia się zwykle w ustawieniach serwera.

[bambosz]

Póki co znalazłem programik Xenu. Wynjaduje linki do wszystkiego, nawet do grafiki :/.

Pomija te, które wymagają logowania (choć ma opcję pytaj o haslo :/).

Ale jak sprawdzić czy wyłapało wszystkie linki ? ;p

[olaf]

no najłatwiej to sprawdzić daną stronę czy wszystkie wyłapał. Ale tak jak pisałem dynamicznych linków Ci nie wyłapie np. opartych a jQuery, do linki do treści jakie powstaną po chwili ripowania (np. nowy temat na forum) tez nie będą zindeksowane bo jeszcze nie istniały.

Druga sprawa, to takie rzeczy załatwie programista zmieniając jedną linijkę kodu wiec lepiej weźcie kogoś kto ogarnia php i jquery zamiast tracić dzień na polowaniu na linki.

[bambosz]

To zadanie zlecił mi właśnie człowiek, tworzący stronę w php.

Ale jest ok. Po ogarnięciu tabeli ( w excelu) i wydupceniu zbędnych linków (jpg, css, js, itp) zostało około 150 pozycji ;p.

"zmapowanie" drugiej strony.... no zabrakło mi w excelu tych 65 tyś wierszy xD.

 

Ale w razie czego programik Xenu daje rade (nawet zapisuje dane tak, że łatwo się do excela importują).

 

Pozdr.

[illy]

tylko to raczej jest bez sensu?

robie teraz strone gdzie mam 10.000 zdjec, sciagnalbys wszystkie linki do nich? bo u mnie to jedna petla php

[Gość mitexix]

To ja dołacze do pytania bo mam podobny problem.. - otóż jest strona w necie - katalog firm które skupują auta.. One się tam powpisywały, część z nich na swoich wpisach na podstronach podała maile.. wpisów jest kilka tys - jak wyszukać i zapisać te maile ? jest jakiś program do takich czarów?

[olaf]

poszukaj pod hasłem vacuum web site.