Jump to content
bambosz

Zczytanie wszystkich linków(podstron) z portalu

Recommended Posts

Witam,

 

nie wiem czy to dobry dział na moje pytanie ale ... jest ono częściowo związane ze stronami WWW xD

 

Czy natknął się ktoś może na jakiś programik, który zbierze mi do pliku wszystkie linki zawarte na wybranym portalu / stronie WWW ?

Niech np. chodzi o forum max3d.pl. Jest coś, co mi w jakiś sposób zrobil liste wszystkich adresów zawartych na forum (wszystkie podstrony, tematy, wątki itp itd ) ?

 

Firma, w krórej aktualnie robie zmienia stronę, i musza miec zebrane wszystkie linki z obecnych stron, żeby robic przekierowania (czy jakoś tak) :/.

 

Czy może mi ktoś pomóc ? podpowiedziec w jaki sposób można to... przyśpieszyć, żeby nie klikać strony po stronie ?

 

Pozdrawiam

Bambosz.

Share this post


Link to post
Share on other sites

tak nie wyjdzie, bo URLe są obecnie generowane dynamicznie, a przekierowanie załatwia się zwykle w ustawieniach serwera.

Share this post


Link to post
Share on other sites

Póki co znalazłem programik Xenu. Wynjaduje linki do wszystkiego, nawet do grafiki :/.

Pomija te, które wymagają logowania (choć ma opcję pytaj o haslo :/).

Ale jak sprawdzić czy wyłapało wszystkie linki ? ;p

Share this post


Link to post
Share on other sites

no najłatwiej to sprawdzić daną stronę czy wszystkie wyłapał. Ale tak jak pisałem dynamicznych linków Ci nie wyłapie np. opartych a jQuery, do linki do treści jakie powstaną po chwili ripowania (np. nowy temat na forum) tez nie będą zindeksowane bo jeszcze nie istniały.

Druga sprawa, to takie rzeczy załatwie programista zmieniając jedną linijkę kodu wiec lepiej weźcie kogoś kto ogarnia php i jquery zamiast tracić dzień na polowaniu na linki.

Share this post


Link to post
Share on other sites

To zadanie zlecił mi właśnie człowiek, tworzący stronę w php.

Ale jest ok. Po ogarnięciu tabeli ( w excelu) i wydupceniu zbędnych linków (jpg, css, js, itp) zostało około 150 pozycji ;p.

"zmapowanie" drugiej strony.... no zabrakło mi w excelu tych 65 tyś wierszy xD.

 

Ale w razie czego programik Xenu daje rade (nawet zapisuje dane tak, że łatwo się do excela importują).

 

Pozdr.

Share this post


Link to post
Share on other sites

tylko to raczej jest bez sensu?

robie teraz strone gdzie mam 10.000 zdjec, sciagnalbys wszystkie linki do nich? bo u mnie to jedna petla php

Share this post


Link to post
Share on other sites

To ja dołacze do pytania bo mam podobny problem.. - otóż jest strona w necie - katalog firm które skupują auta.. One się tam powpisywały, część z nich na swoich wpisach na podstronach podała maile.. wpisów jest kilka tys - jak wyszukać i zapisać te maile ? jest jakiś program do takich czarów?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

×
×
  • Create New...

Important Information

We are using cookies. Read about our Privacy Policy