Скачивание форумов

Сейчас газу закрывают. Как ее заорхивировать себе на винт?
http://guns.allzip.org/topic/19/521938.html

вот может что придумаете лучше http://guns.allzip.org/topic/84/522856.html

Tracert
Сейчас газу закрывают.

Романа гебня задолбывает. Ганза имеет все шансы накрытся.

Tracert
Сейчас газу закрывают.

Может быть не стоит торопиться с окончательными выводами?

Tracert
Как ее заорхивировать себе на винт?

Вы представляете себе, сколько места занимает этот форум? Я не знаю, сколько именно, но полагаю что счет идет на несколько сотен гигабайт, т.к. количество загружаемых полноразмерных фото огромно. Да и сама БД огромна, если учесть, что хранит и все удаленные темы и сообщения. Вы представляете себе, что означает его СКАЧАТЬ? Даже если оффлайн браузер/менеджер закачек не загнется от количества страниц и файлов, которые ему нужно скачать, то качать вы будете даже при быстром интернете несколько месяцев круглосуточно. Потому что это не просто слить БД и файлы с диска на диск, это именно скачивание отдельных страниц и файлов по http путем обхода по найденным ссылкам. В общем, затея абсолютно бесперспективная. Скачать даже отдельный раздел может оказаться проблемой.

Хочу предупредить "энтузиастов" - Teleport Pro и весь софт на его основе не справятся. Wget рулит, даже под Windows 😛

Сейчас все активно начнут зеркалить и форум точно умрет.

Это точно. Сейчас и так часто "Временные трудности", а при массовых многопоточных закачках сервер просто ляжет.

Так вот почему форум виснет. Это скачивальщики устроили такую нагрузку! 😛

как дети прям... даже жалко вас немного...

http://web.archive.org/web/*/http://talks.guns.ru

Все бы хорошо, но это не зеркало сайта. Достаточно открыть какой-нибудь раздел ганзы на web.archive.org в архиве 2007 г. и попробовать перейти к произвольной теме - будет осуществлен переход на домен tals.guns.ru. К тому же, как видно, архивов за 2008 и 2009 г. там нет вообще.

точно. как мне меня жалко тоже. но с кончиной ганзов жисть не остановица. я так думаю.

На форуме начилась паника 😊 Не известно еще толком ничего. Админ о закрытии конкретно ничего не говорит. Вы сами-то верите, что Ганзу могут закрыть?

вы слишком переоценили влияние форума IRL 😀. какая, нахрен, паника

Коллеги кто в теме, если есть время, накидайте инструкцию как конкретно скачать например 60-й раздел, я мудохался с Телепорт Про и с Offline Explorer Enterprise.
Раздел скачивается, а в нём более половины страниц, не открываются, при скачивании устанавливал уровень 1.

Лично мне целиком форум не нужен, только с дюжину разделов, нарезное и гладкоствольное оружие, оптика, ножи, 21-я и 151-я палаты.

Бахадур_Сингх
Раздел скачивается, а в нём более половины страниц, не открываются, при скачивании устанавливал уровень 1.

Ну давайте сейчас еще начнем массово ботов плодить для скачивания 😞 Люди, ну неужели вы не понимаете, что именно этим и угробите форум? Может стоит подумать, а нужны ли мне все темы какого-либо раздела? Ведь много тем не имеют существенного значения для отдельно взятого человека. Может лучше пробежаться по списку тем раздела и выбрать для себя действительно нужные?

Renson
...выставляешь кол-во сообщений на странице - 99999999999...

Borion
Ну давайте сейчас еще начнем массово ботов плодить для скачивания 😞 Люди, ну неужели вы не понимаете, что именно этим и угробите форум? Может стоит подумать, а нужны ли мне все темы какого-либо раздела? Ведь много тем не имеют существенного значения для отдельно взятого человека. Может лучше пробежаться по списку тем раздела и выбрать для себя действительно нужные?

Да мне нужны все темы ряда разделов, по оружию, ножам, оптике, лодкам, 21-я и 151-я палаты.
Всякие флеймы, свободные общения, домашние хозяйства, пневму, расстрел ворон, криминал, и прочую фигню мне не надо.

Нужные темы я себе давно скачал, но иногда возникает вопрос, ищу в поиске и нахожу инфу которую ещё не читал, иногда в уже архивных темах.

Borion
Люди, ну неужели вы не понимаете, что именно этим и угробите форум?

Как именно по-вашему лишний аккаунт доложен угробить форум ?

Бахадур_Сингх
Хотя идея мне твоя понравилась, затестю скачивание с 1000 постов на страницу.

Renson
главное настроить авторизацию, а то он настройки не воспримет

Renson
ботов ? бот - это программа , эмулирующая какие-либо функции человека. А вот второй аккаунт исконно называют мультом.

Не суть важно. В качестве бота будет выступать Teleport Pro или аналогичная программа, которая будет использовать этот аккаунт.

Renson
Как именно по-вашему лишний аккаунт доложен угробить форум ?

Сам по себе такой аккаунт лишь замусоривает форум. Один, два, десять ладно, ну а когда все желающие скачать начнут их создавать? А угробливаться будет очень просто: сейчас и так днем в пике бывает до 1000 и более участников и гостей, а когда параллельно участник будет сидеть под своим основным аккаунтом, да плюс будет работать программа для скачивания сайта, а такие программы к тому же создают по несколько потоков, то пиковая нагрузка возрастет в разы.

Borion
Сам по себе такой аккаунт лишь замусоривает форум. Один, два, десять ладно, ну а когда все желающие скачать начнут их создавать? А угробливаться будет очень просто: сейчас и так днем в пике бывает до 1000 и более участников и гостей, а когда параллельно участник будет сидеть под своим основным аккаунтом, да плюс будет работать программа для скачивания сайта, а такие программы к тому же создают по несколько потоков, то пиковая нагрузка возрастет в разы.

Бахадур_Сингх
Это там где в Телепорт Про, можно указать ник и пароль на форум?

Renson
теоретически - в создании проекта. Но я лично не проверял.

Бахадур_Сингх
Не прокатило, те страницы которые под точками так и не скачались.

Renson
а сможет ? с одного IP 2 аккаунта держать ? однааако.

А почему нет? Как тогда, к примеру, целые офисы сидят за роутером и снаружи все компьютеры имеют один IP?

Borion
А почему нет? Как тогда, к примеру, целые офисы сидят за роутером и снаружи все компьютеры имеют один IP?

Коллеги вы не спорьте, лучше подскажите как скачать, например 60-й раздел, страницы которые под "точками" не скачиваются.
Куда ткнуть? Подскажите если в теме.

Например, скачивать темы в облегченном формате (для печати) без разметки и аватаров. Соответствующая ссылка вверху темы справа в виде значка принтера. Например, ссылка на эту тему выглядит так: http://guns.allzip.org/topic/84/522812.html

Borion
Например, скачивать темы в облегченном формате (для печати) без разметки и аватаров. Соответствующая ссылка вверху темы справа в виде значка принтера. Например, ссылка на эту тему выглядит так: http://guns.allzip.org/topic/84/522812.html

Выживание
Гражданское оружие
Гражданская оборона
Медицина
Обмундирование, экипировка, амуниция
Криминальные сводки
Методика подготовки стрелка
Экипировка и снаряжение своими руками

Причем в версии полного раздела. Проблемка.

Весь форум все равно не скачаете. В телепорте ограничение на 65000 ссылок, даже в ультре 260000, а здесь явно больше. Да и зачем? Все равно что вики скачивать, читать то придется несколько лет. Проще выделить именно те разделы, в которых Вы проявляете хоть малую, но активность, или выборочно статьи, к примеру fac'и по оружию и иже с ними.
Если у Вас сложный пароль на форум, на время скачки установить что-нибудь попроще (123), никто Вас за это время не сломает, да и врядли кому-то сие интересно. В особенности касается владельцев пунто свитчеров и их модификаций/разновидностей, там вечная проблема с раскладкой. В принципе, можно его на время отключить. Тогда телепорт зайдет под Вашим логином. Про ограничение на количество соединений одного логина с разных браузеров можете забыть, но лучше всего ставить закачку под расписание, на ночь, нагрузка в это время существенно меньше.

Все заметили, что сервер сегодня примерно до 15 ч просто лежал?

Borion
Все заметили, что сервер сегодня примерно до 15 ч просто лежал?

nazemka
Тогда телепорт зайдет под Вашим логином.

Borion
Например, скачивать темы в облегченном формате (для печати) без разметки и аватаров. Соответствующая ссылка вверху темы справа в виде значка принтера. Например, ссылка на эту тему выглядит так: http://guns.allzip.org/topic/84/522812.html

nazemka
Весь форум все равно не скачаете...

Скачивал: 60-й раздел с уровнем 1, в три потока, причем ставил в настройках пароль на форум, а в настройках своего профайла ставил 1000 постов на страницу.

Итог: скачались только странички под номерами, странички под точками не скачались, да и скачалось все в традиционном виде по 20 постов на страницу (а не с 1000 постов как указывал в профайле), качал Offline Explorer Enterprise.

Теперь вопрос: Коллеги что сделать чтобы скачивались странички которые под точками?

У кого получилось, поделитесь секретом.

Renson
хах.. сами-то пробовали ?

2Бахадур_Сингх: попробуйте поставить уровень 3, а для внешних 1.

nazemka
И не раз. Но в силу вышеописанных мною ограничений, использую другое ПО.

Стесняюсь спросить, скрины чего? Вы мне сейчас предлагаете скачать 1-2 раздела.. ?
Как я и писал выше, я использую другое ПО, дома мне это в принципе не интересно, а с работы могу сделать пару скринов, если Вас это интересовало.
Если нет, то видимо речь именно о телепорте. Давно я эту программу не видел, но вроде ничего не изменилось.

Настройки вроде всегда ставил такие.
Жаль я свой форум пристрелил, я бы показал Вам как скачивается модераторский раздел 😛

nazemka
Стесняюсь спросить, скрины чего? Вы мне сейчас предлагаете скачать 1-2 раздела.. ?

А вот ишшо вопрос: в разделе Мастерская, к примеру, при настройке "Показывать ВСЕ темы" 88 станиц. И ссылки на все 88 открыты и видны на странице с темой.
Но если натравить на тему Оффлайн Експлорер, цепляет он только первые три.
Мож кто подскажет, в чем дело ?
А насчет выкачивания "длинного" топика (в котором видно ссылки только на первые и на крайние страницы, а остальное "точками"), ежели скачивать _только_ этот топик отдельным проектом, все страницы скачиваются нормально... Включая те, на которых прямых ссылок нет.

Бахадур_Сингх:
Не прокатило, те страницы которые под точками так и не скачались.

Например адрес темы: http://guns.allzip.org/topic/151/279435.html
Это ссылка на её первую страницу.

А это ссылка на последнюю 😀
http://guns.allzip.org/topic/151/279435.html

Теперь автоматически генерируем ссылки с номерами от 279435.html до 279435-2726.html.

Страничку со сгенерироваными ссылками ложим кладём на локальный диск и стартуем телепорт с неё указывая глубину скачивания "1".

Всё просто, но нужно указывать конкретно тему которую нужно качать.

knkd
Всё просто, но нужно указывать конкретно тему которую нужно качать.

в таком контексте проще все длинные темы сохранить в виде версии для печати...

русские программисты

в таком контексте проще все длинные темы сохранить в виде версии для печати...

Кстати програмку я уже наваял. Вот результат для « 100 Рентген »:
100.zip - 0.01MB

knkd
Попрошу без оскорблений...

knkd
А вы загляните по ссылке в сообщении на которое ответили и попробуйте посмотреть эту тему в виде для печати

посмотрел.. и ? на канале в 2 мегабита бар открывался пару минут.

knkd
Можно сделать вручную «html» страницу со ссылками на каждую страничку темы 😊
У каждой темы ведь уникальный идентификатор, а номер страницы задаётся явно.

Мне уже Двадцатьвторой подсказал какие настройки сделать в Offline Explorer Enterprise, я сделал и большинство тем скачалось в версии для печати, ну а часть которые не скачались, ручками досохраняю.

Бахадур_Сингх, я тута с другой стороны попробовал подойти. Чтоб обойтись без скачивания лишней/дублирующейся инфы. Правда, дико медленно и не со всеми картинками, но зато все на автомате - на ночь оставил и адьё.
Ежели получится - файл с настройками скину.

Двадцатьвторой
Ежели получится - файл с настройками скину.

Бахадур_Сингх, вроде качается... Но жутко медленно.
Потому как я задал интервал номеров топиков, а он от 1 до 522000. Блин.
Теперь эксплорер пытается зайти на каждую из них, сформировать "версию для печати" и если она больше 1КБ, сохранить. И это только 1 раздел-"Снаряжение патронов". Хрень в том, что порядка 90% этого - пустота. Плюс только в том, что сохранится вся инфа за весь период (аж с 2001г.)
Но минус - это просто куча "версий для печати" с картинками. Без оглавления.
Ща вот маракую, как бы сделать файл со списком всех тем в этом разделе со ссылками. Причем такой список, что там будут и темы "доступные только через календарь". Или из этих файлов как-нибудь выковырять заголовки и список создать...

надо попробовать по вашему рецепту, хотя пока не совсем понятно как это сделать, попробую разобраться.

В файле по одной ссылке на каждую страницу темы.
Так по одной странице и скачает, потому никаких проблем с длинными страницами не будет.

Если получится - могу сделать такие файлы для больших тем, или передать програмку с инструкциями.