исправление скачаного битого файла

grayich	# 6 лет, 8 месяцев назад
Темы: 235 Сообщения: 2260 Участник с: 08 января 2009	а чего в линухах имеется по поводу многопоточной закачки файлов(http/ftp) с контролем их целостности и перекачиванием битых частей в случае надобности?

Aivar	# 6 лет, 8 месяцев назад
Темы: 4 Сообщения: 6897 Участник с: 17 февраля 2011	grayich с контролем их целостности и перекачиванием битых частей в случае надобности А такое вообще в природе существует? grayich чего в линухах имеется по поводу многопоточной закачки файлов(http/ftp) aria2 на все случаи жизни. Может продолжать незаконченную закачку. Остальные хотелки, имхо, - утопия.

Aivar

# 6 лет, 8 месяцев назад

Темы: 4

Сообщения: 6897

Участник с: 17 февраля 2011

grayich
с контролем их целостности и перекачиванием битых частей в случае надобности

А такое вообще в природе существует?

grayich
чего в линухах имеется по поводу многопоточной закачки файлов(http/ftp)

aria2 на все случаи жизни. Может продолжать незаконченную закачку. Остальные хотелки, имхо, - утопия.

Aivar	# 6 лет, 8 месяцев назад
Темы: 4 Сообщения: 6897 Участник с: 17 февраля 2011	Кстати говоря, aria2 может проверять хеш скачанного файла, но его надо знать и указывать заранее. Приличные ресурсы, включая Arch Linux Downloads, давая ссылку на скачивание, указывают алгоритм и контрольную сумму всего файла, но чтоб частей... Это какой сервис так умеет?

Aivar

# 6 лет, 8 месяцев назад

Темы: 4

Сообщения: 6897

Участник с: 17 февраля 2011

Кстати говоря, aria2 может проверять хеш скачанного файла, но его надо знать и указывать заранее.
Приличные ресурсы, включая Arch Linux Downloads, давая ссылку на скачивание, указывают алгоритм и контрольную сумму всего файла, но чтоб частей... Это какой сервис так умеет?

vs220	# 6 лет, 8 месяцев назад
Темы: 25 Сообщения: 8524 Участник с: 16 августа 2009	Aivar Это какой сервис так умеет? Наверное ТС хочет от ftp возможности bittorrent

grayich	# 6 лет, 8 месяцев назад (отредактировано 6 лет, 8 месяцев назад)
Темы: 235 Сообщения: 2260 Участник с: 08 января 2009	Aivar, вендовые качалки, например download master, умели и качать в несколько потоков и перекачивать битые части файла, как они это делали хз, но если какой файл битый был, качалка справлялась.

Aivar	# 6 лет, 8 месяцев назад
Темы: 4 Сообщения: 6897 Участник с: 17 февраля 2011	Допустим есть N подключений к серверу, т.е. вы закачиваете файл в N потоков. Затем одно или несколько подключений обрываются (например, тот же сервер ограничил). aria2 продолжит закачку, в т.ч. докачает недокачанные части. Думается, так умеют все приличные менеджеры закачек. Но чтобы проверять хеш каждого блока (как в bittorrent, коих тысячи) ... это вряд ли. Не знаю такого.

Aivar

# 6 лет, 8 месяцев назад

Темы: 4

Сообщения: 6897

Участник с: 17 февраля 2011

Допустим есть N подключений к серверу, т.е. вы закачиваете файл в N потоков. Затем одно или несколько подключений обрываются (например, тот же сервер ограничил). aria2 продолжит закачку, в т.ч. докачает недокачанные части. Думается, так умеют все приличные менеджеры закачек. Но чтобы проверять хеш каждого блока (как в bittorrent, коих тысячи) ... это вряд ли. Не знаю такого.

vs220	# 6 лет, 8 месяцев назад (отредактировано 6 лет, 8 месяцев назад)
Темы: 25 Сообщения: 8524 Участник с: 16 августа 2009	Aivar Не знаю такого Aria2 -V, –check-integrity[=true\|false] Проверить целостность файла путем подтверждения хэшей блоков или хэша полного файла. Этот параметр влияет лишь на BitTorrent, Metalink или HTTP(S)/FTP загрузки с параметром –checksum. Параметр может обнаружить поврежденные части файла и перезагрузить их. Если есть хэш полного файла, то проверка выполняется только когда файл уже полностью загружен. Момент полной загрузки определяется по размеру файла. Если проверка хэша завершилась неудачно, то файл будет перезагружен с нуля. Если есть хэши блоков и хэш полного файла, то будут использоваться только хэши блоков. Возможные значения: true, false По умолчанию: false Метки: #basic, #metalink, #bittorrent, #file, #checksum grayich вендовые качалки Uget похожая на вендовую качалку( может использовать aria2)

vs220

# 6 лет, 8 месяцев назад (отредактировано 6 лет, 8 месяцев назад)

Темы: 25

Сообщения: 8524

Участник с: 16 августа 2009

Aivar
Не знаю такого

Aria2

-V, –check-integrity[=true|false] Проверить целостность файла путем
подтверждения хэшей блоков или хэша полного
файла. Этот параметр влияет лишь на BitTorrent,
Metalink или HTTP(S)/FTP загрузки с параметром
–checksum. Параметр может обнаружить
поврежденные части файла и перезагрузить их.
Если есть хэш полного файла, то проверка
выполняется только когда файл уже полностью
загружен. Момент полной загрузки определяется
по размеру файла. Если проверка хэша завершилась
неудачно, то файл будет перезагружен с нуля.
Если есть хэши блоков и хэш полного файла, то будут
использоваться только хэши блоков.

Возможные значения: true, false
По умолчанию: false
Метки: #basic, #metalink, #bittorrent, #file, #checksum

grayich
вендовые качалки

Uget похожая на вендовую качалку( может использовать aria2)

RusWolf	# 6 лет, 8 месяцев назад
Темы: 11 Сообщения: 2795 Участник с: 16 июля 2016	uGet, не? https://t.me/arch_linuxru

Aivar	# 6 лет, 8 месяцев назад
Темы: 4 Сообщения: 6897 Участник с: 17 февраля 2011	vs220, а я о чем? https://archlinux.org.ru/forum/post/202074/ Про хеши блоков - хз, это надо чтоб сервис поддерживал оное. RusWolf uGet ~~Нинада~~ Фронтенд к чему угодно, в т.ч. и к aria2.

redix	# 6 лет, 8 месяцев назад
Темы: 34 Сообщения: 3432 Участник с: 11 марта 2013	Посмотрите на hget, простой как двери, из АУР уже давно убрали конечно, но я сохранил готовый пакет в дропбоксе: https://www.dropbox.com/s/d04dv8urdc56qzz/hget-git-r30.03213a9-1-x86_64.pkg.tar.xz?dl=0, там собственно в пакете всего два файла, сам hget и лицензия, в других дистрибутивах просто запихиваю распакованный бинарник в /usr/bin и все работает (проверено в debian и Centos). In Tux We Trust

redix

# 6 лет, 8 месяцев назад

Темы: 34

Сообщения: 3432

Участник с: 11 марта 2013

Посмотрите на hget, простой как двери, из АУР уже давно убрали конечно, но я сохранил готовый пакет в дропбоксе: https://www.dropbox.com/s/d04dv8urdc56qzz/hget-git-r30.03213a9-1-x86_64.pkg.tar.xz?dl=0, там собственно в пакете всего два файла, сам hget и лицензия, в других дистрибутивах просто запихиваю распакованный бинарник в /usr/bin и все работает (проверено в debian и Centos).

In Tux We Trust