Скачать данные с FTP

@Perelygin · Регистрация: 04.06.2019

Студворк — интернет-сервис помощи студентам

Есть задача скачать данные с ftp )
Беда в том что это плк и на нем есть sd карта,
wget не может подключиться.

Нужно скачивать именно новые файлы, так как канал спутниковый то загружать его нельзя.
Коллеги помогите прописать условия которые это позволят.

Bash
1
2
3
4
5
6
7
8
9
10
11
#!/bin/sh
# IP-адрес или доменное имя хоста
 
FTPHOST='X.X.X.X'
cd /var/file/XXX/BS/Test
ftp -n -v -i $FTPHOST  << INPUT_END > /var/log/parsing_CSV/XXX/BS.log
user USER USER
cd /sd0
mget *.csv
INPUT_END
echo $(date)"Stop parsing CSV XXX " >> /var/log/parsing_CSV/KyzylHaya/BS.log

@Kubuntovod · 14.07.2022, 14:19

Сообщение от Perelygin

Беда в том что это плк и на нем есть sd карта,
wget не может подключиться.

Ху из "плк"? И почему wget не может? Если это полноценный ftp, то wget должен уметь. Или curl.

@Alli_Lupin · 14.07.2022, 14:52

Не по теме:

Kubuntovod, ПЛК - программируемый логический контроллер. Грубо говоря, одноплатник с овердофига периферии. Релюшки, датчики GPIO и прочие интерфейсы... Зачастую у них на борту какой-нибудь Raspbian Или что-то своё, насмерть запиленное, но c Linux Kernel.

Добавлено через 1 минуту
что за ПЛК, какая там ось, как смонтирована карта? Данные на карте? FTP запущен?

@Kubuntovod · 14.07.2022, 14:56

Сообщение от Alli_Lupin

Зачастую у них на борту какой-нибудь Raspbian Или что-то своё, насмерть запиленное, но c Linux Kernel.

Но если там полноценный фтп, то должно быть не важно, что там у него запилено.

@Alli_Lupin · 14.07.2022, 15:00

Kubuntovod, так я потому и спрашивал, что за зверь и что там в мозгах.

@Perelygin · 15.07.2022, 09:46 **[ТС]**

ПЛК - программно логический контролер
schneider Modicon M241
к сожалению wget не видит

Добавлено через 1 минуту
ПЛК schneider на какой системе развернуто это коммерческая тайна schneider просто не скажет это

Добавлено через 2 минуты
можно ли на ftp построить логику сбора данных?
Брать только те файлы которые отсутствуют

@Alli_Lupin · 15.07.2022, 09:52

Perelygin, в руководстве пользователя на странице 25 написано, что ftp по умолчанию засекьюрен и недоступен снаружи. Мне лень читать руководство полностью, чтобы найти, как его разрешить...

@Kubuntovod · 15.07.2022, 11:31

Сообщение от Alli_Lupin

ftp по умолчанию засекьюрен и недоступен снаружи

Какой в нём тогда смысл? Я вот такое описание нашёл

@Alli_Lupin · 15.07.2022, 11:38

Kubuntovod, да, я о том и говорил

@Kubuntovod · 15.07.2022, 13:19

Alli_Lupin, ну, там сказано, что если вам приспичило на фтп сходить, то сначала идёте через ~~пень-колоду~~ спец ПО и настраиваете безопасность, т.е. логины/пароли/явки/группы и т.д. Подозреваю, что после этого всё будет работать и снаружи.

@Alli_Lupin · 15.07.2022, 13:25

Сообщение от Alli_Lupin

ftp по умолчанию засекьюрен и недоступен снаружи

Kubuntovod, именно это я и говорил)))

@Kubuntovod · 15.07.2022, 14:52

Perelygin, уточните, плиз, у Вас есть доступ к ~~телу~~ админке этого чудо-девайса или нет? Если нет, то как Вы собрались получать доступ к ФТП?

@Perelygin · 18.07.2022, 08:03 **[ТС]**

доступ есть,
проброшен туннель, безопасность настроена.

Скрипт который я выше написал заходи на ftp, и скачивает данные.
У меня задача, скачивать именно данные которые мне нужно, старые оставлять новые скачивать.

то есть
- скрипт выполняет действия 18.07.2022
и скачивает файл 17.07.2022.
- скрипт выполняет действия 19.07.2022
пропускает файл 17.07.2022.
скачивает файл 18.07.2022.

Проблема что связь организованна по спутниковому каналу.
И с каждым днем информации будет только больше

Dmitry · 18.07.2022, 09:31

wget может выполнять "зеркалирование", при этом не скачивая повторно уже имеющиеся файлы:
пример команды:

Code
1
wget -m ftp://username:password@domain.com

пример сообщений о уже скачанных ранее файлах:

Code
1
2
3
4
Удалённый файл не новее локального файла «wifi-hotspot.zp.ua/fetchmail.log.10.gz» — не загружается.
Удалённый файл не новее локального файла «wifi-hotspot.zp.ua/fetchmail.log.11.gz» — не загружается.
Удалённый файл не новее локального файла «wifi-hotspot.zp.ua/fetchmail.log.12.gz» — не загружается.
Удалённый файл не новее локального файла «wifi-hotspot.zp.ua/fetchmail.log.13.gz» — не загружается.

@Kubuntovod · 18.07.2022, 09:50

Сообщение от Perelygin

wget не может подключиться.

Сообщение от Perelygin

к сожалению wget не видит

Расскажите подробнее, как это "не может/не видит" происходит.

@Perelygin · 18.07.2022, 10:00 **[ТС]**

Спасибо большое. Но
Но wget не может попасть на sd0
Возможно я ошибку делаю в bash

@Alli_Lupin · 18.07.2022, 10:03

Perelygin, а в куда ftp смонтирован вообще? если, например, браузером по ftp подключиться, в какой каталог попадаешь?

@Perelygin · 18.07.2022, 10:12 **[ТС]**

/sd0/ - не видит.
Приходиться водить в адресную строку, тогда открывает

@Kubuntovod · 18.07.2022, 11:53

Сообщение от Perelygin

Возможно я ошибку делаю в bash

Я бы начал с простых запросов. Дёрнуть один файл

Bash
1
wget --ftp-user=user2 --ftp-password=blabla ftp://myftpserver.ru/upload/testfile.jpg

Можно зайти через mc и посмотреть структуру каталогов.

Добавлено через 1 минуту
Ещё, можно попробовать заюзать curlftpfs и прикрутить удалённый каталог локально. А затем, натравить на него rsync.

Добавлено через 2 минуты

Bash
1
curlftpfs ftp://$USER:$PASSWORD@$HOST/ LOCALPATH

Добавлено через 1 час 12 минут
С curlftpfs у меня, почему-то, не прокатило, с указанием юзера:пароля в ссылке. Но, через .netrc всё завелось.

Dmitry · 18.07.2022, 13:50

1). вы пишите

Сообщение от Perelygin

wget не может попасть на sd0

2). лог (на картинке) пишет

Code
1
.... ==>  CWD /sd0 ... Done

ОДИН ИЗ ВАС ВРЕТ

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@Alli_Lupin 5037 / 1064 / 149 Регистрация: 29.01.2013 Сообщений: 6,214
	14.07.2022, 14:52
	Не по теме: Kubuntovod, ПЛК - программируемый логический контроллер. Грубо говоря, одноплатник с овердофига периферии. Релюшки, датчики GPIO и прочие интерфейсы... Зачастую у них на борту какой-нибудь Raspbian Или что-то своё, насмерть запиленное, но c Linux Kernel. Добавлено через 1 минуту что за ПЛК, какая там ось, как смонтирована карта? Данные на карте? FTP запущен? 0

@Alli_Lupin 5037 / 1064 / 149 Регистрация: 29.01.2013 Сообщений: 6,214
	14.07.2022, 15:00
	Kubuntovod, так я потому и спрашивал, что за зверь и что там в мозгах. 0

@Perelygin 0 / 0 / 0 Регистрация: 04.06.2019 Сообщений: 47
	15.07.2022, 09:46 [ТС]
	ПЛК - программно логический контролер schneider Modicon M241 к сожалению wget не видит Добавлено через 1 минуту ПЛК schneider на какой системе развернуто это коммерческая тайна schneider просто не скажет это Добавлено через 2 минуты можно ли на ftp построить логику сбора данных? Брать только те файлы которые отсутствуют 0

@Alli_Lupin 5037 / 1064 / 149 Регистрация: 29.01.2013 Сообщений: 6,214
	15.07.2022, 09:52
	Perelygin, в руководстве пользователя на странице 25 написано, что ftp по умолчанию засекьюрен и недоступен снаружи. Мне лень читать руководство полностью, чтобы найти, как его разрешить... 0

@Alli_Lupin 5037 / 1064 / 149 Регистрация: 29.01.2013 Сообщений: 6,214
	15.07.2022, 11:38
	Kubuntovod, да, я о том и говорил 0

@Kubuntovod 3304 / 933 / 200 Регистрация: 14.01.2013 Сообщений: 4,769
	15.07.2022, 13:19
	Alli_Lupin, ну, там сказано, что если вам приспичило на фтп сходить, то сначала идёте через ~~пень-колоду~~ спец ПО и настраиваете безопасность, т.е. логины/пароли/явки/группы и т.д. Подозреваю, что после этого всё будет работать и снаружи. 0

@Kubuntovod 3304 / 933 / 200 Регистрация: 14.01.2013 Сообщений: 4,769
	15.07.2022, 14:52
	Perelygin, уточните, плиз, у Вас есть доступ к ~~телу~~ админке этого чудо-девайса или нет? Если нет, то как Вы собрались получать доступ к ФТП? 0

@Perelygin 0 / 0 / 0 Регистрация: 04.06.2019 Сообщений: 47
	18.07.2022, 08:03 [ТС]
	доступ есть, проброшен туннель, безопасность настроена. Скрипт который я выше написал заходи на ftp, и скачивает данные. У меня задача, скачивать именно данные которые мне нужно, старые оставлять новые скачивать. то есть - скрипт выполняет действия 18.07.2022 и скачивает файл 17.07.2022. - скрипт выполняет действия 19.07.2022 пропускает файл 17.07.2022. скачивает файл 18.07.2022. Проблема что связь организованна по спутниковому каналу. И с каждым днем информации будет только больше 0

@Perelygin 0 / 0 / 0 Регистрация: 04.06.2019 Сообщений: 47
	18.07.2022, 10:00 [ТС]
	Спасибо большое. Но Но wget не может попасть на sd0 Возможно я ошибку делаю в bash Миниатюры 0

@Alli_Lupin 5037 / 1064 / 149 Регистрация: 29.01.2013 Сообщений: 6,214
	18.07.2022, 10:03
	Perelygin, а в куда ftp смонтирован вообще? если, например, браузером по ftp подключиться, в какой каталог попадаешь? 0

@Perelygin 0 / 0 / 0 Регистрация: 04.06.2019 Сообщений: 47
	18.07.2022, 10:12 [ТС]
	/sd0/ - не видит. Приходиться водить в адресную строку, тогда открывает Миниатюры 0