Вернуться   Финляндия по-русски » Жизнь в Финляндии » Koмпьютeры, Teлeфoны, TV & Co » Программы и прочий софт
Логин
Пароль

Ответ
 
Опции темы Поиск в этой теме Оценить тему Опции просмотра
Old 21-10-2020, 17:48   #1
ID
пенсионер
 
Аватар для ID
 
Сообщений: 12,576
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
Синхронизация данных

Решил сделать отдельную от "облаков" тему для обсуждения методов и программ синхронизации.

Поделитесь, кто как бэкапит данные и какие подводные камни бывают при синхронизации.

Например, я обнаружил что иногда файлы ломаются при перемещении в новую папку (превышается разрешённая длина названия вместе с длиной пути хранения). То есть они нормально туда переносятся, но потом их оттуда не вынуть.

-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
 
0
 
0
    Ответить с цитированием
Old 21-10-2020, 18:50   #2
HZ
Пользователь
 
Аватар для HZ
 
Сообщений: 963
Проживание:
Регистрация: 20-02-2015
Status: Offline
Я всячески пробовал. Теперь делаю напрямую, на переносной жёсткий диск. То что файлы ломаются, вполне возможно, но проверять времени нет. Последнее время бекапил на домашнее облако, а с него резервную копию делал на жёсткий диск.
 
0
 
0
    Ответить с цитированием
Old 21-10-2020, 19:54   #3
Это я
Пользователь
 
Сообщений: 2,873
Проживание:
Регистрация: 07-07-2003
Status: Offline
Цитата:
Сообщение от ID
Решил сделать отдельную от "облаков" тему для обсуждения методов и программ синхронизации.

Поделитесь, кто как бэкапит данные и какие подводные камни бывают при синхронизации.

Например, я обнаружил что иногда файлы ломаются при перемещении в новую папку (превышается разрешённая длина названия вместе с длиной пути хранения). То есть они нормально туда переносятся, но потом их оттуда не вынуть.



Зависит от данных, которые бекапятся.

В линуксе проблем нет, сделал архив и залил по scp и проч.
Маки тоже отлично бекапятся на OpenMediaVault

На Виндовс использую приложение NextCloud и сервер под столом стоит. Иногда файлы не синхронизируются. Но очень редко.
 
0
 
0
    Ответить с цитированием
Old 22-10-2020, 00:47   #4
ID
пенсионер
 
Аватар для ID
 
Сообщений: 12,576
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
Цитата:
Сообщение от Это я
На Виндовс использую приложение NextCloud и сервер под столом стоит. Иногда файлы не синхронизируются. Но очень редко.

А что делает эта программа, сравнивает? Как выглядит "несинхронизация"?

Для меня главное - избежать размножения одинаковых файлов. Был у меня альбом с фотками машин. Сделал резерв. Альбом продолжил накапливаться и решил я раскидать альбом на несколько тематических папок. Естественно, синхрить уже не получается - надо удалять старый резерв и бекапить новую структуру каталогов.

А иногда и названия файлов меняются... Или содержание обновляется.

Как автоматизировать такие процессы?

Гугл выдаёт статьи 8-летней давности https://3dnews.ru/634640

PS Ещё одна проблема при бекапе - смена даты файла. Если переносить, то сохраняется исходная дата создания, а если копировать, то соответственно дата обновляется. При дальнейшей синхронизации появляются уточнения - какой сохранить новый или старый. При этом старый файл мог быть отредактирован (дата создания одна, а дата изменения другая)

-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
 
0
 
0
    Ответить с цитированием
Old 22-10-2020, 10:29   #5
ID
пенсионер
 
Аватар для ID
 
Сообщений: 12,576
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
Вот, нашёл более свежий обзор https://lumpics.ru/programs-for-syn...es-and-folders/
На мой взгляд прога FreeFileSync не плохая "приложение находит переименованные или перенесенные файлы". Но уже очень краткий обзор.

-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
 
0
 
0
    Ответить с цитированием
Old 22-10-2020, 10:35   #6
Это я
Пользователь
 
Сообщений: 2,873
Проживание:
Регистрация: 07-07-2003
Status: Offline
Цитата:
Сообщение от ID
А что делает эта программа, сравнивает? Как выглядит "несинхронизация"?


несинхронизация - это когда сидишь в жопе мира и на медленном интернете пытаешься синхронизировать файлы.

Не всегда получается с первого раза.
 
Old 22-10-2020, 10:43   #7
Это я
Пользователь
 
Сообщений: 2,873
Проживание:
Регистрация: 07-07-2003
Status: Offline
Цитата:
Сообщение от ID
Вот, нашёл более свежий обзор https://lumpics.ru/programs-for-syn...es-and-folders/
На мой взгляд прога FreeFileSync не плохая "приложение находит переименованные или перенесенные файлы". Но уже очень краткий обзор.


Надо понимать как надо использовать решение.
Бекап и синхронизация вроде бы похожи, но служат для разного и подход для реализации разный.


Бекап делается для сохранности фалов. Как есть, все файлы и директории. Есть много продуктов для бекапа, от простых (open source) до коммерческих/

Синхронизация - это когда файлы используются одним аккаунтом на разных устройствах или даже разными аккаунтами. Чтобы не плодить 1 000 000 одинаковых файлов, используется одна копия файла и доступ к этому файлу регулируется тем или иным способом.

Какую систему надо построить?

Какой объем фоток? как часто они меняются? Фотки хранятся для просмотра или просто для сохранности?

Бекап 200-300 Гбит файлов на 1Гбит сети идет минут 10.

Может просто сделать галерею фоток на собственном/публично Web сервере и не париться?
 
0
 
0
    Ответить с цитированием
Old 22-10-2020, 11:52   #8
ID
пенсионер
 
Аватар для ID
 
Сообщений: 12,576
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
Цитата:
Сообщение от Это я
Какой объем фоток? как часто они меняются? Фотки хранятся для просмотра или просто для сохранности?

Фотки указал для примера. Данных примерно 6Тб (около 1 млн файлов в 45тыс папок). Но самые объёмные категории (документы, фото, музыка, видео) обновляются ежедневно и не хочется, что бы оригиналами этих файлов пользовались - для этого и делается их бекап. А вот периодически встаёт вопрос синхронизации бекапа, так как повторный полный бекап из разных мест занимает около двух суток.

-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
 
0
 
0
    Ответить с цитированием
Old 22-10-2020, 14:06   #9
Это я
Пользователь
 
Сообщений: 2,873
Проживание:
Регистрация: 07-07-2003
Status: Offline
Цитата:
Сообщение от ID
Данных примерно 6Тб (около 1 млн файлов в 45тыс папок).



Сейчас как это работает?
Как хранятся файлы? Просто на жестком диске без RAID?
 
0
 
0
    Ответить с цитированием
Old 22-10-2020, 14:10   #10
Kluwert
Пользователь
 
Сообщений: 2,851
Проживание:
Регистрация: 23-02-2015
Status: Offline
Цитата:
Сообщение от Это я
Сейчас как это работает?
Как хранятся файлы? Просто на жестком диске без RAID?

О, а, кстати, бывают ли переносные диски-RAID-массивы?
 
0
 
0
    Ответить с цитированием
Old 22-10-2020, 15:29   #11
Это я
Пользователь
 
Сообщений: 2,873
Проживание:
Регистрация: 07-07-2003
Status: Offline
Цитата:
Сообщение от Kluwert
О, а, кстати, бывают ли переносные диски-RAID-массивы?



Их можно носить, они не тяжелые.
https://www.verkkokauppa.com/fi/pro...fz9QYM0hOjh1 v

Не сильно дороже самосбора на raspberry pI
https://www.elfadistrelec.fi/fi/kak...XkaApyBEALw_wcB


Хотя эти решения не совсем мобильные, могут не запуститься в один момент
 
Old 22-10-2020, 15:47   #12
ID
пенсионер
 
Аватар для ID
 
Сообщений: 12,576
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
Цитата:
Сообщение от Это я
Сейчас как это работает?
Как хранятся файлы? Просто на жестком диске без RAID?

Да, РЭЙДов нет. Есть пачка дисков, лежащая на полочке (с архивами), есть НАС и системники с оперативкой. При их заполнении подключаю архивы по УСБ и сливаю на них заново. Так как за время оперативной работы файлы пересортировываются и переназываются то в архивах растёт количество дублей.

-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
 
0
 
0
    Ответить с цитированием
Old 22-10-2020, 16:29   #13
Это я
Пользователь
 
Сообщений: 2,873
Проживание:
Регистрация: 07-07-2003
Status: Offline
Цитата:
Сообщение от ID
Да, РЭЙДов нет. Есть пачка дисков, лежащая на полочке (с архивами), есть НАС и системники с оперативкой. При их заполнении подключаю архивы по УСБ и сливаю на них заново. Так как за время оперативной работы файлы пересортировываются и переназываются то в архивах растёт количество дублей.



Asustor и 2 диска по 8Тб решать ваш вопрос. Это порядка 600 EUR. Только если у вас куча свободного времени можно стопку жестких дисков туда сюда гонять. Я бы уже давно запутался.

У HDD самая дешевая стоимость хранения гигабайта и они долговечны.

В свое время я тоже перебрал свои архивы и много чего выкинул. Оставил только нужные файлы. Получилось не так много. Храню на собственном файл сервере.
 
Old 22-10-2020, 18:08   #14
ID
пенсионер
 
Аватар для ID
 
Сообщений: 12,576
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
Цитата:
Сообщение от Это я
Asustor и 2 диска по 8Тб решать ваш вопрос. Это порядка 600 EUR. Только если у вас куча свободного времени можно стопку жестких дисков туда сюда гонять. Я бы уже давно запутался.

Ну вот в теме про облака я уже описал железное решение (пока один и на 4ТБ), теперь ищу софтовое, так как времени действительно больше нет и начинаю путаться Чистого материала должно получится как раз на 4Тб примерно. Прямо вот чую, что 2Тб уже дублей всяких...

-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
 
0
 
0
    Ответить с цитированием
Old 22-10-2020, 18:47   #15
Vnik
Кіт Кiтофєїч
 
Аватар для Vnik
 
Сообщений: 16,344
Проживание:
Регистрация: 13-02-2008
Status: Offline
Да все очень просто. Правой кнопкой по диску и затем Format.
Че всякое старье копить то? Я раз в год делаю бэкап на внешний диск, да и все.
Если комп крякнет? Ну крякнет, и что? Все там будем.

Цитата:
Сообщение от ID
Прямо вот чую, что 2Тб уже дублей всяких...

А это уж точно. И даже не дублей, а несколько раз.
 
0
 
0
    Ответить с цитированием
Old 22-10-2020, 18:56   #16
Это я
Пользователь
 
Сообщений: 2,873
Проживание:
Регистрация: 07-07-2003
Status: Offline
Цитата:
Сообщение от ID
Ну вот в теме про облака я уже описал железное решение (пока один и на 4ТБ), теперь ищу софтовое, так как времени действительно больше нет и начинаю путаться Чистого материала должно получится как раз на 4Тб примерно. Прямо вот чую, что 2Тб уже дублей всяких...



rm -rf

Если хозяин не знает что за файлы, то в топку. Это мусор.

На всякий случай. У Hetzner есть облачное хранение данных с бекапом. Все данные хранятся в Финляндии.
Выбирайте тариф и пользуйтесь с помесячной оплатой. Никаких своих серверов и облаков не надо строить.
https://www.hetzner.com/storage/storage-box?country=fi

Последнее редактирование от Это я : 22-10-2020 в 20:31.
 
0
 
0
    Ответить с цитированием
Old 23-10-2020, 01:08   #17
puppetman79
Пользователь
 
Аватар для puppetman79
 
Сообщений: 3,673
Проживание: Kuopio
Регистрация: 24-08-2013
Status: Offline
Цитата:
Сообщение от Это я
На всякий случай. У Hetzner есть облачное хранение данных с бекапом. Все данные хранятся в Финляндии.
Выбирайте тариф и пользуйтесь с помесячной оплатой. Никаких своих серверов и облаков не надо строить.


в чем особенность хранения данных именно в Фи? Почему не в Америке, России (где может быть дешевле)? если мы не про секретные бизнес данные говорим сейчас, а про обычные домашние архивы. платить 12е в месяц или 20 в год - разница приличная.
 
0
 
0
    Ответить с цитированием
Old 23-10-2020, 10:22   #18
Это я
Пользователь
 
Сообщений: 2,873
Проживание:
Регистрация: 07-07-2003
Status: Offline
Цитата:
Сообщение от puppetman79
в чем особенность хранения данных именно в Фи? Почему не в Америке, России (где может быть дешевле)? если мы не про секретные бизнес данные говорим сейчас, а про обычные домашние архивы. платить 12е в месяц или 20 в год - разница приличная.


Покажите стоимость 20 евро в год. Я сам подпишусь на такой backup :-)

12 евро в месяц - это цена качественного сервиса. Она бьется с ценой аренды сервера с дисками + резервирование + доступность через несколько лет и поддержкой со стороны провайдера.

жесткий диск на 2 ТЬ стоит 80-90 EUR, а надо минимум 2 + компьютер + интернет + обслуживание. Сколько лет вы будете отбивать его стоимость при цене в 20EUR в год?
 
0
 
0
    Ответить с цитированием
Old 23-10-2020, 22:50   #19
ID
пенсионер
 
Аватар для ID
 
Сообщений: 12,576
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
Цитата:
Сообщение от Vnik
А это уж точно. И даже не дублей, а несколько раз.

Скажите, а Ваши КАДовские проекты много весят? Приходится хранить разные версии одного проекта? Не праздное любопытство и без подколок.
У меня большие объёмы из-за того, что работаю с мультимедиа. А теперь ещё все хотят 4К...

-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
 
0
 
0
    Ответить с цитированием
Old 23-10-2020, 22:58   #20
ID
пенсионер
 
Аватар для ID
 
Сообщений: 12,576
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
Цитата:
Сообщение от ID
На мой взгляд прога FreeFileSync не плохая "приложение находит переименованные или перенесенные файлы".

Не подходит в моём случае.
1) Если файлы имеют одинаковое имя, но разное содержание, то просто предлагает заменить старый более новым.
2) Если файлы одинаковые, но под разными именами, то думает, что разные файлы.
3) "Приложение находит переименованные или перенесенные файлы" только в долгосрочной перспективе на основе созданной собственной базы данных.

В общем, программа хороша для ежедневного использования. Чувствую, что придётся опять ручками перебирать всё "бахатство"

-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
 
0
 
0
    Ответить с цитированием
Old 24-10-2020, 00:25   #21
Это я
Пользователь
 
Сообщений: 2,873
Проживание:
Регистрация: 07-07-2003
Status: Offline
Цитата:
Сообщение от ID
Скажите, а Ваши КАДовские проекты много весят? Приходится хранить разные версии одного проекта? Не праздное любопытство и без подколок.
У меня большие объёмы из-за того, что работаю с мультимедиа. А теперь ещё все хотят 4К...



Вам нужна система управления версиями (версионинг файлов)
поддерживается например в opensource NextCloud.
 
0
 
0
    Ответить с цитированием
Ответ


Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать темы
Вы не можете отвечать на сообщения
Вы не можете прикреплять файлы
Вы не можете редактировать сообщения

vB коды Вкл.
[IMG] код Вкл.
HTML код Выкл.



» Объявления на Doska.fi

» Галерея Финляндии

» Реклама на Doska.fi

» Реклама на Russian.fi


Часовой пояс GMT +3, время: 10:48.

Russian.fi - Финляндия по-русски © Suomitech Oy, 2002-2024 При использовании материалов с сайта указание ссылки на russian.fi обязательно