Яндекс.Диск - один из немногих сервисов Яндекса, частью которого является программное обеспечение для десктопа. И одна из самых важных его составляющих - алгоритм синхронизации локальных файлов с их копией в облаке. Недавно нам пришлось его полностью поменять. Если старая версия с трудом переваривала даже несколько десятков тысяч файлов и к тому же не достаточно быстро реагировала на некоторые «сложные» действия пользователя, то новая, используя те же ресурсы, справляется с сотнями тысяч файлов.
В этом посте я расскажу, почему так получилось: чего мы не смогли предвидеть, когда придумывали первую версию ПО Яндекс.Диска, и как создавали новую.
Прежде всего, о самой задаче синхронизации. Технически говоря, она состоит в том, чтобы в папке Яндекс.Диска на компьютере пользователя и в облаке был один и тот же набор файлов. То есть такие действия пользователя, как переименование, удаление, копирование, добавление и изменение файлов, должны синхронизироваться с облаком автоматически.
Почему это не так просто, как кажется на первый взгляд?
Теоретически задача может показаться достаточно простой, но в реальности мы сталкиваемся с разными сложными ситуациями. Например, человек переименовал папку на своем компьютере, мы это детектировали и послали команду на бекенд. Однако никто из пользователей не ждет, пока бекенд подтвердит успешность переименования. Человек сразу открывает свою локально переименованную папку, создает в ней подпапку, и, к примеру, переносит в нее часть файлов. Мы попали в ситуацию, в которой невозможно сразу выполнить все необходимые операции синхронизации в облаке. Сначала надо дождаться завершения первой операции и только потом можно продолжать.Ситуация может стать еще сложнее, если с одним аккаунтом одновременно работают несколько пользователей или у них есть общая папка. А это случается достаточно часто в организациях, использующих Яндекс.Диск. Представьте себе, что в предыдущем примере в тот момент, когда мы получили от бекенда подтверждение первого переименования, другой пользователь берет и переименовывает эту папку еще раз. В этом случае опять нельзя сразу выполнить действия, которые уже совершил первый пользователь у себя на компьютере. Папка, в которой он работал локально, на бекенде в это время уже называется по-другому.
Бывают случаи, когда файл на компьютере пользователя нельзя назвать так же, как он называется в облаке. Это может произойти, если в имени есть символ, который не может использоваться локальной файловой системой, или в том случае, когда пользователя приглашают в общую папку, а у него есть своя папка с таким именем. В таких случаях нам приходится использовать локальные псевдонимы и отслеживать их связь с объектами в облаке.
Прошлая версия алгоритма
В прошлой версии десктопного ПО Яндекс.Диска для поиска изменений использовался алгоритм сравнения деревьев. Любое другое решение на тот момент не позволяло реализовать поиск перемещений и переименований, так как бэкэнд не имел уникальных идентификаторов объектов.В этой версии алгоритма мы использовали три основных дерева: локальное (Local Index), облачное (Remote Index) и последнее синхронизированное (Stable Index). Кроме этого, чтобы предотвратить повторную генерацию уже поставленных в очередь операций синхронизации, использовались ещё два вспомогательных дерева: локальное ожидаемое и облачное ожидаемое (Expected Remote Index и Expected Local Index). В этих вспомогательных деревьях хранилось ожидаемое состояние локальной файловой системы и облака, после выполнения всех операций синхронизации, которые уже поставлены в очередь.
Процедура сравнения деревьев в старом алгоритме выглядела следующим образом:
- Если локальное ожидаемое дерево и облачное ожидаемое дерево пусты, инициализируем их, копируя последнее синхронизированное дерево;
- Сравниваем локальное дерево с облачным ожидаемым и по результатам сравнения отдельных узлов добавляем в очередь операции синхронизации в облаке (создание коллекций, передача файлов в облако, перемещение и удаление в облаке);
- Для всех операций, которые поставлены в очередь на предыдущем шаге, фиксируем их будущий эффект в ожидаемом облачном дереве;
- Сравниваем облачное дерево с локальным ожидаемым и по результатам сравнения отдельных узлов добавляем в очередь операции синхронизации с локальной файловой системой (создание директорий, скачивание файлов из облака, перемещение и удаление локальных файлов и директорий);
- Для всех операций, которые поставлены в очередь на предыдущем шаге, фиксируем их будущий эффект в ожидаемом локальном дереве;
- Если в очередь попадают одновременные операции с одним и тем же файлом или директорией (например, передача файла в облако и скачивание этого же файла из облака), то фиксируем конфликт - файл изменился в двух местах;
- После того, как операция синхронизации выполнена в облаке или с локальной файловой системой, заносим её результат в последнее синхронизированное дерево;
- Когда очередь операций синхронизации становится пустой, удаляем локальное ожидаемое и облачное ожидаемое дерево. Синхронизация закончена, и они нам больше не понадобятся.
Почему нам пришлось придумывать новый алгоритм
Главными проблемами алгоритма сравнения деревьев стали большое потребление памяти и необходимость сравнения деревьев целиком даже при небольших изменениях, что приводило к большой нагрузке на процессор. Во время обработки изменений даже одного файла использование оперативной памяти возрастало примерно на 35%. Допустим, у пользователя было 20 000 файлов. Тогда при простом переименовании одного файла размером 10Кб потребление памяти вырастало скачкообразно - со 116Мб до 167МБ.Также мы хотели увеличить максимальное количество файлов, с которым без проблем может работать пользователь. Несколько десятков и даже сотен тысяч файлов может оказаться, к примеру, у фотографа, который хранит в Яндекс.Диске результаты фотосессий. Эта задача стала особенно актуальной, когда у людей появилась возможность купить дополнительное место на Яндекс.Диске.
В разработке тоже хотелось кое-что поменять. Отладка старой версии вызывала трудности, так как данные о состояниях одного элемента находились в разных деревьях.
К этому времени на бекенде появились id объектов, с помощью которых можно было более эффективно решить задачу обнаружения перемещений - ранее мы использовали пути.
Новый алгоритм
Мы решили изменить структуру хранения данных и заменить три дерева (Local Index, Remote Index, Stable Index) на одно, что должно было привести к снижению избыточности в главной структуре данных. Из-за того что ключом в дереве является путь к элементу файловой системы, в результате объединения значительно сократился объем используемой оперативной памяти.
Еще мы отказались от использования вспомогательных деревьев во время синхронизации, потому что каждый элемент дерева в новой версии хранит все нужные данные. Это изменение структуры сильно упростило отладку кода.
Так как мы понимали, что это серьезное изменение, то создали прототип, подтвердивший эффективность нового решения. Рассмотрим на примере, как меняются данные в дереве во время синхронизации нового файла.
- После того как пользователь добавил в папку Диска новый файл, программа обнаружила его и добавила в дерево новый элемент. У этого элемента известно только одно состояние – local. Так как stable и remote состояния отсутствуют, память под них не выделяется;
- Программа выполняет upload файла. Из облака приходит push, подтверждающий появление нового файла, и в дерево добавляется remote состояние;
- Состояния local и remote сравниваются. Так как они совпадают, добавляется stable состояние;
- Состояния local и remote удаляются. Они больше не нужны, так как вся информация есть в stable.
На этом примере видно, что в новом алгоритме синхронизации обрабатываются только те элементы и события, данные об изменениях в которых были получены от файловой системы или облака, а не всё дерево целиком, как это было ранее. При необходимости будут обработаны родительские или дочерние узлы (например, в случае перемещения папки).
Другие улучшения
В новой версии мы поработали и над другими улучшениями, повлиявшими на производительность. Сохранение дерева сделали инкрементальным, что позволяет записывать в файл только последние изменения.Яндекс.Диск использует дайджесты sha256 и MD5 для проверки целостности файлов, обнаружения изменившихся фрагментов и дедупликации файлов на бекенде. Так как эта задача сильно нагружает CPU, в новой версии реализация расчетов дайджеста была существенно оптимизирована. Скорость получения дайджеста файла увеличена примерно в два раза.
Цифры
Синхронизация уникальных 20000 файлов по 10КбВычисление дайджестов уникальных 20000 файлов по 10кб (индексация)
Запуск с 20000 синхронизированных файлов по 10Кб
Upload 1Gb. Соединение Wi-Fi 10 МБит
Что получилось
Из примеров видно, что новая версия ПО Яндекс.Диска использует примерно в 3 раза меньше оперативной памяти и примерно в 2 раза меньше нагружает CPU. Обработка мелких изменений не приводит к увеличению объема используемой памяти.В результате проделанных изменений существенно увеличилось количество файлов, с которым без проблем справляется программа. В версии для Windows – 300 000, а на Mac OS X - 900 000 файлов.
В этой статье мы рассмотрим что такое Google Диск , каковы его преимущества, процесс синхронизации ПК и облачного хранилища, и, наконец, как восстановить стертые данные.
Облачное хранилище — один из важнейших аспектов в работе с данными. Существует огромное количество всевозможных ошибок, способных привести к потере наших ценных файлов и мы, зачастую, упускаем объективно полезные инструменты в работе с ними. Они способны помочь не только восстановить стертые документы, но и обеспечат вам полное спокойствие, ведь теперь данные никуда не пропадут.
Если вам пока не доводилось работать с облачными хранилищами, рекомендуем задуматься над использованием Google Диск . Одна из причин тому — его привязка к Google-аккаунту, который у большинства пользователей является основным почтовым ящиком.
Google Диск и его конкуренты
Вы уже наверняка слышали или даже работали с Google Диск, OneDrive (облачное хранилище от Microsoft) и DropBox. Однако в чем же между ними разница? Давайте разберем.
Google Диск
Полезные статьи
Доступ к данному сервису вы всегда можете получить через собственный браузер, компьютерное или же мобильное приложение.
Установив клиент Google для рабочего стола, вы также сможете синхронизировать выбранные папки с облачным хранилищем, тем самым обеспечив резервное копирование всех важных документов.
Dropbox, аналогично инструменту Google Диск, всегда доступен как через веб-браузер, так и приложения, разработанные для ПК и смартфонов. Вы можете загружать файлы любого размера, совершая их моментальную синхронизацию, однако, в отличие от Google, теряете возможность загрузки целых папок.
Одной из важных особенностей Dropbox является работа с локальной сетью. Обычно скорость загрузки файлов ограничивается скоростью интернета и это логично.
Dropbox также отслеживает полную историю изменений файлов и если кто-то случайно удаляет документы, которыми вы поделились, вы всегда можете восстановить их — данные никогда не пропадут с серверов мгновенно.
Разработчики предвидели подобные ситуации и установили срок 30 дней на восстановление случайно удаленных из хранилища файлов.
Используя Dropbox, вы всегда можете обмениваться личными файлами и папками при помощи электронной почты или ссылками, а зарегистрированные пользователи получают возможность взаимодействия с Microsoft Office Online.
Другие файлы требуют иного подхода — вы сможете комментировать их, делиться, однако с одним отличием — не в режиме реального времени.
Dropbox по прежнему остается невероятно полезным облачным хранилищем, однако используя его можно столкнуться с путаницей, когда два человека одновременно пытаются внести изменения в один файл.
OneDrive
OneDrive является прямым ответом компании Apple на создание iCloud. Единственное отличие детища Microsoft — их хранилище способно работать сразу с несколькими платформами. Это означает, что OneDrive прекрасно подходит для всех, кто работает с технологиями, так или иначе связанными с продукцией Microsoft.
Как и в случае с другими облачными хранилищами, доступ к OneDrive вы можете получить следующими способами: через веб-браузер, приложение для рабочего стола Windows и мобильную версию.
Дополнительной особенностью работы с хранилищем от Microsoft можно назвать его полную синхронизацию с компьютером. Поэтому вы всегда можете получить доступ к облачному хранилищу просто открыв Проводник и перейдя в раздел OneDrive.
Вы можете загружать в облако любые файлы или папки размером до 10 Гб , а сервис, в свою очередь, тщательно отсортирует их по типу и формату.
Нельзя оставить незамеченной и синхронизацию OneDrive с Outlook. Это говорит о том, что вы всегда сможете прикрепить к электронному письму любой необходимый документ без необходимости дополнительной загрузки — просто укажите его расположение в облаке.
Интеграция Microsoft Office существенно облегчает обмен документами, таблицами и слайд-шоу. А подписчики Office 365 получают приятный бонус — возможность работы в режиме реального времени, что позволяет компании одновременно просматривать и корректировать важные документы.
Синхронизация компьютера и Google Диска
Мало что может быть важнее для пользователей, работающих с ценными документами, чем безопасность их данных. Именно по этой причине рекомендуем вам провести синхронизацию файлов с любым удобным облачным хранилищем.
В этой же статье, как пример, мы рассмотрим процесс работы с Google Docs . Давайте приступим!
1. Скачайте приложение с сайта Google.
2. Установите программу.
3. Нажмите клавишу Начать .
5. Выберите папки на компьютере для автоматического резервного копирования на Google Диск.
6. Запустите процесс синхронизации.
По завершению синхронизации, вы получите полную резервную копию указанных ранее папок. Теперь, в случае любой непредвиденной ошибки, затрагивающей важные данные, вы всегда сможете восстановить их.
Освобождение пространства Google Диска
Нередко, особенно для пользователей, которые на постоянной основе пользуются услугами резервного копирования, возникает важный вопрос относительно облачного пространства. Ведь время идет, некоторые файлы теряют свою актуальность, а память Google Диск медленно, но верно забивается.
В такой ситуации единственно верным решением может стать очистка облака. Как это сделать? Давайте рассмотрим процесс в инструкции ниже.
2. Выделите большие ненужные файлы и, зажав левую кнопку мыши, перенесите их в корзину, затем удалите.
Однако не только облачные файлы способны отнимать свободное пространство хранилища. Мы пользуемся одним аккаунтом Google , который привязан ко всем его сервисам. Это говорит нам о том, что даже почта Gmail может отнимать некоторую память.
Поэтому, если у вас возникла необходимость очистить свободное пространство, рекомендуем удалить ненужный спам в электронной почте.
Восстановление стертых данных
Чтобы восстановить удаленные файлы с Google Диска в облаке, выполните следующие действия:
- 1. Перейдите на drive.google.com/drive/trash.
- 2. Выделите и щелкните правой кнопкой мыши на удаленных файлах, которые вы хотите восстановить.
- 3. Нажмите «Восстановить», чтобы вернуть их.
Вслучае удаления файлов или папок с Google Диска и очистки корзины в облаке, вернуть данные будет немного сложнее, но все же возможно!
Starus Partition Recovery — универсальное приложение, способное восстановить любой файл даже в условиях уничтоженной файловой системы путем применения полного форматирования.
Главным его отличием от упрощенных аналогов Starus NTFS Recovery и Starus FAT Recovery является неограниченная возможность работы со всеми файловыми системами, что обеспечивает надежность и долгосрочную эффективность в восстановлении файлов с любых носителей.
Надеемся, статья оказалась полезной и помогла найти ответы на поставленные вопросы!
Каждый из вас может решать вопрос сохранности этих данных по своему. Я же предлагаю вам взглянуть на то как обезопасить эти файлы с помощью синхронизации данных.
У моего друга недавно поломался ноутбук. Ударил он его случайно и тот перестал включаться. Оказалось, что полетел жесткий диск, а вся важная информация была на нем. Резервное копирование файлов он не делал, так как часто забывал, иногда было лень или просто трудно было уследить за всеми документами. Тогда у него было много проблем с восстановлением информации. Теперь, зная о синхронизации, он ничего не боится.
Теперь вы прекрасно понимаете, что в вопросе хранения данных полагаться только на свой компьютер, диски и флешки очень ненадежно и небезопасно. Еще можно учесть человеческий фактор, когда что случайно удаляется, забывается, теряется…
Если у вас уже начали появляться вопросы по поводу значений некоторых слов и фраз, вы всегда можете заглянуть в раздел . Я буду собирать там ответы на часто задаваемые вопросы.
Как синхронизировать файлы и папки?
Синхронизировать файлы и папки на самом деле легко. Все сводится ктому, что нужно зарегистрироваться в одном из таких сервисов, потом скачать к себе на компьютер специальную программу. Программа создаст на жестком диске свою папку, в которую нужно поместить файлы для синхронизации.
На этом блоге я попытался охватить самые популярные сервисы синхронизации файлов. С ними вы можете ознакомиться по этим ссылкам:
Сейчас наблюдается бурное развитие облачных сервисов , которые в борьбе за пользователей стараются придумать уникальные фишки и предложить выгодные условия пользования их услугами. В среднем предлагается около 5 гигабайт бесплатного облачного дискового пространства для синхронизации файлов. Это не так уж и много, но для самых важных файлов будет достаточно. Поэтому рекомендую также взглянуть на статью, где я постарался ответить на вопрос, какие файлы для вас , а какие неважными. Она поможет правильно выбрать файлы для синхронизации и резервного копирования.
Суть синхронизации
Синхронизация данных обеспечивает идентичность выбранной информации на разных устройствах, которые подключены к сервису синхронизации. Если взять к примеру текстовый документ, то он будет одинаковым на всех ваших компьютерах. Если вы что допишите в этом документе, то файл автоматически обновится на других компьютерах. Происходит синхронизация в основном через интернет. Для этого нужно установить специальные программы на все компьютеры, планшеты или смартфоны, которые вы используете, например . Программа создаст папку по имени Dropbox, в которой вы будете хранить ваши документы. Они будут закачиваться на специальное хранилище в интернете, после чего вы будете иметь к ним доступ из любого уголка планеты через веб-браузер, смартфон или планшет.
Отличительная особенность синхронизации данных в том, что вам не нужно следить за версиями файлов с которыми вы работаете. У вас всегда будет самая свежая версия вашего документа. Любой сервис синхронизации файлов позволяет загружать ваши документы, фото, музыку и другие файлы в облачное хранилище и потом получать к ним доступ через программы для компьютеров, планшетов, смартфонов или просто через веб-браузер. Для того, чтобы начать пользоваться синхронизацией файлов нужно зарегистрироваться и скачать бесплатную программу для синхронизации файлов . Про то как это сделать можно прочитать в статье про . И пусть вас не пугает англоязычный интерфейс, можно воспользоваться замечательным плагином для Google Chrome для быстрого перевода непонятных слов.
Какие выгоды дает синхронизация данных для обычных пользователей:
Во-первых — защита данных от потери важной информации. Вам не страшна поломка компьютера, утеря флешки, поломка жесткого диска. Ваши документы, фото, презентации, электронные таблицы и другие файлы всегда будет доступны откуда угодно, где есть интернет.
Во-вторых — вы сможете легко обмениваться файлами с другими людьми просто отправив им ссылку по электронной почте, Вконтакте, Facebook или любым удобным для вас способом.
В-третьих — синхронизация компьютеров через интернет. Вы сможете начать что-то делать на рабочем компьютере и продолжить на домашнем с того места, где закончили. Синхронизация данных на двух и более компьютерах значительно упростилась.
В-четвертых — можно не носить с собой постоянно флешку, часто забывая что-то скинуть на нее. Достаточно знать логин и пароль от сервиса синхронизации данных и ваши файлы будут вам всегда доступны через интернет.
Я не устаю повторять, что при современном ритме жизни синхронизация лишней не будет. Сейчас особенно легко потерять все ваши документы, файлы, фото из-за того что компьютеры стали мобильными, их легче поломать или потерять. Довольно часто важные документы просто лежат на Рабочем столе . Но это не будет вас волновать, пока вы не потеряете что-то важное. Так вот, обезопасить важную информацию вам помогут сервисы синхронизации
Синхронизация файлов – это процесс, в результате которого две или более папок содержат . При добавлении, удалении или изменении какого-либо файла в одной папке, при синхронизации он будет добавлен, удален или изменен во всех остальных папках.
Другими словами, механизм синхронизации файлов рассчитан на работу с данными из различных рабочих мест синхронно, без использования сменных носителей – флэш-карт или дисков.
Фактическим результатом синхронизации файлов является синхронизация одной и той же версии файла с наиболее свежей датой его создания или изменения во всех синхронизируемых папках.
Как синхронизировать файлы и папки?
Суть синхронизации файлов сводится к регистрации на одном из так называемых облачных сервисов, позволяющих синхронизировать файлы, и последующим перемещением данных пользователя на сервер такого сервиса.
В настоящее время наблюдается бурное развитие облачных сервисов, которые в борьбе за пользователей предоставляют разнообразные дополнительные услуги. В среднем сервисы предлагают до 10 ГБ бесплатного облачного пространства для синхронизации файлов. Данного объема вполне достаточно для хранения наиболее важной информации.
Самыми популярными сервисами хранения данных являются Dropbox, SkyDrive, Яндекс Диск, SugarSync, Облако Mail.ru и Диск Google.
Для того, чтобы синхронизировать все устройства, необходимо установить на каждое их них специальную программу, которую можно скачать на одном из сервисов. Данная программа создаст папку пользователя, в которой будут храниться все документы. Они будут закачиваться в специальное хранилище в интернете, из которого будут доступны пользователю в любой точке мира.
С помощью синхронизации можно обеспечить идентичность файлов на разных устройствах, которые подключены к одному и тому же облачному сервису. Например, при изменениях информации в одном из файлов на сервере, этот файл автоматически обновится на всех компьютерах, подключенных к сервису синхронизации.
Выгоды синхронизации данных
Главная выгода синхронизации – защита данных. Даже при поломке компьютера или утере флэш-карты, документы будут находится в сохранности на сервере.
Также синхронизация открывает новые возможности для легкого обмена файлами между пользователями. Для этого необходимо отправить ссылку на необходимый документ, после чего по ней он будет доступен другому пользователю.
Еще одной ключевой выгодой синхронизации данных является возможность работы с одной и той же информацией на разных устройствах, не беспокоясь о ее постоянном переносе.
Каждый раз, когда вы копируете файл в папку Яндекс.Диска, редактируете или удаляете файл, все изменения дублируются на сервере Диска: их можно видеть на . Если же вы загружаете файлы на странице сервиса, программа «Яндекс.Диск» на вашем компьютере автоматически отобразит их в программе Яндекс.Диск.
Таким образом со всех ваших устройств, подключенных к интернету, на Диске видны одни и те же файлы.
Примечание. Синхронизировать файлы на телефоне не получится. Скачивать и загружать файлы можно только вручную. Но вы можете включить безлимитную автозагрузку фото и видео .
Что происходит, когда файл изменяется одновременно на разных устройствах?
Допустим, вы нарисовали картинку kartinka.jpg на компьютере, отключенном от интернета, а затем загрузили на Диск фотографию с тем же именем с мобильного телефона.
Когда вы подключите компьютер к интернету, Яндекс.Диск начнет синхронизацию. Обнаружив разные файлы с одинаковыми именами, Диск переименует один из них: в результате файлы будут называться kartinka.jpg и kartinka (2).jpg .
Выборочная синхронизация папок
Программа Яндекс.Диск 3.0 позволяет синхронизировать с компьютером не все файлы с вашего Диска, чтобы сэкономить место на компьютере. Например, если вы часто работаете с папкой «Документы» , включите для нее синхронизацию - эта папка будет храниться на компьютере. Остальные папки будут храниться только в облаке, но будут также доступны в программе.
Подробные инструкции по настройке выборочной синхронизации:
- в программе для Windows ;
- в приложении для macOS .
Состояние синхронизации в программе
Как синхронизируются измененные файлы?
Яндекс.Диск определяет, какие именно части файла были изменены, и выгружает на сервер только измененные фрагменты, а не файл целиком.
На скольких устройствах можно использовать Яндекс.Диск?
Теоретически вы можете установить приложение и программу Яндекс.Диск на любое количество устройств, но мы не рекомендуем этого делать. Если работать с одними и теми же файлами на разных устройствах одновременно, могут возникнуть конфликты - файлы могут дублироваться или пропадать.
Можно ли использовать съемный носитель в качестве папки для синхронизации?
Я отключил синхронизацию, но файлы все равно попадают на диск
Чужие файлы могут попасть на ваш Яндекс.Диск, если вы авторизуетесь на чужом мобильном устройстве. В этом случае при включенной автозагрузке файлы с устройства будут загружены на Яндекс.Диск.
Вы можете прекратить загрузку чужих файлов на ваш Яндекс.Диск следующими способами:
Выйти на всех устройствах Чтобы на ваш Яндекс.Диск не попадали чужие файлы, выйдите из Яндекс.Диска на всех устройствах. Отозвать доступ программ
Также вы можете отозвать доступ программ и приложений Яндекс.Диска к вашим файлам на сервере:
- Откройте страницу .
- В списке найдите все строки с названием «Яндекс.Диск» .
- Нажмите на каждую строку и нажмите Удалить .
