Легализация доходов, полученных от продажи криптовалют и майнинга, является одной из самых обсуждаемых тем в криптосообществе. сайт рассмотрел варианты трансформации средств, полученных от различных операций с криптой, в законные доходы.
Вопрос легализации доходов не поднимается, пока заработанная сумма не превышает определенного порога. Однако когда она становится существенной и привлекательной для налоговых и других органов, возникает дилемма – как вывести полученные средства из тени.
Пока средства находятся в криптосфере, то есть на бирже или в криптокошельках, никаких налогов платить не нужно, однако когда они (средства) переводятся, например, на банковский счет в виде фиата, то это уже доход, который попал в “чистое” законное поле и требует легализации.
Некоторые новички в криптосфере ошибочно полагают, что криптобиржи, как традиционные биржи, являются налоговыми агентами и самостоятельно уплачивают налоги с полученных пользователем доходов. Это не так. Криптобиржи работают в анонимном режиме, поэтому нет речи даже об идентификации пользователя, не то чтобы об уплате его налогов.
Эксперты отмечают, что, пока в конкретно выбранной стране, в которой собственник криптовалюты захочет зафиксировать свой доход и перейти из виртуальных в реальные деньги, не будет принято соответствующего законодательства, полностью легализовать свой доход не получится. Для того чтобы доход от приобретения/продажи криптовалют мог быть зафиксирован государственным регулятором, и с него собственник мог оплатить все соответствующие налоги, в действующем законе о криптовалютах должны быть прописаны такие положения, как: что такое криптовалюты, каким образом они создаются и приобретаются, как реализуются. До принятия такого закона все собственники криптовалют как минимум находятся в серой зоне, а в странах, где криптовалюты прямо запрещены, – на нелегальном положении.
“Следовательно, единственно возможный вариант легализовать в глазах государства средства, полученные от продажи криптовалюты, это их декларирование в качестве оплаты реальных денег за какие-либо иные реальные услуги. Также возможен вариант с дарением денежных средств от одного лица другому, вследствие чего в ряде стран также возникает обязанность оплатить налог” , – советует учредитель АНО «ПравоРоботов», член экспертного совета по цифровой экономике при Госдуме РФ Никита Куликов .
Также возможно задекларировать свой доход, полученный от купли-продажи или майнинга криптовалюты, и заплатить налоги как с обычных доходов физического лица. При этом стоит учитывать, если в стране криптовалюты запрещены, то подобная инициатива может обернуться уголовным наказанием.
Процедура декларации доходов, полученных от криптовалютных операций, не отличается от процедуры декларирования обычных доходов. Однако есть тонкость, которую стоит принимать во внимание. Ввиду того что все операции с криптовалютой осуществляются в анонимном режиме, то невозможно доказать сумму своих расходов, и налог, вероятнее всего, нужно будет уплачивать с полученной суммы.
Например, биткоин был приобретен за 2000$, а продан за 7300$, доход составил 5300$. По логике вещей, именно с суммы 5300$ необходимо оплатить налог, однако подтвердить расход в размере 2000$ невозможно, следовательно, государство может затребовать заплатить налог с суммы 7300$. В некоторых случаях сумма налога может превысить сумму дохода.
Чтобы минимизировать риск возникновения подобных ситуаций, эксперты советуют переводить средства на криптобиржу посредством банковского платежа, а не через анонимные кошельки, чтобы в случае возникновения спорных ситуаций была возможность подтвердить расходы.
Также есть вариант выведения своих доходов из криптозоны в традиционную экономику без потерь, отмечают специалисты. Так, например, эксперты подсказывают, что можно открыть счет в офшорной зоне, перевести туда средства с криптобирж, а уже потом перевести на банковский счет. Однако стоит учитывать, что подобные схемы во многих случаях рассматриваются как мошеннические.
В итоге можно заключить, что, если размер полученного дохода от манипуляций с криптовалютами небольшой, то лучше средства небольшими суммами переводить на электронные кошельки и уже с них осуществлять расчеты. Однако если речь идет о кругленьких суммах, то лучше все-таки заплатить налоги.
Нашли ошибку в тексте? Выделите ее, и нажмите CTRL+ENTER
За отмывание "грязных" денег при налоговых и таможенных преступлениях у граждан, физических лиц, будут конфисковывать имущество, деньги и ценности. А за легализацию доходов, полученных в результате уклонения от уплаты налогов, им светит уголовная статья.
До сих пор этот состав преступления был исключен из Уголовного кодекса. За ужесточение наказания выступает Росфинмониторинг. Ведомство разработало целый пакет радикальных и масштабных "антиотмывочных" поправок, меняющих нормы Уголовного, Налогового, административного кодексов и ряд ключевых законов. Документ опубликован на сайте министерства экономического развития для публичного обсуждения. До 30 августа эксперты могут высказать по нему замечания. Затем законопроект будет направлен в правительство и в Госдуму. Большинство новаций нового закона должно вступить в силу сразу после опубликования. Например, одно из ключевых изменений, которые ожидают граждан-физических лиц - это отмена запрета на банковскую тайну. Финразведчики предлагают обязать кредитные организации в течение трех дней предоставлять налоговым органам по их запросам информацию о движении денег по счетам и вкладам, включая электронные переводы физлиц, в отношении которых проводится налоговая проверка и которые задолжали налоги.
Таким образом налоговые органы получат доступ к счетам и вкладам любого клиента банка. Налоги в бюджет будут взыскиваться быстрее и в полном объеме. Сейчас у налоговиков таких рычагов нет. По Налоговому кодексу банки вправе предоставлять налоговикам информацию только о счетах юридических лиц или индивидуальных предпринимателей.
По мнению финансового консультанта юридической компании "Налоговик" Ирины Сидоровой, если статья 26 "О банковской тайне" "вскроет" безналичное обращение денег физлиц, которое сегодня находится под неприкосновенной правовой защитой, то это может выйти боком российским банкам - граждане либо будут стремиться хранить деньги в иностранных банках, не информируя об этом налоговые органы, либо вспомнят о хранении денег в " чулках". "В России один законопроект зачастую конфликтует с другими. Боремся с наличным денежным обращением, но ставя под удар банковскую тайну, как раз увеличиваем возможность для увеличения его оборотов", - говорит эксперт. Поправки же в Закон "Об оперативно-розыскной деятельности" дают право следствию через суд снимать режим банковской тайны в отношении любого банковского счета.
Отдельную главу авторы закона посвятили праву банков в одностороннем порядке отказываться от операций или ведения банковских счетов при подозрительных операциях. Проинформировать об этом клиентов они должны за месяц. Если деньги остаются невостребованными - перевести их на счет нотариуса по месту регистрации клиентов. А со дня направления уведомления до дня расторжения договора заморозить все операции по данному счету. За исключением перечисления обязательных платежей и налогов в бюджет.
Авторы проекта закона подробно перечисляют заведомо опасные операции по банковским счетам или вкладам. Это и открытие вклада на имя третьего лица с внесением на счет наличных денег. И перевод денег на анонимного владельца счета за пределами РФ. И зачисление или списание денежных средств со счетов юрлиц, которые работают менее трех месяцев со дня регистрации. Под особым контролем будут операции по зачислению организациям денег со счетов Федерального казначейства.
Глава Ассоциации российских банков Гарегин Тосунян напомнил "РГ", что консультации с банковским сообществом об одностороннем закрытии счетов недобросовестных клиентов шли несколько лет, причем банки сами настаивали на введении этой нормы. "Сегодня банкиры имеют совокупность обязанностей и ответственности, вплоть до отзыва лицензий, по выполнению Федерального закона "О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма", но не имеют никаких рычагов влияния на криминальных клиентов", - комментирует Тосунян. Расторгнуть договор с владельцем счета банк вправе только в двух случаях- либо через суд, либо при отсутствии операций по этому счету в течение года, если иное не предусмотрено договором. С введением новой нормы такие полномочия появятся у самих банкиров.
140 триллионов рублей в год составляет объем подозрительных финопераций, о которых сообщают банки
Впрочем, по словам Тосуняна, в условиях здоровой конкуренции среди банков никто из них не станет закрывать счета клиентов в массовом порядке. Речь идет о "штучной" доле возможных прецедентов. Аналогичным правом отказа от исполнения договора планируется наделить участников профессионального рынка ценных бумаг, подозревающих компании или граждан физлиц в "отмывке". Критерии обоснованности подобных подозрений по согласованию с Росфинмониторингом пропишут Банк России и Федеральная служба по финансовым рынкам (ФСФР).
Будет усилен обязательный контроль за распространенными в последнее время крупными операциями физлиц (от 2 миллионов рублей), страхующих жизнь на случай смерти (с условием периодических страховых выплат, с участием страхователя в инвестиционном доходе страховщика, с предоставлением займов).
Новая норма вносится и в главный "противоотмывочный" закон страны. Он дополняется понятием "бенефициарного владельца". Им будет считаться физическое лицо, которое прямо или косвенно (через третьих лиц), самостоятельно или совместно с аффилированными лицами может влиять на решения клиентов кредитных организаций. "Признаки" бенефициарных владельцев и требования к процедуре их опознания (идентификации) будут устанавливаться правительством и Банком России, а Росфинмониторинг и ФСФР их разрабатывать. При этом клиенты кредитных организаций встречным образом будут информировать банкиров о своих работодателях - выгодоприобретателях.
Проще и решительней предлагается поступать в отношении граждан, осуществляющих финансовые операции в тихих иностранных гаванях - блокировать зачисление или перевод на счета денежных средств, предоставление или получение кредитов в том случае, если хотя бы одной из сторон является физическое или юридическое лицо, имеющее регистрацию, место жительства или место нахождения в государстве или на территории, которое не выполняет рекомендации Группы разработки финансовых мер борьбы с отмыванием денег (ФАТФ). Либо если финансовые операции на такие суммы проводятся с использованием счета в банке, зарегистрированном на проблемной территории. Перечень таких государств или территорий авторы закона предлагают определять правительству исходя из документов и рекомендаций ФАТФ.
Цель этих и других нововведений - борьба по всем фронтам с незаконными финансовыми потоками, выводом их за границу - в офшоры.
Причем, по незаконным валютным операциям бороться предполагается по периметру Таможенного союза, куда входят Россия, Белоруссия и Казахстан. Таможенники в связи с этим могут получить новые серьезные права. В частности, меняется понятие крупного (в миллион рублей) и особо крупного размера неуплаченных таможенных платежей (3 миллиона рублей) за товары, вырастает уголовная ответственность за преступление.
Предлагается и новая уголовная статья за перечисление иностранной валюты или рублей за границу на счета нерезидентов по фиктивным документам. С лишением свободы до 10 лет, если деньги переводятся в особо крупных размерах (свыше 30 миллионов рублей). За контрабанду наличных денежных средств или ценных бумаг - тоже наказание. По отдельным "антиотмывочным" статьям предполагается снизить порог крупного размера с 6 миллионов рублей до 600 тысяч рублей. Соответственно, расширяются полномочия налоговых и таможенных органов, силовых ведомств, финразведчиков. В Росфинмониторинге напоминают, что предлагаемые новации находятся в русле международных требований.
О чем идет речь?
Росфинмониторинг предлагает девять наиболее значимых законодательных изменений, среди которых:
Дать банкам право отказываться от исполнения договора с вкладчиками и заемщиками, которые вызывают сомнение.
Расширить полномочия правоохранительных и налоговых органов по доступу к информации, составляющей банковскую тайну.
Кредитным организациям и профессиональным участникам рынка ценных бумаг предоставить дополнительный перечень аргументов для отказа от заключения договора банковского счета или вклада.
C 26 до 60 увеличить число финопераций, подлежащих обязательному контролю финразведки. Особый акцент сделан на страхование.
Обязать не только банки, но и кредитные потребкооперативы, сельскохозяйственные кредитные потребительские кооперативы, негосударственные пенсионные фонды, операторов связи информировать финразведку о подозрительных операциях своих клиентов.
В Налоговый кодекс ввести две новые статьи, которые касаются совершения валютных операций с использованием подложных документов и контрабанды наличных денежных средств.
Узаконить понятие "бенефициарного владельца", а также обязанность банков по его идентификации. Клиенты должны будут сообщать о своих выгодоприобретателях.
Текст был обработан Грищенко В.И.
Начало
Рано или поздно с этим сталкиваются все. Ну если не все, то многие. Сталкиваются в той или иной степени - кто-то в простейшем варианте, кто-то в сложном. Иногда находятся стандартные средства, иногда обнаруживается, что задачу можно упростить до частного случая. Но иногда проблема встает именно так, что стандартные средства не находятся или не устраивают, а задача синхронизации баз данных не упрощается до частного случая...
В свое время эта задача встала и передо мной. Некоторые СУБД имеют встроенные средства синхронизации (этот процесс еще иногда называют репликацией, а иногда эти понятия различают). Но во-первых, мне нужно было синхронизировать базы под управлением InterBase, а во-вторых, даже те средства сторонних производителей, которые для этой СУБД существуют, меня не устраивали. Мне был необходим такой механизм синхронизации, который не предусматривает постоянного наблюдения администраторами на всех БД - программа писалась в расчете на маленькие организации. InterBase для этого подходил идеально - легкий, надежный (уж точно надежнее локальных БД!), практически не требующий администрирования при не слишком сильной загрузке. Да где же взять такой репликатор? Да еще чтобы был простой как пробка - запустил - отработало. Да еще чтобы в программу вставить работу! Да еще чтобы мог синхронизировать базы под Win и под Unix!
Два дня поисков подходящих средств в Internet ни к чему не привели. Много рекламы, мало информации, бешеные цены и, что уже просто надоело, "очень удобные средства для администратора с помощью которых очень легко исправлять коллизии". Ну нет у меня администратора, который мог бы следить за каждой синхронизацией (проходящей пару раз в день) и исправлять коллизии! Что же делать?
Ладно, попытка - не пытка, я решил поискать что-нибудь по алгоритмам, используемым при репликации баз данных.
НИЧЕГО.
Абсолютно ничего!
Если я плохо искал и кто-то мне покажет интересные в этом плане и свободно доступные материалы, я буду рад! Но по-видимому это khow-how фирм-производителей или до сих пор не разработано каких-то общеизвестных алгоритмов на эту тему. Лезу в Дейта. Ничего. Так, рассуждения на тему распределенных БД, но того, что мне нужно, нет.
Так или иначе, но, помолясь, я решил обмозговать это все сами посмотреть, что получится. Обмозговал. Помучился. Написал. Исправил. Исправил. Еще раз исправил. Заработало. Сглючило. Исправил - перестало глючить. Пока работает. Мне нравится. Работает! Проблемы, конечно, есть. И некоторые весьма приличные. Но... но все таки оно работает!
Так что я решил рассказать, кому интересно, то что я думал и что делал.
Варианты, терминология
Все термины самопальные, так что не обижайтесь, если что-то покажется глупым. :)
Синхронизация - процесс при котором базы данных приводятся в идентичное состояние. Если кто-то придумает определение получше я его выслушаю.
Сначала расклассифицируем синхронизацию по направленности и времени проведения.
Если данные могут меняться только в одной из баз данных, а в остальных они не меняются пользователями, то синхронизацию на таких базах назовем однонаправленной или односторонней. Если же данные могут быть добавлены/изменены/удалены пользователями системы в нескольких базах системы - то это будет двунаправленная(двусторонняя) синхронизация.
Если синхронизация должна проводиться немедленно после внесения изменений в БД, то такую синхронизацию назовем синхронизацией в реальном времени . А если изменения из одних баз должны вноситься в другие базы ПОЗЖЕ, по команде/событию/etc - то это будет отложенная синхронизация .
Разделим теперь отложенную синхронизацию еще на два подкласса. Если для синхронизации необходимо соединение с обоими базами данных иона проводится путем анализа расхождений в этих базах, то назовем ее синхронизацией по текущему состоянию . А если синхронизация проводится по журналу - списку вносимых изменений в базы - то так и назовем - синхронизацией по журналу . Обе эти разновидности встречаются в коммерческих разработках. Забегая вперед, скажу, что я реализовывал синхронизацию по текущему состоянию.
Далее. Если при проведении синхронизации изменения могут выявляться и производиться отдельными полями записей, то это синхронизация по полям . Если же "единицей" проведения синхронизации является запись - то это синхронизация по записям .
Это вроде бы все понятно интуитивно, но хочется строгости и не хочется размолвок из-за различий в терминологии.
Теперь одно очень важное определение, о существовании которого, оказывается некоторые разработчики, впервые встретившиеся с нашей проблемой не знакомы. Коллизия - это некоторая неопределенность, иногда ошибка, возникающая при синхронизации и обусловленная тем, что алгоритмы синхронизации не идеальны, да и сама задача часто ставит трудноразрешимые проблемы. Или даже вообще не разрешимые в рамках принятой схемы синхронизации. На различные примеры коллизий мы посмотрим попозже.
Отсекаем лишнее
Итак, я упомянул несколько вариантов синхронизации и теперь от "лишних" следует избавиться. :) Мы не будем рассматривать синхронизацию в реальном времени это все-таки довольно экзотическая задача. Мы рассмотрим одностороннюю синхронизацию, но очень коротко - это довольно простая задача, ее можно решить без коллизий (по крайней мере, мне так кажется, хотя я могу и ошибаться). Ясно, что односторонняя синхронизация легко реализуется любым методом двухсторонней (по журналу или по текущему состоянию), но без множества проблем, присущих двусторонней синхронизации. И конечно, основная наша цель - это двусторонняя отложенная синхронизация.
Идентификация записей
Для того, чтобы правильно проводить синхронизацию данных любым способом, очевидно, необходима однозначная идентификация записей во всей системе (по крайней мере в рамках одной таблицы). Если для кого-то это покажется неочевидным, скажите, я напишу подробнее.
Для унификации желательно, чтобы в каждой таблице, включенной в процесс синхронизации, был суррогатный первичный ключ (ID) - обычно INTEGER. Впрочем, чаще всего так и есть. Как же мы можем обеспечить уникальную идентификацию записей.
- Можно ввести в каждую таблицу дополнительное поле - номер БД, в которой эта запись была создана впервые (DBID). При этом, очевидно, ID уже не будет являться первичным ключом, вместо этого первичным ключом будет пара (DBID, ID). Следует заметить, что из-за этого данное решение не слишком привлекательно
- Можно сделать первичным ключом строку специального формата, например XXXX-YYYY-ZZZZZZZZ, где XXXX - это идентификатор базы данных, где запись была создана впервые, YYYY - идентификатор таблицы, ZZZZZZZZ - идентификатор записи внутри конкретной таблицы конкретной БД. Такое решение является хорошо масштабируемым, позволяет "запихать" в ID много дополнительной информации, но у него тоже есть минусы. Во-первых, некоторая избыточность информации. Во-вторых, более сложный механизм генерации таких ID. И еще, неплохо было бы ограничить возможные значения ID данным форматом. Это тоже заботы.
- На мой взгляд, для InterBase лучшим вариантом является следующий - ID для всех таблиц генерируется обычным триггером, выбирающим значения из генератора. При этом начальное значение генератора различно для разных БД, за счет чего обеспечится уникальность ID по всем БД. Данный подход характерен для InterBase. Применение его для других СУБД может быть ограничено невозможностью задать начальное значение для счетчика автоинкрементных полей.
Ясно, что я выбрал третий вариант. :) Остается еще один вопрос - тип данных для ID. Ясно, что есть для ID использовать INT64 (NUMERIC(18)), то вопрос с доступным диапазоном номеров не встает - диапазон огромен. Но к сожалению, есть некоторые проблемы, мешающие это сделать. Дело в том, что до сих пор в Delphi поддержка полей Int64 несколько хромает. Это связано как с недоработками компонент доступа к данным (IBX, FIBPlus), так и с изначальным отсутствием в классе TField поддержки полей Int64.
В то же время, если мы внимательно посмотрим на диапазон INTEGER, то обнаружим, что при
- использовании только положительных значений
- использовании единственного генератора на все таблицы БД
- ежедневном создании в системе 10000 записей
нам хватит диапазона INTEGER на 27 лет работы системы из 21 БД. При этом начальные значения генераторов разных БД будут определяться как DBID * 100000000. Для большинства систем это вполне нормальные показатели.
Коллизии
В этом разделе мы рассмотрим возможные варианты изменений в базе данных и отметим, в каких случаях вероятно возникновение коллизий. Разделим все вносимые изменения на два класса - изменения, вносимые в одиночные независимые таблицы и вносимые в таблицы, связанные отношениями FOREIGN KEY.
Кроме того, коллизии могут быть вызваны за счет работы триггеров и ограничений прикладного характера.
Изменения в одиночных таблицах
В таблицу добавляется новая запись
После проведения синхронизации эта запись должна появиться в остальных БД. Первой причиной для коллизий при этом изменении может быть конфликт первичных ключей, но эта проблема легко разрешима (см. выше). Так что если в любых БД будет добавлена куча записей все они должны без проблем продублироваться в остальных.
Ну, может еще стоит отметить, что если сразу после синхронизации эти записи были удалены из исходной БД, то при следующей синхронизации они НЕ должны восстановиться. :) Впрочем, это скорее, относится к следующему подразделу:
Причиной коллизии могут стать ограничения типа UNIQUE. Поясняю. Пусть есть 2 БД: A и B. На таблицу (Table1) наложено ограничение UNIQUE(Field1). Пусть в начальный момент времени в обоих базах НЕТ записей, у которых Field1 = Value1. Добавим такую запись сначала в A, а затем в B. Ошибок не возникает - ограничение UNIQUE не нарушено. Теперь пытаемся синхронизировать эти БД. По логике вещей, мы должны создать в каждой БД по 1й записи. Но не можем, так как это вызовет нарушение ограничения. Конечно, при условии того, что данные были введены верно и модель построена правильно, это должны быть ОДИНАКОВЫЕ (по предметным полям) записи, они должны описывать одну сущность. Но нам от этого не легче - коллизия возникла и ее надо разрешать. Разрешить ее можно удалением записи из одной базы и повторным проведением синхронизации.
Эта является замечательным примером того, что коллизия может возникнуть безотносительно конкретной реализации механизма синхронизации. Она возникает принципиально из-за распределенности системы и отложенности синхронизации.
В общем, подобные "логические" коллизии практически неотслеживаемы. И это очень печально.
Из таблицы удаляется запись
После проведения синхронизации эта запись должна удалиться, если она там есть, из других БД. Опять-таки, возможны "логические" коллизии - допустим, триггер проверяет наличие хотя бы одной записи, у которой Field1 = Value1.Сначала в обоих БД было по две такие записи. В обоих базах удалим по одной записи. При этом ошибок не будет, так как остается вторая. Но если мы удалили в разных базах разные записи, то после синхронизации возникнет ошибка, так как в итоге в базах не окажется ни одной записи Field1 = Value1. В случае такого рода ограничений, опять-таки, по-видимому, без администратора, хорошо знакомого со структурой БД и способного исправить такие коллизии ничего не выйдет:(.
В таблице изменяются некоторые поля записи
После проведения синхронизации в других базах эта запись должна измениться аналогичным образом.
Первая и очень вероятная коллизия заключается в одновременном изменении записи в разных БД. Эта коллизия имеет два варианта - если изменяются одни и те же поля и если изменяются разные поля.
В первом случае, очевидно, один вариант изменения неверен - ведь описываемая сущность имеет вполне конкретное значение данного параметра. Приняв за правду более позднее изменение или более "главную" БД, мы легко можем разрешить вопрос.
А второй случай, при синхронизации на уровне записей может вызвать серьезнейшую проблему - потерю введенной информации. Привожу пример. Вышеупомянутый Иванов И.И. опять побежал в вышеупомянутые учереждения. В первое он побежал и сказал там, то он теперь инвалид второй группы, что оператор и занес в БД. Прибежав в тот же день во второе учереждение он сказал, что у него родилась тройня (или просто второе учереждение - это родильный дом и там все сами узнали, а Иванов бегал только в одно учереждение). Там изменили поле "кол-во детей". Внимание! Если синхронизация производится целыми записями, то в зависимости от времени изменений или от "главности" баз мы потеряем ту или иную введенную информацию, если только умный администратор не увидит подробнейшее описание случившегося и не исправит эту ситуацию руками. Я полагаю, это ясно.
Так что мы видим, что синхронизация на уровне записей не только приводит к перекачке неизмененных полей, но и может служить источником очень неприятных ошибок. В то же время, к сожалению, для реализации синхронизации н уровне полей необходимо гораздо больше служебной информации и гораздо более сложные структуры данных. К тому же, реализация синхронизации по полям может упереться в возможности СУБД - необходимо определять список измененных полей и зачастую это тоже нетривиальная задача.
Изменения в связанных таблицах
Будем рассматривать коллизии при синхронизации таблиц TableA и TableB. TableB имеет внешний ключ (FOREIGN KEY), ссылающийся на TableA. Тогда записи таблицы A будут родительскими, а соответствующие записи таблицы B - дочерними.
- В базе А создается дочерняя запись, в базе В удаляется родительская
- В базе А дочерняя запись передается от родительской записи 1 к родительской записи 2, в базе В удаляется родительская запись 2
Создается новая родительская запись или новая дочерняя запись к существующей родительской
Создается новая родительская запись и дочерние к ней
И родительская и дочерние записи должны появиться в других БД. Здесь становится важным порядок создания записей в результирующей БД - сначала должна создаваться родительская запись, затем дочерние. Впрочем, в тех СУБД, в которых ограничения ссылочной целостности проверяются только при подтверждении транзакции, это не обязательно. Но даже в них нельзя посоздавать все новые родительские записи, подтвердить транзакцию, а затем посоздавать новые дочерние записи.
Удаляется дочерняя запись
Никаких особенностей нет, дополнительных проблем из-за связанности таблиц не возникает.
Удаляется родительская запись и дочерние
В результирующей БД должны удалиться сначала дочерние записи, затем родительская.
Циклы FOREIGN KEY
Влияние триггеров
Синхронизация по журналу - общие принципы
Это наиболее часто применяемый метод. Все действия, производимые в БД (создания, удаления и изменения записей) сохраняются в некотором журнале - обычно это отдельная таблица или набор таблиц в самой БД.
Заполнение журнала производится триггерами, которые записывают в журнал информацию, достаточную для повторного выполнения произведенного действия. Понятно, что в случае удаления записи достаточно сохранить идентификатор таблицы и значение первичного ключа удаленной записи, а для изменения или создания записи нужно также сохранять значения полей. Обычно также сохраняется отметка времени, когда было произведено изменение.
Для синхронизации двух БД на каждой из них повторяют все действия, произведенные в другой БД, извлекая их по очереди из журнала. Отсюда следует одно из преимуществ синхронизации по журналу - нет необходимости в установлении соединения с БД - журнал, выведенный в отдельный файл можно передать по "floppynet" :) Необходимо только тщательно отмечать, какие записи журнала еще не передавались. Эта проблема усложняется при наличии нескольких синхронизируемых БД - нужно запоминать, какая последняя запись журнала была передана в каждую из БД.
Понятно, что после успешного применения журнала к другой БД журнал можно урезать. Но тем не менее, журнал занимает много места - в лучшем случае дублирует новые и измененые записи.
Если одна и та же запись изменялась несколько раз подряд, то можно либо хранить все промежуточные изменения, либо "склеить" эти изменения в одно. Это снизит размер журнала, но может привести к лишним коллизиям.
Для синхронизации по журналу характерно увеличение хранимых данных пропорционально количеству изменений в цикле синхронизации, и скорость синхронизации также пропорциональна количеству изменений в цикле синхронизации.
Следует также упомянуть, что на базе журнала можно построить службу отката состояния БД практически на любой момент (если только соответствующие данные не были удалены из журнала).
Синхронизация по журналу реализуется достаточно просто, но очевидно, что коллизии при этом неизбежны. Для иллюстрации этого предлагаю вам следующую аналогию. Представьте себе, что у вас есть 2 комнаты, в которых расположены ящики. У вас есть робот, который можно запрограммировать на перемещение ящиков. В начальный момент ящики в комнате расположены одинаково. Вы подаете роботу команды и он перемещает ящики. Ваш напарник подает команды другому роботу во второй комнате. После этого вы приказываете роботам поменяться местами и повторить все действия, начиная с начального момента. Очевидно, что это может привести к неприятностям - в первой комнате робот передвигал ящик №5, но во второй комнате его не оказалось на месте, в первой он подвинул ящик №54 в угол, но во второй угол оказался занят.
При этом следует отметить, что удачное приложение журнала 2 в БД 1 еще не означает, что без ошибок отработает журнал 1 в БД 2.
Преимущества
- Нет необходимости в установке соединения
- Можно вернуть БД на любой момент в прошлом
- Сравнительная простота реализации
- Высокая скорость синхронизации - пропорциональна кол-ву изменений за цикл
Недостатки
- Большие объемы хранимых данных - пропорциональны кол-ву изменений за цикл
- Коллизии практически неизбежны
Синхронизация по текущему состоянию - общие принципы
Синхронизация по текущему состоянию в различных продуктах мне встречалась гораздо реже, чем синхронизация по журналу. Но, мне кажется, из этого нельзя делать вывод об ее применимости. Известно, что в разных задачах лучше применять более подходящие методы.
Итак, синхронизация по текущему состоянию всегда выполняется с установлением соединения, так что применить этот метод без наличия какого-либо канала связи между серверами нельзя.
Процесс, производящий синхронизацию, устанавливает соединение с обоими БД (если баз больше двух, то синхронизация выполняется попарно - например, "цепочкой" или "звездой") и пробегает по всем синхронизируемым таблицам в поисках различий. Здесь мы видим первый существенный недостаток метода - скорость синхронизации пропорциональна полному количеству записей в БД. Напомню, что для синхронизации по журналу скорость была пропорциональна кол-ву измененных данных.
Когда различия находятся, то управляющий процесс эти различия убирает, приводя обе БД к идентичному виду. При этом приходится принимать решение - какая из БД содержит более верные данные по текущей обрабатываемой записи - следует ли удалить запись из базы 1 или наоборот, создать такую же в базе Б, где она пока отсутствует.
Однако, в отличие от синхронизации по журналу, когда при приложении журнала отсутствует какая-либо дополнительная информация, в данном случае управляющий процесс может выдавать вспомогательные запросы в обе БД для того, чтобы максимально хорошо разрешить все коллизии - например, узнать, есть ли в других таблицах записи, ссылающиеся на данную. Таким образом, задав определенные правила, можно автоматически разрешать довольно большую часть коллизий.
Если вспомнить аналогию с роботами, ящиками и комнатами, то в данном случае робот будет заглядывать в обе комнаты и, если увидит, что ящик №15 стоит в разных местах, то, приняв какое-то из расположений за верное, постарается в другой комнате поставить его в то же место. При этом, если его место занято, то возможен дополнительный анализ - а каким ящиком занято? а почему не занято в первой комнате?
Нетрудно заметить, что подобный метод в принципе более правилен - вместо того, чтобы в новых условиях тупо повторять действия из другой БД, возможен анализ различий и максимально безопасное их устранение.
Для проведения синхронизации по состоянию обычно для каждой записи БД вводятся одно или несколько дополнительных полей, по которым управляющий процесс сможет определить, какая из двух записей содержит более актуальные данные. Размер дополнительных данных опять-таки получается пропорциональным общему количеству данных в БД, но сравнить это с журнальной синхронизацией нельзя, так как размер дополнительных полей достаточно мал и не увеличивается при многократных изменениях данных, а записи в журнале чаще всего целиком дублируют записи таблиц и накапливаются при последовательных изменениях.
Сведем рассмотренные нами преимущества и недостатки в единый список.
Преимущества
- Хорошие возможности по исправлению коллизий
Недостатки
- Низкая скорость синхронизации - пропорциональна кол-ву всех записей
- Необходимо соединение с обоими БД
- Для всех записей вводятся дополнительные поля - сравнить с журнальной синхронизацией толком нельзя
Синхронизация независимых наборов таблиц
Итак, пусть у нас есть несколько баз данных - A, B, C,... При этом изменение данных происходит (без ограничения общности) только в БД A. Еще следует отметить, что если в базах данных имеются независимые наборы таблиц, то в одном таком наборе данные могут изменяться только в БД А, а в другом - только в базе B (например). Такая структура тоже может считаться системой с односторонней синхронизацией, просто проводимой раздельно по нескольким наборам таблиц.
Поясню примером. У фирмы есть Интернет-магазин. Одна база данных находится в офисе фирмы, вторая - на Web-сервере. Пусть есть несколько таблиц, описывающих товары Интернет-магазина и таблицы гостевой книги и форума. Эти наборы не зависят друг от друга и точки изменения данных - разные. Описания товаров заполняются в офисе и изменения должны передаваться на БД Web-сайта. А информация от клиентов - форум и гостевые сообщения создаются на сайте и идут в обратном направлении.
В такой схеме коллизии практически исключены - потоки обновлений базы не пересекаются. Реализовывать такую схему можно практически любым способом без особых проблем.
Проблемы начинаются тогда, когда в Интернет-магазин вводится функция online-покупки товара. При этом заказы покупателей являются зависимыми от таблиц товаров. И данные для этого набора могут изменяться в двух БД одновременно.
Продолжение следует...
Во второй части мы перейдем собственно к моему решению - реализации двусторонней синхронизации по текущему состоянию БД.
Синхронизация баз данных MySQL позволяет создать и автоматически поддерживать две или более базы данных с идентичным содержимым. Синхронизациия нужна для создания зеркал, кластеров и т.д. Программа Handy Backup позволяет полностью автоматизировать процесс синхронизации БД MySQL.
Методы синхронизации MySQL баз
В MySQL синхронизация двух баз может быть односторонней или двусторонней.
Односторонняя синхронизация
Содержимое одной базы (master) копируется в другую (slave). В MySQL синхронизация БД на разных серверах используется для репликации таблиц, создания тестовых и резервных баз, бэкапа MySQL и т.д.
Двусторонняя синхронизация
Двусторонняя синхронизация MySQL обеспечивает копирование актуальных изменений из каждой базы данных в другую. Эта техника применяется прежде всего для распределения вычислительных задач, связанных с базами данных – создания кластеров и зеркал БД.
Преимущества Handy Backup для синхронизации БД MySQL
Handy Backup содержит встроенный плагин MySQL, позволяющий копировать состояние баз данных и таблиц MySQL в "горячем" режиме (без остановки сервера), а также в "холодном" (с остановкой). При этом обеспечиваются следующие преимущества:
- Синхронизация данных MySQL (копирование и восстановление) по расписанию;
- Хранение таблиц MySQL в удобочитаемом текстовом формате из списка SQL команд;
- Автоматический останов сервера-приёмника MySQL при восстановлении данных;
- Версионное копирование и создание временных меток на копиях по необходимости;
- Получение доступа к внешним MySQL серверам.
Как выполнить синхронизацию MySQL с помощью Handy Backup?
Синхронизация баз данных MySQL состоит из создания резервной копии базы и последующего восстановления таблиц этой базы на другом сервере с помощью плагина "MySQL". Этот процесс включает в себя 2 последовательных задачи:
Резервное копирование данных исходной таблицы (в случае односторонней синхронизации) или обеих таблиц (при симметричной синхронизации).
Восстановление данных в синхронизируемую таблицу MySQL, полное или дифференциальное, в зависимости от типа синхронизации.
Детальное описание задач копирования и восстановления MySQL имеется в Руководстве Пользователя.
Автоматизация задач синхронизации таблиц MySQL
Чтобы сделать процесс синхронизации баз данных MySQL полностью автоматическим, обратите, пожалуйста, внимание на следующие пункты:
- Разделите время запуска задач резервного копирования MySQL и их восстановления на достаточно большой промежуток, чтобы запущенная задача резервного копирования базы данных успела завершиться перед началом восстановления.
- Выбирайте для промежуточных копий MySQL достаточно быстрые по скорости доступа носители: локальные и внешние диски, устройства NAS/SAN и серверы FTP/SFTP/FTPS с широкой пропускной способностью сетевого интерфейса.
- Пользуйтесь возможностями Шага 7 (установка запуска программ до и/или после выполнения задачи) для автоматического останова и перезапуска сервера MySQL на стороне восстановления, а также на стороне записи – для "холодной" загрузки данных.
- Поскольку резервные копии хранятся в доступном для чтения текстовом формате, пользуйтесь при необходимости инструментами для внесения исправлений в восстанавливаемые файлы – скажем, для смены механизма хранения данных.
Приобретение лицензии
Как было сказано выше, синхронизация баз данных (БД) MySQL не заменяет регулярного резервного копирования. Мы рекомендуем обеспечивать задачи резервного копирования БД MySQL с помощью одного из бизнес-ориентированных решений нашего программного обеспечения (ПО).
- Если вам нужно работать только с одним сервером СУБД MySQL, Handy Backup Office Expert обеспечит вас всеми необходимыми возможностями для этого и многими дополнительными функциями.
- Если вам необходимо обслуживать несколько серверов и рабочих станций, организуя процессы резервного копирования БД MySQL и любых других данных с общего рабочего места, используйте наше флагманское решение Handy Backup Server Network .
Чтобы сравнить цены на эти и другие продукты, пожалуйста, обратитесь к странице Купить .
Видеоурок
В следующем видеоуроке показано, как осуществлять резервное копирование и восстановление БД MySQL с помощью Windows-версии Handy Backup. В настоящий момент видео доступно только на английском языке.
Скачайте и установите наше программное обеспечение прямо сейчас – первая резервная копия ваших данных будет готова уже через пару минут!
Handy Backup предоставляет надёжный, быстрый и гибко настраиваемый инструмент для синхронизации MySQL на уровне таблиц и баз данных. Попробуйте прямо сейчас, скачав бесплатно полную версию программы на 30 дней!
Друзья, всем привет! Рад всех вас видеть у себя в гостях 😉 Сегодня я расскажу, как синхронизировать базы данных WordPress. А так же о том, какие таблицы в базе наиболее важные и как с ними работать.
Эту тему я освещаю не просто так. Как вы помните, я рассказывал о том, как . Очень удобная возможность при разработке сайтов.
Так вот, после доработки сайта, его нужно вернуть на хостинг. И с этим, вообще, нет никаких проблем. В том случае, если во время вашей работы на локальном сервере, сайт, расположенный, в интернете не обновлялся. Но такие случаи бывают крайне редко.
А вот если вы регулярно обновляли сайт и при этом работали, как я, над его дизайном у себя на компьютере, то возникает определенная трудность. В вашей локальной базе будет новый дизайн, но не будет новых статей и комментариев.
И вот тут-то и нужна синхронизация базы данных. Именно так можно объединить в базе данных и новый дизайн, и новые записи. А уже после, без проблем, перенести готовый сайт обратно на хостинг.
И это лишь один пример, но вы уже и сами поняли, что умелое обращение с базой данных открывает перед вами новые возможности в работе над сайтом.
Структура базы данных WordPress
Прежде чем приступить к синхронизации нужно разобраться, что синхронизировать. База данных Вордпресс состоит из множества таблиц, в которых хранятся данные о пользователях, статьях, категориях, тегах, плагинах, комментариях, системных настройках и многое другое.
По большому счёту досконально разбираться во всех таблицах необязательно. Достаточно знать, в каких таблицах находится информация о статьях, комментариях и так далее. Именно эти таблицы имеют ключевое значение при синхронизации.
Итак, рассмотрим ключевые таблицы в базе данных WordPress.
wp_options – содержит все настройки сайта;
wp_posts – все статьи и записи на сайте;
wp_postmeta – вспомогательные данные о статьях и записях на сайте;
wp_comments – комментарии;
wp_commentmeta – вспомогательная информация о комментариях;
wp_term_relationships – связи статей и записей с категориями и тегами;
wp_terms – связи категорий (рубрик) со ссылками;
wp_term_taxonomy – связи категорий, тегов, ссылок;
wp_usermeta – информация обо всех зарегистрированных пользователях;
wp_users – информация об администраторе.
Многие другие таблицы в базе данных создаются всевозможными плагинами, виджетами, и прочими такими инструментами. В основном в этих таблицах собрана системная информация, её можно использовать с пользой. Так, посмотрев внимательно эти таблицы, вы можете узнать по какому ключевому запросу пришёл посетитель, на какую страницу, был ли это первый визит или повторный, и даже с какого браузера и операционной системы.
Вот теперь, когда общее представление о базе данных WordPress у вас сложилось, можно приступать к цели нашего урока – синхронизации баз данных.
Подготовка к процессу синхронизации
Прежде чем приступить к работе с базой данных, — обязательно сделайте резервную копию. Так как если вы сделаете, что-то не так. То сможете всё восстановить из копии.
Так, вы и процесс поймёте, и сможете создать нужную базу данных на своём компьютере и перенести на хостинг уже готовую БД.
Самое главное не забудьте про резервную копию.
Сравнение баз данных в phpMyAdmin
Этот шаг необязательный, но лучше, если вы будете знать, как, подручными средствами, сравнить базы данных. Меня эти знания частенько выручают.
Использовать для этого будем утилиту phpMyAdmin, которая доступна и на хостинге и на локальном сервере.
В качестве сравнения будем использовать базу данных на локальном сервере, которую я использовал в работе над . И базу данных, которая используется у меня на моём блоге.
Для сравнения возьмём одну цифру – количество статей. Так как для таких сайтов, как мой, – это самое ценное. Ну и комментарии, конечно. К тому же эти цифры всегда у вас на виду.
Анализируем тестовый сайт и базу данных:
Для начала посмотрим на количество статей. Сделать это можно в административной панели Вордпресс. Достаточно открыть консоль.
Как видно, на скриншоте, статей на тестовом сайте – 136.
После обновления темы оформления, я успел написать ещё пару статей. И сейчас их уже 138.
Количество статей должно соответствовать количеству записей в таблице wp_posts . Но, если открыть эту таблицу, то записей вы увидите гораздо больше.
Как видите на скриншоте – всего записей 2,245. И среди них и статьи и отдельные записи. А ещё это куча черновиков и прочих записей о картинках и так далее.
Поэтому сразу определить количество статей нереально. Для этого потребуется сделать небольшой запрос с параметрами сортировки.
Открываете базу данных – таблицу wp_posts – переходите на закладку SQL – вводите запрос:
SELECT * FROM `wp_posts` WHERE `post_status` = "publish" AND `post_type` = "post"
Этот запрос говорить о том, что в таблице wp_posts нужно выбрать все записи (* ), где статус – опубликовано (publish ) и это статья (post ).
В итоге получаем 136 записей. Вот теперь эта цифра соответствует количеству статей.
Точно так же сверяется и другая база данных. В моём случае – реальная база с моего блога.
Эти знания помогут вам не потерять ничего важного. И проверить после синхронизации, всё ли прошло успешно.
В качестве досадного примера расскажу небольшую историю. Один мой знакомый, однажды переезжал с одного хостинга на другой. Делал всё по инструкции, техподдержка ему помогла. Но, через какое-то время он заметил, что на его сайте не хватает двух статей. Когда он попросил меня разобраться, в чём может быть проблема, я провёл сверку, и выяснилось, что в новой базе нет двух записей, которые есть в старой базе данных. Скорей всего, когда он переносил базу данных, то что-то сделал не так и потерял эти две статьи. В результате пришлось немного поколдовать и вернуть эти две статьи на их законное место.
Вот почему важно знать, как провести сверку. И убедиться, что после синхронизации, все ваши записи успешно перенесены из одной базы в другую.
Синхронизация баз данных WordPress
Все действия будем делать на локальном сервере. А после готовую базу данных можно импортировать на хостинг.
Шаг 1. Создание двух пустых баз данных
Если возникает вопрос почему две базы, то объясняю, — это нужно для того, чтобы не трогать рабочие базы данных и показать пример с чистого листа.
Первым делом запускаете Денвер и в браузере набираете localhost/tools/ , а далее жмёте на ссылке phpmyadmin .
Шаг 2. Импортируем данные в базу
Итак, я сделал резервные копии баз данных. Одну с тестового сайта, другую с моего блога в интернете. Они понадобятся для импорта содержимого во вновь созданные базы. А далее будут страховкой.
У вас должно быть тоже две базы, которые вы будете синхронизировать.
Теперь нужно импортировать данные из резервных копий в новые базы данных. Для этого выбираете новую базу – откройте закладку «Импорт» — выбираете «файл резервной копии» — нажимаете кнопку «Ок» .
Шаг 3. Синхронизация баз данных
Вообще, есть возможность просто копировать нужные таблицы из одной базы в другую. Но мы рассмотрим непосредственно процесс синхронизации. Как полной так и частичной (в виде отдельных таблиц).
Для этого нужно перейти на главную страницу phpMyAdmin и выбрать раздел «Синхронизировать» .
Теперь в качестве источника определяем базу данных с блога в интернете (она более свежая), а в качестве целевой базы – базу с тестового сайта. Наша задача скопировать новые статьи, комментарии и теги в базу данных тестового сайта.
После того как пройдёт сравнение. На выбор будет предложено синхронизировать отдельные таблицы, в которых есть изменения, или провести полную синхронизацию.
Если вы хотите синхронизировать отдельные таблицы, то необходимо нажать на буквы S или D . Эти буковки станут серыми, а в окошке ниже вы увидите добавленные таблицы на синхронизацию. После чего вы можете синхронизировать эти таблицы, нажав на кнопку «Применить выбранные изменения» .
В нашем случае подходит именно этот способ, так как нам нужно синхронизировать только статьи, комментарии и метаданные.
Для синхронизации баз данных полностью, ничего отмечать не нужно. Достаточно нажать на кнопку «Синхронизировать базы данных» .
Вот, и всё. На этом процесс синхронизации окончен. Можно проверять результат. Для наглядного примера, я сменил базу данных на локальном сайте. Если кто забыл, делается это в файле wp-config.php. И теперь можно сравнить количество статей, записей и комментариев. Правда, комментариев на блоге стало немного больше, пока я писал статью.
Статистика по тестовому блогу:
Статистика по рабочему блогу:
Ну и напоследок напомню, что синхронизировать базу данных это ещё половина дела. К базе данных должны прилагаться и файлы, задействованные в работе сайта. К примеру, если не скопировать скриншоты, сопровождающие статью, то статья будет без них с пустыми местами.
А теперь советую посмотреть видеоурок, в котором весь процесс синхронизации баз данных я показываю шаг за шагом.
Сегодня на этом всё. Всем желаю хорошего настроения. До встречи в новых материалах. И конечно же, жду ваших комментариев 😉 А полученные знания пригодятся вам при .
Подписывайтесь на новые статьи!
