» Казахстанский Бухгалтерский форум www.balans.kz

Не садится выгрузка при обмене периферии с центром

  
Показать сообщения:
Начиная со старых .::. Начиная с новых
Автор: talgin
Добавлено: #1  Чт Авг 06, 2009 17:03:44
Заголовок сообщения: Не садится выгрузка при обмене периферии с центром
База знаний http://balans.kz/viewtopic.php?p=348726#348726

Выгрузка с центром получилась большой (филиал создали и нагоняли 2 квартала) в архиве 75мб, хмл 4 с лишним гиг.
Центр SQL, w2k3 (озу - 2гиг, своп - 6гиг) при загрузке выдает: Не хватает памяти. Попробовал на копии, на другой машине (озу - 4гиг, своп 6 гиг), в СКУЛ и файловом варианте - результат прежний.
Как можно посадить выгрузку?
Автор: Семен Семеныч
Добавлено: #2  Чт Авг 06, 2009 18:09:03
Заголовок сообщения:
Документацию нужно было курить до ........
Самый простой вариант сейчас снять регистрацию и начать перезаписывать объекты порционно, с двухсторонним обменом после каждой порции
При прямых руках
http://kb.mista.ru/article.php?id=288&
http://kb.mista.ru/article.php?id=348&

Добавлено спустя 1 минуту 13 секунд:

при загрузке попробуйте еще и ограничить количество элементов в транзакции, что позволит немного разгрузить сервант
Автор: talgin
Добавлено: #3  Пт Авг 07, 2009 10:13:47
Заголовок сообщения:
А танцы с бубном вокруг железа (например: увеличение ОЗУ) могут спасти ситуацию? В дальнейшем-то, наверное, не буду допускать такую ситуацию. Это пока руки выпрямятся, кстати, что в доках об этом пишут, можно ссылку, пз.
Автор: Семен Семеныч
Добавлено: #4  Пт Авг 07, 2009 13:41:21
Заголовок сообщения:
talgin говорит:
А танцы с бубном вокруг железа (например: увеличение ОЗУ) могут спасти ситуацию? В дальнейшем-то, наверное, не буду допускать такую ситуацию. Это пока руки выпрямятся, кстати, что в доках об этом пишут, можно ссылку, пз.

Эээээээ, ну для начала можно почитать что пишут на сайте http://www.microsoft.com
Размер доступной оперативной памяти ограничен архитектурой и версией оси
В тот же 2k3 Enterprise можно напихать железок и на десяток гектар, но максимум что будет доступно 3.75 гига
Так что это не всегда выход
Автор: Darjal
Добавлено: #5  Пт Авг 07, 2009 13:48:48
Заголовок сообщения:
В 6 секунд ситуация разруливается, железо вообще не причем.
В филиале - все доки и движения регистров за весь период принудительно ставим как выгруженные уже,
записываем обмен - там справочники будут и всякая мелочевка.
Прогнали туда-сюда. Следующий шаг - регистрируем на выгрузку в филиальной базе по месяцам доки и движения регистров.
И так и гоняем в Центр - по месяцам.
Размер файлов обмена будет нормальный, без проблем все сядет.

Добавлено спустя 9 минут 1 секунду:

Ну или оба *.dt файла выкладываем гденить под пароль, денежку платим и в понедельник - вуаля, все ОК (и еще полгода можно обмен не делать)! :lol:

Добавлено спустя 13 минут 53 секунды:

Семен Семеныч
кстати, "восьмера" уже не вызывает такой бурной реакции, как раньше, "стерпелось-слюбилось" :D ?
Автор: Семен Семеныч
Добавлено: #6  Пт Авг 07, 2009 14:23:38
Заголовок сообщения:
Darjal говорит:
В 6 секунд ситуация разруливается, железо вообще не причем.
В филиале - все доки и движения регистров за весь период принудительно ставим как выгруженные уже ......

баян, уже было :lol:
Семен Семеныч говорит:

Самый простой вариант сейчас снять регистрацию и начать перезаписывать объекты порционно, с двухсторонним обменом после каждой порции


Darjal говорит:

Семен Семеныч
кстати, "восьмера" уже не вызывает такой бурной реакции, как раньше, "стерпелось-слюбилось" :D ?

Уже пофиг :lol:
Автор: Darjal
Добавлено: #7  Пт Авг 07, 2009 14:34:41
Заголовок сообщения:
ну да, боян, конечно... цитата с мисты:

Идея всех "телодвижений" проста. Сначало, при записи в файл, проверяем количество выгружаемых элементов и когда достигаем заданного количества начинаем регистрировать данные уже на следующий номер пакета.

По мне так это - гланды через ... И вот это еще по кайфу тоже (цитата с мисты)

Конечно, данная методика не гарантирует того что данные будут перегружаться в целости и сохранности.

Прикольные советы даете, плюспятьсот!

Добавлено спустя 5 минут 37 секунд:

talgin
Чего порешали-то, будем работать, нет?
Автор: Семен Семеныч
Добавлено: #8  Пт Авг 07, 2009 15:40:41
Заголовок сообщения:
Darjal говорит:
ну да, боян, конечно... цитата с мисты:

мы еще и читать не умеем :wink:
Первым было
Семен Семеныч говорит:

Самый простой вариант сейчас снять регистрацию и начать перезаписывать объекты порционно, с двухсторонним обменом после каждой порции


Добавлено спустя 1 минуту 8 секунд:

А по сцылкам Гений с Него жгут :ROFL:
Автор: talgin
Добавлено: #9  Пт Авг 07, 2009 15:52:52
Заголовок сообщения:
Darjal говорит:
оба *.dt файла выкладываем гденить под пароль

центр в дт если перегнать, то около 3 гиг, переферия уже 0.7 гиг, режим работы суббота вечером часов 9-10, понедельник 3ч утра.
чегой-то нереально выглядит до понедельника.

а вот по этому:
Darjal говорит:
В филиале - все доки и движения регистров за весь период принудительно ставим как выгруженные...
Следующий шаг - регистрируем на выгрузку в филиальной базе по месяцам доки и движения регистров.

можно ли примеры, как это делается?
Сам с терминами не очень и соответственно поискать сложновато.
Автор: Darjal
Добавлено: #10  Пт Авг 07, 2009 15:59:02
Заголовок сообщения:
Все "закручено" на двух командах

ЗарегистрироватьИзменения(<Узлы>, <Данные>)
УдалитьРегистрациюИзменений(<Узлы>, <Данные>)

Но объяснить ЭТО (мама дорогая) - скоко надо времени и всего-всего прочего.
Чтобы разобраться - надо сначала понять, как работает служба регистрации изменений в 8.1.

Фигасе, это за сколько времени у вас такой объем данных :shock: , года за 2-3 наверное?
Типовая конфа?
Автор: Семен Семеныч
Добавлено: #11  Пт Авг 07, 2009 16:05:33
Заголовок сообщения:
Если типовая бухгалтерия (и т.д и тп.)
Справочник "Настройка обмена данными"
Открываем нужный элемент (или в форме списка справочника) кнопка "Открыть монитор объектов"
Закладка "Дополнительно"
Далее смотрим информацию о зарегистрированных изменениях для обмена (кнопка "Подробнее")
Вот там то и сносим всю регистрацию изменений
Дальше регистрируем её по новой частями и после каждой части выполняем двухсторонний обмен (для подтверждения что изменения ушли)

Снести все можно и из монитора, а дальше что бы не забивать себе голову, можно просто воспользоваться групповой обработкой
Перезаписали справочник, обменялись
Перепровели документы за месяц - обменялись
Следущий месяц - повторяем (Перепровели документы за месяц - обменялись)
И так до текущей
Автор: talgin
Добавлено: #12  Пт Авг 07, 2009 16:05:45
Заголовок сообщения:
Типовая Бух, просто доков куча: в день по центру 300-400 расходных накладных, соответственно куча сф, ПКО и т.д., по филиалу таже картина, кроме этого еще два филиала и все это в разных городах.

Ну а насчет примеров: если освою, то тихо-тихо до конца квартала справился бы, наверно.
Автор: Семен Семеныч
Добавлено: #13  Пт Авг 07, 2009 16:06:51
Заголовок сообщения:
Если типовая бухгалтерия (и т.д и тп.)
Справочник "Настройка обмена данными"
Открываем нужный элемент (или в форме списка справочника) кнопка "Открыть монитор объектов"
Закладка "Дополнительно"
Далее смотрим информацию о зарегистрированных изменениях для обмена (кнопка "Подробнее")
Вот там то и сносим всю регистрацию изменений (как раз то что говорит Darjal "УдалитьРегистрациюИзменений")
Дальше регистрируем её по новой частями (как раз то что говорит Darjal "ЗарегистрироватьИзменения") и после каждой части выполняем двухсторонний обмен (для подтверждения что изменения ушли)

Снести все можно и из монитора, а дальше что бы не забивать себе голову, можно просто воспользоваться групповой обработкой
Перезаписали справочник, обменялись
Перепровели документы за месяц - обменялись
Следущий месяц - повторяем (Перепровели документы за месяц - обменялись)
И так до конца

Добавлено спустя 3 минуты 21 секунду:

[quote="talgin"]Типовая Бух, просто доков куча: в день по центру 300-400 расходных накладных, соответственно куча сф, ПКО и т.д., по филиалу таже картина, кроме этого еще два филиала и все это в разных городах.
/quote]
Чет глюкануло 11 не читать, читать 13

Добавлено спустя 2 минуты 23 секунды:

Пример есть в синтаксис помошнике
Код:

УдалитьРегистрациюИзменений
ПланыОбменаМенеджер (ExchangePlansManager)
УдалитьРегистрациюИзменений (DeleteChangeRecords)
Синтаксис:
УдалитьРегистрациюИзменений(<Узлы>, <Данные>)
Параметры:
<Узлы> (обязательный)
Тип: ПланОбменаСсылка.<Имя плана обмена>, Массив. Одиночное значение типа ПланОбменаСсылка.<Имя плана обмена> или массив таких значений, показывающие для каких узлов удаляются записи регистрации изменений.
<Данные> (необязательный)
Тип: Метаданные, Неопределено, УдалениеОбъекта, Число, <Данные>. Значением данного параметра может быть объект метаданных, объект, представляющий данные, хранимые в базе данных, такой как документ, элемент справочника, счет бухгалтерского учета, менеджер записи константы, набор записей регистра и т. п., ссылка на объект базы данных, а также Неопределено.
Если указан объект метаданных, то записи регистрации изменений будут удалены для всех элементов данных, относящихся к указанному объекту метаданных. Объект метаданных должен входить в состав планов обмена всех узлов, указанных в первом параметре.
Если указан УдалениеОбъекта, то удаление записи регистрации изменений выполняется для объекта базы данных, на который "указывает" ссылка, содержащаяся в объекте УдалениеОбъекта.
Если указан объект представляющий данные, хранимые в базе данных, или ссылка, то записи регистрации изменений будут удалены только для указанных данных. Объект метаданных, соответствующий данным должен входить в состав всех планов обмена всех узлов, указанных в первом параметре.
Если указано Неопределено или не указан, то в качестве первого параметра может быть указан только одиночный узел. И в этом случае записи регистрации изменений будут удалены для всех объектов, метаданные которых входят в состав плана обмена, к которому относится узел, указанный в качестве первого параметра.
Если в качестве первого параметра указан одиночный узел, то в параметре может быть указан номер сообщения. В этом случае метод УдалитьРегистрациюИзменений удаляет из всех таблиц регистрации изменений все записи относящиеся к указанному узлу, у которых номер сообщения меньше или равен значению второго параметра.
Значение по умолчанию: Неопределено
Описание:
Удаляет записи регистрации изменений одного или группы элементов данных для одного или нескольких узлов планов обмена.
Пример:
// Пример 1
Спр = Справочники.Валюты.НайтиПоКоду("810");
Узел = ПланыОбмена.ПО1.НайтиПоКоду("Офис");
ПланыОбмена.УдалитьРегистрациюИзменений(Узел, Спр);

// Пример 2
// Загрузка из файла
// Производим попытку открытия файла
ЧтениеXML = Новый ЧтениеXML;
Попытка
    ЧтениеXML.ОткрытьФайл(ИмяФайла);
Исключение
    Возврат;
КонецПопытки;
ЧтениеСообщения = ПланыОбмена.СоздатьЧтениеСообщения();
ЧтениеСообщения.НачатьЧтение(ЧтениеXML);
Если ЧтениеСообщения.Отправитель <> Ссылка Тогда
    // Сообщение предназначено не для этого узла
    ВызватьИсключение "Неверный узел";
КонецЕсли;
// Удаляем регистрацию изменений для узла отправителя сообщения
ПланыОбмена.УдалитьРегистрациюИзменений(ЧтениеСообщения.Отправитель, ЧтениеСообщения.НомерПринятого);

там же и "ЗарегистрироватьИзменения"
Автор: Darjal
Добавлено: #14  Пт Авг 07, 2009 16:16:55
Заголовок сообщения:
Если честно, я не гоняю в оба конца обмены. Зарегил, выгрузил, обнулил, принял - и следующий цикл. По итогу - все нормально получается.

АААА, только не перепровели, Семен! Это - головняк на 100% будет (не буду говорить почему, сами увидите).

Подсказка - пишем обработку, в которой из состава плана обмена собираем зарегистрированные в нем объекты метаданных.
2 поля табличных например - доки и справочники. В таблице доков "вяжем" период на форме, запросом "снимаем" объекты (конечно по условию - в периоде чтобы они были, который на форме) - вот и все, прям по выборке этой и шпарим регистрацию. Не забываем еще, что ДВИЖЕНИЯ доков - отдельно регистрируем на выгрузку.
Автор: Семен Семеныч
Добавлено: #15  Пт Авг 07, 2009 16:27:08
Заголовок сообщения:
Darjal говорит:

АААА, только не перепровели, Семен! Это - головняк на 100% будет

Зато не требует знаний и писанины ниже :wink:
Darjal говорит:

Подсказка - пишем обработку, в которой из состава плана обмена собираем зарегистрированные в нем объекты метаданных.

А перепроведение заодно позволит проверить ввод первички
Автор: Darjal
Добавлено: #16  Пт Авг 07, 2009 16:28:45
Заголовок сообщения:
Ну как говоритсо, "ми фас передюпреждяли"...... :D :)
Автор: Семен Семеныч
Добавлено: #17  Пт Авг 07, 2009 16:32:26
Заголовок сообщения:
Darjal говорит:
Ну как говоритсо, "ми фас передюпреждяли"...... :D :)

зато перепроведение проблема пользователей :ROFL:
Автор: Darjal
Добавлено: #18  Пт Авг 07, 2009 16:33:56
Заголовок сообщения:
talgin
Пишите на болванку обе выгрузки и передавайте мне как-нибудь,
как выгрузите филиал - пусть они не работают в базе, ждут.
За выходные - сделаю и филиалу могу 700 метров - выложить. пусть качают и потом работают.
Как вариант - к франчам в своем городе обратитесь.
Сколько запросят - мне скажите, сдается там сумма будет ойёй какая.
Автор: talgin
Добавлено: #19  Пт Авг 07, 2009 16:41:49
Заголовок сообщения:
Обмен происходил с Планом обмена: По организации. Настройки обмена данными не было (справочник "Настройка обмена данными" - пуст).

Семен Семеныч если я правильно понял, необходимо создать новую настройку и по вашему алгоритму вперед, мелкими шагами?
Автор: Darjal
Добавлено: #20  Пт Авг 07, 2009 16:44:50
Заголовок сообщения:
Все понял.
Банзай!!! :babruisk:
Автор: talgin
Добавлено: #21  Пт Авг 07, 2009 16:49:39
Заголовок сообщения:
Darjal говорит:
За выходные - сделаю и филиалу могу 700 метров - выложить. пусть качают и потом работают.

Сначала шкурный вопрос: во сколь это обойдется?
Есть ли возможность скачать с КЗ-файлообменка?

Darjal говорит:
Как вариант - к франчам в своем городе обратитесь.
Сколько запросят - мне скажите, сдается там сумма будет ойёй какая.

наши франчи вряд-ли возьмутся, на всякий попытаюсь узнать, но это только на следующей неделе.
Автор: Darjal
Добавлено: #22  Пт Авг 07, 2009 17:00:11
Заголовок сообщения:
Я в Бобруйске уже, там скайп и аська и личка.
Там и сумма озвучена будет.

Добавлено спустя 1 минуту 37 секунд:

С наших файло-помоек сейчас качать - одно удовольствие. :good:

  

Служба поддержки WWW.BALANS.KZ