Произвел существенную (очень) оптимизацию скрипта обновления базы для магазина cool_shop/
Пропатченный скрипт лежит, где всегда:
http://shopxml.com/downloads/cool_shop.rar

Изменениям подверглись всего 2 файла:

1. init_site/external.php
произведена небольшая (но важная) правка функции _LOAD_DATA - рекомендую исправить всем.

2. modules/get_bases.php
- непосредственно скрипт апдейта базы изменен очень сильно.
Если кто захочет разбирать по косточкам, то места правок (некоторые блоки весьма большие) помечены комментарием // XXX:
Вообще весь принцип работы этого скрипта существенно изменен.
К примеру, продукты теперь таки не удаляются перед обновлением из базы.
Но главное, сама база продуктов тянется не по категориям, а "линейно", а не по категориям, что дает огромный выигрыш при больших разветвленных базах, особенно таких, как батарейки. Ну и для других больших баз типа ювелирки, пирсинга выигрыш будет более, чем существенный.
Так что рекомендую ставить всем. Но без фанатизма. Старые скрипты пока переименовывайте, чтобы была возможность в случае чего вернуть все взад. И для начала пробуйте на одном большом сайте в ночное время. Ибо я потестировал и погонял хорошо, но 100% гарантию на отсутствие багов, естесственно, не даю. Если все будет ок, то смело апдейтьте все сайты.

ВАЖНО: настройку в админке Export Base By Portions сбросьте в 0 - она, вероятнее всего, вовсе не потребуется при новой системе. Только если все равно будет не хватать памяти (на совсем галимых хостингах), то пробуйте ставить 200, 100 и т.д.

кстати, существует теоретическая возможность, что кто не проведет апдейт, то через месяцок повычисляю такие шопы, которые еще и регулярно тягают базу, и поблокирую, если у них продаж нет, ибо центральную систему грузят, а хозяева за ними не следят, получается...

Установил обновление, в начале были глюки, а щас вроде нормально заработало, даже быстрей происходит обновление чем было раньше. Хотел спросить, недавно было другое обновление, просто я его еще не ставил. Его надо ставить? И что те обновление делали вообще?

Быстрее заработало - так и должно быть. НАМНОГО быстрее должно быть.

>>в начале были глюки

Какие примерно?

То обновление очень желательно для вас же.

А если я вообще использую очень старый скрипт. По-моему он назывался new_shop. Что делать со скриптом апдейта?

Продукты лучше бы вообще не удалять когда они исчезают из базы, пусть будет лучше страничка с OUT, чем страница с 404

>>А если я вообще использую очень старый скрипт. По-моему он назывался new_shop. Что делать со скриптом апдейта?

Ничего не делать тогда.
А вообще, самое лучшее, если вы любите свой шоп, то пересадите дизайн на новый движок и все. Дело небольшое...


>>Продукты лучше бы вообще не удалять когда они исчезают из базы, пусть будет лучше страничка с OUT, чем страница с 404

Ну сие личное дело каждого

Лучше скажите: баги у кого-то были?

Первый баг: ошибка при загрузке товаров с аттрибутами.
Правим modules/get_bases.php
Строку
$PrdUrl="portion=$Portion&category=".to_url($Log['Categories']);
меняем на
$PrdUrl="GET_ATTRIBUTES=1&portion=$Portion&category=".to_url($Log['Categories']);

Еще мини-некорректность.
Там же строчку
$Log['min_prdID']=$ID;
меняем на
$Log['min_prdID']=$ID+1;

Хочеться сказать огромное спасибо, что есть люди, которые несмотря на выходные, продолжают работать и радовать новыми обновлениями.
Дохтору респект! И еще раз спасибо.

Док поменяй плз в архиве второе исправление, а то первое есть, а вот второго нет почему-то...

Какого нет? Все есть вроде.

Перестал выводиться 'прогресс' при обновлении (возникло с пред. версии).

Браузер пытается загрузить какое-то время страницу, а потом вываливает сообщение "Невозможно отобразить страницу"...


Хотя часть продуктов успевает загрузиться

В этом отношении скрипт не менялся. Это поменялись некоторые настройки на сервере. Копайте в сторону output_buffering

Доктор, похоже такая же ситуация, как и у Pages. На маленькой базе, браузер замирает на некоторое время, а потом выводит все сразу вместе с надписью Done. На большой же базе (чармсы), скрипт просто умирает - The page cannot be displayed.
Хостинг виртуальный:
output_buffering: Local Value - 0, Master Value - no value
Что и где нужно изменить?

Ну тогда таки пробуйте ставить экспорт баз по порциям. Для начала 500, если не - то по чуть-чуть уменьшайте.

Поставил обновленную версию модуля апдейта базы - ускорение работы реальное! Доктору респект и уважуха!!! Пашет как на маленьких базах (чармсы, корзинки) так и на ювелирке.

Это в первую очень было сделано - безрезультатно

Если output_buffering реально 0 или off, то то, что льет скрипт, льется прямо в браузер.
Может долго не литься только если долго получает и парсит файл с шопхмл-я.
Значит нуна пытаться уменьшать порции.

Установил output_buffering=0 на сервере, показываться прогресс стал,
Но проблема, за раз может только загрузить ~80-100 позиций. Далее просто останавливается.

Установка "Порции" с виду ничего не меняет
Время выполнения скрипта, установлено 30 минут!

И что? Если после этого через 30 секунд нажать рефреш, то оно говорит, что подождите еще сколько-то секунд и так постоянно, или продолжает лить с того места, где тормознуло?
Если 1-е, то значит скрипт там себе работает.
Если 2-е, то значит его там что-то у вас таки прибивает. Но тогда жмите и дальше рефрешь, покуда база не того.

Доктор, у меня есть вопросы.

Вы поменяли серверную часть? Я репортал Маузеру, о том что когда запрашиваешь продукты из определенной категории, и какой - нить продукт входит в несколько категорий (ты назвал это разветвленной базой), то XML описывающий этот продукт содержит ID категории, причем эта цифра одна! Что я хочу сказать/сообщить, что если вы не переделали server-side (ты называешь это центральной системой), то обход по продуктам, без категорий (ты называешь это "линейным") не возможен, так как нет способа узнать в какие категории входит продукт.

Если все ОК, то что вы сделали и как реализовали? По ходу, вхождение продукта в категории - это белое место в спецификациях вашего API.

Если что-то не понятно в моем посте, то я могу перефразировать вопрос.

Нет, все понятно.
Вы правы.
Я, разумеется, внес изменения и в серверную часть.

Гуд, поехали дальше.
Не было апдэйта доков на этот счет, логично если я спрошу об этом..

появился новый аттрибут "categories" в XML генерируемом
xml_products.php для тэга "product"

когда он заполняется? какие флаги нужно передать в запрос, чтобы он заполнялся? ведь именно c с этой инфой можно производить "линеный" импорт базы.