Загрузка большого обьема данных и Connect к MSSQL2000

14.01.2009, 19:56. **Показов** 2121. **Ответов** 15

Студворк — интернет-сервис помощи студентам

При загрузке большого обьема из paradox таблиц (ок 15GB) в MSSQL2000 (загружает моя программка через ADO с обработкой) MSSQL приняв некоторый обьем разрывает connection, и не дает соединится снова

В W2000 perfomance показывает что дисковые операции загружены на 100%
очевидно происходит оптимизация хранения, но нельзя ли это делать по команде администратора, ну или как либо еще с этим боротся

19.01.2009, 12:27

Процесс начинается после загрузки 4-5G, и с увеличением обьема частота этой 'откючки' возрастает

19.01.2009, 12:45

А что с памятью? Физической и виртуальной?

20.01.2009, 10:03

Физ памяти 512 загруж ок 50%
Cache - полностью
страничные (page) операции уверенно 100%
дисковые операции уверенно 100% без колебаний
CPU - 5-15%

комп - P4-1.6, 512MB, HDD - 60G

20.01.2009, 14:38

Каким образом смотрится загрузка ОЗУ?
Все говорит о том, что откровенн не хватает оперативки

20.01.2009, 16:21

Windows task manager - ок 50%

Windows Administrative toolsPerformans
_Drives - все 100%
_Memory
__Pagessec 100%
__Pages outputsec 100%
__Pages inputsec 100%
__%Commited bytes in use 50%

причем процесс запускается сам время от времени без обращений к серверу

20.01.2009, 16:49

Гммм.... я не тормоз - индексы в таблицах есть? Особенно интересует наличие кластерных индексов - есть такие?

20.01.2009, 19:02

Primary key - нет
Есть индексы по полям

Данные грузятся от 0 до 15GB за раз (реально после 5G начинает шуршать диском, расрывая connect)
Свободного места на страницах - 30% (загружено 70%) - из настроек

25.01.2009, 09:34

Кластерные индексы есть?

25.01.2009, 10:20

1. В догонку - сервис-паки стоят?
2. Из другой программы грузить данные не пробовал?

26.01.2009, 12:50

SP2
Кластерных индексов нет

После того как процесс (активная работа с диском) шел в течении недели (после загрузки 15G) с переодичностью 2-3 часа работал - 2-3 отдых
уже сутки не начинался

данные грузятся из Paradox3.5 через прогр VB+ADO (потому что необходима обработка) - не BCP не DTS не подходят

26.01.2009, 16:41

(((((((((( тогда не знаю ((((
Сорри

26.01.2009, 18:38

Вот и я не знаю, но скоро будет повторный процесс загрузки, посмотрю что будет

26.01.2009, 18:43

Вот и я не знаю, но скоро будет повторный процесс загрузки, посмотрю что будет

@Glory · 26.01.2009, 20:24

1. Покажите запрос с помощью которго вы собственно добавляете данные.

2. Подумайте все таки над использованием BCP и DTS.
В DTS существует возможность модифицировать входные данные.
Если вы хотите все-таки модифицировать исходные данные через свою программу, то что вам мешает писать результаты сначала в текстовый файл, который потом уже добавлять с помощью BCP.

Хотя если вас устраивает срок добавления данных в одну неделю, то можно не думать над этим.

27.01.2009, 10:50

_Покажите запрос с помощью которго вы собственно добавляете данные._
------------
ADO recordset Add
.....
Field('XXX')='AAA'
.....
Update

писать результаты сначала в текстовый файл, который потом уже добавлять с помощью BCP.
------------
а вот это мысль хорошая, спасибо

Хотя если вас устраивает срок добавления данных в одну неделю, то можно не думать над этим.
-----------
это 'одноразовая' операция, будет происходить не чаще 1 раза в год, так что приемлемо

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .

Neld

	Загрузка большого обьема данных и Connect к MSSQL2000 14.01.2009, 19:56. Показов 2121. Ответов 15 Метки нет (Все метки) При загрузке большого обьема из paradox таблиц (ок 15GB) в MSSQL2000 (загружает моя программка через ADO с обработкой) MSSQL приняв некоторый обьем разрывает connection, и не дает соединится снова В W2000 perfomance показывает что дисковые операции загружены на 100% очевидно происходит оптимизация хранения, но нельзя ли это делать по команде администратора, ну или как либо еще с этим боротся

Neld
	19.01.2009, 12:27
	Процесс начинается после загрузки 4-5G, и с увеличением обьема частота этой 'откючки' возрастает

Ghost
	19.01.2009, 12:45
	А что с памятью? Физической и виртуальной?

Neld
	20.01.2009, 10:03
	Физ памяти 512 загруж ок 50% Cache - полностью страничные (page) операции уверенно 100% дисковые операции уверенно 100% без колебаний CPU - 5-15% комп - P4-1.6, 512MB, HDD - 60G

Ghost
	20.01.2009, 14:38
	Каким образом смотрится загрузка ОЗУ? Все говорит о том, что откровенн не хватает оперативки

Neld
	20.01.2009, 16:21
	Windows task manager - ок 50% Windows Administrative toolsPerformans _Drives - все 100% _Memory __Pagessec 100% __Pages outputsec 100% __Pages inputsec 100% __%Commited bytes in use 50% причем процесс запускается сам время от времени без обращений к серверу

Ghost
	20.01.2009, 16:49
	Гммм.... я не тормоз - индексы в таблицах есть? Особенно интересует наличие кластерных индексов - есть такие?

Neld
	20.01.2009, 19:02
	Primary key - нет Есть индексы по полям Данные грузятся от 0 до 15GB за раз (реально после 5G начинает шуршать диском, расрывая connect) Свободного места на страницах - 30% (загружено 70%) - из настроек

Ghost
	25.01.2009, 09:34
	Кластерные индексы есть?

Ghost
	25.01.2009, 10:20
	1. В догонку - сервис-паки стоят? 2. Из другой программы грузить данные не пробовал?

Neld
	26.01.2009, 12:50
	SP2 Кластерных индексов нет После того как процесс (активная работа с диском) шел в течении недели (после загрузки 15G) с переодичностью 2-3 часа работал - 2-3 отдых уже сутки не начинался данные грузятся из Paradox3.5 через прогр VB+ADO (потому что необходима обработка) - не BCP не DTS не подходят

Ghost
	26.01.2009, 16:41
	(((((((((( тогда не знаю (((( Сорри

Neld
	26.01.2009, 18:38
	Вот и я не знаю, но скоро будет повторный процесс загрузки, посмотрю что будет

Neld
	26.01.2009, 18:43
	Вот и я не знаю, но скоро будет повторный процесс загрузки, посмотрю что будет

@Glory 5 / 5 / 0 Регистрация: 20.02.2008 Сообщений: 141
	26.01.2009, 20:24
	1. Покажите запрос с помощью которго вы собственно добавляете данные. 2. Подумайте все таки над использованием BCP и DTS. В DTS существует возможность модифицировать входные данные. Если вы хотите все-таки модифицировать исходные данные через свою программу, то что вам мешает писать результаты сначала в текстовый файл, который потом уже добавлять с помощью BCP. Хотя если вас устраивает срок добавления данных в одну неделю, то можно не думать над этим. 0

Neld
	27.01.2009, 10:50
	_Покажите запрос с помощью которго вы собственно добавляете данные._ ------------ ADO recordset Add ..... Field('XXX')='AAA' ..... Update писать результаты сначала в текстовый файл, который потом уже добавлять с помощью BCP. ------------ а вот это мысль хорошая, спасибо Хотя если вас устраивает срок добавления данных в одну неделю, то можно не думать над этим. ----------- это 'одноразовая' операция, будет происходить не чаще 1 раза в год, так что приемлемо