Курсор statement (python3 - odbc|freetds - mssql)

@zeves095 · Регистрация: 23.02.2016

Студворк — интернет-сервис помощи студентам

Дано:

50-150 kk (миллионов) записей в БД (MSSQL)
Подключение из питона по odbc (pyodbc|freetds)

Задача:

Итерируя выборку делать некоторые апдейты
В оперативную память никак нельзя взять все сразу (т.е. вариант fetchall - не подходит)

Проблема:

Python
1
2
3
4
5
6
7
8
9
10
11
db = pyodbc.connect()
 
cursor_1 = db.cursor()
cursor_2 = db.cursor()
 
sql1 = 'SELECT ....'
sql2 = 'UPDATE ....'
 
for row in cursor_1.execute(sql1):
    ...
    cursor_2.execute(sql2,(params))

Этот код выведет ошибку состояния курсора. Т.е. я пока пришел к тому что храниться где-то состояние последнего запроса к бд.. но это похоже на ограничение t-sql курсора. Хотя я вроде как не определяю его.

В итоге тут может быть несколько вопросов:

как обойти это ограничение?
Что из себя представляет курсор pyodbc (t-sql курсор, серверный курсор, клиентский курсор..) и просьба чуть подробнее.

@pyuser · 24.02.2016, 04:06

Очень смущает меня запись:

Python
1
for row in cursor_1.execute(sql1):

Думаю правильнее будет так:

Python
1
2
cursor_1.execute(sql1)
for row in iter(cursor_1.fetchone, None):

@zeves095 · 09.04.2016, 12:38 **[ТС]**

Это одно и то же.

В общем - в пределах одного коннекта с БД - курсоров можно создать кучу конечно. НО внутренняя переменная которая отвечает за состояние курсора одна на все курсоры в пределах потока.

кстати есть клевый граббер grab - там в несколько потоков приложение выполняется. Там все гуд работает.

@alex925 · 09.04.2016, 21:16

Причем тут grub, это фреемворк для парсинга сайтов?

Новые блоги и статьи Все статьи Все блоги /
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Рецензия / Мнение/ Перевод Сайт называется reddit: The Thinkpad X220 Tablet is the best budget school laptop period. Это. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .

@zeves095 0 / 0 / 0 Регистрация: 23.02.2016 Сообщений: 2
	09.04.2016, 12:38 [ТС]
	Это одно и то же. В общем - в пределах одного коннекта с БД - курсоров можно создать кучу конечно. НО внутренняя переменная которая отвечает за состояние курсора одна на все курсоры в пределах потока. кстати есть клевый граббер grab - там в несколько потоков приложение выполняется. Там все гуд работает. 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	09.04.2016, 21:16
	Причем тут grub, это фреемворк для парсинга сайтов? 0