Удалить дубли документов

@dymot · Регистрация: 17.10.2008

Студворк — интернет-сервис помощи студентам

Всем привет, накосячил с агентом. Результат: продублировались все документы в базе, как это исправить, тоесть удалить все дубли?

@Mydyvys · 19.07.2010, 10:46

Легко вычислить по автору и дате создания.

@dymot · 19.07.2010, 10:48

Сообщение от Medevic

Легко вычислить по автору и дате создания.

Дубли создались методом NotesDocument.CopyToDatabase(NotesDataba se)
Поэтому дата создания у них одинаковая

@Mydyvys · 19.07.2010, 10:55

Я про это и говорю. Поиском или через представление по дате создания легко найти все дубли.

@dymot · 19.07.2010, 11:00

Сообщение от Medevic

Я про это и говорю. Поиском или через представление по дате создания легко найти все дубли.

Что то не могу догнать как это?

@otyk86 · 19.07.2010, 11:01

Created, Modified, Modified by...
Добавлено: GetModifiedDocuments method, @Created, @Modified и др.

@dymot · 19.07.2010, 11:08

Сделал вью по всем документам с категоризированой колонкой @text(@Created)+" - "+@DocChildren.
Получилось на некоторые даты-время по несколько десятов документов причем разных форм.

@Mydyvys · 19.07.2010, 11:10

Даты могут отличаться на секунды/минуты.
Надо брать документы за период.
SELECT (@Created > [Дата - 5мин]) & (@Created < [Дата + 5мин])

@otyk86 · 19.07.2010, 11:11

Получилось на некоторые даты-время по несколько десятов документов причем разных форм

Ну так может по несколько десятов документов и было создано. А нужную форму укажите в формуле отбора вида.

@dymot · 19.07.2010, 11:11

Code
1
2
3
4
5
6
7
Set dc=dbd.AllDocuments
Call dbd.CreateCopy("",DirPath(0)+dbd.FileName)
Set doc=dc.GetFirstDocument
While Not doc Is Nothyng
Call doc.CopyToDatabase(dbd)
Set doc=dc.GetNextDocument(doc)
Wend

Для каждого документа по 1 копии

@dymot · 19.07.2010, 11:24

Может как то в цикле все документы сравнивать?
Цикл по всем дкументам текущий сравниваем со следущими, если находится идентичный то удаляем его.
ТОлько вот как сравнивать?

UPD: По размеру?

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Set dc=db.AllDocuments
 
Set docc=dc.GetFirstDocument
While Not docc Is Nothyng
Set docs=dc.GetNextDocument(docc)
While Not docs Is Nothyng
If docc.Size=docs.Size Then
set tmpdoc=dc.GetPreDocument(docs)
Call docs.remove(true)
set docs=tmpdoc
End If
Set docs=dc.GetNextDocument(docs)
Wend
Set docc=dc.GetNextDocument(docc)
Wend

Получится так сделать?

@otyk86 · 19.07.2010, 11:40

Что-то я так и не понял, чем не покатил поиск по created, modified?
В принципе у документов-копий created и modified должны совпадать до секунды - можно поплясать от этого.

@dymot · 19.07.2010, 11:51

Сообщение от alik86

Что-то я так и не понял, чем не покатил поиск по created, modified?
В принципе у документов-копий created и modified должны совпадать до секунды - можно поплясать от этого.

Тоесть искать дубли точно также как я написал выше по размеру, только по дате создания и изменения?

@otyk86 · 19.07.2010, 12:02

Создайте вид с формулой отбора SELECT ((Form = "Forma") & (@Created = @Modified)), он выдаст вам документы по нужной форме, которые были скопированы программно.
В общем случае при создании документа "ручками" created - это момент создания, а modified - момент сохранения, т.е. "modified - created = время заполнения полей документа". При программном копировании для документа эти моменты совпадают. Как-то так.
P.S. Только не забывайте про "7 раз отмерь - один раз отрежь" - перепроверьте, ибо я выдал лишь своё предположение. :ya_lamo:

@dymot · 19.07.2010, 12:17

Сообщение от alik86

Создайте вид с формулой отбора SELECT ((Form = "Forma") & (@Created = @Modified)), он выдаст вам документы по нужной форме, которые были скопированы программно.
В общем случае при создании документа "ручками" created - это момент создания, а modified - момент сохранения, т.е. "modified - created = время заполнения полей документа". При программном копировании для документа эти моменты совпадают. Как-то так.
P.S. Только не забывайте про "7 раз отмерь - один раз отрежь" - перепроверьте, ибо я выдал лишь своё предположение.

Проверил, не то, всего в бд было около 30000 документов, сейчас около 60000. тоесть ровно в 2 раза больше.
Сделал представление по указанной выше формуле, по этой форме было примерно 1300 доков сейчас по ней 2600, отображается только 20, какие еще есть варианты?

Юзеры скоро загрызут.... :ya_lamo:

@Dorkyr · 19.07.2010, 12:26

Отсортируй представление по общему параметру, и удаляй каждый первый(второй) документ

@dymot · 19.07.2010, 12:27

Сообщение от Darker

Отсортируй представление по общему параметру, и удаляй каждый первый(второй) документ

@Dorkyr · 19.07.2010, 12:31

Code
1
2
3
4
5
6
7
8
9
10
lead=true
set doc=view.getfirstdocument
while not doc is nothyng
lead=not lead
if lead then doc.ToRemove="1":call doc.save(true,False)
set doc=view.getnextdocument(doc)
wend
 
set col=db.Search({ToRemove="1"},Nothyng,0)
col.RemoveAll(1)

@otyk86 · 19.07.2010, 12:34

я ж с ума сойду

Зато наверняка усвоите, что НЕЛЬЗЯ экспериментировать на рабочей базе!
Высказывание: Последовательность "эксперимент -> *цензура*..ц -> чтение документации" даже из толковых админов/программеров тяжело выбить.

@dymot · 19.07.2010, 12:41

Сообщение от alik86

Зато наверняка усвоите, что НЕЛЬЗЯ экспериментировать на рабочей базе!
Высказывание: Последовательность "эксперимент -> *цензура*..ц -> чтение документации" даже из толковых админов/программеров тяжело выбить

Полностью согласен, что тяжело выбить, сколько раз уже зарекался не экспериментировать на раб базе

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! в-строка - входное арифметическое выражение в инфиксной(обычной). . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

@dymot 0 / 0 / 0 Регистрация: 17.10.2008 Сообщений: 506

	Удалить дубли документов 19.07.2010, 10:44. Показов 31236. Ответов 28 Метки нет (Все метки) Всем привет, накосячил с агентом. Результат: продублировались все документы в базе, как это исправить, тоесть удалить все дубли? 0

@Mydyvys 0 / 0 / 0 Регистрация: 04.12.2004 Сообщений: 3,329
	19.07.2010, 10:46
	Легко вычислить по автору и дате создания. 0

@Mydyvys 0 / 0 / 0 Регистрация: 04.12.2004 Сообщений: 3,329
	19.07.2010, 10:55
	Я про это и говорю. Поиском или через представление по дате создания легко найти все дубли. 0

@otyk86 0 / 0 / 0 Регистрация: 17.12.2008 Сообщений: 420
	19.07.2010, 11:01
	Created, Modified, Modified by... Добавлено: GetModifiedDocuments method, @Created, @Modified и др. 0

@dymot 0 / 0 / 0 Регистрация: 17.10.2008 Сообщений: 506
	19.07.2010, 11:08
	Сделал вью по всем документам с категоризированой колонкой @text(@Created)+" - "+@DocChildren. Получилось на некоторые даты-время по несколько десятов документов причем разных форм. 0

@Mydyvys 0 / 0 / 0 Регистрация: 04.12.2004 Сообщений: 3,329
	19.07.2010, 11:10
	Даты могут отличаться на секунды/минуты. Надо брать документы за период. SELECT (@Created > [Дата - 5мин]) & (@Created < [Дата + 5мин]) 0

@otyk86 0 / 0 / 0 Регистрация: 17.12.2008 Сообщений: 420
	19.07.2010, 11:40
	Что-то я так и не понял, чем не покатил поиск по created, modified? В принципе у документов-копий created и modified должны совпадать до секунды - можно поплясать от этого. 0

@otyk86 0 / 0 / 0 Регистрация: 17.12.2008 Сообщений: 420
	19.07.2010, 12:02
	Создайте вид с формулой отбора SELECT ((Form = "Forma") & (@Created = @Modified)), он выдаст вам документы по нужной форме, которые были скопированы программно. В общем случае при создании документа "ручками" created - это момент создания, а modified - момент сохранения, т.е. "modified - created = время заполнения полей документа". При программном копировании для документа эти моменты совпадают. Как-то так. P.S. Только не забывайте про "7 раз отмерь - один раз отрежь" - перепроверьте, ибо я выдал лишь своё предположение. :ya_lamo: 0

@Dorkyr 0 / 0 / 0 Регистрация: 12.01.2009 Сообщений: 246
	19.07.2010, 12:26
	Отсортируй представление по общему параметру, и удаляй каждый первый(второй) документ 0