Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.81/21: Рейтинг темы: голосов - 21, средняя оценка - 4.81
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21

В файле нужно осуществлять поиск

21.06.2011, 22:56. Показов 4710. Ответов 32
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Вопрос по работе с файлами.

А именно, имеется файл с данными (прайсы). В этом файле нужно осуществлять поиск (по коду товара). Файлик на 6'000'000+ (шесть с лишних лямов) позиций и размером под 300Мб в .txt формате (excel отказался переваривать такое кол-во строк).

Ситуация такова, что загрузить его целиком в string не вышло (выбило аутофмэмори), а грузить построчно (что в общем то наиболее удобно для дальнейшего парсинга) в массив ацки долго (на i3 и SATA винтом 1КК строк грузится 3 часа). Актуальность данных файла 1 день (т.е. прайс меняется каждый день).

А вопрос таков - как можно загрузить этот файлик в память и потом с ним работать из ОЗУ, либо есть ли какая возможность быстро искать непосредственно в файле и уже потом просто считывать строчку в файле с искомым вхождением?

Спасибо за ответы.
 Комментарий модератора 
Одна тема - один вопрос (Правила п.3.15)
0
Лучшие ответы (1)
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
21.06.2011, 22:56
Ответы с готовыми решениями:

Как осуществлять поиск без учета регистра?
В данном кейсе осуществляется поиск, но он чувствителен к регистру букв, подскажите пожалуйста, как это исправить?case '2': { ...

Посоветуйте, как осуществлять быстрый поиск по полям класса?
Создаю класс (допустим myClass) в котором есть несколько полей x,y,a,b,c итд. Далее создаю List<myClass> listtile = new...

Программа производит поиск по текстовому файлу 1, нужно занулить при поиске те слова, указанные в файле 2
using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using...

32
Почетный модератор
Эксперт .NET
 Аватар для NickoTin
8726 / 3678 / 404
Регистрация: 14.06.2010
Сообщений: 4,513
Записей в блоге: 9
22.06.2011, 00:58
Приведите образец файла (желательно прикрепить как вложение к сообщению). Если нет возможности, то напишите его кодировку, и несколько строк исходного файла + то что нужно найти.
Искать нужно все вхождения или первое?
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
22.06.2011, 01:12  [ТС]
Цитата Сообщение от SSTREGG Посмотреть сообщение
Приведите образец файла (желательно прикрепить как вложение к сообщению). Если нет возможности, то напишите его кодировку, и несколько строк исходного файла + то что нужно найти.
Искать нужно все вхождения или первое?
Code
1
2
SUBARU  041106120               SCHRAUBE        10      11      0,05
SUBARU  043104350               SCHRAUBE        10      11      0,05
поиск нужно делать по второму полю (041106120 и 043104350 где)

ну а вообще, я уже нашел решение быстро загрузить это в массив, причем все просто:
C#
1
string[] srcPriceData = File.ReadAllLines(filePath, Encoding.UTF8);
0
 Аватар для Петррр
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
22.06.2011, 10:55
А БД использовать не лучше.?
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
22.06.2011, 11:02  [ТС]
Цитата Сообщение от Петррр Посмотреть сообщение
А БД использовать не лучше.?
по поводу БД - рассматриваю как вариант... но считать из файла и обработать его в любом случае надо было бы...
0
 Аватар для Петррр
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
22.06.2011, 11:18
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
using System;
using System.Text;
using System.Data;
using System.Windows.Forms;
 
//Автор: Петррр
class Program
{
    static void Main(string[] args)
    {
        string[] s = System.IO.File.ReadAllLines(@"C:\1.txt", Encoding.Default);
        Console.WriteLine(string.Join("\n", s));
        DataTable table = new DataTable();
        table.Columns.Add("name", Type.GetType("System.String"));
        table.Columns.Add("id", Type.GetType("System.String"));
        table.Columns.Add("value", Type.GetType("System.String"));
        table.Columns.Add("id1", Type.GetType("System.Int32"));
        table.Columns.Add("id2", Type.GetType("System.Int32"));
        table.Columns.Add("id3", Type.GetType("System.Double"));
        BindingSource bindingSource = new BindingSource(table, table.TableName);
 
        for (int i = 0; i < s.Length; i++)
        {
            bindingSource.AddNew();
            DataRow row = ((DataRowView)bindingSource.Current).Row;
            string[] s1 = s[i].Split(new string[] { " " }, 6, StringSplitOptions.RemoveEmptyEntries);
            if (row != null)
            {
                row["name"] = s1[0];
                row["id"] = s1[1];
                row["value"] = s1[2];
                row["id1"] = Int16.Parse(s1[3].Trim());
                row["id2"] = Int16.Parse(s1[4].Trim());
                row["id3"] = Double.Parse(s1[5].Trim());
                bindingSource.EndEdit();
            }
        }
        Console.WriteLine(new string('-', 15));
        bindingSource.MoveFirst();
        for (int i = 0; i < bindingSource.Count; i++)
        {
            Console.WriteLine(((DataRowView)bindingSource.Current).Row["name"]);
            bindingSource.MoveNext();
        }
        //собственно поиск который тебе был нужен
        Console.WriteLine(new string('-', 15));
        Console.WriteLine("Выводим отфильтрованные данные");
        bindingSource.Filter = "id=041106120";
        bindingSource.MoveFirst();
        for (int i = 0; i < bindingSource.Count; i++)
        {
            Console.WriteLine(((DataRowView)bindingSource.Current).Row["name"]);
            bindingSource.MoveNext();
        }
        Console.WriteLine(new string('-', 15));
        bindingSource.Filter = String.Empty;
        Console.WriteLine("Удалил фильтр и вывели данные занова");
        bindingSource.MoveFirst();
        for (int i = 0; i < bindingSource.Count; i++)
        {
            Console.WriteLine(((DataRowView)bindingSource.Current).Row["name"]);
            bindingSource.MoveNext();
        }
        Console.ReadKey(true);
    }
}
1
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
22.06.2011, 12:50
Цитата Сообщение от RaMoNVicious Посмотреть сообщение
по поводу БД - рассматриваю как вариант... но считать из файла и обработать его в любом случае надо было бы...
Да когда же вы изучите все прелести OLE DB
1. http://connectionstrings.com/textfile
2. http://connectionstrings.com/
1
 Аватар для Петррр
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
22.06.2011, 12:53
Да когда же вы изучите все прелести OLE DB
Пример кода можно.? Мне было бы интересно.
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
22.06.2011, 13:18
Лучший ответ Сообщение было отмечено как решение

Решение

Цитата Сообщение от Петррр Посмотреть сообщение
Пример кода можно.? Мне было бы интересно.
Вот набросал функцию. Возвращает DataTable из текстового файла.
cmdText - это SQL-запрос к файлу (например "select * from тотФайлик.txt")
db - это полный путь к папке, где находится тотФайлик.txt

Несколько нюансов описаны по приведенной выше ссылке

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
private DataTable execCmd(string cmdText, string db)
        {
            
            using (OleDbConnection con = new OleDbConnection(@"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + db
                       + @";Extended Properties=""text;HDR=Yes;FMT=Delimited"";"))
            {
                con.Open();
                OleDbDataAdapter adapter = new OleDbDataAdapter(cmdText, con);
                DataTable dt = new DataTable();
                adapter.Fill(dt);
                return dt;
            }   //con
        }   //execCmd
Добавлено через 10 минут
А на счет разделителей (точка с запятой,табуляция или иное) отвечает параметр "FMT=". Его значения смотрим тут http://msdn.microsoft.com/en-u... 09353.aspx
3
мастер топоров
 Аватар для Koran
917 / 742 / 101
Регистрация: 16.08.2009
Сообщений: 1,476
22.06.2011, 13:39
а для непосвященных: чем лучше OLE DB нежели MS SQL или MySQL?
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
22.06.2011, 13:51
Цитата Сообщение от Koran Посмотреть сообщение
а для непосвященных: чем лучше OLE DB нежели MS SQL или MySQL?
OLE DB это технология подключения к данным, а MS SQL или MySQL это СУБД
С помощью OLE DB ты подключаешься к СУБД. Но более интересно для данного топика, что с помощью OLEDB можно подключится и к файлам (Excel, dbf, txt b куче других) как к таблицам БД и посылать им sql запросы.
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
24.06.2011, 02:04  [ТС]
Цитата Сообщение от Петррр Посмотреть сообщение
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
using System;
using System.Text;
using System.Data;
using System.Windows.Forms;
 
//Автор: Петррр
class Program
{
    static void Main(string[] args)
    {
        string[] s = System.IO.File.ReadAllLines(@"C:\1.txt", Encoding.Default);
        Console.WriteLine(string.Join("\n", s));
        DataTable table = new DataTable();
        table.Columns.Add("name", Type.GetType("System.String"));
        table.Columns.Add("id", Type.GetType("System.String"));
        table.Columns.Add("value", Type.GetType("System.String"));
        table.Columns.Add("id1", Type.GetType("System.Int32"));
        table.Columns.Add("id2", Type.GetType("System.Int32"));
        table.Columns.Add("id3", Type.GetType("System.Double"));
        BindingSource bindingSource = new BindingSource(table, table.TableName);
 
        for (int i = 0; i < s.Length; i++)
        {
            bindingSource.AddNew();
            DataRow row = ((DataRowView)bindingSource.Current).Row;
            string[] s1 = s[i].Split(new string[] { " " }, 6, StringSplitOptions.RemoveEmptyEntries);
        ...
попробовал этот код... спасибо... но он очь медленно заносит в таблицу... за 2 минуты только 2КК запесей... и уход в свап на 2Гб ОЗУ + парсинг останавливается...

...разпарсить в массив у меня получается быстро (4Гб ОЗУ) -в 4 потока на i3 за 40 сек... ну при работе с массивом тоже затык на 1.7Гб ОЗУ (2Гб минус на борт-видик) - перестает добавлять гдето на 70-80%... ОСь на обоих компах - Win7 64 бит... =/
0
 Аватар для m0nax
1274 / 975 / 113
Регистрация: 12.01.2010
Сообщений: 1,971
24.06.2011, 05:01
не понял в чем тут проблема, нафига читать целый файл если нужно просто найти что-то?

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
        public static string Find(string path, string id)
        {
            using (var reader = new StreamReader(path, Encoding.UTF8))
            {
                while (!reader.EndOfStream) {
                    string line = reader.ReadLine();
 
                    if (line != null) {
 
                        string[] values = line.Split(new[]{" "}, StringSplitOptions.RemoveEmptyEntries);
 
                        if (values[1] == id) 
                             return line;
                    }
                }
            }
 
            return null;
        }
C#
1
            var str = Find("1.txt", "043104350");
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
24.06.2011, 09:58
RaMoNVicious, файле между полями пробелы или табуляция?

Добавлено через 12 минут
RaMoNVicious, файле между полями пробелы или табуляция (скорее всего табуляция)?
Специально сформировал файл из 6 миллионов твоих записей с разделителем "табуляция" и искал строку находящуюся на 5-ти миллионной строке
Если табуляция, мой пример ищет одну строку из 6 миллионов секунд за 10 на офисном ПК. И это при запущеныйх VS, Delphi, Outlook, служб сиквел сервера и других приложений

Код
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
private DataTable execCmd(string cmdText)
        {
            string db =@Environment.GetFolderPath(Environment.SpecialFolder.ApplicationData);
            using (OleDbConnection con = new OleDbConnection(@"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + db
                       + @";Extended Properties=""text;HDR=no;FMT=Delimited"""))
            {
                con.Open();
                OleDbDataAdapter adapter = new OleDbDataAdapter(cmdText, con);
                DataTable dt = new DataTable();
                adapter.Fill(dt);
                return dt;
            }   
        } 
 
 
        private void button1_Click(object sender, EventArgs e)
        {
            dataGridView1.DataSource = execCmd(@"select * from 1.txt where [F2]=052206000");
        }

Не стал замораживаться с именами полей и все такое
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
24.06.2011, 11:14  [ТС]
спасибо комрады, буду пробовать...

Добавлено через 1 час 1 минуту
Ice_and_Fire, да - табуляция...
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
24.06.2011, 11:44
Цитата Сообщение от RaMoNVicious Посмотреть сообщение
Добавлено через 1 час 1 минуту
Ice_and_Fire, да - табуляция...
Тогда вот тебе готовый код. Объявил функцию один раз и выбирай командой dataGridView1.DataSource = execCmd(@"select * from файл.txt where [Поле]=Условие"); что хочешь
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
24.06.2011, 15:37  [ТС]
так, что то я наверное гдето не понял... вот код по примеру:
C#
1
2
3
4
5
6
7
8
9
10
11
string db = "1.txt";
            
using (OleDbConnection con = new OleDbConnection("Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + db + ";Extended Properties=text;HDR=no;FMT=Delimited;"))
{
    con.Open();
    OleDbDataAdapter adapter = new OleDbDataAdapter("select * from 1.txt where [F2]=045005250", con);
    DataTable dt = new DataTable();
    adapter.Fill(dt);
                
    MessageBox.Show(dt.Rows.Count.ToString());
}
...вывалилась ошибка - "System.Data.OleDb.OleDbException: Could not find installable ISAM.", на строчке #5...

возможно я что-то не до понял как оно работает?.. О_о
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
24.06.2011, 15:55
Цитата Сообщение от RaMoNVicious Посмотреть сообщение
так, что то я наверное гдето не понял... вот код по примеру:
.вывалилась ошибка - "System.Data.OleDb.OleDbException: Could not find installable ISAM.", на строчке #5...

возможно я что-то не до понял как оно работает?.. О_о
1.db - это папка где файл, а не сам файл. Полный путь к ней
2. Ошибка выходит из-за того что ты не поставил @ перед "Provider=Microsoft.Jet.OLEDB.4.0; Data Sourc...
Должно быть @"Provider=Microsoft.Jet.OLEDB.4.0; Data Source=" + db + ";Extended Properties=text;HDR=no;FMT=Delimited;"
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
24.06.2011, 15:57  [ТС]
так что б далеко не ходить - что есть эта "@" перед этими строками? ну что б понимать =)
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
24.06.2011, 16:02
Цитата Сообщение от RaMoNVicious Посмотреть сообщение
так что б далеко не ходить - что есть эта "@" перед этими строками? ну что б понимать =)
Собачка перед текстовой строкой не дает выполнятся esc-последовательностям (\t, \r, \n и другим)
Т.к. путь к файлу содержит слеш (\), то среда пытается трактовать его как esc-последовательность и выдает ошибку. "@" рекомендуется использовать везде где есть путь к файлу или папке.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
24.06.2011, 16:02
Помогаю со студенческими работами здесь

Метод с возможностью осуществлять поиск файлов и папок по имени размеру, датам создания, доступа и модификации
Не могу найти подходящею функцию возможность осуществлять поиск файлов и папок по имени размеру, датам создания, доступа и модификации ...

Осуществлять поиск в файле необходимых дат
Здравствуйте. Подскажите пожалуйста в создании следующей программы: &quot;Необходимо написать программу, осуществляющую замену в текстовом...

Какими средствами осуществлять поиск в doc-файле?
Добрый день. Необходимо производить поиск в файле doc. Какими средствами можно это осуществить?

Как в среде VISUAL C++ 2008 осуществлять поиск текста в файле WORD ?
Здравствуйте ! Подскажите, пожалуйста, как в среде VISUAL C++ 2008 осуществлять поиск текста в файле WORD ? Нужно найти строку в...

Нужно исправить поиск по имени в файле
Проблема вот в чем допустим пользователь ввел Dnepr для поиска.В файле записано так: Dnepr.... Bosch.... Dnepr.... На экран выведет...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru