Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.81/21: Рейтинг темы: голосов - 21, средняя оценка - 4.81
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21

В файле нужно осуществлять поиск

21.06.2011, 22:56. Показов 4679. Ответов 32
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Вопрос по работе с файлами.

А именно, имеется файл с данными (прайсы). В этом файле нужно осуществлять поиск (по коду товара). Файлик на 6'000'000+ (шесть с лишних лямов) позиций и размером под 300Мб в .txt формате (excel отказался переваривать такое кол-во строк).

Ситуация такова, что загрузить его целиком в string не вышло (выбило аутофмэмори), а грузить построчно (что в общем то наиболее удобно для дальнейшего парсинга) в массив ацки долго (на i3 и SATA винтом 1КК строк грузится 3 часа). Актуальность данных файла 1 день (т.е. прайс меняется каждый день).

А вопрос таков - как можно загрузить этот файлик в память и потом с ним работать из ОЗУ, либо есть ли какая возможность быстро искать непосредственно в файле и уже потом просто считывать строчку в файле с искомым вхождением?

Спасибо за ответы.
 Комментарий модератора 
Одна тема - один вопрос (Правила п.3.15)
0
Лучшие ответы (1)
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
21.06.2011, 22:56
Ответы с готовыми решениями:

Как осуществлять поиск без учета регистра?
В данном кейсе осуществляется поиск, но он чувствителен к регистру букв, подскажите пожалуйста, как это исправить?case '2': { ...

Посоветуйте, как осуществлять быстрый поиск по полям класса?
Создаю класс (допустим myClass) в котором есть несколько полей x,y,a,b,c итд. Далее создаю List<myClass> listtile = new...

Программа производит поиск по текстовому файлу 1, нужно занулить при поиске те слова, указанные в файле 2
using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using...

32
Почетный модератор
Эксперт .NET
 Аватар для NickoTin
8725 / 3677 / 404
Регистрация: 14.06.2010
Сообщений: 4,513
Записей в блоге: 9
22.06.2011, 00:58
Приведите образец файла (желательно прикрепить как вложение к сообщению). Если нет возможности, то напишите его кодировку, и несколько строк исходного файла + то что нужно найти.
Искать нужно все вхождения или первое?
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
22.06.2011, 01:12  [ТС]
Цитата Сообщение от SSTREGG Посмотреть сообщение
Приведите образец файла (желательно прикрепить как вложение к сообщению). Если нет возможности, то напишите его кодировку, и несколько строк исходного файла + то что нужно найти.
Искать нужно все вхождения или первое?
Code
1
2
SUBARU  041106120               SCHRAUBE        10      11      0,05
SUBARU  043104350               SCHRAUBE        10      11      0,05
поиск нужно делать по второму полю (041106120 и 043104350 где)

ну а вообще, я уже нашел решение быстро загрузить это в массив, причем все просто:
C#
1
string[] srcPriceData = File.ReadAllLines(filePath, Encoding.UTF8);
0
 Аватар для Петррр
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
22.06.2011, 10:55
А БД использовать не лучше.?
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
22.06.2011, 11:02  [ТС]
Цитата Сообщение от Петррр Посмотреть сообщение
А БД использовать не лучше.?
по поводу БД - рассматриваю как вариант... но считать из файла и обработать его в любом случае надо было бы...
0
 Аватар для Петррр
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
22.06.2011, 11:18
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
using System;
using System.Text;
using System.Data;
using System.Windows.Forms;
 
//Автор: Петррр
class Program
{
    static void Main(string[] args)
    {
        string[] s = System.IO.File.ReadAllLines(@"C:\1.txt", Encoding.Default);
        Console.WriteLine(string.Join("\n", s));
        DataTable table = new DataTable();
        table.Columns.Add("name", Type.GetType("System.String"));
        table.Columns.Add("id", Type.GetType("System.String"));
        table.Columns.Add("value", Type.GetType("System.String"));
        table.Columns.Add("id1", Type.GetType("System.Int32"));
        table.Columns.Add("id2", Type.GetType("System.Int32"));
        table.Columns.Add("id3", Type.GetType("System.Double"));
        BindingSource bindingSource = new BindingSource(table, table.TableName);
 
        for (int i = 0; i < s.Length; i++)
        {
            bindingSource.AddNew();
            DataRow row = ((DataRowView)bindingSource.Current).Row;
            string[] s1 = s[i].Split(new string[] { " " }, 6, StringSplitOptions.RemoveEmptyEntries);
            if (row != null)
            {
                row["name"] = s1[0];
                row["id"] = s1[1];
                row["value"] = s1[2];
                row["id1"] = Int16.Parse(s1[3].Trim());
                row["id2"] = Int16.Parse(s1[4].Trim());
                row["id3"] = Double.Parse(s1[5].Trim());
                bindingSource.EndEdit();
            }
        }
        Console.WriteLine(new string('-', 15));
        bindingSource.MoveFirst();
        for (int i = 0; i < bindingSource.Count; i++)
        {
            Console.WriteLine(((DataRowView)bindingSource.Current).Row["name"]);
            bindingSource.MoveNext();
        }
        //собственно поиск который тебе был нужен
        Console.WriteLine(new string('-', 15));
        Console.WriteLine("Выводим отфильтрованные данные");
        bindingSource.Filter = "id=041106120";
        bindingSource.MoveFirst();
        for (int i = 0; i < bindingSource.Count; i++)
        {
            Console.WriteLine(((DataRowView)bindingSource.Current).Row["name"]);
            bindingSource.MoveNext();
        }
        Console.WriteLine(new string('-', 15));
        bindingSource.Filter = String.Empty;
        Console.WriteLine("Удалил фильтр и вывели данные занова");
        bindingSource.MoveFirst();
        for (int i = 0; i < bindingSource.Count; i++)
        {
            Console.WriteLine(((DataRowView)bindingSource.Current).Row["name"]);
            bindingSource.MoveNext();
        }
        Console.ReadKey(true);
    }
}
1
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
22.06.2011, 12:50
Цитата Сообщение от RaMoNVicious Посмотреть сообщение
по поводу БД - рассматриваю как вариант... но считать из файла и обработать его в любом случае надо было бы...
Да когда же вы изучите все прелести OLE DB
1. http://connectionstrings.com/textfile
2. http://connectionstrings.com/
1
 Аватар для Петррр
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
22.06.2011, 12:53
Да когда же вы изучите все прелести OLE DB
Пример кода можно.? Мне было бы интересно.
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
22.06.2011, 13:18
Лучший ответ Сообщение было отмечено как решение

Решение

Цитата Сообщение от Петррр Посмотреть сообщение
Пример кода можно.? Мне было бы интересно.
Вот набросал функцию. Возвращает DataTable из текстового файла.
cmdText - это SQL-запрос к файлу (например "select * from тотФайлик.txt")
db - это полный путь к папке, где находится тотФайлик.txt

Несколько нюансов описаны по приведенной выше ссылке

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
private DataTable execCmd(string cmdText, string db)
        {
            
            using (OleDbConnection con = new OleDbConnection(@"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + db
                       + @";Extended Properties=""text;HDR=Yes;FMT=Delimited"";"))
            {
                con.Open();
                OleDbDataAdapter adapter = new OleDbDataAdapter(cmdText, con);
                DataTable dt = new DataTable();
                adapter.Fill(dt);
                return dt;
            }   //con
        }   //execCmd
Добавлено через 10 минут
А на счет разделителей (точка с запятой,табуляция или иное) отвечает параметр "FMT=". Его значения смотрим тут http://msdn.microsoft.com/en-u... 09353.aspx
3
мастер топоров
 Аватар для Koran
917 / 742 / 101
Регистрация: 16.08.2009
Сообщений: 1,476
22.06.2011, 13:39
а для непосвященных: чем лучше OLE DB нежели MS SQL или MySQL?
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
22.06.2011, 13:51
Цитата Сообщение от Koran Посмотреть сообщение
а для непосвященных: чем лучше OLE DB нежели MS SQL или MySQL?
OLE DB это технология подключения к данным, а MS SQL или MySQL это СУБД
С помощью OLE DB ты подключаешься к СУБД. Но более интересно для данного топика, что с помощью OLEDB можно подключится и к файлам (Excel, dbf, txt b куче других) как к таблицам БД и посылать им sql запросы.
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
24.06.2011, 02:04  [ТС]
Цитата Сообщение от Петррр Посмотреть сообщение
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
using System;
using System.Text;
using System.Data;
using System.Windows.Forms;
 
//Автор: Петррр
class Program
{
    static void Main(string[] args)
    {
        string[] s = System.IO.File.ReadAllLines(@"C:\1.txt", Encoding.Default);
        Console.WriteLine(string.Join("\n", s));
        DataTable table = new DataTable();
        table.Columns.Add("name", Type.GetType("System.String"));
        table.Columns.Add("id", Type.GetType("System.String"));
        table.Columns.Add("value", Type.GetType("System.String"));
        table.Columns.Add("id1", Type.GetType("System.Int32"));
        table.Columns.Add("id2", Type.GetType("System.Int32"));
        table.Columns.Add("id3", Type.GetType("System.Double"));
        BindingSource bindingSource = new BindingSource(table, table.TableName);
 
        for (int i = 0; i < s.Length; i++)
        {
            bindingSource.AddNew();
            DataRow row = ((DataRowView)bindingSource.Current).Row;
            string[] s1 = s[i].Split(new string[] { " " }, 6, StringSplitOptions.RemoveEmptyEntries);
        ...
попробовал этот код... спасибо... но он очь медленно заносит в таблицу... за 2 минуты только 2КК запесей... и уход в свап на 2Гб ОЗУ + парсинг останавливается...

...разпарсить в массив у меня получается быстро (4Гб ОЗУ) -в 4 потока на i3 за 40 сек... ну при работе с массивом тоже затык на 1.7Гб ОЗУ (2Гб минус на борт-видик) - перестает добавлять гдето на 70-80%... ОСь на обоих компах - Win7 64 бит... =/
0
 Аватар для m0nax
1274 / 975 / 113
Регистрация: 12.01.2010
Сообщений: 1,971
24.06.2011, 05:01
не понял в чем тут проблема, нафига читать целый файл если нужно просто найти что-то?

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
        public static string Find(string path, string id)
        {
            using (var reader = new StreamReader(path, Encoding.UTF8))
            {
                while (!reader.EndOfStream) {
                    string line = reader.ReadLine();
 
                    if (line != null) {
 
                        string[] values = line.Split(new[]{" "}, StringSplitOptions.RemoveEmptyEntries);
 
                        if (values[1] == id) 
                             return line;
                    }
                }
            }
 
            return null;
        }
C#
1
            var str = Find("1.txt", "043104350");
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
24.06.2011, 09:58
RaMoNVicious, файле между полями пробелы или табуляция?

Добавлено через 12 минут
RaMoNVicious, файле между полями пробелы или табуляция (скорее всего табуляция)?
Специально сформировал файл из 6 миллионов твоих записей с разделителем "табуляция" и искал строку находящуюся на 5-ти миллионной строке
Если табуляция, мой пример ищет одну строку из 6 миллионов секунд за 10 на офисном ПК. И это при запущеныйх VS, Delphi, Outlook, служб сиквел сервера и других приложений

Код
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
private DataTable execCmd(string cmdText)
        {
            string db =@Environment.GetFolderPath(Environment.SpecialFolder.ApplicationData);
            using (OleDbConnection con = new OleDbConnection(@"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + db
                       + @";Extended Properties=""text;HDR=no;FMT=Delimited"""))
            {
                con.Open();
                OleDbDataAdapter adapter = new OleDbDataAdapter(cmdText, con);
                DataTable dt = new DataTable();
                adapter.Fill(dt);
                return dt;
            }   
        } 
 
 
        private void button1_Click(object sender, EventArgs e)
        {
            dataGridView1.DataSource = execCmd(@"select * from 1.txt where [F2]=052206000");
        }

Не стал замораживаться с именами полей и все такое
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
24.06.2011, 11:14  [ТС]
спасибо комрады, буду пробовать...

Добавлено через 1 час 1 минуту
Ice_and_Fire, да - табуляция...
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
24.06.2011, 11:44
Цитата Сообщение от RaMoNVicious Посмотреть сообщение
Добавлено через 1 час 1 минуту
Ice_and_Fire, да - табуляция...
Тогда вот тебе готовый код. Объявил функцию один раз и выбирай командой dataGridView1.DataSource = execCmd(@"select * from файл.txt where [Поле]=Условие"); что хочешь
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
24.06.2011, 15:37  [ТС]
так, что то я наверное гдето не понял... вот код по примеру:
C#
1
2
3
4
5
6
7
8
9
10
11
string db = "1.txt";
            
using (OleDbConnection con = new OleDbConnection("Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + db + ";Extended Properties=text;HDR=no;FMT=Delimited;"))
{
    con.Open();
    OleDbDataAdapter adapter = new OleDbDataAdapter("select * from 1.txt where [F2]=045005250", con);
    DataTable dt = new DataTable();
    adapter.Fill(dt);
                
    MessageBox.Show(dt.Rows.Count.ToString());
}
...вывалилась ошибка - "System.Data.OleDb.OleDbException: Could not find installable ISAM.", на строчке #5...

возможно я что-то не до понял как оно работает?.. О_о
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
24.06.2011, 15:55
Цитата Сообщение от RaMoNVicious Посмотреть сообщение
так, что то я наверное гдето не понял... вот код по примеру:
.вывалилась ошибка - "System.Data.OleDb.OleDbException: Could not find installable ISAM.", на строчке #5...

возможно я что-то не до понял как оно работает?.. О_о
1.db - это папка где файл, а не сам файл. Полный путь к ней
2. Ошибка выходит из-за того что ты не поставил @ перед "Provider=Microsoft.Jet.OLEDB.4.0; Data Sourc...
Должно быть @"Provider=Microsoft.Jet.OLEDB.4.0; Data Source=" + db + ";Extended Properties=text;HDR=no;FMT=Delimited;"
0
 Аватар для RaMoNVicious
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
24.06.2011, 15:57  [ТС]
так что б далеко не ходить - что есть эта "@" перед этими строками? ну что б понимать =)
0
 Аватар для Ice_and_Fire
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
24.06.2011, 16:02
Цитата Сообщение от RaMoNVicious Посмотреть сообщение
так что б далеко не ходить - что есть эта "@" перед этими строками? ну что б понимать =)
Собачка перед текстовой строкой не дает выполнятся esc-последовательностям (\t, \r, \n и другим)
Т.к. путь к файлу содержит слеш (\), то среда пытается трактовать его как esc-последовательность и выдает ошибку. "@" рекомендуется использовать везде где есть путь к файлу или папке.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
24.06.2011, 16:02
Помогаю со студенческими работами здесь

Метод с возможностью осуществлять поиск файлов и папок по имени размеру, датам создания, доступа и модификации
Не могу найти подходящею функцию возможность осуществлять поиск файлов и папок по имени размеру, датам создания, доступа и модификации ...

Осуществлять поиск в файле необходимых дат
Здравствуйте. Подскажите пожалуйста в создании следующей программы: &quot;Необходимо написать программу, осуществляющую замену в текстовом...

Какими средствами осуществлять поиск в doc-файле?
Добрый день. Необходимо производить поиск в файле doc. Какими средствами можно это осуществить?

Как в среде VISUAL C++ 2008 осуществлять поиск текста в файле WORD ?
Здравствуйте ! Подскажите, пожалуйста, как в среде VISUAL C++ 2008 осуществлять поиск текста в файле WORD ? Нужно найти строку в...

Нужно исправить поиск по имени в файле
Проблема вот в чем допустим пользователь ввел Dnepr для поиска.В файле записано так: Dnepr.... Bosch.... Dnepr.... На экран выведет...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Новые блоги и статьи
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru