|
0 / 0 / 0
Регистрация: 19.11.2017
Сообщений: 75
|
|
Чтение объемного файла26.01.2020, 17:20. Показов 2171. Ответов 7
Метки нет (Все метки)
Здравствуйте! Появилось желание решить задачу по анализу данных, нашел на просторах интернета задачу, а также обучающую выборку, которая весит 5гб в формате .txt . Как только не пытался я запарсить, но все получалось плохо. Не подскажете как вообще запарсить файл такого размера?
0
|
|
| 26.01.2020, 17:20 | |
|
Ответы с готовыми решениями:
7
Чтение чисел из файла. Чтение после конца потока невозможно Как заменить чтение строки из консоли на чтение текстового файла? Чтение файла, чтение названия папки где находится файл, запись данных на PHP |
|
5237 / 3481 / 1176
Регистрация: 21.03.2016
Сообщений: 8,307
|
||||||
| 26.01.2020, 17:23 | ||||||
Сообщение было отмечено Rashad1337 как решение
Решение
читать построчно и парсить каждую строку.
1
|
||||||
|
1356 / 653 / 207
Регистрация: 23.03.2014
Сообщений: 3,057
|
||||||
| 26.01.2020, 17:24 | ||||||
Сообщение было отмечено Rashad1337 как решение
Решение
1
|
||||||
|
0 / 0 / 0
Регистрация: 19.11.2017
Сообщений: 75
|
|
| 26.01.2020, 17:30 [ТС] | |
|
Спасибо большое! Извиняюсь за тупой вопрос, но может ли это не сработать из-за малого количества оперативки на пк?
0
|
|
|
|
||
| 26.01.2020, 17:30 | ||
|
Для задач машинного обучения на корпусах big data сущестуют онлайновые реализации тех или иных алгоритмов, которые умею обучаться построчно. Например LDAModel из gensim умеет обучаться на корпусах любых размеров. Библиотека тематического моделирования BigARTM - тоже.
0
|
||
|
0 / 0 / 0
Регистрация: 19.11.2017
Сообщений: 75
|
|
| 26.01.2020, 17:33 [ТС] | |
|
Добавлено через 2 минуты
Ну задача состоит в следующем: нужно предсказать интервал заработной платы на основе данных о вакансии. Была подготовлена обучающая выборка из вакансий с указанными зарплатами (с верхней и нижней границей или с одной из них). Задача – максимально точно предсказать возможную предлагаемую заработную плату, которую мог бы поставить работодатель.
0
|
|
|
1356 / 653 / 207
Регистрация: 23.03.2014
Сообщений: 3,057
|
||||||
| 26.01.2020, 17:43 | ||||||
|
как пример именно парсинга
Rashad1337, вряд-ли оперативка. а вот то что некоторые ide ограничивают оюъем обрабатываемой информации , либо время работы скрипта -факт.
1
|
||||||
|
0 / 0 / 0
Регистрация: 19.11.2017
Сообщений: 75
|
|
| 26.01.2020, 20:58 [ТС] | |
|
понял, спасибо большое!
0
|
|
| 26.01.2020, 20:58 | |
|
Помогаю со студенческими работами здесь
8
Заменить чтение файлов через IMAP на почте на чтение с файла с сылки и последующее удаление Как заменить чтение массива на чтение файла с .txt Чтение заголовка PCX файла и чтение растровых данных PCX файла Переделать в коде чтение из файла в чтение с клавиатуры Чтение бинарного файла - чтение первых 9 байт Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
1С: Программный отбор элементов справочника Номенклатура по группе
Maks 22.03.2026
Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа.
В качестве фильтра для отбора справочника служит группа номенклатуры.
Отбор под наименованию группы (на. . .
|
Как я обхитрил таблицу Word
Alexander-7 21.03.2026
Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .
|
Krabik - рыболовный бот для WoW 3.3.5a
AmbA 21.03.2026
без регистрации и смс.
Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .
|
1С: Программный отбор элементов справочника Сотрудники по значению перечисления
Maks 21.03.2026
Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа.
В качестве фильтра для отбора служит предопределенное значение перечислений.
Процедура. . .
|
|
Переходник USB-CAN-GPIO
Eddy_Em 20.03.2026
Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .
|
Оттенки серого
Argus19 18.03.2026
Оттенки серого
Нашёл в интернете 3 прекрасных модуля:
Модуль класса открытия диалога открытия/ сохранения файла на Win32 API;
Модуль класса быстрого перекодирования цветного изображения в оттенки. . .
|
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++
8Observer8 17.03.2026
Содержание блога
Финальные проекты на Си и на C++:
finish-rectangles-sdl3-c. zip
finish-rectangles-sdl3-cpp. zip
|
Символические и жёсткие ссылки в Linux.
algri14 15.03.2026
Существует два типа ссылок — символические и жёсткие.
Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .
|