Считать файл Go-Python

@Ципихович Эндрю · Регистрация: 10.04.2009

Студворк — интернет-сервис помощи студентам

здравствуйте, по мотивам https://habr.com/ru/articles/798215/
код на Go=Goland

Code
1
$ time cat measurements.txt >/dev/null

0m1.052s - 1 сек с хвостиком, вау это супер машина нужна?
опробовал, создал файл на пионе

Python
1
2
3
4
5
6
7
8
9
10
from datetime import datetime
date_start = datetime.now()
print('Начато                      ', date_start)
with open('large_file.txt', 'w') as f:
    for i in range(1, 1_000_000_000):  # с 1 до 1 000 000 000 — один миллиард
        f.write(f'{i}\n')
    f.write('1000000000') # последняя строка будет без абзаца
print('Файл создан')
print('Окончено                    ', datetime.now())
print('Продолжительность работы    ', datetime.now() - date_start) # 0:42:19.944706=10 633 681 КБ

вручную файл не открывает ОС - нехватка памяти
открываю файл питоном:

Python
1
2
3
4
5
6
7
8
from datetime import datetime
date_start = datetime.now()
print('Начато                      ', date_start)
with open('large_file.txt', 'r', encoding='utf-8') as f_in:
    txt = f_in.read()
print('Окончено                    ', datetime.now())
print('Продолжительность работы    ', datetime.now() - date_start)
print('Файл считан')

ошибка
File "<frozen codecs>", line 322, in decode
MemoryError
ошибка понятна, нужно ПК менять, а на Го тоже меня ждёт?

@Usaga · 11.03.2024, 13:05

Сообщение от Ципихович Эндрю

ошибка понятна, нужно ПК менять, а на Го тоже меня ждёт?

А го умеет память на ПК наращивать под данные?))

@Ципихович Эндрю · 11.03.2024, 13:06 **[ТС]**

Сообщение от Usaga

А го умеет память на ПК наращивать под данные?))

я не в курсе

@Usaga · 11.03.2024, 13:07

Ципихович Эндрю, это ты сейчас на полном серьёзе сказал?)

@Ципихович Эндрю · 11.03.2024, 13:12 **[ТС]**

Сообщение от Usaga

это ты сейчас на полном серьёзе сказал?)

да, в чём подвох?

@Usaga · 11.03.2024, 13:14

Ципихович Эндрю, твой файл не станет занимать меньше места, а оперативка на ПК изниоткуда не появится, если ты перепишешь программу на другом языке.

Я думал, что это очевидно...

@Ципихович Эндрю · 11.03.2024, 13:17 **[ТС]**

Сообщение от Usaga

Я думал, что это очевидно...

я думал, что автор статьи об этом скажет в своей статье, не думал, что моих 8 Гб - это мало для сего случая, понял, спасибо

@Usaga · 11.03.2024, 13:23

Сообщение от Ципихович Эндрю

я думал, что автор статьи об этом скажет в своей статье

Это настолько очевидная вещь, что об этом говорить не обязательно.

@Ципихович Эндрю · 11.03.2024, 15:23 **[ТС]**

Сообщение от Ципихович Эндрю

0m1.052s

на вскидку за такое время, я правильно понял это же чуть более 1 сек?
что за ПК у автора статьи - проц, память?

@Usaga · 12.03.2024, 06:25

Сообщение от Ципихович Эндрю

я правильно понял это же чуть более 1 сек?

Да.

Сообщение от Ципихович Эндрю

что за ПК у автора статьи - проц, память?

Ты эту статью вообще читал?

Все результаты получены с Go 1.21.5 на ноутбуке с linux/amd64, быстрым SSD-накопителем и 32 ГБ ОЗУ.

Это всё, что автор рассказал о своём ПК. Другой информации нет.

@Ципихович Эндрю · 12.03.2024, 06:45 **[ТС]**

Сообщение от Usaga

Ты эту статью вообще читал?

вроде читал - а как выяснилось НЕ читал, спасибо

@Curry · 12.03.2024, 10:01

Сообщение от Ципихович Эндрю

ошибка понятна, нужно ПК менять

Нет. Нужно обрабатываемые данные частями загружать. У автора статьи на хабре они загружаются построчно.

Сообщение от Ципихович Эндрю

а на Го тоже меня ждёт?

В Го не встроены ленивые вычисления, так что то что вас ждёт на Го зависит только от вас.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .	SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .

@Usaga 14138 / 9367 / 1350 Регистрация: 21.01.2016 Сообщений: 35,243
	11.03.2024, 13:07
	Ципихович Эндрю, это ты сейчас на полном серьёзе сказал?) 1

@Usaga 14138 / 9367 / 1350 Регистрация: 21.01.2016 Сообщений: 35,243
	11.03.2024, 13:14
	Ципихович Эндрю, твой файл не станет занимать меньше места, а оперативка на ПК изниоткуда не появится, если ты перепишешь программу на другом языке. Я думал, что это очевидно... 1