2 / 2 / 0
Регистрация: 05.05.2017
Сообщений: 45

PySpark вывод Dataframe в консоль

16.02.2023, 15:59. Показов 752. Ответов 1
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Доброго времени суток. Проблема в выводе Dataframe в консоль. Собрал данные с сайта сохранил в csv теперь иду дальше хочу при помощи Spark поработать с данными и конвертить в паркет. Но при чтении содержимого csv файла в консоле постоянно таблица криво выводится. Искал инфу не смог найти. Надеюсь вы подскажите. Пробывал скачать другой csv . Результат точно такой же как и с моим файлом. Внизу нормальный вывод , однако у меня всё криво в консоле.



Code
1
2
3
4
5
6
+----+--------------------+--------------------+------------+--------------------+-----+-----------------+
|year|industry_code_ANZSIC|industry_name_ANZSIC|rme_size_grp|            variable|value|             unit|
+----+--------------------+--------------------+------------+--------------------+-----+-----------------+
|2011|                   A|Agriculture, Fore...|         a_0|       Activity unit|46134|            COUNT|
|2011|                   A|Agriculture, Fore...|         a_0|Rolling mean empl...|    0|            COUNT|
|2011|                   A|Agriculture, Fore...|         a_0|Salaries and wage...|  279|DOLLARS(millions)|
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
16.02.2023, 15:59
Ответы с готовыми решениями:

Pandas. Изменение значений Dataframe исходя из другого Dataframe
Добрый день. Прошу подсказать с реализаций следующего алгоритма: я загружаю из файла примерно следующий Dataframe(db): ...

Вывод таблицы из Dataframe в Flask
Добрый день! Вывожу таблицу и df в принципе проблем нет: {% for table in tables %} {{titles}} {{ table|safe }} {%...

Новый Dataframe с информацией из старого Dataframe
У меня есть такой Dataframe. Мне нужно посчитать количество каждого значения из столбца Message для каждого номера из...

1
2 / 2 / 0
Регистрация: 05.05.2017
Сообщений: 45
16.02.2023, 16:03  [ТС]
скрин прилагается
Миниатюры
PySpark вывод Dataframe в консоль  
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
16.02.2023, 16:03
Помогаю со студенческими работами здесь

Вывод данных pandas dataframe из csv в treeview
Здравствуйте, я чайник в Питоне и подавно в tkinter и pandas Хочу вывести все данные из csv файла именно в treeview при запуске...

Вывод имени столбца, удаление, упорядочение объектов DataFrame
Доброго времени суток, пишу поздно потому как весь день пытался закончит домашку. Кароче говоря, не получилось. Снова обращаюсь к знатокам!...

Буферизация вывода в консоль, и цветной вывод в консоль
Потребовалось реализовать цветной вывод массивов в консоль(некоторые значения выделить зеленым). Для этого...

Про использование Pyspark
Вопрос следующий. Я скачал Apache Spark и запустил его в Jupyter Notebook через командную строку, введя pyspark --master local ...

PySpark: количество по условию
Доброго дня! Создан новый DataFrame from pyspark.sql.functions import when df2 = df.withColumn("prediction", when(df.petal_width...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

Новые блоги и статьи
AkelPad-скрипты, структуры, и немного лирики..
testuser2 05.04.2026
Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .
Отображение реквизитов в документе по условию и контроль их заполнения
Maks 04.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .
Фото всей Земли с борта корабля Orion миссии Artemis II
kumehtar 04.04.2026
Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .
Вывод диалогового окна перед закрытием, если документ не проведён
Maks 04.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .
Программный контроль заполнения реквизитов табличной части документа
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .
wmic не является внутренней или внешней командой
Maks 02.04.2026
Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/
Программная установка даты и запрет ее изменения
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .
Вывод данных в справочнике через динамический список
Maks 01.04.2026
Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru