Про использование Pyspark

22.10.2020, 22:35. Показов 909. Ответов 0

Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам

Вопрос следующий. Я скачал Apache Spark и запустил его в Jupyter Notebook через командную строку, введя

Python
1
pyspark --master local[2]

Далее создаю такой код, который строит два графика.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import pyspark
import plotly
import plotly.graph_objs as go
from plotly.subplots import make_subplots
 
import numpy as np
import pandas as pd
 
spark = SparkSession.builder \
    .master("local[*]") \
    .appName("Graph") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()
 
fig = make_subplots(rows=2, cols=1, subplot_titles=("Plot 1", "Plot 2"))
fig.add_trace(go.Scatter(x=[1, 2, 3], y=[4, 5, 6]), 1, 1)
fig.add_trace(go.Scatter(x=[20, 30, 40], y=[50, 60, 70]), 2, 1)
fig.show()

Однако, я видел еще вот такой вариант вызова pyspark - в первой строке кода писать %pyspark. Я попробовал так сделать, но
Jupyter notebook выдает мне ошибку:

UsageError: Line magic function `%pyspark` not found.

Соответственно, такие вопросы.

1. Как повлияло использование мной модуля pyspark на этот код?
2. Какой существует пример простейшего кода, на который повлияет использование pyspark?
3. Правильно ли я понимаю, что pyspark в общем случае ускоряет выполнение кода?
4. Почему у меня не работает вызов pyspark через "magic line" "%pyspark"?

Заранее спасибо за ответы на мои низкоинтеллектуальные вопросы)

Programming

Эксперт

39485 / 9562 / 3019

Регистрация: 12.04.2006

Сообщений: 41,671

Блог

22.10.2020, 22:35

Ответы с готовыми решениями:

PySpark: количество по условию
Доброго дня! Создан новый DataFrame from pyspark.sql.functions import when df2 = df.withColumn("prediction", when(df.petal_width...

PySpark вывод Dataframe в консоль
Доброго времени суток. Проблема в выводе Dataframe в консоль. Собрал данные с сайта сохранил в csv теперь иду дальше хочу при помощи Spark...

Как правильно работать с типом RDD (Pyspark), хранящим массив из десяти миллионов значений?
Здравствуйте! Есть учебная задача: в массиве чисел np.arange(1, number), где number - введенное значение, подсчитать кол-во чисел,...

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.

inter-admin

Эксперт

29715 / 6470 / 2152

Регистрация: 06.03.2009

Сообщений: 28,500

Блог

22.10.2020, 22:35

Помогаю со студенческими работами здесь

Использование Крипто ПРО
Добрый день! Есть приложение на C# винформах, которое устанавливается на разных клиентах. Приложение формирует документы. ...

про использование репликации
насколько эффективно и НАДЕЖНО использовать репликацию? как для программной части так и для базы?

про использование overflow
применение style=''overflow:auto'' срабатывает только для , а для <TABLE> нет. В документации, которую я нашел, сказано что вроде бы и к...

Вопрос про использование using
using (Process ls_tool = Process.Start(set)) { using (StreamWriter myStW = ls_tool.StandardInput) ...

Вопрос про использование шаблонов
Добрый день. Начинаю разбираться с шаблонами, возник следующий вопрос. Допустим есть классы: abstract class A { } ...

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:

Новые блоги и статьи Все статьи Все блоги /
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .	Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .
Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .

Наверх