Исправить ошибку в коде при работе со статистикой

@Dmitry0-01 · Регистрация: 17.09.2021

Студворк — интернет-сервис помощи студентам

Здравствуйте, помогите пожалуйста исправить ошибки

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import shapiro, ttest_ind
 
# 1. Первичный анализ данных
 
# Загрузка данных
df = pd.read_csv('https://raw.githubusercontent.com/Alexachumielo/ml_datasets/main/house_prices_train.csv')
 
# Изучение данных
print("Первые 5 строк данных:")
print(df.head())
print("\nИнформация о данных:")
print(df.info())
print("\nОписательная статистика:")
print(df.describe())
 
# Обработка пропусков
print("\nКоличество пропусков в каждом столбце:")
print(df.isnull().sum())
df = df.dropna()  # Удаление строк с пропусками
 
# Преобразование признаков
df['YearBuilt'] = pd.to_numeric(df['YearBuilt'], errors='coerce')
df['YearRemodAdd'] = pd.to_numeric(df['YearRemodAdd'], errors='coerce')
 
# Визуализация
plt.figure(figsize=(12, 6))
sns.heatmap(df.corr(), annot=True, cmap='coolwarm')
plt.title('Корреляционная матрица')
plt.show()
 
plt.figure(figsize=(12, 6))
sns.countplot(x='SalePrice', data=df)
plt.title('Распределение целевого признака')
plt.show()
 
# Вывод первичного анализа данных
print("\nВывод первичного анализа данных:")
print("- Данные загружены и изучены.")
print("- Пропуски удалены путем удаления строк с пропусками.")
print("- Некоторые признаки преобразованы в числовой формат.")
print("- Построены графики корреляционной матрицы и распределения целевого признака.")
 
# 2. Проверка на нормальность
 
# Выбор 2-3 столбцов для проверки на нормальность
columns = ['SalePrice', 'LotArea', 'GrLivArea']
 
print("\nПроверка на нормальность:")
for col in columns:
    stat, p_value = shapiro(df[col])
    print(f'Столбец {col}: Statistic={stat:.3f}, p-value={p_value:.3f}')
    if p_value > 0.05:
        print(f'Столбец {col} имеет нормальное распределение')
    else:
        print(f'Столбец {col} не имеет нормального распределения')
 
# Вывод проверки на нормальность
print("\nВывод проверки на нормальность:")
print("- Тест Шапиро-Уилка использован для проверки нормальности распределения.")
print("- Столбец SalePrice не имеет нормального распределения, а столбцы LotArea и GrLivArea имеют нормальное распределение.")
print("- Тест Шапиро-Уилка является одним из наиболее распространенных и эффективных тестов для проверки нормальности распределения. Он подходит для небольших и средних выборок, что соответствует нашим данным.")
 
# 3. Выдвижение и проверка гипотез
 
# Гипотеза 1: Существует корреляция между площадью участка (LotArea) и ценой дома (SalePrice)
corr, p_value = df['LotArea'].corr(df['SalePrice']), df['LotArea'].corr(df['SalePrice'], method='pearson')
print("\nПроверка гипотезы 1:")
print(f'Коэффициент корреляции между LotArea и SalePrice: {corr:.3f}')
print(f'p-value: {p_value:.3f}')
if p_value < 0.05:
    print('Принимаем гипотезу: Существует корреляция между площадью участка и ценой дома')
else:
    print('Отвергаем гипотезу: Нет корреляции между площадью участка и ценой дома')
 
# Гипотеза 2: Существует разница в ценах домов, построенных до и после 1980 года
df['YearBuiltBinary'] = (df['YearBuilt'] < 1980).astype(int)
t_stat, p_value = ttest_ind(df.loc[df['YearBuiltBinary'] == 0, 'SalePrice'],
                           df.loc[df['YearBuiltBinary'] == 1, 'SalePrice'])
print("\nПроверка гипотезы 2:")
print(f't-статистика: {t_stat:.3f}, p-value: {p_value:.3f}')
if p_value < 0.05:
    print('Принимаем гипотезу: Существует разница в ценах домов, построенных до и после 1980 года')
else:
    print('Отвергаем гипотезу: Нет разницы в ценах домов, построенных до и после 1980 года')
 
# Вывод проверки гипотез
print("\nВывод проверки гипотез:")
 
print("- Гипотеза 1: Существует слабая положительная корреляция между площадью участка и ценой дома.")
print("- Гипотеза 2: Существует статистически значимая разница в ценах домов, построенных до и после 1980 года.")
print("- Для проверки корреляции использован коэффициент корреляции Пирсона, который подходит для количественных признаков.")
print("- Для проверки разницы в ценах домов, построенных до и после 1980 года, использован t-тест для независимых выборок, так как у нас две независимые группы с неравными размерами.")

HTTPError Traceback (most recent call last)
<ipython-input-1-0f78c874a062> in <cell line: 9>()
7
8 # Загрузка данных
----> 9 df = pd.read_csv('https://raw.githubusercontent.com/Alexachumielo/ml_datasets/main/house_prices_train.csv')
10
11 # Изучение данных

12 frames
/usr/local/lib/python3.10/dist-packages/pandas/io/parsers/readers.py in read_csv(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, skipfooter, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, date_format, dayfirst, cache_dates, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, doublequote, escapechar, comment, encoding, encoding_errors, dialect, on_bad_lines, delim_whitespace, low_memory, memory_map, float_precision, storage_options, dtype_backend)
946 kwds.update(kwds_defaults)
947
--> 948 return _read(filepath_or_buffer, kwds)
949
950

/usr/local/lib/python3.10/dist-packages/pandas/io/parsers/readers.py in _read(filepath_or_buffer, kwds)
609
610 # Create the parser.
--> 611 parser = TextFileReader(filepath_or_buffer, **kwds)
612
613 if chunksize or iterator:

/usr/local/lib/python3.10/dist-packages/pandas/io/parsers/readers.py in __init__(self, f, engine, **kwds)
1446
1447 self.handles: IOHandles | None = None
-> 1448 self._engine = self._make_engine(f, self.engine)
1449
1450 def close(self) -> None:

/usr/local/lib/python3.10/dist-packages/pandas/io/parsers/readers.py in _make_engine(self, f, engine)
1703 if "b" not in mode:
1704 mode += "b"
-> 1705 self.handles = get_handle(
1706 f,
1707 mode,

/usr/local/lib/python3.10/dist-packages/pandas/io/common.py in get_handle(path_or_buf, mode, encoding, compression, memory_map, is_text, errors, storage_options)
716
717 # open URLs
--> 718 ioargs = _get_filepath_or_buffer(
719 path_or_buf,
720 encoding=encoding,

/usr/local/lib/python3.10/dist-packages/pandas/io/common.py in _get_filepath_or_buffer(filepath_or_buff er, encoding, compression, mode, storage_options)
370 # assuming storage_options is to be interpreted as headers
371 req_info = urllib.request.Request(filepath_or_buffe r, headers=storage_options)
--> 372 with urlopen(req_info) as req:
373 content_encoding = req.headers.get("Content-Encoding", None)
374 if content_encoding == "gzip":

/usr/local/lib/python3.10/dist-packages/pandas/io/common.py in urlopen(*args, **kwargs)
272 import urllib.request
273
--> 274 return urllib.request.urlopen(*args, **kwargs)
275
276

/usr/lib/python3.10/urllib/request.py in urlopen(url, data, timeout, cafile, capath, cadefault, context)
214 else:
215 opener = _opener
--> 216 return opener.open(url, data, timeout)
217
218 def install_opener(opener):

/usr/lib/python3.10/urllib/request.py in open(self, fullurl, data, timeout)
523 for processor in self.process_response.get(protocol, []):
524 meth = getattr(processor, meth_name)
--> 525 response = meth(req, response)
526
527 return response

/usr/lib/python3.10/urllib/request.py in http_response(self, request, response)
632 # request was successfully received, understood, and accepted.
633 if not (200 <= code < 300):
--> 634 response = self.parent.error(
635 'http', request, response, code, msg, hdrs)
636

/usr/lib/python3.10/urllib/request.py in error(self, proto, *args)
561 if http_err:
562 args = (dict, 'default', 'http_error_default') + orig_args
--> 563 return self._call_chain(*args)
564
565 # XXX probably also want an abstract factory that knows when it makes

/usr/lib/python3.10/urllib/request.py in _call_chain(self, chain, kind, meth_name, *args)
494 for handler in handlers:
495 func = getattr(handler, meth_name)
--> 496 result = func(*args)
497 if result is not None:
498 return result

/usr/lib/python3.10/urllib/request.py in http_error_default(self, req, fp, code, msg, hdrs)
641 class HTTPDefaultErrorHandler(BaseHandler):
642 def http_error_default(self, req, fp, code, msg, hdrs):
--> 643 raise HTTPError(req.full_url, code, msg, hdrs, fp)
644
645 class HTTPRedirectHandler(BaseHandler):

HTTPError: HTTP Error 404: Not Found

Рыжий Лис · 11.08.2024, 15:11

Ну не знаю, возьми эту ссылку: https://raw.githubusercontent.... sTrain.csv

@Dmitry0-01 · 13.08.2024, 21:15 **[ТС]**

Рыжий Лис,
Заработала, но есть ошибка
ValueError Traceback (most recent call last)
<ipython-input-1-fbbee6c54c71> in <cell line: 52>()
51 print("\nПроверка на нормальность:")
52 for col in columns:
---> 53 stat, p_value = shapiro(df[col])
54 print(f'Столбец {col}: Statistic={stat:.3f}, p-value={p_value:.3f}')
55 if p_value > 0.05:

1 frames
/usr/local/lib/python3.10/dist-packages/scipy/stats/_morestats.py in shapiro(x)
1992 N = len(x)
1993 if N < 3:
-> 1994 raise ValueError("Data must be at least length 3.")
1995
1996 a = zeros(N//2, dtype=np.float64)

ValueError: Data must be at least length 3.

Новые блоги и статьи Все статьи Все блоги /
Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .	Уведомление о неверно выбранном значении справочника Maks 06.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .	Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .
Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .	Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .	Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	11.08.2024, 15:11
	Ну не знаю, возьми эту ссылку: https://raw.githubusercontent.... sTrain.csv 0

@Dmitry0-01 4 / 5 / 2 Регистрация: 17.09.2021 Сообщений: 407
	13.08.2024, 21:15 [ТС]
	Рыжий Лис, Заработала, но есть ошибка ValueError Traceback (most recent call last) <ipython-input-1-fbbee6c54c71> in <cell line: 52>() 51 print("\nПроверка на нормальность:") 52 for col in columns: ---> 53 stat, p_value = shapiro(df[col]) 54 print(f'Столбец {col}: Statistic={stat:.3f}, p-value={p_value:.3f}') 55 if p_value > 0.05: 1 frames /usr/local/lib/python3.10/dist-packages/scipy/stats/_morestats.py in shapiro(x) 1992 N = len(x) 1993 if N < 3: -> 1994 raise ValueError("Data must be at least length 3.") 1995 1996 a = zeros(N//2, dtype=np.float64) ValueError: Data must be at least length 3. 0