5 пакетов Python, которые должен знать каждый начинающий специалист по данным

Привет, мир!

Наука о данных — это междисциплинарная область, которая включает в себя извлечение идей и знаний из данных. Чтобы стать специалистом по данным, вы должны владеть различными языками программирования, статистическим анализом и визуализацией данных. Одним из самых популярных языков программирования для обработки данных является Python. В этой статье мы рассмотрим основные пакеты, которые вам нужно знать, чтобы стать специалистом по данным в Python.

1. НумПи:

NumPy — это библиотека для числовых вычислений на Python. Он предоставляет структуру данных массива, оптимизированную для числовых операций. Массивы NumPy полезны для работы с многомерными данными и обеспечивают эффективные математические операции. Это делает NumPy незаменимым пакетом для специалистов по данным, которым необходимо выполнять математические вычисления с большими объемами данных.

import numpy as np

# Creating a 1-dimensional NumPy array
array_1d = np.array([1, 2, 3, 4, 5])
print(array_1d)

# Creating a 2-dimensional NumPy array
array_2d = np.array([[1, 2, 3], [4, 5, 6]])
print(array_2d)

# Basic mathematical operations on NumPy arrays
array_1 = np.array([1, 2, 3])
array_2 = np.array([4, 5, 6])
sum_arrays = array_1 + array_2
print(sum_arrays)

# Broadcasting in NumPy
array_3 = np.array([10, 20, 30])
product_arrays = array_1 * array_3
print(product_arrays)

2. Панды:

Pandas — это библиотека для анализа и обработки данных на Python. Он предоставляет структуры данных, такие как Series и DataFrame, которые позволяют работать со структурированными данными. Pandas предоставляет функции для очистки, преобразования и агрегирования данных, которые необходимы специалистам по обработке и анализу данных. Кроме того, Pandas хорошо интегрируется с другими пакетами, такими как NumPy и Matplotlib.

import pandas as pd

# Creating a pandas Series from a list
series = pd.Series([1, 2, 3, 4, 5])
print(series)

# Creating a pandas DataFrame from a dictionary
data = {'Name': ['John', 'Jane', 'Jim', 'Jill'],
        'Age': [31, 29, 33, 35],
        'Occupation': ['Doctor', 'Teacher', 'Engineer', 'Lawyer']}
df = pd.DataFrame(data)
print(df)

# Basic data analysis with pandas
mean_age = df['Age'].mean()
print(mean_age)

# Sorting data in pandas
sorted_df = df.sort_values(by='Age')
print(sorted_df)

3. Матплотлиб:

Matplotlib — это библиотека для построения графиков для Python. Он предоставляет функции для создания различных типов графиков, включая гистограммы, линейные диаграммы, точечные диаграммы и гистограммы. Визуализация данных — важная часть процесса обработки данных, и Matplotlib позволяет легко создавать визуальные представления ваших данных.

import matplotlib.pyplot as plt
import numpy as np

# Creating a simple line plot
x = np.linspace(0, 10, 100)
y = np.sin(x)
plt.plot(x, y)
plt.show()

# Creating a scatter plot
x = np.random.randn(100)
y = np.random.randn(100)
plt.scatter(x, y)
plt.show()

# Creating a bar plot
objects = ('A', 'B', 'C', 'D')
y_pos = np.arange(len(objects))
values = [1, 2, 3, 4]
plt.bar(y_pos, values)
plt.xticks(y_pos, objects)
plt.show()

В предыдущем посте мы рассмотрели несколько альтернатив, проверьте это:

4. Научное обучение:

Scikit-learn — это библиотека машинного обучения для Python. Он предоставляет ряд алгоритмов для классификации, регрессии, кластеризации и уменьшения размерности. Scikit-learn имеет удобный API и предназначен для использования в сочетании с другими пакетами обработки данных, такими как NumPy и Pandas.

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.linear_model import LinearRegression

# Load the diabetes dataset
diabetes = datasets.load_diabetes()

# Fit a linear regression model
reg = LinearRegression().fit(diabetes.data, diabetes.target)

# Predict using the linear regression model
prediction = reg.predict(diabetes.data)

# Plotting the predicted vs actual target values
plt.scatter(diabetes.target, prediction)
plt.xlabel("Actual Target")
plt.ylabel("Predicted Target")
plt.show()

5. Запросы:

Requests — это библиотека для выполнения HTTP-запросов в Python. Он предоставляет высокоуровневый интерфейс для отправки HTTP-запросов и получения ответов. Запросы полезны для специалистов по данным, которым необходимо собирать данные с веб-сайтов или извлекать данные из API. Веб-скрапинг и API-интерфейсы являются важными источниками данных для многих проектов по науке о данных, а Requests упрощает работу с этими типами данных.

import requests

# Making a GET request to a URL
url = "https://www.example.com"
response = requests.get(url)

# Checking the status code of the response
if response.status_code == 200:
    print("Successful request")
else:
    print("Request failed")

# Accessing the content of the response
content = response.content
print(content)

# Making a POST request with data
data = {'key': 'value'}
response = requests.post(url, data=data)
print(response.content)

У меня есть полный учебник «от начала до конца» по этому пакету:

Заключение:

Эти пять пакетов составляют основу стека обработки данных Python. Изучив, как использовать эти пакеты, вы сможете выполнять основные задачи, необходимые специалисту по данным, включая очистку данных, анализ, визуализацию и моделирование. Кроме того, эти пакеты образуют хорошо интегрированную экосистему, упрощающую переход от одной задачи к другой и повторное использование кода. Освоив эти пакеты, вы станете опытным специалистом по данным в Python.

Пожертвования и прочее

Если вы хотите поддержать меня, рассмотрите возможность подписки на Medium, используя мою реферальную ссылку:

Если вы не хотите активировать план подписки, но все же хотите поддержать меня, подумайте о покупке моей музыки на Bandcamp:

https://inzaniak.bandcamp.com

Другие URL-адреса:

Личный сайт: https://inzaniak.github.io
Социальные ссылки: https://inzaniak.github.io/links.html
Linkedin: https://www.linkedin .com/in/umberto-grando-a8527b150/

Дополнительные материалы на PlainEnglish.io.

Подпишитесь на нашу бесплатную еженедельную рассылку новостей. Подпишитесь на нас в Twitter, LinkedIn, YouTube и Discord.

Повысьте узнаваемость и признание вашего технического стартапа с помощью Circuit.