Запуск алгоритмов искусственного интеллекта/машинного обучения в Python Jupyter Notebook от TechLatest.Net

Введение

Обучение моделей машинного обучения может потребовать больших вычислительных мощностей и ресурсов. Использование графического процессора может значительно ускорить процесс обучения по сравнению с использованием только центрального процессора. В этой записи блога мы увидим, как TechLatest VM использует мощь графических процессоров NVIDIA для обучения и тестирования моделей машинного обучения в ноутбуках Jupyter.

Примечание

Если вы хотите быстро настроить и изучить AI/ML & Python Jupyter Notebook Kit, Techlatest.net предлагает готовые настройки для AI/ML & Python Jupyter Notebook Kit на AWS, Azure и GCP. Следуйте приведенным ниже ссылкам, чтобы получить пошаговое руководство по настройке AI/ ML & Python Jupyter Notebook Kitна облачной платформе по вашему выбору.

Для AI/ML KIT: AWS, GCP и Azure.

Почему вы выбираете Techlatest.net VM, AI/ML Kit и Python Jupyter Notebook?

• Редактирование кода в браузере
• Умение запускать и выполнять код на различных языках программирования
• Поддерживает мультимедийные файлы, такие как изображения, видео, диаграммы и т. д.
• Поддерживает подключение к внешним источникам данных
• Поддерживает совместное редактирование несколькими пользователями.
• Простой интерфейс для создания и управления блокнотами
• Возможность сохранять блокноты и делиться ими

Пошаговое руководство по установке библиотек и пакетов AI/ML Python в Jupyter Notebook

Во время выбора ВМ «Мы выбираем экземпляр GPU, перейдя на вкладку GPU и выбрав нужный тип экземпляра GPU. Инстанс с графическим процессором обеспечивает в 10–15 раз более высокую производительность по сравнению с эквивалентным инстансом с ЦП, однако инстансы с графическим процессором будут иметь значительно более высокую стоимость, поэтому выберите правильный тип инстанса в соответствии с вашими требованиями к производительности и бюджету».

Я беру все три примера AWS, GCP и Azure для справки.

После настройки виртуальной машины мы можем установить библиотеки и пакеты AI/ML Python в Jupyter Notebook, поэтому ниже вы можете увидеть пошаговое руководство.

Шаг 1

Эта виртуальная машина поставляется с Ubuntu по умолчанию в качестве администратора. Таким образом, чтобы получить доступ к веб-интерфейсу и установить дополнительные пакеты, войдите в систему с именем пользователя Ubuntu и паролем, который вы установили при первом входе в Jupyter Notebook.

Шаг 2

Откройте терминал в блокноте Jupyter и введите приведенную ниже команду, чтобы установить пакет there с помощью pip.

sudo -E pip install there

Примечание. Не забудьте использовать sudo в приведенной выше команде.

Шаг 3

Conda позволяет устанавливать новые языки (например, новые версии Python, Node, R и т. д.), а также пакеты для этих языков. Для большого количества научного программного обеспечения установка с помощью Conda часто проще и проще, чем установка с помощью pip, особенно если он связан с кодом C / Fortran.

Установите пакет с помощью Conda с помощью приведенной ниже команды.

sudo -E conda install -c conda-forge seaborn

Шаг 4

Пакеты seaborn и there теперь доступны всем пользователям в JupyterHub. Если у пользователя уже была запущена записная книжка Python, ему необходимо перезапустить ядро ​​своей записной книжки, чтобы новые библиотеки стали доступны.

Шаг 5

Кроме того, вы можете установить пакеты из самого ноутбука Jupyter. Откройте новый блокнот Jupyter, щелкнув раскрывающийся список новый и выбрав Python 3 (ipykernel) в правом верхнем углу. Запустите ниже установку pip как

!sudo pip install matplotlib

Шаг 6

Установите пакет conda!

!sudo conda install -c conda-forge gdal

Пользовательская среда — это среда conda, настроенная в /opt/tljh/user, с ядром python3 по умолчанию. Он доступен для чтения всем пользователям, но доступен для записи только пользователям с root-доступом. Это позволяет администраторам JupyterHub (у которых есть root-доступ с помощью sudo) легко устанавливать программное обеспечение в пользовательской среде.

Мы можем запускать некоторые алгоритмы машинного обучения один за другим на Jupyter Notebook.

После настройки виртуальной машины с помощью описанных выше шагов мы можем запустить несколько алгоритмов машинного обучения и искусственного интеллекта один за другим на Jupyter Notebook.

Шаг 1

На Jupyterhub вы можете найти параметр Python3(ipykernel), нажав на него.

Шаг 2

После этого вы сможете увидеть свой блокнот на Jupyterhub, переименовать его по своему выбору.

Шаг 3

После этого мы можем начать запускать алгоритмы один за другим.

K-ближайший сосед (KNN)

K-Nearest Neighbour (KNN) – это алгоритм обучения с учителем, который можно использовать как для задач классификации, так и для задач регрессии. Этот алгоритм работает, предполагая сходство между новой точкой данных и доступными точками данных. На основании этих сходств новые точки данных помещаются в наиболее похожие категории. Он также известен как алгоритм ленивого ученика, поскольку он хранит все доступные наборы данных и классифицирует каждый новый случай с помощью K-соседей. Новый случай присваивается ближайшему классу с наибольшим сходством, и любая функция расстояния измеряет расстояние между точками данных.

Вы можете запустить алгоритм K-ближайших соседей (KNN), выполнив следующую команду.

!sudo pip install KNN

Я уже установил KNN(K-ближайший сосед)в моем Jupyter Hub, поэтому он будет показывать этот текст, вы можете запустить KNN(K-ближайший сосед) )алгоритм с помощью простой команды.

Кластеризация K-средних

Кластеризация K-средних — один из простейших алгоритмов обучения без учителя, который используется для решения задач кластеризации. Наборы данных сгруппированы в K различных кластеров на основе сходств и различий, это означает, что наборы данных с большинством общих черт остаются в одном кластере, который имеет очень мало или совсем не имеет общего между другими кластерами. В K-средних K-относится к количеству кластеров, а средства относятся к усреднению набора данных для нахождения центроида.

Вы можете запустить алгоритм KMeans, выполнив следующую команду.

!sudo pip install KMeans

Линейная регрессия

Линейная регрессия — один из самых популярных и простых алгоритмов машинного обучения, который используется для прогнозного анализа. Здесь прогнозный анализ определяет предсказание чего-либо, а линейная регрессия делает прогнозы для непрерывных чисел, таких как зарплата, возраст и т. д.

Вы можете запустить алгоритм линейной регрессии, выполнив следующую команду.

!sudo pip install LinearRegression

Логистическая регрессия

Логистическая регрессия — это контролируемый алгоритм обучения, который используется для предсказания категориальных переменных или дискретных значений. Его можно использовать для задач классификации в машинном обучении, а вывод алгоритма логистической регрессии может быть либо да, либо нет, 0 или 1, красный или синий и т. д.

Мы можем понять алгоритм логистической регрессии на одном примере.

Прогнозируйте точность рака груди.

# import the necessary libraries
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
# load the breast cancer dataset
X, y = load_breast_cancer(return_X_y=True)
# split the train and test dataset
X_train, X_test,\
 y_train, y_test = train_test_split(X, y,
         test_size=0.20,
         random_state=23)
# LogisticRegression
clf = LogisticRegression(random_state=0)
clf.fit(X_train, y_train)
# Prediction
y_pred = clf.predict(X_test)

acc = accuracy_score(y_test, y_pred)
print("Logistic Regression model accuracy (in %):", acc*100)

ТензорФлоу

TensorFlow – это комплексная платформа с открытым исходным кодом для машинного обучения. Он имеет комплексную и гибкую экосистему инструментов, библиотек и ресурсов сообщества, которая позволяет исследователям продвигать самые современные технологии машинного обучения, а разработчикам легко создавать и развертывать приложения на основе машинного обучения.

Вы можете запустить TensorFlow, выполнив следующую команду.

!sudo pip install tensorflow

Заключение

1. Использование графического процессора может значительно ускорить обучение модели машинного обучения по сравнению с использованием только центрального процессора. В блоге показано, как использовать графические процессоры NVIDIA в среде Jupyter Notebook для обучения и тестирования моделей машинного обучения.

2. В блоге показано, как настроить среду AI/ML Jupyter Notebook на облачных платформах, таких как AWS, GCP и Azure, выбрав экземпляр GPU для повышения производительности.

3. Он содержит инструкции по установке популярных библиотек и пакетов AI/ML Python в Jupyter Notebook с использованием pip и conda. Это делает библиотеки доступными для всех пользователей JupyterHub.

4. Затем в блоге демонстрируется, как запускать различные алгоритмы машинного обучения в среде Jupyter Notebook, такие как KNN, кластеризация K-средних, линейная регрессия, логистическая регрессия и TensorFlow.

5. Таким образом, основные выводы таковы:

– Использование графического процессора может значительно ускорить обучение модели машинного обучения.
– Настройка среды Jupyter Notebook AI/ML в облаке.
– Установка библиотек AI/ML Python в Jupyter Notebook.
– Запуск популярных алгоритмы машинного обучения в Jupyter Notebook

Таким образом, в блоге представлен хороший обзор того, как использовать графические процессоры и ноутбуки Jupyter для обучения и тестирования моделей машинного обучения в Python. Примеры запуска различных алгоритмов машинного обучения дают представление о возможностях и гибкости такой среды.