Форум программистов, компьютерный форум, киберфорум
Наши страницы
jvf
Войти
Регистрация
Восстановить пароль
Рейтинг: 5.00. Голосов: 2.

Бесплатная видеокарта для нейронных сетей от Google

Запись от jvf размещена 03.06.2018 в 23:38

Когда речь идёт о нейронных сетях, то при всех преимуществах у них есть один недостаток. Часто вычисления занимают очень много времени. Поэтому в последнее время всё чаще используют видеокарты для расчётов. Они могут ускорить выполнение кода в восемь-десять и более раз.

Компания Google запустила новый проект и дала бесплатно использовать ускоритель для нейронных сетей. Называется проект Colaboratory.

Вы можете набрать это слово в Google и выйти на нужный сайт. Всё, что нужно сделать -- иметь Google Drive, а потом набрать New Python 3 Notebook.

На картинке кликаем на File, а затем выбираем New Python 3 Notebook
Название: Screenshot Google Colaboratory.jpg
Просмотров: 295

Размер: 97.1 Кб

Затем, когда запустится Python 3 Notebook, нажать на Runtime и выбрать Change runtime type, а затем в поле Hardware acceleration выбрать GPU.

В итоге должно получиться следующее:

Название: Screenshot GPU.jpg
Просмотров: 200

Размер: 85.6 Кб

В итоге вы получите бесплатный ускоритель для нейронных сетей. Все вычисления будет проходить в облаке Google.

Python 3 Notebook очень похож на jupyter notebook. То есть вы вводите код в ячейках, и каждую ячейку можно запускать независимо от других.

Но бывает так, что здесь не установлены все необходимые библиотеке. Скажем, вы хотите использовать imutils, но её по умолчанию в Google не установили.

Тогда вводите в ячейку Python 3 Notebook команду: !pip install imutils

Нажмите на изображение для увеличения
Название: Screenshot pip.png
Просмотров: 249
Размер:	76.2 Кб
ID:	4835

И уже в следующих ячейках получите возможность использовать эту библиотеку.

По умолчанию Google даёт бесплатно использовать ускоритель K80 -- он медленнее GTX 1060 примерно в 2-3 раза.

Ускоритель можно использовать за раз не более 12 часов. Иными словами, можно запустить нейронную сеть, просчитывать её 12 часов. Потом сохранить её состояние и снова считать 12 часов, и так далее. Этого достаточно для работы со стартовыми проектами.

Чтобы передать туда свою данные, например, скачать на google drive файлы, каталоги, можно использовать следующие команды в Python3 Notebook:

1. Закачиваем на Google Drive изображения, папки

2. Затем пишем в ячейке Python3 Notebook:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# Install a Drive FUSE wrapper.
# https://github.com/astrada/google-drive-ocamlfuse
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
 
# Generate auth tokens for Colab
from google.colab import auth
auth.authenticate_user()
 
# Generate creds for the Drive FUSE library.
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
 
# Create a directory and mount Google Drive using that directory.
!mkdir -p My Drive
!google-drive-ocamlfuse My Drive
 
!ls My Drive/
 
# Create a file in Drive.
!echo "This newly created file will appear in your Drive file list." > My Drive/created.txt
Создаём для примера файл output.txt в корне Google Drive

Пишем
Python
1
!ls Drive
Мы должны увидеть наш файл output.txt

Теперь мы можем с ним работать в программе. Для этого в одной из ячеек пишем:

Python
1
2
train_data = open(r'Drive/output.txt', "r")
print(train_data.read())
И мы должны увидеть то, что находится в файле output.txt. Соответственно, таким образом легко загрузить множество файлов на диск и начать их использовать.

Следующий момент -- допустим, мы загрузили на Google Drive наш проект. Он называет "MyProject". Но как сделать этот каталог каталогом по умолчанию?

Делается всё просто.

В одной из ячеек Python3 Notebook набираем:

Python
1
2
import os
os.chdir(r'Drive/MyProject/')
Всё, теперь мы находимся в каталоге MyProject по умолчанию и, соответственно, можем делать всё, что захотим.

Ещё одно преимущество вычислений в облаке -- здесь установлены по умолчанию TensorFlow, Keras и другие популярные библиотеки, соответственно, код можно запускать на любой машине, в том числе и на Linux, и на Windows. Платформа уже не играет никакой роли.
Размещено в Без категории
Просмотров 526 Комментарии 0
Всего комментариев 0
Комментарии
 
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
Рейтинг@Mail.ru