Форум программистов, компьютерный форум, киберфорум
Java EE (J2EE)
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.75/4: Рейтинг темы: голосов - 4, средняя оценка - 4.75
 Аватар для Borsche
183 / 110 / 44
Регистрация: 03.07.2016
Сообщений: 496

Hadoop запуск на VM

08.06.2017, 13:20. Показов 817. Ответов 6
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Здраствуйте.
Дело такое, на ноуте всего 8 Гб оперативки. И из за этого к примеру образ для VM hortonworks - вообще не стартовал(out of memory), bitnami - какието ошибки при запуске, рыскал в нете и так не розобрался, cloudera - стартовала, но express manager запустить не получилось т.к. опять теже 8 Гб требует через sudo /home/cloudera/cloudera-manager --express --force он типо запустился, но незаходил в браузере и когда проверил какие сервисы сейчас работают ну собственно все упали).
Так вот какие есть выходы из этой ситуации?
Как я понимаю самый простой оперативки докинуть, но пока нет возможности.
Или можно как то отключить ненужные для меня сервисы дабы уменьшить нагрузку?
Или может есть какие то ищё образы так сказать полегче?

Добавлено через 8 минут
И ищё, кто знает может и не нужно мне express manager запускать? Я просто хотел в нём перейти на jdk 1.8. А то по каким то причинам там 1.7
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
08.06.2017, 13:20
Ответы с готовыми решениями:

Использование Hadoop
Коллеги, здравствуйте! Возможно данный вопрос не в эту ветку, но подскажите с ответом. В каких случаях целесообразно построение...

Hadoop namenode(dfs) error
Приветствую форумчан! Те, кто работал с hadoop dfs может сталкивался с подобной проблемой: 18/09/24 22:18:47 INFO jvm.JvmMetrics:...

Hadoop, есть ли смысл изучать самостоятельно?
Вопрос такой. Если ли смысл изучать самостоятельно hadoop? Смущает меня то, что я думаю на практике невозможно будет его испытать. Или я...

6
Эксперт Java
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
08.06.2017, 13:59
Цитата Сообщение от Borsche Посмотреть сообщение
вообще не стартовал
как именно ты его пытаешься запускать? Там вроде не надо много памяти. Что в настройках VM?
что такое express manager?
0
 Аватар для Borsche
183 / 110 / 44
Регистрация: 03.07.2016
Сообщений: 496
08.06.2017, 14:20  [ТС]
Ну hortonvorks, просто добавил образ в vm и запустил и получил в лицо HostMemoryLow(вроде так). В настройках vm дал сколько смог памати а точнее 6гб и все ядра отдал. Там на официально сайте в требования 8гб.

Cloudera express manager - я так понял интерфейс для управления всей экосистемой, там сервисы отключать там же и jdk можно на 1.8 перевести и хз что ищё. Так она вроде запустилась я по разным вкладкам в браузере полазил вроде как Name node запущен и есть одна data node. Yarn тоже запущен.
0
Эксперт Java
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
08.06.2017, 14:33
насколько я помню на 4 запускал нормально, правда не помню, какой именно образ.
Но опять же, всю эту хрень можно спокойно запустить на венде без всяких виртуалок.
0
 Аватар для Borsche
183 / 110 / 44
Регистрация: 03.07.2016
Сообщений: 496
08.06.2017, 15:11  [ТС]
Только што пошарил архивные версии hortonworks sandbox, и да версии с 2.3.2 и ниже требую с от 4 гб, сейчас качаю и буду пробовать.
0
$ su
 Аватар для ntlinuxnt
1605 / 520 / 97
Регистрация: 18.11.2010
Сообщений: 2,807
Записей в блоге: 2
14.06.2017, 00:59
Borsche, попробуйте гугловское облако, они там прилично дают на год.
0
 Аватар для Borsche
183 / 110 / 44
Регистрация: 03.07.2016
Сообщений: 496
14.06.2017, 10:29  [ТС]
Облако? Я еле разобрался как эту ересь на кампутере запустить и заставить работать(т.к. в линуксе полный бублик). А вы предлагаете ище и облаках теперь розбираться)
Я он как устанавливал hortonworks так там инструкция была для установки в azure. Посмотрел, думаю ниче такого. Зарегестрировался, пошёл по инструкции и тут х**к 180 баксов ввыложите пжлст. Я чуть хлебом не подавился. Думаю ну вас... Потом через час-два смс приходит от microsoft типо спасибо что зарегестрировались и мы у вас то баксик заберём(так я лишился ищё двух булок хлеба). Потом они ищё и звонили мол а в каких целях регестрировались, мы поможем если что, заходи если что.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
14.06.2017, 10:29
Помогаю со студенческими работами здесь

Запуск в батнике - команды на запуск файла (из консоли с правами администратора)
Добрый день, форумчане. Помогите решить вопрос. Существует файл, которого нужно часто запускать с определенной командой - из...

Автоматический запуск/запуск с клавиатуры или ПК живет своей жизнью =)
Всем привет и с наступающим! У меня такая беда, которая случилась где-то месяца 2 назад: Компьютер стал автоматически загружаться. То...

Запуск студией и запуск самой виндой. Разница работы программы
Итак, проблема такова: есть проект, который замечательно работает при нажатии F5 в студии. При компиляции в релиз-режиме и запуске...

Запуск сначала одного видео, потом по событию - запуск второго видео
У меня при заходе на сайт, весь сайт немного затемняется и делается не активным (ни ссылку ни нажмешь, ничего не сделаешь), пока не...

Запуск Qt Creator из суперпользователя или запуск в нем программ из суперпользователя
Нужен root в ubuntu. Либо, чтобы Qt запускался от рута, либо консоль или приложение запускались от рута. Как это сделать можно?


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
7
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11680&d=1772460536 Одним из. . .
Реалии
Hrethgir 01.03.2026
Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru