Построение модели в h2o.ai на aws, выбрасывающее ошибку нехватки памяти

Мы запускаем H2O на AWS и обучаем модель с набором данных CSV 14 ГБ на алгоритме GBM, и она достигает 36%, а затем выдает ошибку с ошибкой:

'Java heap space', caused by java.lang.OutOfMemoryError: Java heap space

Вот спецификации для нашей среды:

h2o Cluster Version: 3.17.0.4153
R Version: 3.4.3
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)
Algorithm: GBM
Training DataSet: CSV with 1000 cols, 2,695,297 lines, that is 14gb in size
AWS:
Model       vCPU    Mem (GiB)    Storage
t2.2xlarge  8       32           EBS-Only

Вопросов:

Сколько памяти требуется для обучения GBM на наборе данных такого размера?

Есть ли какая-то конфигурация, которую мы можем сделать, чтобы заставить h20 лучше управлять памятью? Например; использовать доступную память до предела, а затем транслировать без сбоев или чего-то еще ...

Если это займет много времени и закончится, по крайней мере, у вас есть модель. На самом деле нам просто нужно что-то, что не подведет ... На данный момент единственный ответ - попробовать меньший набор данных ... и каждая попытка обучения тратит время и деньги.

Мы относительно новички в этом, поэтому мы очень ценим любую помощь. Если вам нужна дополнительная информация, просто дайте мне знать, что вам нужно.

Спасибо за ваше время.

Обновлять:

Таким образом, у нас была опция java -Xmx, установленная на 14g, и мы увеличили ее до 25g, что позволило продолжить работу.

Можете показать свой код для h2o.init(), достаточно ли там памяти выделяете? Вы также можете использовать более новую версию h2o?

Dan 31.10.2018 18:25
1
1
498
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Я рекомендую в 4-5 раз больше размера набора данных. Так что минимум 64 гб.

Другие вопросы по теме