Предварительные условия, необходимые для чтения книг по нейронным сетям (и понимания их)
Я уже некоторое время пытаюсь узнать о нейронных сетях, и я могу понять некоторые базовые учебные пособия в Интернете, и мне удалось пройти часть Нейронные вычисления - Введение, но даже там я не могу не заметить большую часть математики. , и после первых нескольких глав это становится совершенно невыносимым. Даже тогда это наименьшая книга по математике, которую я могу найти.
Дело не в том, что я боюсь математики или чего-то еще, просто я не выучил то, что мне нужно, и я не уверен, что именно мне нужно. В настоящее время я учусь в своем местном университете, работаю над тем, чтобы наверстать упущенное на занятиях, которые мне нужны для поступления на MS в Comp. Научная программа (моя степень бакалавра - Business / Info. Sys.), И я не очень далеко продвинулась. Согласно небольшому описанию университетских курсов, NN фактически охвачены курсом электротехники по распознаванию образов (мне кажется странным, что это курс EE), который имеет несколько предварительных требований EE, которые мне не нужно вводить в MS Comp . Sci. Программа.
Мне очень интересна эта тема, и я знаю, что со временем я захочу узнать о ней гораздо больше, проблема в том, что я не знаю, что мне нужно знать в первую очередь. Вот темы, которые, я думаю, могут мне понадобиться, но это всего лишь предположения от незнания:
- Исчисление с одной переменной (у меня были Calc I и II, поэтому я думаю, что я здесь, просто перечисляю для полноты)
- Многопараметрическое исчисление
- Линейная алгебра (формально я еще не понял это, но на самом деле могу понять многие концепции из того, что мне удалось найти в Википедии и на других сайтах)
- Дискретная математика (Другой, который я не изучал формально, но выучил часть самостоятельно
- Теория графов
- Теория вероятности
- Байесовская статистика
- Схемотехника
- Другая математика?
- Другие темы о компьютерных науках
Очевидно, что здесь также присутствует компонент нейробиологии, но у меня на самом деле не было проблем с пониманием книг, когда они говорят о нем применительно к НС, в основном потому, что это концептуальный
Короче говоря, может ли кто-нибудь проложить полупонятный путь, который нужно действительно понять, прочитать книгу и, в конечном итоге, реализовать нейронные сети?
@Noosphereious - хороший звонок, поменял.
Ответы 5
Вы не можете реализовать «нейронные сети» - вы в конечном итоге реализуете определенный тип NN (например, перцептрон). Существует много различных типов сетевых сетей, каждая из которых больше подходит для определенного типа задач, и каждый вид использует некоторые математические (а не только математические) концепции, которые относятся только к этому конкретному типу. Например, машины Больцмана используют концепции статистической термодинамики (основанной Больцманом).
Что касается вашего вопроса: без четкой цели нет четкого (даже «полу-четкого») пути.
@zvrba - Спасибо, хотя я знал, что существуют разные типы сетей, я не думал о том, что у каждой из них будет своя собственная независимая кривая обучения как для разработчика, так и для самой сети.
Я вторая мысль zvrba о том, что вы ставите перед собой четкую цель. Несколько наводящих вопросов: а. Вы хотите изучать NN как модель биологических сетей или как вычислительный инструмент? б. Вас интересует их обучающий аспект? ассоциативная память? обработка сигналов? c. Вы хотите понять сложную теорию? или достаточно, чтобы написать программное обеспечение для моделирования?
Кроме того, я бы начал с малого: реализовать перцептрон на вашем любимом языке программирования. Математика не так уж плоха и, вероятно, поможет вам сосредоточиться на следующих шагах. Используйте набор данных двоичной классификации, например Крестики-нолики UCI.
Если вам нужен список курсов колледжа, которые вам понадобятся для понимания книги, вот он:
- Камни (I, II и III)
- Дифференциальные уравнения
- Линейная алгебра
- Статистика (или хорошее покрытие Байеса)
Тем не менее, я отлично учился в классах NN без Diff. Уравнение и просто нужно было искать концепции, которые я еще не изучал.
Вы можете использовать подход черного ящика, как указано выше, но если вы действительно хотите понять математику и реализацию сетей, вам придется учиться. Чтобы полностью освоить более продвинутые сети, что бы вы ни делали, вам потребуется сложная кривая обучения. Вы можете сначала пройти указанные выше уроки, или вы можете начать читать книгу и искать все, что вы не понимаете в Википедии, а затем из этих статей читать все, что вам нужно прочитать, чтобы понять их, и т. д. в любом случае, вы в конечном итоге пройдете этот первоначальный взгляд, и все станет проще.
Было бы хорошо, если бы вы нам сказали, почему вы хотите изучать нейронные сети. Я не нашел им ни единого применения за свою профессиональную карьеру, хотя я не разработчик игр и не телекоммуникационный разработчик.
Для базовых нейронных сетей с обратным продвижением наиболее важными факторами являются:
Исчисление
Линейная алгебра
Базовая статистика / вероятность
Если вы просто ищете более конкретные темы (вы сказали, что уже использовали Calc, поэтому я оставлю это), вот некоторые темы, которые будет полезно знать, если они не обязательно напрямую применимы к созданию нейронной сети:
Решение линейных систем уравнений (вы научитесь этому на курсе линейной алгебры)
Регрессия наименьших квадратов
Теория оптимизации
Вы должны понимать, что есть несколько других методов, которые можно использовать для решения определенных проблем вместе с нейронными сетями.
Часто наиболее сложным аспектом решения проблемы является определение наилучшего метода.
хотя я отвечаю на него в 2018 году, но я думаю, что это поможет многим новичкам, которые пытаются изучить нейронную сеть. Все материалы онлайн-курса, доступные в Интернете, предполагают, что читатель имеет высокий уровень математических знаний или опыта. Есть книга Тарика Рашида "СОЗДАЙТЕ СОБСТВЕННУЮ НЕЙРОННУЮ СЕТЬ". Ожидается, что у читателя будут школьные знания математики. это все . к концу книги вы сможете создать программу, которая читает ваш почерк.
Неврология - это область медицины. Вы имеете в виду неврологию.