«Нейросети с точки зрения математики — это композиция линейных функций и нелинейной функции активации. Долгое время использовали функции активации вроде сигмоидной или арктангенса. А в какой-то момент решили попробовать очень простую кусочно-линейную функцию, составленную из двух полупрямых. Неожиданно выяснилось, что от этого и улучшается точность, и упрощается нейронная сеть, и в несколько раз уменьшается время обучения. Это решение было нестандартным на тот момент, на него надо было „наткнуться“ в работе. Позже оно нашло и теоретические обоснования. Знаете, это напоминает истории, которые любят рассказывать химики: новый катализатор открыли благодаря тому, что ассистент помыл пробирки в хлорированной воде из-под крана вместо дистиллированной. Собственно, такие открытия происходят в любой науке. В теории нейронных сетей именно в последние десятилетия произошла целая серия подобных открытий, которые привели к качественно новым методам».
О том, как бизнес адаптирует технологии машинного интеллекта, и о последних достижениях «самообучающихся» программ рассказывает математик Константин Воронцов:
https://postnauka.ru/talks/80077
#БанкЗнаний