За последние две недели я с комфортом освоился в мире исследований. По мере того, как я продолжаю изучать глубокое обучение, я продолжаю находить новые темы и области для изучения. Более простые специализации, которые я привык видеть в программной инженерии, спорны (front-end, back-end, dev-ops и т. д.); области исследований и направления движения настолько разнообразны. Я обнаружил, что изучение фундаментальных тем требует много времени, и что в исследованиях то, что вы обнаруживаете по пути, является частью пути, а не пунктом назначения. Так что же за последние две недели привело к такой перспективе?
Во-первых, я нашел хороший ритм работы, а также способ отслеживать и классифицировать темы, которые я изучаю. Мне нужно так многому научиться, и я сталкиваюсь со столькими новыми темами, что мне кажется, что я не продвигаюсь вперед; мое осознание своего невежества росло быстрее, чем мое знание. В итоге я создал список всех тем, с которыми я столкнулся и начал оставлять по ним заметки. Я смог увидеть, как растет список тем, как известных, так и неизвестных. При этом я смог увидеть, как появляются новые области с новыми подтемами, независимо от тем, которые я активно изучал. Изучение этих новых тем больше походило на расширение моих знаний, поскольку я начал расширять свои известные неизвестные.
Итак, как я сталкивался с новыми темами?
За последние несколько недель я встретил в OpenAI несколько замечательных людей и отлично поговорил с ними. Я встретился с Габриэлем Гохом, и мы обсудили многие темы, начиная с его работы по интроспекции внутренней работы сверточных нейронных сетей и заканчивая обсуждением различных идей метаобучения. Габриэль познакомил меня с некоторыми интересными идеями, которые я обдумывал, обдумывая свой проект. После разговора с Габриэлем я углубился в изучение различных подходов к метаобучению.
Я также поговорил с Кеннетом Стэнли, с которым у меня был умопомрачительный разговор. Я не думаю, что когда-либо останавливался и делал столько заметок в разговоре с кем-то, с кем я работаю. Кеннет фокусируется на проблемах, связанных с открытостью, исследуя алгоритмы, которые постоянно генерируют интересные вещи. Мы говорили об открытых алгоритмах в реальности, конвергентной эволюции, проблемах в этом пространстве, искусственной жизни и даже более простых вещах, таких как работа в OpenAI по сравнению с другими организациями. Кен прислал мне свой разговор, основанный на его книге Почему величие нельзя спланировать, в которой было прекрасное понимание того, что оптимизация для достижения конкретной цели может быть не лучшим способом ее достижения.
Помимо отличных бесед и последующих исследований новых тем, с которыми я столкнулся, я провел большую часть последних двух недель, изучая обработку естественного языка и модели последовательности, в частности рекуррентные нейронные сети и их варианты, включая двунаправленные RNN, LTSM, ГРУ и т. д. Я также начал узнавать о трансформаторах и начал погружаться глубже, чем когда-либо прежде! Чем больше я узнаю, тем увереннее чувствую себя, исследуя это пространство. Это уже не просто черный ящик, а новый набор инструментов! Я чувствую себя уполномоченным, и я думаю, что теперь я знаю достаточно, чтобы быть опасным!
