На то, чтобы выложить что-нибудь в Интернете, у меня всегда уходит вечность. Я трудился над этим неделями, если не месяцами. Даже такая простая вещь, как размещение моего текущего веб-сайта, который представляет собой буквально три строки текста с чертовски нулевым стилем, заняла около 2 часов, чтобы разместить там.
Ага. Я знаю. Если вы просто нажали на эту ссылку, у вас появится список вопросов от «сколько травки вы курите?» До «… что?»
Это не имеет ничего общего с навыками и всем, что нужно сделать. с тайм-менеджментом.
О, я забыл упомянуть, что я мастер SCRUM в моей команде разработчиков? И что Agile на самом деле одна из моих любимых вещей в моей работе? Какой в этом смысл…
Что ж, единственная причина в том, что я глуп и не применяю это к моей работе дома. Итак, я думаю, это мой эксперимент: сборка, планирование, сборка, развертывание. Потому что проблема не в том, что я ленив или медлителен. Дело в том, что я постоянно отвлекаюсь на рефакторинг, а на самом деле никогда ничего не доставляю для себя.
Так что я собираюсь приложить сознательные усилия для того, чтобы действительно что-то развернуть на этой неделе. Это моя задача. Это и не тратить зря подписку на 8fit за 83,99 доллара, которую я забыл отменить и теперь постоянно заставляет меня чувствовать себя виноватым из-за того, что я негодяй.
Так над чем я работаю?
Что ж, это сложный вопрос. Это происходит примерно так: я работал над этим в течение многих лет, но я понятия не имел, что это было, пока однажды ночью, сидя на диване, выкурил косяк, я решил, что это будет данные, которые мой супермозг использовал бы, если бы я был наблюдателем - помните Fringe? (переводите дыхание) и Я хотел каким-то образом предсказать будущее.
Большие данные в играх
В работе с большими данными в Ubisoft действительно замечательно то, что я могу смотреть на данные по-разному. Мы собираем чертовски много данных! И в большинстве случаев я почти уверен, что мы не знаем почему (шучу, Этьен!).
Но если он у нас есть, давайте сохраним, верно? Кто знает, когда пригодится? Во многом это похоже на мой гардероб: все храни, пригодится.
Работа с таким большим количеством больших данных каждый день, работа над тем, как их отображать; узнать о том, как он рассчитывается и анализируется; и то, как он организован и хранится, теперь полностью применим к моим собственным данным. И сейчас я очень много думаю о моем собственном социальном следе как о больших данных.
По данным бэби-таяны…
Мой самый первый набег на API был вызван моей быстрой и бурной любовью к Javascript. Я знал, что PHP, HTML, CSS и jQuery становятся моими наиболее часто используемыми фреймворками. Я изрядно потратил всю свою жизнь в сети, не зная, где мои вещи (потому что я забыл свои пароли), и мне некуда было централизовать свою цифровую жизнь . Я работал в Simple Simple в Калгари, поэтому, поскольку я работал с Drupal все время, это то, что я использовал дома. Не могу сказать, что мне это понравилось, но это помогло.
Мне удалось найти плагины для всех социальных сетей, которые я использовал в то время, и я приступил к написанию огромного файла JavaScript длиной в 2000 строк с одной автономной функцией. которые содержат 12 вариантов переключения, всего 3 функции и 17 переменных. И это, вероятно, очень хорошо относится к этой чудовищной дыре.
Я только изучал JavaScript, поэтому, когда я загрузил свою тему Drupal 7 с индивидуализированными модулями, написанными вашим покорным слугой, мальчик, чем я гордился. В этом дерьме была шикарная анимация, сделанная с помощью AJAX, и бесконечное количество вложенных обратных вызовов, которые он предоставил мне. Мне потребовался почти год, чтобы наконец загрузить его на erratik .ca .
Интернет быстро разрастался плагинами. Пользовательский интерфейс jQuery, бесконечная прокрутка, отложенная загрузка, анимированная прокрутка. To ()… это был рай! И все, что вам нужно было сделать, это либо добавить для него плагин Drupal и добавить его в представление, либо вставить пару строк кода где-нибудь в ошибку, вы знаете, ваши файлы * .php в вашей теме ?
Так что я все использовал. файл. плагины. И какое-то время это было хорошо.
Потом я просто перестал работать над своим веб-сайтом Франкенштейна. Но несмотря на качество спагетти, он продолжал агрегировать данные в течение 4 лет после того, как я последний раз внес изменения в конце 2012 года. Однако время от времени мой iPhone наводнялся сотнями электронные письма из моего cron.php, и мне придется перезапустить модуль семафора cron. Это произошло всего два месяца назад месяц, когда я решил закрыть сайт, потому что мысль об исправлении ошибок в коде, который я написал 5 лет назад практически без каких-либо знаний JS, заставила меня сжаться. Следовательно, страница обслуживания.
Итак, что было не так с тем, что у меня было? Что ж, в то время я даже не слышал о термине большие данные, и я не думаю, что кто-то даже говорил его - по крайней мере, в интерфейсных веб-журналах и тому подобном. Все, что мне было нужно, это способ отображать все мои социальные данные в сетке masonry.js (yasss - плагин для этого тоже!) Поэтому, когда я решил сохранить все эти записи, я бы выбрал свойства из полученных мной ответов и сохраните их.
Я настроил свою систему так, чтобы в основном спасти всю ерунду: подпись, временная метка, изображение, если оно есть, и… вот и все. Может быть, постоянная ссылка? Наверное, нет.
Но я пошел вперед и сохранил эти крошечные кроличьи фекалии, которые я назвал данными, и приложил все усилия. Но что произойдет, если я захочу добавить этим ребятам свойства? Мне в основном нужно было получить все снова с двумя дополнительными свойствами, которые я хотел сохранить! Ermagherds, sher effischirnt! @ # НЕТ
К тому времени, когда я решил, что мой старый путь был глупым, я довольно глубоко погрузился в JavaScript и фреймворки, такие как Ember, Backbone и Angular; Я быстро влюбился в мощь JSON; MongoDB и я провели вместе одну ночь, и теперь мы неразлучны; У меня завязался бурный и горячий роман со стеком MEAN; и философия больших данных, которой меня учили на работе, зарождалась в моих чреслах. Bower и NPM теперь были вещами, без которых я не мог жить, и я не мог когда-либо снова программировать без диспетчеров задач, поэтому мои оргии теперь включали Grunt / Gulp / Browserify. Хот. Правильно?
К взрослым данным тайаны
Выбрав Angular в качестве своего чемпиона, я решил создать инструмент, который сможет управлять почти дюжиной API социальных сетей, которые мне необходимы соединять.
И так, как делает история, я повторил свою ошибку. ИСПОЛЬЗУЙТЕ ВСЕ МОДУЛИ И SDK NPM ДЛЯ КАЖДОГО API!
Вот и я! У меня были все мои сети подключены, я мог повторно подключить их и сохранить в них свои настройки API и CRUD все, что я хотел! В каждом документе могла быть запись для объекта профиля, я мог выбирать, какое свойство будет присутствовать в каждом элементе сети, я мог легко адаптировать каждый документ по своему усмотрению. Ну, по крайней мере, я думал, что смогу. Оказывается, я так долго работал над одной сетью, чем больше сетей я добавлял, тем менее эффективным становился мой код, потому что я снова загнал себя в угол, думая, что могу предопределить наборы данных. Это означало, что с каждой добавленной сетью я обнаруживал, что добавляю все больше и больше условий.
Я понял, что все это происходит, потому что я настаивал на выборе начала и конца приложения моих данных. И поэтому я выбросил абсолютно все. Завел новый репозиторий. Спас мою маршрутизацию API и переписал все остальное. На этот раз я сохранял абсолютно все и манипулировал данными, когда это было нужно. Но никогда больше я не буду лишать контента! Все (мои) данные одинаковы. Что ж, нет. Но я все это сохраняю, не выбирая фаворитов!
Я считаю все, что я публикую, «горячими» данными: я не знаю, когда мне это нужно, но они будут сохраняться, пока я не увижу их ценность.
Прошлой зимой я входил в состав комитета по хакатону, чтобы мы могли организовать нашу команду из 20 или около того разработчиков с различными навыками от Java до Python и JavaScript. Менее чем за 24 часа работы с командами из 2–4 человек мы создали карты визуализации данных в реальном времени с использованием веб-сокетов и данных видеоигр с помощью существующих инструментов; инструмент для прогнозирования статистики с помощью Google Prediction API; музыка, обработанная статистикой с использованием Highcharts и ToneJS, чтобы мы могли слышать игровые стили игроков и многое другое. Безумие, как не спать два дня и устроить пару рождественских вечеринок с обильным количеством спиртных напитков, чтобы заставить мозг творить удивительные вещи! И не забудем обещание безделушек на победу от ThinkGeek.
Хакатон дал мне кучу новых идей о том, что делать с моими данными. Я подумал о том, что можно сделать с каждым элементом в широком смысле, и довольно быстро стало очевидно, что я могу использовать все свои прошлые данные, чтобы как бы предсказывать будущее? Я не знаю, наверное, я была супер испечена, глядя на луну на диване. Но я подумал ... Если бы я знал, что я ношу и что слушаю и где, в какое время, каждый день в течение последних 5–6 лет, я бы не смог предсказать, что я будет носить в другой день?
У меня был воспоминание о Джошуа Джексоне в Грань, когда он воткнул технологию наблюдателя в свой мозг и понял, что они на самом деле не предсказывают будущее, а оценивают его с наибольшей вероятностью. Это все, что я сделал за одну ночь и три сустава Purple Berry Kush.
Итак, я начал гуглить API Google (это полный рот), наткнулся на ссылки Машинное обучение, TensorFlow, Microsoft Cognitive Services… Я официально открыл ящик Пандоры с не-плагины! Все эти технологии теперь были выпущены, с открытым исходным кодом, на TED было множество разговоров об искусственных нейронных сетях, выборе естественного языка и т. Д. Теперь у меня был путь, по которому я мог идти! Как будто я решил заняться этим в самый подходящий момент.
Что теперь? Создавайте, публикуйте, повторяйте. Промыть, промыть, повторить.
Итак, вот я, наконец, подошел к тому моменту, когда у меня есть API, который может обрабатывать все мои выборки и хранение всех данных, которые я могу достать. Мне удалось разместить это на heroku около 72 часов назад, примерно в то же время, когда я начал писать этот пост. Ха-ха, вау, это действительно занимает больше времени, чтобы заниматься своим собственным дерьмом. Работа мешает всему, тьфу.
Я пока не хочу делиться какими-либо ссылками, потому что все, что есть в этом приложении heroku, - это ссылка для входа в систему и регистрации, и ни то, ни другое я не хочу, чтобы кто-либо делал (вообще-то когда-либо). Теперь все, что осталось сделать, это узнать, как опубликовать мое приложение Angular2 для клиентского администратора, а затем пора приступить к развертыванию этих данных. Я просто хочу пока показать это, а затем добавлю немного визуализации данных с помощью D3.js. Как только мой друг приедет сюда на лето с его недавно полученной докторской степенью по математике из Williams College, мы сможем начать работу над созданием искусственной нейронной сети, чтобы научиться простым вещам. как:
- что я делаю? Работаю, netflix и отдыхаю… и это в основном все, что я делаю. Так что это простая матрица, да?
- в каком я настроении? Я слушаю фемрок без перерыва примерно неделю каждый месяц (когда у меня кровотечение, DUH). Я четко слушаю музыку, которая соответствует моему настроению, так что логикава мог бы чему-то научиться (я хотел назвать это тачикома, но это занято!)
- куда я пойду? Обычно я хожу в одни и те же места: на работу, в кафе, к моему помощнику по приготовлению чая со льдом Arizona, к своему парню и ... домой? Не должно быть слишком сложно узнать, чем я занимаюсь по вторникам, а не по субботам.
Затем я могу отправить его Илону Маску и найти себе отличную работу в Neuralink. Поскольку, как вы знаете, они, блядь, дважды ретвитнули меня на прошлых выходных и по сути посмели меня подать заявление о приеме на работу. Что ж, я должен убедить их, что им нужен отдел веб-инструментов. Но да, выполнимо?
