Меня спрашивают, чем инженер-программист отличается от дата-инженера, и я всегда говорю так: представьте, к вам домой пришло 5 человек, и вам нужно заварить чай (без обид, кофеманы, вы можете заварить кофе), для их, вы бы сделали это без каких-либо проблем. Предположим, вы получите 20 из них, вы все еще можете обойтись методом выпросить-одолжить-украсть. Но предположим, у вас будет несколько сотен гостей? Вы обязательно поднимете руки и сдадитесь, я уверен. И представьте, вы даже не знаете, сколько их нужно обслужить на следующий день, может, тысячу, а потом снова всего 50, а потом снова 5000. Представьте, что у вас есть друг, который справится с любым разным объемом людей и может раздать чай. Вы инженер-программист, а ваш друг — инженер данных. Кто-то, кто может обрабатывать данные в масштабе, является инженером данных. Инжиниринг данных не останавливается на инженере данных, у нас есть инженеры по внешнему интерфейсу и инженеры по качеству данных, которые дополняют друг друга и решают разные задачи.
Для всех, кто работает в этой специализированной области, у нас есть конкурс — метко названный Переполнение данных — https://dataoverflow.affinityanswers.com/. у нас есть не только конкурс, но и связанные с ним вебинары, на которых инженеры данных рассказывают о том, как решать проблемы.
