Gabriel Brooks
0 
4732
93
Если у вас есть умственные способности, талант к программированию и рассказыванию историй, а также внимание к дизайну, вы можете добиться большего, чем заняться наукой о данных. Это новая большая вещь в технологии; очень модный и высокооплачиваемый, с исследователями данных, разыскиваемыми некоторыми из крупнейших компаний в мире.
ScraperWiki - это компания, которая долгое время была связана с областью науки о данных. В течение последних нескольких лет этот стартап из Ливерпуля предлагал программистам платформу для написания инструментов, которые получают данные, очищают их и анализируют в облаке..
В связи с недавним обновлением и постоянно растущим спросом на специалистов по данным на предприятии стоит взглянуть на ScraperWiki..
Полное раскрытие: я был стажером в ScraperWiki прошлым летом.
Что делает ScraperWiki??
ScraperWiki позиционирует себя как место для сбора, очистки и анализа данных, и предоставляет результаты по каждому из этих показателей. В простейшем виде он предоставляет вам - пользователю - место, где вы можете написать код, который извлекает данные из источника, инструменты для его преобразования в формат, который легко анализировать, и хранилище, чтобы сохранить его для последующей визуализации - который вы также может работать с ScraperWiki.
Он также поставляется с рядом готовых инструментов, которые автоматизируют повторяющиеся задачи, включая получение данных из PDF-файлов, которые, как известно, трудно декодировать. Это в дополнение к поиску в Твиттере 5 Крутые хитрости поиска в Твиттере для отслеживания того, что люди говорят о вас 5 Крутые хитрости в поиске в Твиттере для отслеживания того, что люди говорят о вас Если у вас есть веб-сайт или вы просто пытаетесь зарабатывать деньги в Интернете в качестве фрилансера, всегда полезно знать, что люди говорят о вас через Интернет. Люди могут ссылаться ... и соскребать утилиты. Вам не нужно никакого опыта разработки программного обеспечения, чтобы использовать эти.
Стоимость
Как упоминалось ранее, ScraperWiki использует модель ценообразования freemium и предлагает услугу, которая имеет несколько уровней. Те, кто только начинает изучать данные или имеют ограниченные потребности, могут воспользоваться бесплатным сервисом. Это дает вам три набора данных - где вы храните свои данные и код.
Те, кто планирует написать несколько скреперов или хотят провести анализ данных, могут раскошелиться на премиум-аккаунт. Они начинаются с $ 9 в месяц и предлагают 10 наборов данных. Если этого все еще недостаточно, вы всегда можете перейти на самый высокий уровень, который поставляется с 100 наборами данных и стоит $ 29 в месяц..
кодирование
Программисты часто очень разборчивы в том, как они пишут код. Некоторые предпочитают языки сценариев над скомпилированными языками. Некоторые предпочитают урезанный текстовый редактор по сравнению с интегрированной средой разработки (IDE). ScraperWiki это признает и дает пользователю огромный выбор, когда вы пишете свой код.
Если вы так склонны, вы можете написать свой код в браузере. Как и следовало ожидать от любой профессиональной веб-среды. Лучшие 3 IDE на основе браузера для кодирования в облаке. Лучшие 3 браузерные среды IDE для кодирования в облаке. Это средство имеет функции, которые должен учитывать любой программист. быть необходимым, например, подсветка синтаксиса.
В продаже есть несколько языков. К ним относятся Python 5 лучших сайтов для изучения программирования на Python 5 лучших сайтов для изучения программирования на Python Хотите изучить программирование на Python? Вот лучшие способы изучения Python в Интернете, многие из которых полностью бесплатны. - популярный язык сценариев, используемый подобными Google и NASA; Ruby 3 Интерактивные, увлекательные, бесплатные способы начать изучение языка программирования Ruby 3 Интерактивные, увлекательные, бесплатные способы начать изучение языка программирования Ruby Ruby - это выразительный, очень высокоуровневый язык сценариев. Он используется в Интернете в основном как часть среды веб-разработки Ruby on Rails, но также и автономно. Если вам интересно, что такое Ruby (не ...), который поддерживает ряд популярных веб-сайтов, таких как Living Social; и популярный язык статистического анализа, R.
Кроме того, вы также можете написать код из командной строки, используя SSH, Git и любой текстовый редактор, который вам нравится. Да, вы правильно прочитали. SSH Что такое SSH и чем он отличается от FTP [Технология объяснена] Что такое SSH и чем он отличается от FTP [Технология объяснена]. Каждый ящик, который вы используете, представляет собой собственную учетную запись Linux, и вы можете подключиться к ней так же, как к VPS или любой другой учетной записи оболочки. Доступно несколько текстовых редакторов, включая Vim. 7 главных причин дать текстовому редактору Vim шанс Лучшие 7 причин дать текстовому редактору Vim шанс. В течение многих лет я пробовал один текстовый редактор за другим. Вы называете это, я попробовал это. Я использовал каждый из этих редакторов более двух месяцев в качестве основного ежедневного редактора. Так или иначе, я ... который может быть расширен с помощью плагинов и путем редактирования конфигурации. Те, кого запугивает Vim, могут использовать Nano, легкий текстовый редактор командной строки.
Установленных библиотек должно быть достаточно для написания инструментов для извлечения данных и их обработки. Если вам нужно что-то более неясное, вы всегда можете создать virtualenv из командной строки. Как видите, разработчикам предоставляется огромная гибкость.
Визуализация данных
Итак, у вас есть ваши данные. Вы нормализовали это. Вы убрали это. Вы проанализировали это. Теперь пришло время сделать некоторую визуализацию и показать миру, что вы узнали.
ScraperWiki позволяет разработчикам отображать свои данные с помощью веб-страниц, созданных из хорошо знакомой трифекты HTML, CSS и JavaScript. Кроме того, компоненты Bootstrap поддерживаются "из коробки".
Существует несколько готовых визуализаций, в том числе те, которые отображают ваши данные на карте и находят тенденции в ваших выводах. Чтобы использовать их, вам нужно убедиться, что ваши данные хранятся в виде файла SQLite с именем файла «scraperwiki.sqlite». Затем вы просто добавляете интересующую вас визуализацию. Просто, верно?
Заключение
ScraperWiki предлагает многим разработчикам, которые хотят провести некоторый анализ данных, не мешая их среде разработки, в то же время обладая гибкостью, способной удовлетворить даже самых требовательных пользователей. Но что вы думаете? Позвольте мне знать в комментариях ниже.
Кредит Фотографии: Ракетная Наука (Дэн Браун)