Machine Learning/Data Mining/Big Data — TechCave

Машинное обучение (англ Machine Learning) — обширный подраздел искусственного интеллекта, математическая дисциплина, использующая разделы математической статистики, численных методов оптимизации, теории вероятностей, дискретного анализа, и извлекающа

Machine Learning/Data Mining/Big Data

Машинное обучение (англ Machine Learning) — обширный подраздел искусственного интеллекта, математическая дисциплина, использующая разделы математической статистики, численных методов оптимизации, теории вероятностей, дискретного анализа, и извлекающая знания из данных.

Data Mining (рус. добыча данных, интеллектуальный анализ данных, глубинный анализ данных) — собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

Стена группы

Загрузка...
2 месяца назад
#

Тестирование и отладка MapReduce



В «Ростелекоме» мы используем Hadoop для хранения и обработки данных, загруженных из многочисленных источников с помощью java-приложений. Сейчас мы переехали на новую версию hadoop с Kerberos Authentication. При переезде столкнулись с рядом проблем, в том числе и с использованием YARN API. Работа Hadoop с Kerberos Authentication заслуживает отдельной статьи, а в этой мы поговорим об отладке Hadoop MapReduce.



Источник
Загрузка...
2 месяца назад
#
Data Елка в Минске – 08.12.2018
by Yandex & ODS Minsk

Обучение машинному обучению и анализу данных утром, днём, вечером, ночью, Алексей Толстиков


Алексей рассказал, как развивают Школу анализа данных и создают сложную и интересную магистерскую программу. Дополнительно рассказал о критериях поступления в ШАД и материалах, которые могут пригодиться. Бонусом прошелся по онлайн-курсам, подготовленным компанией за последние годы.



Как понять пользователя с полуслова? Алексей Иванин


Небольшой рассказ о том, как Поиск анализирует запрос пользователя. Алексей рассказал про то, что такое «расширения запроса», как мы их получаем и какую пользу можно извлечь, применяя эти знания неочевидным образом.



Computer vision: слабое железо не приговор, Александр Матвеенко


Основные технические вызовы, которые приходилось преодолевать в Mapbox. Краткий обзор полученных результатов и планов на будущее.



Как научить себя слушать: голосовые технологии в Яндекс.Станции, Андрей Андрухович


Андрей рассказал, как в Яндекс адаптировали голосовые технологии для работы в устройстве, где нет кнопок, но есть 7 микрофонов. В первую очередь он рассказал про распознавание речи и голосовую активацию. А ещё — про голосовую биометрию и (анти)спуфинг.



Методы распознавания 3D-объектов для беспилотных автомобилей, Виктор Отлига


Без понимания, что находится вокруг и где именно, беспилотному автомобилю не обойтись. Виктор рассказал, как в Яндекс решают задачу распознавания других участников дорожного движения в трёхмерном облаке точек, чем эта задача отличается от распознавания объектов на изображении и как извлечь пользу из совместного использования разных типов сенсоров.

Загрузка...
2 месяца назад
#

Дата-ёлка в Минске


ata-ёлка шагает по миру. В декабре мы собираем в Минске специалистов по анализу данных, чтобы обсудить самые яркие события 2018 года. Какие продукты и технологии потрясли всех? Что волновало сообщество? Чего ждать от грядущего года?

Выступят разработчики и преподаватели — эксперты Яндекса и не только. Вы узнаете, как мы адаптировали голосовые технологии для Яндекс.Станции, с помощью чего беспилотные автомобили распознают других участников движения и как Поиск анализирует запросы. Поговорим об образовательных проектах: Школе анализа данных, программе БГУ, онлайн-курсах. Подведём итоги и поделимся планами.

Соорганизатор события — сообщество Open Data Science в Минске, которое, кстати, приглашает пройти предновогодний опрос.

Загрузка...
2 месяца назад
#

На чём прокалывается ИИ при генерации человеческих лиц



В 2014 году исследователь в области машинного обучения Ян Гудфеллоу выдвинул идею
генеративных состязательных сетей или GAN. «Генеративность» состоит в том, что результатом их работы являются изображения, а не оценка ввода (типа «хот-дог или нет»), а «состязательность» — в том, что две нейросети
играют в кошки-мышки, как федералы с фальшивомонетчиками: одна нейросеть пытается обмануть другую, создавая реалистичные картинки, а вторая старается отличить фейк.

Первые изображения GAN было легко идентифицировать. Посмотрите на
эти лица 2014 года.



«Обучение без учителя представлению с глубокими свёрточными генеративными состязательными сетями» (2014), Рэдфорд и др. Также известны как DCGAN

Источник
Загрузка...
2 месяца назад
#

Techday Make IT Real — 17 декабря, Москва



Привет, Хабр!

17 декабря (понедельник) мы устраиваем TECHDAY MAKE IT REAL – специально для тех, кто предпочитает красивым речам об инновациях их внедрение.



Формально techday будет разделен на две части: основную программу и активности на тематических площадках.

Список спикеров, программа и ссылка на регистрацию — под катом. Участие бесплатное.

Источник
Загрузка...
2 месяца назад
#

Deep Neural Network Regularization — Part 1


Загрузка...
2 месяца назад
#

Topic 9. Time series analysis



Topic 10. Part 1. Gradient boosting basics



Topic 10. Part 2. Key ideas behind Xgboost, LightGBM, and CatBoost. Practice with LightGBM


Загрузка...
2 месяца назад
#

Как Иван конверсию стендов исследовал



После того как Иван
познакомился с когортным анализом, он терпеть не мог любые виды слащавых метрик.

Но ирония была в том, что руководство не знало ничего другого, и знать категорически не хотело. Приходилось переступать через себя и тупо идти на встречу «просьбам» начальника, чтобы не заработать репутацию нехорошего человека, неподчиняющегося указаниям мудрецов.

Иногда из этого даже получались весьма интересные результаты. Об одном таком случае сейчас и пойдет речь.

Как-то руководитель попросил Ивана разобраться, почему в течение 3- недель непрерывно падает конверсия прохождения стенда командами:

image

Источник
Загрузка...
Den
2 месяца назад
#

U-NOVUS 2018: воркшоп



В середине октября в рамках проходящего в Томске молодежного форума U-NOVUS мы провели воркшоп, посвященный Data Science.

Томск в принципе заслуженно пользуется славой города ученых и студентов, все-таки 15 НИИ, 9 вузов и несколько бизнес-инкубаторов — это серьезно. Поэтому мы решили пригласить к участию как студентов, так и экспертов из различных компаний.



Кейс мы давали из жизни (читай — с производства), это была задача по продвинутой аналитике на нефтехимическом предприятии.

О том, как это было — под катом.

Источник
Загрузка...
2 месяца назад
#

Жизнь во Флаконе



Я работаю в коммерческой организации, но всегда считал, что бизнес должен делать что-то полезное для мира. Конечно, можно сказать, что продукты бизнеса – это и есть польза, но как-то язык не поворачивается.

Всегда хотелось сделать чего-то для людей – обычных, не связанных с компанией, не клиентов, даже потенциальных. Что-то полезное, помогающее сделать жизнь лучше.

Ну вот, сделали. Испытали на себе, убедились в полезности, выкладываем на всеобщее обозрение и всеобщее пользование. Бесплатно, разумеется. Сервис по управлению собственной жизнью.

Источник
Загрузка...
2 месяца назад
#

Google держит вас в персональном «поисковом пузыре» даже если выйти из аккаунта





Все мы давно знаем, что Google, Яндекс и другие коммерческие поисковые системы анализируют историю посещений и поисковую историю пользователя, на основе которых хитрые алгоритмы пытаются предсказать, что «пригодится» человеку в следующий раз. Когда эта технология только зарождалась, она казалась логичной и понятной, но сейчас этот подход выглядит крайне и крайне пугающе. Потому что раньше представители Google, самой популярной поисковой системы в мире, утверждали, что достаточно выйти из аккаунта, чтобы избавиться от «предвзятости» поисковой выдачи и получить нейтральные результаты при использовании сервиса.

Парни из
DuckDuckGo в своем
исследовании утверждают, что даже при выходе из аккаунта и переходе в анонимный режим, Google продолжает подстраивать поисковую выдачу согласно ранее собранной о пользователе информации. То есть компания не оставляет человеку выбора и все равно манипулирует поиском, даже если действия пользователя явно говорят о том, что он хочет получить «нейтральный» результат.

Источник
Загрузка...
Den
2 месяца назад
#

Модели Sequence-to-Sequence Ч.2



Всем привет!

Вторая часть перевода, который мы разместили пару недель назад, в рамках подготовки к старту второго потока курса
«Data scientist». Впереди ещё один интересный материал и открытый урок.

А пока поехали дальше в дебри моделей.

Модель нейронного перевода

В то время как ядро sequence-to-sequence модели создается функциями из
tensorflow/tensorflow/python/ops/seq2seq.py, остается еще пара трюков, использующихся в нашей модели перевода в
models/tutorials/rnn/translate/seq2seq_model.py, о которых стоит упомянуть.



Источник
Загрузка...
2 месяца назад
#

Дружба, благодаря которой Google вырос до огромных размеров




Программируя вместе за одним компьютером, Джефф Дин и Санджай Гемават изменили курс компании — и весь Интернет. На иллюстрации: лучшие программисты Google иногда кажутся двумя полушариями одного мозга. Рисунок Дэвида Планкерта

Однажды в марте 2000 года шесть лучших инженеров Google собрались в импровизированном конференц-зале. Произошло ЧП: с октября 1999 года остановились краулеры. Хотя пользователям ещё выдавали поисковые результаты, но они устарели на пять месяцев. На карту было поставлено больше, чем предполагали инженеры. В данный момент Ларри Пейдж и Сергей Брин вели переговоры о поставке поиска Google на крупнейший в интернете портал Yahoo и обещали увеличить поисковый индекс в десять раз, чтобы идти в ногу со Всемирной паутиной, которая за предыдущий год удвоилась в размере. Если краулеры не починят, google.com застрянет в прошлом, сделка с Yahoo может провалиться, а компания рискует сжечь полученные инвестиции и кануть в небытие.

Источник
Загрузка...
2 месяца назад
#

Открытый урок «Feature Engineering на примере классического датасета Титаника»


Преподаватель курса Александр Сизов расскажет про подбор признаков, преобразование исходных данных: кодирование, масштабирование. Также обсудим настройку параметров и обучение модели.

Запишитесь, чтобы вовремя получить ссылку на онлайн-трансляцию!

Преподаватель: Александр Сизов — опытный разработчик, учёный и эксперт по Machine/Deep learning, участвует в коммерческих международных проектах, связанных с искусственным интеллектом и анализом данных

Загрузка...
2 месяца назад
#

zoomcall #5 05.12.2018 (ShuffleNet V2, See-in-the-Dark)


Темы:

1. Иван Брагин — «Архитектура ShuffleNet V2: ускоряем применение CNN»
2. Александр Шеховцов — «Learning-to-See-in-the-Dark: учимся «видеть» в темноте»

Слайды
https://docs.google.com/presentation/...

Загрузка...
4 5 7 8

Авторизация

Пользователи

Андрей Подольский
Kumskov
Juan
Tutu
naikdij88
NewEXE
Георгiй Москвитинъ
Andpyxa Tutunnik
Andrey_fox

GeekBrains

КАРКАМ

Нетология