Machine Learning/Data Mining/Big Data — TechCave

Машинное обучение (англ Machine Learning) — обширный подраздел искусственного интеллекта, математическая дисциплина, использующая разделы математической статистики, численных методов оптимизации, теории вероятностей, дискретного анализа, и извлекающа

Machine Learning/Data Mining/Big Data

Машинное обучение (англ Machine Learning) — обширный подраздел искусственного интеллекта, математическая дисциплина, использующая разделы математической статистики, численных методов оптимизации, теории вероятностей, дискретного анализа, и извлекающая знания из данных.

Data Mining (рус. добыча данных, интеллектуальный анализ данных, глубинный анализ данных) — собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

Стена группы

Загрузка...
2 месяца назад
#

Улучшение агента на основе Q-Learning, торгующего stocks, путем добавления рекуррентности и формирования наград



Напоминание

Привет, Хабр! Предлагаю вашему вниманию ещё один перевод моей новой статьи с
медиума.

В прошлый раз (
первая статья) (
Habr) мы создали агента на технологии Q-Learning, который совершает сделки на имитированных и реальных биржевых временных рядах и пытались проверить, подходит ли эта область задач для обучения с подкреплением.

В этот раз мы добавим LSTM слой для учета временных зависимостей внутри траектории и сделаем инженерию наград (reward shaping) на основе презентаций.

image

Источник
Загрузка...
2 месяца назад
#

Будущее ритейла: основные диджитал-тренды по мотивам NRF Retail’s Big Show 2019



image

Завершилась крупнейшая в мире ритейл-конференция и экспо ― NRF Retail’s Big Show 2019, проходившая с 13 по 15 января в Нью-Йорке.
Мы побывали на выставке и постарались узнать о всех инновациях в области ритейла и технологиях создания лучшего клиентского опыта.
Что ждет ритейл в будущем и при чем здесь искусственный интеллект, компьютерное зрение и персонализация ― постараемся резюмировать итоги выставки и расскажем о самом важном, что мы увидели на NRF 2019.


“Диджитализируйся или умри!”

Источник
Загрузка...
2 месяца назад
#

Понимание сверточных нейронных сетей через визуализации в PyTorch



В нашу эру, машины успешно достигли 99% точности в понимании и определении признаков и объектов на изображениях. Мы сталкиваемся с этим повседневно, например: распознавание лиц в камере смартфонов, возможность поиска фотографий в google, сканирование текста со штрих-кода или книг с хорошей скоростью и т. д. Такая эффективность машин стала возможным благодаря особому типу нейронной сети, называемой сверточной нейронной сетью. Если вы энтузиаст глубокого обучения, вы, вероятно, слышали об этом, и вы могли разработать несколько классификаторов изображений. Современные фреймворки глубокого обучения, такие как Tensorflow и PyTorch, упрощают обучение машин изображениям. Однако все еще остается вопрос: как данные проходят через слои нейронной сети и как компьютер обучается на них? Чтобы получить четкое представление с нуля, мы погрузимся в свертку, визуализируя изображение каждого слой.

image

Источник
Загрузка...
2 месяца назад
#

Как мы строим систему обработки, хранения и анализа данных в СИБУРе



В начале 2018 года у нас активно пошел процесс цифровизации производства и процессов в компании. В секторе нефтехимии это не просто модный тренд, а новый эволюционный шаг в сторону повышения эффективности и конкурентоспособности. Учитывая специфику бизнеса, который и без всякой цифровизации показывает неплохие экономические результаты, перед «цифровизаторами» стоит непростая задача: всё-таки менять устоявшиеся процессы в компании — довольно кропотливая работа.

Наша цифровизация началась с создания двух центров и соответствующих им функциональных блоков.

Это «Функция цифровых технологий», в которую включены все продуктовые направления: цифровизация процессов, IIoT и продвинутая аналитика, а также центр управления данными, ставший самостоятельным направлением.



И вот как раз главная задача дата-офиса заключается в том, чтобы полноценно внедрить культуру принятия решений, основанных на данных (да, да, data-driven decision), а также в принципе упорядочить всё, что касается работы с данными: аналитика, обработка, хранение и отчетность. Особенность в том, что все наши цифровые инструменты должны будут не только активно использовать собственные данные, то есть те, которые генерируют сами (например, мобильные обходы, или датчики IIoT), но и внешние данные, с четким пониманием, где и зачем их нужно использовать.

Меня зовут Артем Данилов, я руководитель направления «Инфраструктура и технологии» в СИБУРе, в этом посте я расскажу, как и на чем мы строим большую систему обработки и хранения данных для всего СИБУРа. Для начала поговорим только о верхнеуровневой архитектуре и о том, как можно стать частью нашей команды.

Источник
Загрузка...
2 месяца назад
#

Распознавание рентгеновских снимков: precision = 0.84, recall = 0.96. А нужны ли нам еще врачи?





В последнее время все чаще обсуждается применение AI в медицине. И, конечно, область медицины, которая прямо напрашивается для такого применения это областей диагностики.

Кажется, и раньше можно было применять экспертные системы и алгоритмы классификации к задачам постановки диагноза. Однако, есть одна область AI, которая добилась наибольших успехов в последние годы, а именно область распознавания изображений и сверточные нейронные сети. На некоторых тестах алгоритмы AI в распознавании картинок превзошли человека. Вот два примера:
Large Scale Visual Recognition Challenge и
German Traffic Sign Recognition Benchmark.

Соответственно, возникла идея применить AI к области распознавания изображений там, где и врачи занимаются распознаванием изображений, а именно к анализу снимков и, для начала, рентгеновских снимков.

Источник
Загрузка...
2 месяца назад
#

FunTech ML-meetup





Недавно FunCorp приобщился к прекрасному — машинному обучению. Наш бэкенд-инженер научил поисковики читать мемы. По такому случаю мы решили собрать ML-митап, дабы поделиться своими наработками, а заодно и поучиться у более опытных специалистов из других компаний, где машинное обучение уже является важной составляющей бизнеса. Решили собрать — собрали. Проведём 9-го февраля. Программа под катом.

Источник
Загрузка...
Den
2 месяца назад
#

Камера, мотор, Big Data: как киностудии ищут новые фильмы с помощью ИИ



Успех новых продуктов у аудитории можно
предсказать с помощью машинного обучения. Такой метод прогноза в последние годы стали использовать и в кинобизнесе. О том, как узнать с помощью ИИ, стоит ли выпускать новый фильм и как его рекламировать, — в обзоре Binary District.



Источник
Загрузка...
2 месяца назад
#

Опрос Data Science Tools 2019



image

Хабр, привет! Хочу пригласить всех дата-сайентистов принять участие в
опросе об инструментах, которые вы используете в своей работе. Результаты опроса обязательно опубликую в отдельном посте.

Источник
Загрузка...
2 месяца назад
#

Нейросеть генерирует изображения блюд по рецептам их приготовления





Сравнение настоящих фотографий (вверху), сгенерированных изображений с семантической регуляризацией (средний ряд) и без неё

Группа исследователей из Тель-Авивского университета разработала нейронную сеть, способную генерировать изображения блюд по их текстовым рецептам. Таким образом, домохозяйка может заранее посмотреть, что получится в итоге, если изменить тот или иной пункт рецепта: добавить новый ингридиент или убрать какой-то из существующих. В принципе, эта научная работа — хорошая идея для коммерческого приложения, тем более что исходный код программы
опубликован в открытом доступе.

Источник
Загрузка...
2 месяца назад
#

Кое-что нашли: доклады с Elasticsearch Moscow meetup в OZON



image

Для тех, кто досмотрел все сезоны новых и любимых сериалов, у нас есть кое-что поинтереснее — видео с Elasticsearch meetup в OZON.

Источник
Загрузка...
2 месяца назад
#

Микроэлектроника, нейрофизиология и машинное обучение, взболтать, но не перемешивать



В середине 2018 года была
опубликована работа по электрофизиологии головного мозга крыс, совместно с которой был выложен в открытый доступ один
уникальный набор данных. Уникальность датасета состоит в том, что в нем присутствуют одновременные записи локального полевого потенциала с помощью нового высокоплотного электрода
Neuropixels (проба, или probe) и патч-электрода от клетки, находящейся вблизи пробы. Интерес к подобным записям не только фундаментальный, но и прикладной, потому что позволяет валидировать модели для анализа нейрональной активности, зарегистрированной современными пробами. А это, в свою очередь, непосредственно касается разработки новых нейропротезов. В чем принципиальная новизна, и почему этот датасет такой важный, — я расскажу под катом.



КДПВ: результат моделирования внеклеточного потенциала вблизи одного нейрона при генерации потенциала действия (источник). Цветом обозначена амплитуда потенциала. Данная иллюстрация будет важна для дальнейшего понимания.

Источник
Загрузка...
2 месяца назад
#

В России разрабатывают процессор для ускорения нейросетей



Четыре российские компании объединились для создания первого отечественного процессора, предназначенного для радикального повышения производительности компьютерных нейронных сетей,
пишут «Известия». Эксперты сказали в комментариях газете, что российский чип должен быть вполне конкурентоспособен на «только формирующемся мировом рынке нейропроцессоров».

Нейронные процессоры — это специализированные чипы, которые осуществляют аппаратное ускорение работы алгоритмов искусственных нейронных сетей, компьютерного зрения, распознавания по голосу, машинного обучения и других методов искусственного интеллекта. Первые попытки производства таких микросхем, которые специализируются на распознавании образов,
предпринимались в 1993 году, а сейчас такими уже никого не удивишь. А тем более использованием GPU для ускорения нейронных вычислений, что почти так же эффективно, как и специализированный ASIC.

Тем не менее, отечественные СМИ пишут о «процессоре для искусственного разума», а также об
уникальном квантовом компьютере и других революционных достижениях российских учёных и инженеров.

Источник
Загрузка...
2 месяца назад
#

Data Science: книги для начального уровня



Data Science — наука о данных, возникшая на стыке нескольких обширных направлений: программирования, математики и машинного обучения. Этим обусловлен высокий порог вхождения в профессию и необходимость постоянно получать новые знания.

Ключевыми навыками для начинающих специалистов являются:

  • умение писать код (Python);

  • способность визуализировать свои результаты;

  • понимание того, что происходит «под капотом».



На эти три категории разделены книги, которые специалисты Plarium Krasnodar подобрали для читателей с начальными знаниями в Data Science.



Источник
Загрузка...
2 месяца назад
#

Использовать машинное обучение не сложно. Для этого достаточно в течение недели…



image



В прошлых статьях я попытался рассказать про основы ценообразования и построения дерева принятия решений покупателя для классического ритейла. В данной статье расскажу про очень нестандартный кейс и постараюсь убедить вас, что использовать машинное обучение не так сложно, как кажется. Статья менее техничная и скорее призвана показать, что можно начать с малого и это уже принесет ощутимую пользу для бизнеса.



Источник
Загрузка...
Den
2 месяца назад
#

Бот генерирует учебники из статей Википедии





Пример викиучебника (иллюстрация из научной статьи)

Всем известно, что Википедия — ценный информационный ресурс. Можно часами изучать тему, переходя от одной ссылки к другой для получения контекста по интересующему предмету. Но не всегда очевидно, как собрать весь контент по какой-либо одной общей теме. Например, как объединить все статьи по неорганической химии или истории средних веков, резюмируя самое важное? Примерно это попытались сделать Шахар Адмати и его коллеги из Бена-Гуриона в Негеве (Израиль), разработчики программы машинного обучения
Wikibook-Bot.

Источник
Загрузка...
5 6 8 9

Авторизация

Пользователи

gydman
Ivan Lavkov
Андрей Подольский
Kumskov
Juan
Tutu
naikdij88
NewEXE
Георгiй Москвитинъ

GeekBrains

КАРКАМ

Нетология