Python

Использование Python и Excel для обработки и анализа данных. Часть 2: библиотеки для работы с данными

Первая часть статьи была опубликована
тут.

Как читать и редактировать Excel файлы при помощи openpyxl


Эта библиотека пригодится, если вы хотите читать и редактировать файлы .xlsx, xlsm, xltx и xltm.

Установите openpyxl using pip.

Общие рекомендации по установке этой библиотеки — сделать это в виртуальной среде Python без системных библиотек. Вы можете использовать виртуальную среду для создания изолированных сред Python: она создает папку, содержащую все необходимые файлы, для использования библиотек, которые потребуются для Python.

Перейдите в директорию, в которой находится ваш проект, и повторно активируйте виртуальную среду venv. Затем перейдите к установке openpyxl с помощью pip, чтобы убедиться, что вы можете читать и записывать с ним файлы:

Источник

Авторизация и добавление сайта в Яндекс Вебмастер с помощью python

Здравствуйте. В этой статье я постараюсь подробно рассказать о работе urllib2 с cookie на примере авторизации и добавления сайта в Yandex Webmaster. Писал код при создании автоматизированного seo комплекса.

Ну что ж, приступим.

Первым этапом необходимо перехватить все запросы браузера к серверу. Для этого я пользовался всем известным дополнением firebug для firefox. Можно использовать и другие средства, например, live http headers для того же firefox. Думаю, с этим вопросов не возникнет.
После получения всей необходимой информации, можно приступать к написанию программы.

Первоначально импортируем необходимые модули и подготавливаем urllib2 к работе с cookie:

import urllib
import urllib2
import re
import cookielib
 
cookieJar = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar))
headers = {"User-Agent":"Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.2.6) Gecko/20100628 Ubuntu/10.04 (lucid) Firefox/3.6.6", "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Keep-Alive": "115", "Connection":"keep-alive"}

Источник

Получаем фотографии NASA с Марса с помощью aiohttp

Я большой фанат книги «Марсианин» Энди Вейера. Читая её, мне было интересно, что же Марк Уотни чувствовал, гуляя по красной планете. Недавно наткнулся на пост на
Twillo, в котором упоминалось, что у NASA есть публичный API для доступа к фотографиям с марсоходов. Так что я решил написать собственное приложение для просмотра изображений непосредственно в браузере.

Источник

Дни открытых дверей перед запуском нового курса по Python

Мы в OTUS снова рады открыть свои двери 30 июня и 1 июля в 20:00 по Москве для нового набора — теперь по курсу углубленного изучения Python.



Формат проведения — онлайн, подключайтесь из любой точки мира!

Источник

Руководство: как использовать Python для алгоритмической торговли на бирже. Часть 2

Мы продолжаем публикацию адаптации
руководства DataCamp по использованию Python для разработки финансовых приложений.
Первая часть материала рассказывала об устройстве финансовых рынков, акциях и торговых стратегиях, данных временных рядов, а также о том, что понадобится для начала разработки.

Теперь, когда вы уже больше знаете про требования к данным, разобрались с понятием временных рядов и познакомились с pandas, пришло время глубже погрузиться в тему финансового анализа, который необходим для создания торговой стратегии.

Jupyter notebook этого руководства можно скачать здесь.

Источник

Использование Python и Excel для обработки и анализа данных. Часть 1: импорт данных и настройка среды

Если Вы только начинаете свой путь знакомства с возможностями Python, ваши познания еще имеют начальный уровень — этот материал для Вас. В статье мы опишем, как можно извлекать информацию из данных, представленных в Excel файлах, работать с ними используя базовый функционал библиотек. В первой части статьи мы расскажем про установку необходимых библиотек и настройку среды. Во второй части — предоставим обзор библиотек, которые могут быть использованы для загрузки и записи таблиц в файлы с помощью Python и расскажем как работать с такими библиотеками как pandas, openpyxl, xlrd, xlutils, pyexcel.

Источник

Подбор закона распределения случайной величины по данным статистической выборки средствами Python

О чём могут «рассказать» законы распределения случайных величин, если научиться их «слушать»

Законы распределения случайных величин наиболее «красноречивы» при статистической обработке результатов измерений. Адекватная оценка результатов измерений возможна лишь в том случае, когда известны правила, определяющие поведение погрешностей измерения. Основу этих правил и составляют законы распределения погрешностей, которые могут быть представлены представлены в дифференциальной
(pdf) или интегральной
(cdf) формах.

К основным характеристикам законов распределения относятся: наиболее вероятное значение измеряемой величины под названием математическое ожидание
(mean); мера рассеивания случайной величины вокруг математического ожидания под названием среднеквадратическое отклонение
(std).

Дополнительными характеристиками являются – мера скученности дифференциальной формы закона распределения относительно оси симметрии под названием асимметрия
(skew) и мера крутости, огибающей дифференциальной формы под названием эксцесс
(kurt). Читатель уже догадался, что приведенные сокращения взяты из библиотек scipy. stats, numpy, которые мы и будем использовать.

Источник

Руководство: как использовать Python для алгоритмической торговли на бирже. Часть 1

Технологии стали активом — финансовые организации теперь не только занимаются своим основным бизнесом, но уделяют много внимания новым разработкам. Мы уже рассказывали о том, что в мире высокочастотной торговли лучших результатов добиваются обладатели не только самого эффективного, но и быстрого софта и железа.

Среди наиболее популярных в сфере финансов языков программирования можно отметить R и Python, также часто используются C++, C# и Java. В опубликованном на сайте DataCamp
руководстве речь идет о том, как начать использовать Python для создания финансовых приложений — мы представляем вам серию статей-адаптаций глав этого материала.

Источник

Введение в aiohttp. Андрей Светлов

Автоэнкодеры в Keras, Часть 1: Введение

Автоэнкодеры в Keras

Часть 1: Введение

Содержание

• Часть 1: Введение
  


• Часть 2: Manifold learning и скрытые (latent) переменные
  


• Часть 3: Вариационные автоэнкодеры (VAE)
  


• Часть 4: Conditional VAE
  


• Часть 5: GAN (Generative Adversarial Networks) и tensorflow
  


• Часть 6: VAE + GAN
  

Во время погружения в
Deep Learning зацепила меня тема автоэнкодеров, особенно с точки зрения генерации новых объектов. Стремясь улучшить качество генерации, читал различные блоги и литературу на тему генеративных подходов. В результате набравшийся опыт решил облечь в небольшую серию статей, в которой постарался кратко и с примерами описать все те проблемные места с которыми сталкивался сам, заодно вводя в синтаксис
Keras.

Автоэнкодеры

Автоэнкодеры — это нейронные сети прямого распространения, которые восстанавливают входной сигнал на выходе. Внутри у них имеется скрытый слой, который представляет собой
код, описывающий модель.
Автоэнкодеры конструируются таким образом, чтобы не иметь возможность точно скопировать вход на выходе. Обычно их ограничивают в размерности
кода (он меньше, чем размерность сигнала) или штрафуют за активации в
коде. Входной сигнал восстанавливается с ошибками из-за потерь при кодировании, но, чтобы их минимизировать, сеть вынуждена учиться отбирать наиболее важные признаки.



Кому интересно, добро пожаловать под кат

Источник

Автоэнкодеры в Keras, Часть 2: Manifold learning и скрытые (latent) переменные

Содержание

• Часть 1: Введение
  


• Часть 2: Manifold learning и скрытые (latent) переменные
  


• Часть 3: Вариационные автоэнкодеры (VAE)
  


• Часть 4: Conditional VAE
  


• Часть 5: GAN (Generative Adversarial Networks) и tensorflow
  


• Часть 6: VAE + GAN
  

Для того, чтобы лучше понимать, как работают автоэнкодеры, а также чтобы в последствии генерировать из кодов что-то новое, стоит разобраться в том, что такое коды и как их можно интерпретировать.

Источник

Прямая трансляция PyData Moscow

На площадке Яндекса пройдёт очередная встреча PyData, посвящённая анализу больших данных с использованием языка Python.
Программа: https://events.yandex.ru/events/ds/23...

Программа PYCON RUSSIA готова: 25 докладов от спикеров из Disney, Facebook, Spotify, PyPy, Тинькофф Банк, Яндекс

Осталось чуть меньше месяца до пятого российского
PyConRu. Конференция пройдет 16-17 июля в отеле «Cronwell Яхонты Таруса» в 95 км от Москвы (до места проведения и обратно будет трансфер).

В программе сейчас 25 докладов. Вот некоторые из спикеров: Paul Hildebrandt (Walt Disney Animation Studios, США), Łukasz Langa (Facebook, США), Nina Zakharenko (Venmo, США), Lynn Root (Spotify, США), Maciej Fijałkowski (PyPy, ЮАР), Андрей Степанов (Тинькофф Банк), Александр Кошкин (Positive Technologies), Кирилл Борисов (Яндекс), Елизавета Шашкова (JetBrains), Михаил Юматов (ЦИАН), Игорь Новиков (Scalr), Олег Чуркин (Rambler&Co).

До 30 июня билет стоит 15 500 рублей. Потом стоимость повышается. Самое время посмотреть на программу и зарегистрироваться, если вы откладывали это. Под катом коротко о всех докладах конференции.



Источник

CameraTablet — как сделать графический планшет при помощи веб-камеры

Здравствуйте, меня зовут Дмитрий. Здесь я хочу рассказать о том, почему меня не устраивает мышка, и как я пытаюсь ее заменить. Я разрабатываю CAE-программы для инженеров (расчет статики и динамики механических систем), треть рабочего времени я работаю как project manager, а в остальное время я — системный архитектор, разработчик и тестер в своем и в чужих проектах. У меня всегда открыты десять-двадцать окон, между которыми мне приходится постоянно прыгать:

Источник

Как выигрывать в конкурсах репостов Вконтакте?

Мне захотелось узнать, реально ли выиграть в конкурсах репостов ВКонтакте.

Как это сделать? Ответ очевиден — надо участвовать во всех конкурсах и по теории вероятности, чем больше конкурсов, тем больше шанс выиграть хоть что-то.

Идея простая, берем модуль
vk_api для Python и
официальную документацию Vkontakte API отправляем запрос

pool.method('newsfeed.search', {'q':u'Конкурс репост подарки <мой_город>'})

и репостим через
wall.repost все что нашли себе на страницу и вступаем в группы методом
groups.join

Что из этого получилось, с какими проблемами я столкнулся, читаем под катом

Источник