NVIDIA выложила в open source библиотеку NVVL для машинного обучения — TechCave

NVIDIA открыла библиотеку NVVL, которая обеспечивает ускоренное декодирование видео на графическом процессоре для машинного обучения.

NVIDIA выложила в open source библиотеку NVVL для машинного обучения

Machine Learning/Data Mining/Big Data

NVIDIA выложила в open source библиотеку NVVL для машинного обучения

NVIDIA открыла библиотеку NVVL, которая обеспечивает ускоренное декодирование видео на графическом процессоре для машинного обучения.

Небольшое описание NVIDIA NVVL:
  • Библиотека NVIDIA NVVL использует аппаратное ускорение для загрузки последовательностей видеокадров и упрощения тренировки алгоритмов машинного обучения.
  • Она использует библиотеки FFmpeg для анализа и чтения сжатых пакетов из видеофайлов, с последующим декодированием видео, на графическом процессоре NVIDIA. Она может ускорить декодирование этих сжатых пакетов и предоставляет готовый тензор для обучения в памяти устройства графического процессора.
  • NVVL может также выполнять увеличение данных при загрузке фреймов. Фреймы можно масштабировать, обрезать и горизонтально переворачивать.
  • Она значительно снижает требования к системам хранения и ввода-вывода. Во время обучения используя сжатые видеофайлы, а не отдельные файлы изображений фреймов. Таким образом, экономия достигает до 40x по пропускной способности. Также снижается загрузка процессора в 2 раза при обучении на наборах видеоданных.

Зависимости NVVL:

  • CUDA Toolkit. NVIDIA NVVL хорошо работает с версиями 8.0 и выше. Она работает лучше с CUDA 9.0 или новее.
  • Libavformat, libavcodec, libavfilter и libavutil, FFmpeg. Они могут быть установлены из источников, таких как например Dockerfile, или из пакетов Ubuntu 16.04 libavcodec-dev libavfilter-dev libavformat-dev libavutil-dev.
NVIDIA также представила пример проекта с высоким разрешением, который показывает эффективность использования NVVL. При тренировке этого проекта на NVIDIA DGX-1 загрузка процессора при использовании NVVL составляла 50-60% от того, если бы использовался обычный dataloader для .png-файлов.

Для PyTorch имеется wrapper, так как большинство пользователей захотят использовать PyTorch для глубокого обучения, а не напрямую использовать библиотеку.

Для получения полного списка возможностей и файлов кода можете зайти на NVIDIA Github.
09:59
312

Нет комментариев. Ваш будет первым!

Авторизация

Пользователи

Keyleas
Kirby
Имя Фамилия
lunchcalllina1978
Sever
stopresniebots1983
tekino
templide
Seangle

Именинники

Mikasa