Камера realsense: 3D-камера Intel RealSense D455 видит в два раза дальше и работает лучше предшественницы

Содержание

3D-камера Intel RealSense D455 видит в два раза дальше и работает лучше предшественницы

Компания Intel представила новую 3D-камеру RealSense Depth Camera D455. Она может применяться внутри помещений и на открытых пространствах. Использовать её можно в таких областях, как беспилотные летательные аппараты, робототехника, игровые системы, платформы виртуальной и дополненной реальности и прочее.

Устройство содержит пару датчиков глубины сцены, RGB-сенсор и инфракрасный проектор. Оптимальная дальность действия камеры увеличилась до 6 метров. Это сделало новинку в два раза точнее в расчёте глубины сцены по сравнению с другими камерами серии D400, но при этом не привело к уменьшению угла обзора.

Погрешность расчётов глубины сцены в диапазоне 4 метров у камеры составляет менее 2 %. Кроме того, новинка предлагает несколько улучшений. Расстояние между датчиками глубины 3D-камеры увеличилось на 95 мм. Это позволило повысить точность при определении глубины сцены на большем расстоянии. Во-вторых, датчики глубины и RGB-сенсор находятся на одной раме, что также позволило улучшить работу в определении глубины и цветовое выравнивание. В-третьих, все датчики получили одинаковый угол обзора, что позволило выровнять соотношение глубины цвета и числа битов на один пиксель изображения. Кроме того, RGB-сенсор и датчики глубины используют технологию глобального затвора. Это позволило синхронизировать угол обзора между ними, а также увеличить точность передачи данных двумя потоками.

Камера имеет инерциальный измерительный блок (Inertial Measurement Unit, IMU), благодаря которому разработчики смогут создавать решения с развитыми функциями определения глубины сцены и отслеживания движений.

Выходное разрешение 3D-данных камеры составляет до 1280 × 720 точек, скорость потока — до 90 кадров в секунду. Разрешение RGB-сенсора равно 1280 × 800 пикселей при 30 кадрах в секунду.

Габариты RealSense Depth Camera D455 составляют 124 × 26 × 29 мм. Новинка оснащена разъёмом USB 3.1 Type-C. Для работы камера использует тот же SDK 2.0, который применяется всеми остальными моделями серии 3D-камер Intel D400.

Стоимость новинки составляет $239. Intel уже начала принимать предзаказы.

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.

Intel RealSense Depth Camera SR305

Евгений Арьев

Нормальный магазин. Купил тут прикольный шлем виртуальности по адекватной цене. В магазине, кстати, реально невысокие цены, как по мне. С доставкой задержки не возникло, доставили через три дня, как и договаривались с менеджером магазина, когда я оформлял покупку. В общем магазин работает на нормальном уровне, рекомендую его.

ссылка на отзыв в Yandex Market

Жанна Туркина

В Virtuality club заказывала кабель Oculus Link и силиконовую лицевую накладку. В магазине хороший выбор, очень большой ассортимент аксессуаров и комплектующих, квестов и программ, можно приобрести и оригинальные и аналоговые товары. На сайте легко ориентироваться, удобное меню и поиск. Доставили в срок, оплатила при получении. Претензий к качеству товара нет. Буду покупать ещё.

ссылка на отзыв в Yandex Market

Тимофей Карасев

Приобрели для нашего клуба VR шлем Pico Neo 3 Pro, очень понравился он нам по цене и по функционалу. Им оказалось достаточно легко пользоваться, смогли быстро настроить на работу с играми. Теперь тестируем, нравится ли шлем нашим клиентам. Пока все уходили довольными) Спасибо менеджеру, что подсказал альтернативу второму Окулус квесту.

ссылка на отзыв в Yandex Market

Андрей Викторович

Магазин понравился. Проблем с покупкой шлема виртуальной реальности не возникло. К самому шлему претензий нет, цена на него тоже устроила. Заказ выполнили в оговоренный срок, доставили на адрес, что я указывал при оформлении заказа. В целом неплохой магазин, могу его рекомендовать.

ссылка на отзыв в Yandex Market

Обратился в данном магазине с вопросом про ВР шлем (комплект) с кастетами и базовыми станциями, но с хорошей картинкой. После того как озвучил свою видеокарту, консультант посоветовал купить Pimax 8K X, за это ему большое спасибо. Доволен как слон. Картинка просто супер, глаза не устают, четкость на высоте, предметы можно рассматривать поднося вплотную к лицу. Ну и не много о железе. Прекрасно все работает без фризов на: CPU — Ryzen 1700x, RAM — 16 Gb DDR4 3200 MHz, GPU — AMD Radeon 5700 XT (пластина греется будь здоров, позаботьтесь о хорошем охлаждении).

ссылка на отзыв в Yandex Market

Руслан Короленко

Нормальный магазин. Единственное, что доставку ждал три дня, а хотелось бы по-быстрей, но в остальном к магазину претензий нет. Купил в магазине, без преувеличений, очень крутой шлем виртуальной реальности. Цена конечно была для меня недешевой, но и не могу сказать, что дорогой, меня в общем устроила. Оплачивал заказ при получении. Покупкой само собой довольной, первые двое суток шлем почти не снимал, настолько понравилось его юзать:)

ссылка на отзыв в Yandex Market

Сергей Никитин

Заказывал в магазине беспроводной джостик, заказ получил на третий день после того, как оформил покупку. Самим джостиком доволен, работает нормально, тез «тормозов», к цене на него у меня тоже претензий не возникло.

ссылка на отзыв в Yandex Market

Заказала онлайн, после оформления через минут 15 перезвонил менеджер, уточнил заказ. Через 2 дня получила свой VR шлем Oculus Quest 2, на 256гб, пришёл без дефектов

ссылка на отзыв в Yandex Market

Михаил Филонов

Заказ делал на шлем виртуальной реальности Valve Index, лицевую накладку и прочие аксессуары. Со мной сразу связался менеджер, подтвердил наличие и удобную для меня доставку. Заказ оправдал мои ожидания, крутой качественный продукт. Благодарен.

ссылка на отзыв в Yandex Market

Заказала Автономный VR шлем Oculus Quest 2 256 Gb. Шлем не громоздкий, не тяжелый, на голове держится плотно. Картинка отличная, полное погружение в виртуальное пространство. Все понравилось.

ссылка на отзыв в Yandex Market

RealSense для чайников. Домашнее тестирование / Хабр

Есть у нас с сыном традиция: в новогодние каникулы мы вместе тестируем различные интересные устройства — свободного времени много, надо провести его с пользой! Традиция, вообще говоря, довольно новая (равно как и сын), но AIO Lenovo IdeaCentre Horizon

мы уже испытать успели

. В эти праздники мы решили заняться технологией

Intel RealSense

. Что получит пользователь, покупая камеру RealSense, уже сейчас? Насколько технология работоспособна и удобна в использовании? Какие интересные приложения под нее созданы? Вот эти вопросы интересовали лично меня. Ну а ребенок, естественно, хотел поиграть в игрушки.

Напомню, что технология RealSense позволяет взаимодействовать с компьютером при помощи телодвижений, жестов и мимики. Информация о глубине изображения также позволяет производить манипуляции с фоном, осуществлять трехмерное сканирование и так далее. Для реализации всего этого функционала Intel предлагает средства разработки RealSense SDK, однако еще раз подчеркну, что в данном случае нашей задачей было посмотреть на RealSense глазами чайника, готового потреблять только готовые продукты.

Для работы RealSense необходимы:

  • компьютер на базе процессора Intel Core четвертого поколения (Haswell) или новее;
  • камера RealSense, фронтальная или задняя, а лучше обе;
  • минимум один порт USB 3.0 для подключениия камер, в порту USB 2.0 камеры работать не будут.
  • операционная система Windows 8.1 или новее
  • установленное программное обеспечение RealSense, драйвера и SDK (нужный для разработки или изучения идущих в комплекте примеров использования RealSense).

Все остальное приложится. Фронтальная камера используется для реализации «человеческого» интерфейса с компьютером и сегментации изображения, она работает на малых расстояниях порядка метра и только внутри помещений. Заднюю камеру применяют для фото и сканирования предметов, ее рабочий диапазон гораздо больше.

Передняя камера имеет крепление, обычное для web-камер и одинаково легко вешается и на ноутбук, и на монитор. Задняя крепится на магнитной защелке, ее, очевидно, удобнее использовать с переносным компьютером, что я и сделал, вооружившись ультрабуком на базе двухядерного процессора Intel Core i5-4350U с 4 Гб оперативной памяти и операционной системой Windows 8.1.

Начать знакомство с RealSense рекомендуется с изучения примеров, имеющихся в RealSense SDK. Для их запуска удобно использовать приложение RealSense SDK Sample Browser (легче всего найти его поиском). Вы увидите примерно следующее.

Изучать весь список примеров, конечно, не обязательно. Нам, чайникам, достаточно убедиться в том, что аппаратные и программные компоненты RealSense работают нормально. Многие приложения интуитивно понятны даже при слабом знании английского; не пожалейте времени, посмотрите, как RealSense интерпретирует кисти рук и выражения лица, каким образом осуществляется управление взглядом, как фон отделяется от переднего плана — после этого вам впоследствии будет проще работать с реальными приложениями.

Мое внимание привлекло приложение, позволяющее манипулировать фото изображениями с использованием данных о глубине — об этом мы рассказывали совсем недавно. К сожалению, из-за небольшого разрешения карты глубины (640х480 точек) тонкие нюансы разглядеть проблематично, однако, перенос точки фокуса «на лету», одна из самых эффектных возможностей таких изображений действительно работает, в чем можно убедиться на скриншоте ниже (крестиками показаны точки фокусировки).

Перейдем теперь к программам, написанным под RealSense. Для удобства пользователей Intel сделала специальную страницу — витрину, изучив которую, среди прочего, можно убедиться, что таковых приложений существует пока очень немного. Скачать бесплатно вам удастся еще меньшее количество, поскольку несколько игр распространяется через Амазон, требующий «деньги вперед». Вообще, на мой взгляд, есть что-то неправильное в том, что игры, использующие перспективную, недавно появившуюся технологию, не имеют даже триальной версии. Не идет это RealSense на пользу…

Говоря о программах в совокупности, хочу отметить их высокое качество, как с точки зрения функционала, так и по части графики. Видно, что требования Intel к софту на витрине строги и соблюдаются неукоснительно. Тут же, наверное, уместно перечислить и общие недостатки:

  • в состав дистрибутива каждой программы из соображений совместимости включен RealSense рантайм (~ 500 Мб), из-за чего размер этого дистрибутива непривычно велик;
  • по той же причине устанавливается софт долго, по 10-20 минут;
  • любое RealSense взаимодействие, даже вроде бы простое, нагружает процессор на 50-60% с соответствующей реакцией системы охлаждения.

Расскажу теперь немного о самых интересных программах. Они делятся на несколько групп. Если говорить об игрушках, то в основном это развлечения для детей дошкольного возраста категории «хлопай как я, хлопай лучше меня». Круто, наверное, для детского праздника, но быстро надоедает.

Madagascar: Move It!

The Great Muppets Talent Search

Придумать что-то посложнее, конечно, тоже можно. Автогонки с RealSense управлением LEGO Portal Racers увлекли моего 7-летнего сына на несколько дней. Большие надежды возлагались на космическую стрелялку Space Astro Blaster, но она оказалась только на китайском языке, так что дальше заставки мы не прошли.

LEGO Portal Racers

Среди музыкальных RealSense программ безусловный лидер — японская Kagura, выигравшая в 2013 году конкурс Intel Perceptual Computing Challenge и с тех пор ставшая интереснее и красивее. Всё интуитивно и очевидно, просто устанавливаете ее — и хорошее настроение вам и вашим соседям гарантировано.

Ряд программ используют RealSense для удаления фона при видео трансляциях (видео чатах). Функция интересная и на 100% рабочая при соблюдении ряда нехитрых правил, но на killing feature не тянет. А вот 3D-сканирование определенно будет хитом, уже сейчас видны перспективы этого направления. В витрине имеется два приложения, каждое по-своему использующее возможности сканирования. Первое, 3DMe — чисто развлекательное — использует фронтальную камеру F200 для создания аватара, которого можно различным образом нарядить и потом даже 3D-напечатать в виде куклы через фирменный сервис. Акцент сделан на разнообразие нарядов. К сожалению, новогодних среди них не оказалось — явный маркетинговый просчет, и Санта-Клаусом нарядиться не получилось. Первые картинки — интерфейс программы, третья — открытка, которую можно отправить по почте или расшарить в социальных сетях.

Второе приложение, единственное пока в витрине для задней камеры R200, на мой взгляд, интереснее. Оно создано нижегородскими разработчиками itSeez3D (называется так же) и позволяет создать полноценную 3D-модель человеческого тела. Полноценность модели заключается в том, что она может быть сохранена в стандартных форматах трехмерных объектов OBJ или PLY и далее импортирована, скажем, в компьютерную игру. Расчет геометрии производится с помощью облачного сервиса компании, обмен данными и построение модели занимает несколько минут.

Сначала нужно несколько раз обойти модель с камерой, снять сверху и снизу

Как выяснилось, бытового квартирного света для съемки всё-таки маловато

Качество получаемых моделей, на мой взгляд, прекрасное, учитывая простоту их получения. Пожелаю землякам дальнейших творческих успехов, сейчас они в своей категории (потребительское 3D-сканирование для широких масс) вне конкуренции. Ну а бизнес-сегмент в настоящий момент активно осваивает российская компания Cappasity, и у них тоже все хорошо.

В конце поста нужно писать какое-то резюме. Вообще, трудно говорить о привлекательности технологии, которая еще не воплощена в реальном коммерческом «железе». На сайте Intel приведены несколько моделей устройств, оснащенных камерами RealSense (меня особенно впечатлило вот это), но в продаже на территории России я их не нашел. Если у вас есть возможность их приобрести — оно того стоит уже сейчас, не только из-за RealSense, конечно, по совокупности. Ну а мы с осторожным оптимизмом ждем дальнейшего развития технологии, как аппаратного, так и программного.

Intel RealSense D415 Заказать 3D-камеру (2020)

VR-magazine является официальным дилером Intel в России*

Intel® RealSense™ Depth Camera D415 – технологичная 3D-камера, разработанная компанией Intel и созданная для использования производителями и разработчиками для добавления трехмерного восприятия в создаваемые прототипы продукции.

Камера RealSense D415 использует стерео-зрение для определения глубины резкости и оборудована специализированным микропроцессором RealSense Vision D4 (RealSense™ D410), который использует сложные алгоритмы для обработки изображений, производимых 3D-камерой, а также вычисляет 3D-карты окружения в высоком разрешении, при этом у вас не будет потребности в выделенном графическом или хост-процессоре. Мощный процессор видеообработки использует процесс технологии 28-нм и поддерживает установку в камерах до 5 каналов последовательного интерфейса MIPI 2 для обработки трехмерных изображений в реальном времени и ускорения вывода данных, генерируя в разрешении 1280×720 пикселей и до 90 кадров в секунду для трансляции трехмерного видео. Использование этого видеопроцессора ускоряет процесс проектирования и увеличивает пропускную способность для хост-процессора в вашей системе.

Intel® RealSense D415 предназначена для обеспечения компьютерного зрения дальнего действия и может использоваться как в помещении, так и вне при естественном и искусственном освещении. Камера готова к работе без предварительной настройки, просто подключите её к прототипам ваших устройств через USB-порт и обогащайте свои проекты инновационными визуальными технологиями, добавляя функции с высоким разрешением и высокой кадровой частотой пользуясь преимуществами усовершенствованного и точного компьютерного зрения. С помощью скручивающегося затвора и узкого угла обзора, камера Intel RealSense D415 является универсальным решением для ваших проектов, упрощающим добавление потока трехмерных данных в существующую систему, создавая изображение с высокой глубиной резкости, когда размер снимаемого объекта является небольшим и требует достаточно точных измерений. Для работы с однотипными объектами используется точное изображение и качественный сбор глубины обеспечивается за счет специализированных инфракрасных излучателей, которые создают подсветку снимаемых объектов.

Технология Intel® RealSense™ поддерживает различные операционные системы и языки программирования. С помощью SDK-комплекта Intel® RealSense™ вы сможете извлекать из камеры данные пространственных параметров и использовать их интерпретацию на любой платформе. Инструменты разработки доступны для Windows, Linux, Mac, а в комплект входят образцы кода и средства отладки и проверки, которые помогут ускорить реализацию проекта. Intel® RealSense™ Depth Camera D415 с технологией распознавания пространственных параметров поможет вам разрабатывать и внедрять новые возможности взаимодействия с миром наделяющим «человеческими» чувствами самые разнообразные устройства: от роботов и дронов до устройств виртуальной (дополненной) реальности и клиентских устройств, например, для создания 3D изображений и в решении задач связанных с моделированием.

 

На сайте VR-magazine.ru представлена высококачественная продукция от проверенного зарубежного производителя с полноценной гарантией сроком 1 год и бесплатной технической поддержкой.

Внимание! Приобретение товара через несанкционированные каналы исключает бесплатную гарантию данного устройства в России.

Закажите Intel® RealSense™ Depth Camera D415 по доступной и привлекательной цене от производителя в интернет-магазине VR-magazine.ru. Получите товар спустя несколько дней с помощью экспресс-доставки действующей на всей территории Российской Федерации.

Технические характеристики и параметры:
3D-Технология Активный инфракрасный стерео-проектор (IR)
Питание Проводное
Подключение Проводное к ПК и ноутбуку
Размер 99 x 20 x 23 мм
Разъемы Порт USB 3.0 типа C*
FOV (по горизонтали × по вертикали × по диагонали) 69.4° x 42.5° x 77° (+/- 3°)
RGB-сенсор глубины резкости (по горизонтали × по вертикали) 69,4° x 42,5° (+/- 3°)
USB 3.0
Видеопроцессор Intel® RealSense™ D4
Выходное разрешение 3D-данных До 1280 x 720
Глубина резкости (горизонталь × по вертикаль) формата HD 16:9 63,4° x 40,4° (+/- 3°)
Крепежный механизм 1 x крепление 1/4-20 UNC ; 2 x крепления M3
Максимальный диапазон ≈ 10 метров. Точность зависит от калибровки, объектов в кадре и освещенности
Минимальное фокусное расстояние (Min-Z) 0,16 м
Модуль Intel® RealSense™ D410
Рабочая среда Внутри и вне помещений
Разрешение RGB-сенсора и частота кадров 1920 x 1080, 30 кадр/сек
Технология датчика изображений Скручиваемый затвор: размер пикселя — 1,4 мкм x 1,4 мкм
Частота кадров выходного 3D-потока До 90 кадров/сек

  • 3D-камера Intel® RealSense™ D415
  • USB-кабель типа C*
  • Стойка для фиксации (тренога)
  • Инструкция для пользователя
  • Документация по безопасности

Доставка Ваших заказов осуществляется международными компаниями

Мы доставляем заказы транспортно-логистическими компаниями, которые являются признанными лидерами рынка курьерской экспресс-доставки посылок и грузов и предлагают сервис на уровне современных мировых стандартов. Курьерские компании обеспечивают клиентам VR-magazine своевременную и надежную доставку заказов по всей территории Российской Федерации и в странах СНГ.

Время и сроки доставки согласовывается с менеджером магазина до или после оформления заказа. 
Стоимость доставки по России и СНГ рассчитывается индивидуально по тарифу транспортной компании. 
Пункты выдачи товара находятся более чем в 1000 городах России и СНГ. 
График работы курьера c 9-00 до 22-00.
Европейский стандарт качества в области экспресс-доставки вашего заказа.

                                                                                    

Intel RealSense Depth Camera D435i | IP-камеры | Видеонаблюдение | Камеры | Домашняя электроника

Intel® RealSense™ depth camera D435i combines the robust depth sensing capabilities of the D435 with the addition of an inertial measurement unit (IMU).

Adding an IMU allows your application to refine its depth awareness in any situation where the camera moves. This opens the door for rudimentary SLAM and tracking applications allowing better point-cloud alignment. It also allows improved environmental awareness for robotics and drones. The use of an IMU makes registration and calibration easier for handheld scanning system use cases and is also important in fields such as virtual/augmented reality and drones. When using the D435i, our Intel RealSense SDK 2.0 provides IMU data that is time stamped to align with our high quality depth data.

What is an IMU?
The inertial measurement unit (IMU) is used for the detection of movements and rotations in 6 degrees of freedom (6DoF). An IMU combines a variety of sensors with gyroscopes to detect both rotation and movement in 3 axes, as well as pitch, yaw and roll. It is used in applications such as gaming and pointing devices as well as image stabilization.

Combined Solution for Development & Productization
The Intel® RealSense™ D435i places an IMU into our cutting‑edge stereo depth camera. With an Intel module and vision processor in a small form factor, the D435i is a powerful complete package which can be paired with customizable software for a depth camera that is capable of understanding it’s own movement.

Ideal for cameras in motion
The combination of a wide field of view and global shutter sensor on the D435i make it the preferred solution for applications such as robotic navigation and object recognition. The wider field of view allows a single camera to cover more area resulting in less “blind spots”. The global shutter sensors provide great low‑light sensitivity allowing robots to navigate spaces with the lights off.

Complete Suite for Simple Integration
The depth camera D435i is part of the Intel® RealSense™ D400 series of cameras, a lineup that takes Intel’s latest depth‑sensing hardware and software and packages them into easy‑to‑integrate products. Perfect for developers, makers, and innovators looking to bring depth sensing to devices, Intel® RealSense™ D400 series cameras offer simple out‑of‑the‑box integration and enable a whole new generation of intelligent vision‑equipped solutions.

See What’s Inside
Get powerful image processing, depth perception, and more with the Intel® RealSense™ D400 series depth cameras.

Камера Intel RealSense 3D не может быть инициализирована

Интересно, почему время от времени камера Intel RealSense 3D не запускается? Я переустановил драйверы и SDK, а также DCM, но все равно это странно и очень непредсказуемо. Есть идеи, в чем может быть источник проблемы? Он должен иметь возможность запускать примеры в SDK в нормальной рабочей ситуации.

Ну, раньше проблема с тем, что он не мог инициализировать, заключалась в том, что только два его драйвера могли быть распознаны (а не виртуальный драйвер), как показано ниже, но теперь все его драйверы распознаны, и все равно он не может инициализировать.

таким образом, я получаю сообщение init failed при запуске примеров SDK.
Любой указатель для фиксации действительно ценится.

windows

driver

intel

device-driver

realsense

Поделиться

Источник


Mona Jalal    

29 июня 2015 в 22:09

4 ответа


  • Intel RealSense — Инструмент Разработки

    Я собираюсь разработать одно приложение с помощью intel realsense sdk. Я хочу знать, какой инструмент разработки ( Unity3d,. Нет ) лучше всего для этого ? очень хорошо в C#. Пожалуйста, предложите мне ?

  • Сохранение потока с помощью Intel RealSense

    Я новичок в Intel RealSense. Я хочу узнать, как сохранить потоки цвета и глубины в bitmap. Я использую C++ в качестве своего языка. Я узнал, что есть функция ToBitmap(), но она может быть использована для C#. Поэтому я хотел бы знать, есть ли какой-либо метод или какая-либо функция, которая…



2

Если вы также показываете встроенный webcam (кроме 3 списков RealSense), попробуйте отключить его, чтобы камера RS была видна как основная.

Поделиться


codecats    

01 июля 2015 в 18:34



0

На самом деле вы можете выбрать устройство, на котором хотите запустить образец, в меню «Device». Если вы правильно установили RealSense и если последняя версия DCM запущена (текущая версия 1.4, если я помню), вы должны иметь возможность выбрать устройство RealSense, а затем запустить образец.
Иногда служба DCM не запускается (например, если вы недавно принудительно перезапустили машину). Затем вам просто нужно перезапустить службу, и она должна работать.
Надеюсь, это поможет.

Поделиться


ArthurT    

20 июля 2015 в 10:48



0

Я также столкнулся с той же проблемой (на windows 10) и нашел способ, который решил ее для меня: найдите “Scanners and Cameras” в панели управления, выберите “Добавить устройство”, под “Manufacturer” выберите “Intel” и под “Model” выберите “Intel(R) RealSense(TM) Camera SR300 Virtual Driver” или версию, которую вы используете, и продолжайте установку.

Поделиться


uril    

08 декабря 2016 в 19:21



0

Вы установили правильные драйверы? Существует две версии камер real sense. Windows 10 работает с Intel Real Sense R3, который имеет совершенно иную архитектуру, чем его предшественник.

Поделиться


Praveen    

12 апреля 2017 в 13:37


Похожие вопросы:

Поддержка Intel RealSense java

Я хотел бы использовать Intel RealSense для распознавания голоса. И в документации, описанной java support, есть несколько примеров с кодом java, но нет никакой библиотеки для java. Этот код есть в…

Что такое эквивалент pmdGet3DCoordinates для камеры Intel RealSense 3D (SR300)?

Сейчас я пытаюсь написать аналогичный код для камеры PMD для камеры Intel RealSense 3D (SR300). Однако я не могу найти метод, который делает то же самое в realsense SDK. Есть ли для этого Хак или…

Intel RealSense SDK не работает с другими камерами RealSense

Я разрабатывал какое-то приложение с использованием Intel RealSense SDK. Все работало отлично. Я также смог запустить примеры кодов через visual studio. Теперь я купил новую камеру RealSense. Но это…

Intel RealSense — Инструмент Разработки

Я собираюсь разработать одно приложение с помощью intel realsense sdk. Я хочу знать, какой инструмент разработки ( Unity3d,. Нет ) лучше всего для этого ? очень хорошо в C#. Пожалуйста, предложите…

Сохранение потока с помощью Intel RealSense

Я новичок в Intel RealSense. Я хочу узнать, как сохранить потоки цвета и глубины в bitmap. Я использую C++ в качестве своего языка. Я узнал, что есть функция ToBitmap(), но она может быть…

Создание модели сканирования 3D с использованием облаков точек Intel RealSense D435

Ранее на этой неделе я получил камеру Intel RealSense D435 и теперь открываю для себя ее возможности. Проведя несколько часов исследований, я обнаружил, что в предыдущей версии SDK был пример…

как загрузить файл .JSON в камеру RealSense D435 с помощью C++ и intel API

Я пытаюсь настроить свою глубинную камеру (RealSense D435), чтобы получить лучшие/разные данные о глубине. Поэтому я хочу поэкспериментировать с различными предустановками из рекомендованной…

Проблемы с созданием оболочки ROS для камеры Intel RealSense

У меня возникли проблемы с созданием оболочки ROS для камеры Intel RealSense. Это сообщение об ошибке, которое я вижу: IOError: could not find ddynamic_reconfigure among message packages . Есть ли у…

как дать разрешение на камеру intel realsense на Ubuntu

OS:Ubuntu 18.04 камера: Intel realsense D415 Я могу использовать сыр, чтобы показать составное изображение камеры. Но когда я выполнить import pyrealsense2 as rs pipeline = rs.pipeline()…

Qt и Intel realsense начало работы

Я не знал, где спросить, как Новичок. Так что, если вы можете помочь… Я хочу создать проект с помощью: Qt 5.15.0 Visual studio 2019 C++ openCV 4.2.0 (если это необходимо) Камера Intel realsense На…

Аутентификация с Intel® RealSense™. От банкомата до смарт-замка

ПЛАС: Расскажите о функционале и преимуществах видеокамер Intel RealSense. Каким образом это решение интегрируется с банкоматом?

А. Карпов: Это может быть либо модуль в виде обычной платы, которую можно встроить в устройство, либо уже готовое решение в корпусе, которое пригодно к использованию сразу после приобретения.

С Intel сегодня работает ряд компаний, которые предоставляют такие законченные решения. С точки зрения программного обеспечения, нейронных сетей, которые используются для распознавания, решения могут быть реализованы на разных платформах с использованием софта Intel, либо компаний-­партнеров. В частности, решения на основе решений Intel уже используются в банкоматах известных мировых производителей — NCR и Nautilus Hyosung.

Таким образом, в зависимости от желаемого сценария компании могут использовать модули как для разработки конечных решений, так и как самостоятельное устройство.

Если мы говорим про банкоматы, то в большинстве случаев используются модульные камеры, которые встраиваются непосредственно в сам банкомат, для чего в корпусе АТМ-устройства приходится делать соответствующие технологические пропилы и отверстия. Это решение — дополнительный способ определить, что рядом с устройством находится именно тот человек, который проходит идентификацию как клиент.

Теперь несколько слов о технических возможностях используемых видеокамер. Размер видеокамеры серии F составляет примерно 1/5 поверхности пластиковой карты. F-камера реагирует на движение и автоматически включается в тот момент, когда ­кто-то появляется в пределах ее видимости. Это позволяет значительно продлить срок ее службы и автономной работы, например, при использовании в сочетании с «умными» замками.

Камера F450/455 анализирует лицо и сравнивает его с базой цифровых образов. Нейронная сеть обеспечивает высокую точность срабатывания и ошибку 1:1М, а также позволяет узнавать человека даже в медицинской маске, очках или шляпе.

Intel® RealSense™ — надежное решение для аутентификации по образу лица на устройстве, которое востребовано в банковском секторе, где требуется высокая точность аутентификации.

Технология Intel RealSense используется многими крупными банками на мировом рынке.

Intel RealSense Depth Camera D435i, серебристый (82635D435IDK5P): Электроника


В настоящее время недоступен.
Мы не знаем, когда и появится ли этот товар в наличии.

Марка

Intel

Цвет

Серебряный

Вес предмета

0.57 фунтов

Разрешение оптического датчика

1920 МП

Аппаратный интерфейс

USB типа C

Минимальное фокусное расстояние

16 миллиметров


  • Убедитесь, что это подходит
    введя номер вашей модели.

  • Intel Realsense D435i включает:

  • инерциальный измерительный блок bmi055.
  • Intel RealSense SDK 2.0, который обеспечивает поток данных глубины и imu.

  • imu данные с отметкой времени для согласования с данными глубины по мере необходимости.

  • настольный штатив. кабель usb-c.

Закрытие бизнеса по производству камер Intel RealSense

Послушать статью

Intel RealSense, производившая недорогие камеры и датчики с возможностью plug-and-play для роботов, закрывается.CRN был первым, кто сообщил эту новость, что с тех пор Intel подтвердила в The Robot Report . Intel заявила, что хочет сосредоточиться на своем основном бизнесе по производству микросхем.

«Мы сворачиваем наш бизнес RealSense и переводим наши таланты, технологии и продукты в области компьютерного зрения на продвижение инновационных технологий, которые лучше поддерживают наш основной бизнес и стратегию IDM 2.0», — сказал представитель Intel в электронном письме для CRN. «Мы продолжим выполнять наши обязательства перед нашими текущими клиентами и работаем с нашими сотрудниками и клиентами, чтобы обеспечить плавный переход.”

На вопрос о том, что ждет продукты RealSense в будущем, представитель Intel сказал The Robot Report : «Это вся информация, которую мы должны раскрыть прямо сейчас».

(Обновление в 20:54 по восточному времени 19 августа 2021 г. 🙂 Сотрудник Intel RealSense, пожелавший остаться неизвестным, только что отправил по электронной почте следующее. «Официальное сообщение по-прежнему состоит в том, что Intel решила свернуть бизнес с RealSense. Я, честно говоря, не понимаю, что это значит.Объявления [Окончание срока службы] для продуктов LiDAR и Face Authentication к концу месяца. Будет 6 месяцев EOL и последняя покупка. Отдельные стерео продукты будут по-прежнему предоставляться. D410, 415, 430, 450, модули и линейки интегрированных продуктов D415, 435, 435i останутся. D455 будет снято с производства ».

Этот человек добавил: «Я не знаю, как вы сворачиваете бизнес RealSense, продолжая продавать стерео продукты RealSense. Это очень расстраивает нас ».

(Обновление в 21:20 по восточному времени 19 августа 2021 г. 🙂 Андерс Граннет-Джепсен, технический директор RealSense Group, только что разместил это сообщение в LinkedIn:

Портфель Intel RealSense включает камеры глубины, датчики LiDAR, SDK с открытым исходным кодом и многое другое.Некоторые из возможностей, относящихся к робототехническим компаниям, включают предотвращение столкновений, распознавание объектов, измерение объема и отслеживание SLAM. Intel RealSense работала с такими робототехническими компаниями, как Aethon, Brain Corp, Double Robotics, RightHand Robotics, Simbe и другими. Производители воздушных дронов также используют Intel RealSense.

Кент Тиббилс — вице-президент по маркетингу ASI, дистрибьютора, продающего продукты RealSense. Он сказал CRN, что товары плохо продаются. «Было всего несколько единиц, которые покупали несколько единиц, от 10 до 40 за раз», — сказал он.«Это определенно было очень нишевым и очень специализированным для общего канала. Это был небольшой продукт ».

Эта новость вызывает удивление, но две недели назад Саги Бен Моше, глава RealSense и генеральный директор группы Intel Emerging Growth and Incubation, заявил, что покидает компанию. После 10 лет работы в Intel он хотел начать следующую главу своей карьеры.

Intel RealSense была основана в 2015 году. Генеральный директор Intel Пэт Гелсинджер недавно заявил, что хочет, чтобы Intel вернула себе корону в производстве микросхем. RealSense может отвлечь внимание от этой цели.

И снова Intel заявила, что выполнит свои обязательства перед текущими клиентами. Но вопрос в будущем: какая компания заполнит образовавшуюся пустоту, если решения RealSense вообще исчезнут? Tangram Vision, стартап из Сан-Франциско, специализирующийся на интеграции датчиков и оптимизации для роботов, недавно составил эту карту индустрии датчиков восприятия на 2021 год. Он предлагает взглянуть на некоторые альтернативы Intel RealSense.

Камера

RealSense — документация ISAAC 2021.1

Камера Intel RealSense 435 — это стереокамера, которая вычисляет глубину с помощью ИК
эмиттер.Кодлет камеры RealSense можно настроить несколькими способами для работы с различными устройствами Isaac.
SDK GEM:

RealsenseCamera Codelet

Isaac SDK предоставляет кодлет RealsenseCamera для доступа к данным.
потоки с камеры RealSense через librealsense SDK. В Jetson обрабатываются все зависимости
автоматически с помощью Isaac SDK и не требует ручной установки.

Кодлет можно настроить с помощью различных параметров. В частности, вы можете изменить желаемый
разрешение через параметры строк и столбцов и желаемую частоту кадров через параметр rgb_framerate
и depth_framerate параметров.Обратите внимание, что поддерживаются только определенные режимы, как указано.
в документации по кодлету. Если у вас подключено несколько камер
вам нужно указать желаемое устройство через параметры dev_index или serial_number .

Образец заявки

ISAAC предоставляет базовый пример приложения для тестирования камеры RealSense. Вы можете запустить его с помощью
следующая команда:

 bob @ desktop: ~ / isaac / sdk $ bazel run // apps / samples / realsense_camera.
 

После запуска приложения вы можете использовать Isaac Sight для просмотра изображений.
захвачено камерой.

Устранение неполадок

Примечания к прошивке

Камера RealSense может поставляться с устаревшей версией прошивки. Вы можете проверить версию прошивки
камеры, запустив пример приложения RealSense, как описано выше. Приложение печатает
сообщение на консоль, если версия прошивки не рекомендована.

Если вам необходимо обновить прошивку, следуйте инструкциям на официальном сайте:
https://dev.intelrealsense.com/docs/firmware-update-tool.

Рекомендуемая версия прошивки: 5.11.15 .

Использование порта USB 3.0 с кабелем USB 3.0

Для камеры RealSense требуется соединение USB3.0 +. Порты и кабели USB 3.0 можно определить по
компоненты синего цвета на внутренней стороне портов и кабельных разъемов. Порты Jetson Xavier USB-C
являются портами USB 3.0.

Тестирование камеры RealSense с портами USB-C выявило проблемы со стабильностью, которые решены.
с помощью USB-концентратора без питания. В
AmazonBasics USB 3.1 переходник типа C на 4-портовый алюминиевый концентратор
известно, что он надежно работает с камерой RealSense.

Известны кабели Accell USB C-to-A и C-to-C SuperSpeed ​​+ USB 3.1 Gen 2 (10 Гбит / с).
надежно работать с камерой RealSense.

x86_64 Настройка хоста Linux

Пользовательские исправления модуля ядра Linux и правила UDEV должны быть установлены на хосте Linux x86_64 для
Камера RealSense 435 работает правильно.

Мы рекомендуем ручную установку модулей ядра Linux, поскольку Isaac SDK использует 2.29
версия librealsense. Чтобы выполнить настройку вручную, следуйте инструкциям Intel
RealSense SDK
руководство по настройке.

Установка мощности Модель

Запуск sudo nvpmodel -m 0 включает все ядра и увеличивает минимальную тактовую частоту масштабирования
частота. Это изменение сохраняется после перезагрузки. Запустите sudo nvpmodel -q , чтобы отобразить текущий
настройки. Это увеличивает вычислительную мощность и может привести к уменьшению пропадания кадров и размытия изображения в
некоторые ситуации.

Попрощайтесь с технологией Intel RealSense, вспомнив ее невероятные демонстрации

Технология компьютерного зрения Intel RealSense скоро уйдет, поскольку компания «сворачивает» бизнес, согласно CRN .Если вы не помните технологию января этого года, когда Intel представила ее как способ создания систем распознавания лиц, вы можете вспомнить ее из некоторых невероятных технических демонстраций (или, возможно, нескольких устройств, если вы действительно обращали внимание) .

Теперь, когда технология выходит из строя, возможно, самое время оглянуться на некоторые из замечательных способов, которые мы видели, чтобы вспомнить хорошие времена.

  • CES 2013 — Intel рассказывает и демонстрирует то, что она называет «перцептивными вычислениями».«Компания позиционирует свои технологии как способ взаимодействия с вашим компьютером, двигаясь и разговаривая, и в следующем году …
  • CES 2014 — Intel объявляет о выпуске своих 3D-камер RealSense, которые, по ее словам, будут обеспечивать отслеживание движения, подобное Kinect, на ноутбуках.
  • CES 2015 — Intel демонстрирует летающий дрон и куртку, которая распознает окружение пользователя, благодаря технологии RealSense.
  • CES 2016 — Мы видим предварительный просмотр гарнитуры VR, которая использует RealSense для отображения реальной среды пользователя, и дрон, который использует эту технологию для обхода препятствий.Кроме того, Intel помещает Дитера в Fallout 4 , используя сканирование его лица RealSense.
  • , август 2016 г. — Intel анонсирует модуль RealSense, который позволяет роботам «чувствовать». Компания также представляет беспроводную гарнитуру VR под названием Project Alloy, которая, по ее словам, объединит реальный и виртуальный миры с помощью отслеживания движения RealSense.
  • Ноябрь 2016 г. — Intel позволяет The Verge опробовать гарнитуру «объединенной реальности» Project Alloy, в которой используется RealSense.На выставке CES 2017 компания продемонстрирует третье поколение гарнитуры, но позже в том же году «свернет» проект.
  • CES 2021 — Intel объявляет о выпуске программного обеспечения для бесконтактного управления RealSense Touchless Control, которое она представляет как способ сделать общедоступные киоски управляемыми с помощью жестов в воздухе вместо прикосновения к экрану.
  • Буквально неделю назад — Xiaomi выпускает на волю своего робота-пса, который использует RealSense для определения глубины.

По большей части демонстрации были просто классными приложениями, которые обычно не попадали в руки потребителей.На протяжении многих лет было несколько реальных продуктов RealSense, но они редко соответствовали тому, что мы видели на выставке CES.

Intel сообщила CRN , что она по-прежнему будет выполнять свои обязательства перед текущими клиентами RealSense, но сообщила, что сотрудники, работающие над RealSense, будут переходить на другие должности, более ориентированные на основные технологии Intel. Однако большинство людей, вероятно, помнят RealSense за классные демонстрации и обещание простого компьютерного зрения, которое, казалось, не совсем сработало.

Исправление: Предыдущая версия этой истории подразумевала, что Project Alloy был объявлен в 2017 году, в том же году, когда он был отменен. Фактически об этом было объявлено в 2016 году. Мы сожалеем об ошибке.

Intel RealSense Depth Camera — документация Copter

В этой статье объясняется, как настроить камеру Intel Realsense Depth Camera для использования с ArduPilot для предотвращения препятствий. Этот метод использует скрипт Python (не ROS), работающий на компьютере-компаньоне, для отправки информации о расстоянии в ArduPilot.

Аппаратные соединения

  • Установите камеру на автомобиле лицом вперед (другая ориентация пока не поддерживается) и по возможности обеспечьте изоляцию от вибраций. Подключите USB-кабель камеры к одному из синих портов USB3 на плате UP2
  • .

  • Подключите последовательный порт UP Squared к одному из телеметрических портов автопилота (например, Telem1, Telem2), как показано ниже.

Настройка UP Squared

Установите APSync в UP Squared:

  • Загрузите последний образ APSync (найдите apsync-up2-d435i-yyyymmdd.tar.xz здесь) и скопируйте на одну из флешек
  • Скачать Tuxboot
  • Отформатируйте вторую флешку и с помощью Tuxboot установите на нее Clonezilla.
  • Вставьте этот второй USB-накопитель в USB-порт UP Squared и затем включите плату UP Squared
  • Должно появиться меню загрузки CloneZilla. Нажмите Enter, чтобы выбрать первую опцию.
  • В CloneZilla:
    • Нажмите Enter, чтобы принять раскладку клавиатуры по умолчанию
    • Нажмите Enter, чтобы запустить clonezilla
    • Нажмите Enter, чтобы выбрать изображение устройства
    • Нажмите Enter для local_dev
    • Вставьте второй USB-накопитель, на который скопировано изображение APSync.
    • Нажмите Enter, чтобы продолжить и обнаружить USB-устройства.
    • Когда устройство обнаружено, используйте ctrl-c для выхода из экрана обнаружения
    • С помощью клавиш курсора выберите устройство, содержащее изображение APSync.
    • Выберите каталог apsync, содержащий изображение
    • Используйте вкладку, чтобы переместить «курсор» на «Готово», и нажмите «Ввод».
    • Нажмите Enter, чтобы подтвердить использование дискового пространства
    • Нажмите Enter, чтобы выбрать режим для начинающих
    • С помощью клавиш курсора выберите «восстановленный диск» и нажмите ввод
    • Выберите файл изображения для восстановления и снова нажмите ввод
    • Выберите целевой диск для перезаписи.Любые данные на этом диске будут перезаписаны образом APSync. Нажмите ввод
    • Выберите «Да, проверьте изображение перед восстановлением» и нажмите Enter. Это обеспечит работоспособность образа, который вы скопировали на USB.
    • Выберите «-p выбрать». Нажмите Enter в любой подсказке, пока не начнется восстановление.
    • Теперь должен быть виден прогресс установки, подождите несколько минут
    • Введите «Y», когда будет предложено перезаписать все данные на выбранный диск.
    • После завершения процесса клонирования появится сообщение об успешном завершении, нажмите клавишу ВВОД, чтобы продолжить.
    • Нажмите Enter, чтобы выключить питание.
    • Извлеките все USB-накопители из платы. Вы также можете удалить свой вход монитора.
    • Перезагрузка

Настроить ArduPilot

Подключитесь к автопилоту с наземной станцией (например, планировщиком миссии) и убедитесь, что установлены следующие параметры:

  • SERIAL2_PROTOCOL = 2 (MAVLink2). Обратите внимание, это предполагает, что сопутствующий компьютер подключен к порту AutoPilot «Telem2».
  • SERIAL2_BAUD = 921 (921600 бод)

Включите любое из препятствий по вашему выбору.Простое поведение избегания (Stop / Slide) будет использоваться в качестве примера для этой вики:

  • PRX_TYPE = 2: для MAVLink
  • AVOID_ENABLE = 7: «Все» для использования всех источников информации о барьере, включая датчики «приближения».

Пример специфики для режима Loiter и AltHold :

  • AVOID_MARGIN = 1.5: На каком расстоянии от барьера транспортное средство будет пытаться остановиться или проскользнуть по нему
  • AVOID_BEHAVE = 1: должно ли транспортное средство просто остановиться (1) перед барьером или скользить (0) вокруг него
  • AVOID_DIST_MAX = 1.5: На каком расстоянии от барьера транспортное средство начинает отклоняться от барьера в AltHold
  • AVOID_ANGLE_MAX = 3000: Как далеко транспортное средство будет пытаться отклониться от барьера

Необязательно : Вы можете назначить RC-переключатель для включения режима избегания вместо постоянного включения по умолчанию. Пример настройки RC7 для включения Избегания в Планировщике миссий:

После изменения параметров перезагрузите автопилот.

Наземные испытания: предполетная проверка

Чтобы убедиться, что образ APSync работает и все было правильно настроено, убедитесь, что ArduPilot получает сообщения OBSTACLE_DISTANCE , в Планировщике миссий: нажмите Ctrl + F и нажмите «Mavlink Inspector», вы должны увидеть поступающие данные в:

  • Если у вас стабильное телеметрическое соединение, частота данных для сообщения OBSTACLE_DISTANCE должна быть близка к 15 Гц .В противном случае используйте USB-кабель для соединения точки доступа и GCS, чтобы убедиться, что данные об избежании препятствий принимаются точкой доступа в соответствии с назначением, прежде чем двигаться дальше.

В планировщике миссий откройте вид сближения ( Ctrl-F > сближение ):

  • Поместите автомобиль / камеру глубины перед некоторыми препятствиями, убедитесь, что расстояние до ближайшего препятствия точно указано в обзоре приближения.
  • Вид сближения будет группировать все расстояния в пределах дуги 45 градусов вместе (всего 8 квадрантов вокруг транспортного средства), поэтому не более 3 ближайших препятствий будут отображаться одновременно в окне приближения (поскольку поле обзора камеры меньше 90 градусов).

Летные испытания

Для вашего первого полета:

  • Процесс испытания: Взлет -> AltHold / Loiter -> Двигаться к препятствию.
  • Толкайте автомобиль только осторожно и наблюдайте за реакцией.
  • Ожидаемое поведение: Автомобиль должен остановиться / скользить (устанавливается параметром AVOID_BEHAVE ) на определенном расстоянии от препятствия (устанавливается параметром AVOID_MARGIN / AVOID_DIST_MAX в зависимости от режима полета).

Если все работает, как ожидалось, следующим шагом будет проверка границ безопасности для вашего конкретного датчика / транспортного средства / среды:

  • Поскольку камера имеет ограниченное поле обзора и диапазон мин / макс глубины, важно проверить пределы, чтобы обеспечить безопасность вашего автомобиля в реальных условиях.
  • Пилот должен иметь приблизительное представление об этих запасах и внести некоторые накладные расходы в планирование миссии.

Эксперименты

  • Первые ручные тесты: подтвердите ожидаемое поведение при наличии препятствия, а также поле обзора и пределы безопасности для моего автомобиля и камеры. Полеты выполнялись в Лойтере:
  • .

  • Автономные летные испытания: вот короткое видео, в котором резюмируются основные этапы реальных экспериментов и то, как должна себя вести рабочая система.В этом примере автомобиль будет пытаться следовать по квадрату, но остановится перед любым препятствием.

Запись DataFlash

  • Соответствующие сообщения для камеры глубины: PRX.CAn и PRX.CDist , которые обозначают угол и расстояние до ближайшего объекта, соответственно.
  • Вы также можете просматривать данные о расстоянии в каждом квадранте (D0, D45 и D315 — или 0 градусов, 45 градусов и 315 градусов). Обратите внимание, что диапазон значений для CAn составляет 360 градусов, в то время как для CDist и другого Dangle всего несколько метров, поэтому вам может потребоваться просмотреть их отдельно.

Обзор системы

Вкратце, сценарий преобразует изображение глубины, полученное камерой глубины Realsense, в расстояния до препятствий впереди. AP поддерживает сообщения MAVLink DISTANCE_SENSOR и OBSTACLE_DISTANCE, причем первое передает одно расстояние, а второе — массив расстояний. OBSTACLE_DISTANCE позволяет нам отправлять до 72 расстояний одновременно, поэтому он будет использоваться.

  • Во-первых, важно применить фильтры той или иной формы к необработанному изображению с глубиной , чтобы избежать черных дыр, шумов и в целом улучшить данные для получения более стабильных результатов.Вот полный список фильтров, включенных в скрипт, которые вы можете включить индивидуально. Чтобы проверить настройки для различных фильтров, вы можете использовать пример rs-depth-quality, предоставленный librealsense , или запустить пример скрипта opencv_depth_filtering.py . На следующем рисунке показано необработанное (слева) и отфильтрованное (справа) изображение глубины с горизонтальной линией в качестве позиции, в которой мы вычисляем расстояния до препятствий.
  • Затем, исходя из входного / обработанного изображения глубины, расстояния должны быть на одной и той же горизонтальной линии (изображенной на правом изображении), поскольку сообщение не содержит поля для различения разных углов наклона.Мы делим горизонтальное поле зрения камеры на 72 равномерно расположенных луча. Вдоль каждого луча мы выбираем пиксель, соответствующий концу луча, и выбираем значение глубины.
  • Впоследствии линия препятствий будет оставаться «фиксированной», когда транспортное средство наклоняется вверх и вниз, путем компенсации текущего тангажа транспортного средства, который предоставляется сообщением ATTITUDE MAVLink.
  • Наконец, сообщение должно быть отправлено с частотой 10 Гц или выше, в зависимости от того, насколько быстро движется автомобиль.

Настройка вспомогательного компьютера вручную

Эти шаги требуются только в том случае, если вы еще не установили APSync на сопутствующий компьютер.

Для сопутствующего компьютера:

  • OS : Ubuntu 18.04 (настоятельно рекомендуется, поскольку этот выпуск является самым последним с необходимыми библиотеками).
  • Python 3.6 и выше, что также является стандартом для Ubuntu 18.04. Проверьте версию с помощью $ python3 -V , вы должны увидеть Python 3.6.9 или выше.
  • librealsense: загрузите или установите из официального источника.
  • pyrealsense2 также требуется

Процесс установки сильно различается для разных систем, поэтому инструкции для вашей конкретной системы см. На официальной странице github:

Установить вспомогательные пакеты

Сначала установите Python3 для Ubuntu (не обязательно для Ubuntu 18.04 и выше). Затем вы сможете запустить примеры, предоставленные Intel, которые можно найти в папке ~ / librealsense / wrappers / python / examples с помощью команды Python3.

 # Обновите переменную окружения PYTHONPATH, чтобы добавить путь к библиотеке pyrealsense2
экспорт PYTHONPATH = $ PYTHONPATH: / usr / local / lib

cd ~ / librealsense / wrappers / python / примеры

# Вы должны увидеть поток данных о глубине, поступающий с камеры D4xx.
python3 python-tutorial-1-depth.py
 

Установите pip для Python3 (pip3) и других поддерживающих пакетов:

 sudo apt-get install python3-pip
pip3 установить pyrealsense2
pip3 install преобразования
pip3 установить dronekit
pip3 установить apscheduler
pip3 install pyserial # Для последовательного подключения
pip3 установить opencv-python
sudo apt -y установить python3-gst-1.0 gir1.2-gst-rtsp-server-1.0 gstreamer1.0-plugins-base gstreamer1.0-plugins-ugly libx264-dev

# Требуется только в том случае, если вы установили минимальную версию Ubuntu
sudo apt установить python3-opencv
 

Загрузите основной сценарий d4xx_to_mavlink.py или клонируйте репозиторий vision_to_mavros и найдите папку сценария.

 cd / path / to / download # Или рабочее пространство ROS ~ / catkin_ws / src
git clone https://github.com/thien94/vision_to_mavros.git
cd vision_to_mavros / скрипт
chmod + x d4xx_to_mavlink.py
chmod + x opencv_depth_filtering.py # Полезно для проверки параметров фильтрации
 
  • Основной сценарий, который будет использоваться с AP, — это d4xx_to_mavlink.py . Второй сценарий opencv_depth_filtering.py можно использовать для проверки различных параметров фильтрации на досуге.

Внесение изменений в скрипт

Если монитор не подключен, отключите параметр отладки в сценарии d4xx_to_mavlink.py , установив debug_enable_default = False , или добавьте аргумент --debug_enable 0 при запуске сценария:

 cd / путь / к / скрипту
python3 d4xx_to_mavlink.ру
 
  • Если опция отладки включена, дождитесь отображения входного и обработанного изображений глубины. Скорость обработки (кадров в секунду) можно увидеть в правом верхнем углу. Горизонтальная линия на выходном изображении (справа) указывает линию, по которой мы находим расстояния до препятствий перед камерой.

Настройка видеопотока изображения RGB с камеры:

  • Сценарий d4xx_to_mavlink.py имеет параметр RTSP_STREAMING_ENABLE .Если включено ( True ), видеопоток RGB-изображения с камеры Realsense будет доступен по адресу rtsp: // : 8554 / d4xx с UP2 / компаньон.
  • В планировщике миссий: щелкните правой кнопкой мыши HUD> Видео> Установить источник GStreamer, чтобы открыть окно URL-адреса Gstreamer. Передайте следующий пример конвейера в окно URL-адреса Gstreamer. Измените соответственно:
 rtspsrc location = rtsp: // : 8554 / d4xx caps = «application / x-rtp, media = (string) video, clock-rate = (int) 

, encoding-name = (string)» h364 ”задержка = 100! очередь ! rtph364depay! avdec_h364! видеоконвертировать! видео / x-raw, формат = BGRA! appink name = outink

  • Задержка видеопотока зависит от сети, а также от конфигурации конвейера, поэтому не стесняйтесь настраивать / изменять параметры.

Поскольку производительность камеры глубины варьируется в зависимости от настроек / условий, рекомендуется дополнительно настроить параметры скрипта перед фактическим полетом. Ниже приведены некоторые улучшения, основанные на реальных экспериментах с системой:

  • Когда автомобиль находится на земле, возможно, что большая часть изображения глубины будет видеть землю. В таких случаях в сценарии d4xx_to_mavlink.py уменьшите параметр ruptle_line_height_ratio (ближе к нулю), чтобы переместить линию обнаружения препятствий вверх.
  • Если данные о глубине зашумлены, увеличьте толщину линии препятствий, изменив параметр ruptle_line_thickness_pixel в скрипте. На момент написания этой статьи идея заключалась в том, чтобы обработать группу пикселей в пределах определенной границы (определяемой этим параметром) и найти наименьшее значение для использования в качестве индикатора для объекта. Это может измениться в будущем, если будет разработана более совершенная схема.

Производство камер Intel RealSense сокращается

Когда-то Intel была настолько крупной и успешной, что могла позволить себе рисковать в областях и предприятиях, которые были только отдаленно связаны с ее основным бизнесом по производству микросхем.Какое-то время сюда входили носимые устройства, а также оборудование для компьютерного зрения, такое как камеры и LiDAR. Intel по-прежнему велика, но ее превосходство постоянно оспаривается почти на всех фронтах. Сосредоточившись на своих сильных сторонах, Intel решила также переориентировать свои ресурсы на неэффективные предприятия, такие как свое многолетнее подразделение RealSense, производившее довольно интересные продукты и демонстрации в области компьютерного зрения.

Компьютерное зрение стало основной частью сегодняшнего компьютерного опыта, и мы даже не подозреваем, что оно есть.Компьютерное зрение, от наклеек дополненной реальности до обнаружения сцен в приложении камеры и распознавания лиц, бесшумно работает в фоновом режиме, в то время как ИИ и машинное обучение находятся в центре внимания. Конечно, он все еще существует, и на нем все еще можно получить прибыль, но только не для Intel.

Бизнес Intel RealSense касался не только процессоров и программного обеспечения. Компания также продавала актуальные продукты, такие как камеры, датчики и модули, позволяющие работать с компьютерным зрением, например, приложения для распознавания лиц или дополненной реальности.Известные примеры включают смартфон Project Tango и автономную гарнитуру VR Project Alloy.

Хотя у Intel действительно были заказчики на эти продукты, кажется, что их количество за последние годы сократилось, как и прибыль. Для тех, кто связан с RealSense, неудивительно, что компания решила окончательно свернуть ее, особенно после того, как ее главный исполнительный директор Саги Бен Моше объявил о своем уходе. Это был лишь вопрос времени, и оно наконец пришло.

Intel, конечно же, обещает по-прежнему выполнять текущие обязательства перед клиентами, и ее технологии и знания в области компьютерного зрения в конечном итоге найдут свое применение в ее основном бизнесе по производству микросхем.В последнее время технологический гигант прилагает усилия, чтобы вернуть себе территорию в сфере производства ПК и серверов, и избавление от лишнего багажа является долгожданным шагом для некоторых партнеров и наблюдателей за рынком.

Intel прекращает разработку своих камер RealSense на базе искусственного интеллекта

Камеры Intel RealSense изначально были разработаны для бесконтактного взаимодействия, но в январе были переведены на распознавание лиц.Сегодня Intel подтвердила, что она «сворачивает» разработку высокотехнологичных камер и сенсоров, чтобы сосредоточиться на своем основном бизнесе по производству микросхем.

В заявлении на номер CRN Intel сообщает, что решила прекратить разработку камер и сенсоров. Хотя это, возможно, и неожиданно, но Engadget указывает на то, что руководитель группы RealSense Саги Бен Моше объявил о своем уходе из Intel две недели назад.

«Мы сворачиваем наш бизнес RealSense и переводим наши таланты, технологии и продукты в области компьютерного зрения на продвижение инновационных технологий, которые лучше поддерживают наш основной бизнес и IDM 2.0 », — сказал представитель Intel в электронном письме CRN. «Мы продолжим выполнять наши обязательства перед нашими текущими клиентами и работаем с нашими сотрудниками и клиентами, чтобы обеспечить плавный переход».

RealSense изначально был предложен потенциальным клиентам как быстрый и простой способ создания продуктов, оснащенных компьютерным зрением. Линия RealSense состояла из камер со стереоскопическим освещением, LiDAR и кодированного освещения, а также модулей камер, которые могли поддерживать высокую частоту кадров и высокое разрешение в различных форм-факторах.

Предоставлено: Intel Corporation

В конце концов, команда RealSense сконцентрировалась на распознавании лиц, которое проще всего сравнить с технологией Apple FaceID.

«Intel RealSense ID сочетает в себе активную глубину со специализированной нейронной сетью, выделенной системой на кристалле и встроенным элементом безопасности для быстрого и безопасного шифрования и обработки пользовательских данных», — заявила компания в январе, также пообещав, что она будет работать точно так же. быстро, как привыкли клиенты с Apple Face ID.

Intel продавала свой RealSense ID по цене 99 долларов за модуль или по 10 штук за 750 долларов. Intel начала поставки устройств в марте, но с этим объявлением завершит только текущие заказы и не будет принимать новые, поскольку сворачивает бизнес, который продавал устройства всего пять месяцев.

CRN поговорил с Кентом Тиббилсом, вице-президентом по маркетингу ASI, дистрибьютора продуктов RealSense из Фремонта, штат Калифорния. Он сказал CRN , что, хотя он не знал о плане закрытия всего бизнеса RealSense, для него это не стало сюрпризом, поскольку было всего несколько клиентов, которые покупали небольшое количество устройств.Он говорит, что это был нишевый продукт, который был очень специализированным и поэтому не продвигался быстро или в больших количествах.

Engadget отмечает, что это решение имеет смысл с точки зрения заявленных целей Intel. Генеральный директор компании Пэт Гелсинджер заявил, что хочет, чтобы Intel вернула себе корону в производстве микросхем, но в этой битве она проиграла AMD.

Оставьте комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *