hDroneLocator

Описание экранов hDroneLocator

Этот документ описывает основные экраны hDroneLocator и их роль в полевых испытаниях. Он нужен оператору, разработчику и для переноса логики в hunterDrone.

1. Главный экран

Главная страница - рабочий экран оператора.

На ней должны быть видны:

• название приложения;
• версия сборки;
• состояние входного сигнала;
• спектр или спектрограмма;
• текущая гипотеза: дрон / мотор / ветер / речь / шум;
• F0 - основная частота звука;
• гармоники;
• направление;
• вероятность / уверенность;
• текущий режим записи или наблюдения.

Главная страница отвечает на вопрос: что сейчас слышит система?

Основные действия:

• начать наблюдение;
• сохранить сигнатуру;
• открыть настройки;
• открыть связь;
• открыть камеру;
• открыть журнал;
• перейти к гармоникам;
• открыть события цели.

2. Экран Настройки

Экран настроек задает параметры анализа.

Типовые параметры:

• размер БПФ - быстрого преобразования Фурье;
• нижняя частота анализа;
• верхняя частота анализа;
• усиление;
• расстояние между микрофонами;
• калибровка задержки;
• баланс каналов;
• чувствительность;
• режим теста от микрофона телефона;
• режим приема от микроконтроллера.

Экран отвечает на вопрос: как именно анализировать звук?

Для полевых испытаний настройки лучше фиксировать в начале сессии и не менять без записи в комментарии.

3. Экран Просмотра

Экран просмотра нужен для анализа уже сохраненных файлов.

Он показывает:

• список сигнатур дрона .drsig.json;
• список привязанных файлов .stereo.pcm16. Такой файл нужен для повторной проверки: если потом захотим пересчитать сигнатуру новым алгоритмом, посмотреть спектр заново или проверить ошибку, у нас остается исходный аудиофрагмент;
• .stereo.pcm16 - это не MP3 и не WAV. Обычный проигрыватель может его не открыть, потому что внутри нет заголовка с частотой и форматом. Для прослушивания нужно знать параметры: стерео, 16-битный знаковый PCM - импульсно-кодовая модуляция, обычно 48000 Гц;
• краткое описание каждой сигнатуры;
• модель дрона;
• тип источника;
• F0 - основная частота звука;
• гармоники;
• качество записи;
• условия испытания.

Экран отвечает на вопрос: что уже записано в библиотеку?

Основные действия:

• открыть сигнатуру;
• сравнить сигнатуры;
• экспортировать файл;
• проверить пригодность для обучения;
• найти ошибочно подписанные записи.

4. Экран Связи

Экран связи нужен для беспроводной сети Wi-Fi и UDP - протокола быстрой передачи сетевых пакетов.

Он показывает:

• прием аудио от микроконтроллера;
• адрес микроконтроллера;
• порт аудио;
• порт результата локатора;
• адрес внешнего контроллера;
• порт JSON - текстового формата обмена данными;
• состояние отправки;
• последний принятый пакет;
• последний отправленный JSON - пакет результата в текстовом формате.

Экран отвечает на вопрос: с кем приложение сейчас связано?

Для hunterDrone здесь дополнительно нужен поиск микроконтроллера:

• широковещательный поиск - метод поиска устройств, служб или ресурсов в локальной сети, при котором один узел отправляет запрос всем устройствам сети сразу;
• отправка цели;
• состояние микроконтроллера;
• время последнего контрольного сигнала, подтверждающего работоспособность программы или устройства.

5. Экран Камера

Экран камеры нужен для привязки акустического события к визуальному наблюдению.

Он может использоваться для:

• подтверждения, что в кадре действительно дрон;
• сохранения визуального примера;
• фиксации азимута;
• записи комментария;
• обучения оператора.

Экран отвечает на вопрос: что было видно во время акустического события?

Для будущего hunterDrone камера может быть не основной, но полезна для проверки ложных тревог.

6. Экран Журнал

Журнал хранит историю испытаний и обнаружений.

В журнале должны быть:

• дата и время;
• сессия;
• метка;
• тип источника;
• устойчивость;
• F0 - основная частота звука;
• гармоники;
• направление;
• ветер;
• качество записи;
• путь к сигнатуре;
• комментарий оператора.

Экран отвечает на вопрос: что происходило во время испытания?

Журнал особенно важен после полевого дня, когда нужно понять, какие записи пригодны для библиотеки.

7. Экран События цели

Экран событий цели показывает не статичную запись, а развитие цели во времени.

Примеры событий:

• цель появилась;
• цель усилилась;
• цель захвачена;
• цель потеряна;
• ручной захват;
• авто-захват;
• изменение направления;
• разделение целей;
• ложная тревога.

Экран отвечает на вопрос: как жила цель во времени?

Для hunterDrone этот экран превращается в журнал сопровождения.

8. Экран Обучение

Экран обучения нужен для формирования библиотеки.

Он помогает:

• создать профиль дрона;
• создать профиль фона;
• создать профиль не-дрона;
• оценить качество записи;
• собрать несколько сигнатур в один профиль;
• проверить баланс положительных и отрицательных примеров.

Экран отвечает на вопрос: как сделать библиотеку лучше?

Рекомендуемые группы:

• дроны;
• не-дроны;
• ветер;
• транспорт;
• речь;
• фон площадки.

9. Экран Гармоники

Экран гармоник показывает акустический отпечаток дрона.

На нем должны быть:

• F0 - основная частота звука;
• список гармоник;
• уровни гармоник;
• harmonicScore - оценка гармоник: насколько хорошо звук похож на гармонический “голос” дрона;
• harmonicCount - количество гармоник, найденных в звуке;
• связь гармоник со спектром;
• пояснение, какие полосы устойчивые.

Экран отвечает на вопрос: есть ли у звука дрона характерная гармоническая структура?

Если гармоник мало, но сигнал громкий, это еще не значит, что найден дрон. Если гармоники устойчивые и совпадают с библиотекой, уверенность распознавания должна расти.

10. Что важно для hunterDrone

В hunterDrone пользовательский интерфейс проще, чем в hDroneLocator.

Главные экраны hunterDrone:

• локатор;
• спектр;
• библиотека;
• связь с микроконтроллера;
• журнал обнаружений;
• настройки чувствительности.

hunterDrone показывает оператору не все исследовательские детали сразу, а только:

• есть цель или нет;
• где она;
• насколько уверенно;
• какой тип дрона похож;
• сколько целей;
• отправлен ли JSON - текстовый пакет результата - в микроконтроллер.

11. Общее правило интерфейса

hDroneLocator - экран исследователя. hunterDrone - экран оперативного обнаружения.

Поэтому:

• hDroneLocator может показывать больше технических данных;
• hunterDrone показывает меньше, но быстрее и яснее.