К вопросу о бензоколонке..

Аватар пользователя arelyt

Spirit патентует технологию сверхсжатия информации под «закон Яровой»

05.10.2016, СР, 10:01, Мск

Отечественная ВКС-компания Spirit оформила патентную заявку на технологию сверхсжатия видео и голоса большого объема, которая может оказаться востребована российским рынком в связи с принятием пакета «законов Яровой».

Патентная заявка Spirit

Российская компания Spirit, разработчик ВКС-сервера Videomost подала заявку на получение патента на технологию сверхсжатия мультимедийной информации (видео и голоса) большого объема для размещения в системах хранения данных (СХД).

В патентной заявке говорится, что изобретение относится к области сжатия, передачи и хранения в компактном виде мультимедийной информации, циркулирующей в системах передачи/записи видео, изображений, речевых/аудио потоков, графических и текстовых файлов, включая системы речевой связи, видеоконференции, видеонаблюдение, системы хранения данных, а также поисковые системы.

Предложенная концепция интеграции интеллектуальной классификации разных фрагментов мультимедийной информации и известных методов кодирования источника с потерями, разработанная Spirit, позволяет, с точки зрения компании, минимум на порядок повысить эффективность компактного представления мультимедийной информации по сравнению с традиционными методами сжатия изображений, видео, речевых сообщений и аудиосигналов и позволяет ответить на вопросы мета-уровня: что хранить, как и в каком формате, как определить ценность хранимой информации для системы принятия решения, как ее закодировать и записать в цифровую память.

Рыночная подоплека

В Spirit считают, что сегодня в связи с принятием так называемого пакета законов Яровой резко возрос интерес отечественных операторов связи к технологиям эффективного сжатия и хранения данных в компактном виде, которые бы позволили существенно экономить ресурсы СХД. В прессе фигурируют космические значения стоимости ЦОДов, которые необходимы для реализации закона. Однако все эти расчеты сделаны для стандартных протоколов связи и кодирования голоса и видео, говорят в компании.

Spirit подал заявку на патент технологии сжатия данных, которая может позволить операторам связи тратить в десятки раз меньше на СХД при исполнении «закона Яровой»

Видео сегодня занимает более 70% пропускной способности мировых телеком-сетей. Запись и последующее декодирование качественного, разборчивого голоса критически важны для исполнения закона Яровой, для последующего анализа и поиска в записанной речи программными средствами или человеком, добавляют разработчики.

Возможности сжатия речи

Популярные международные стандарты ITU-T для операторов связи — голосовые кодеки G.729, G.723.1 сжимают речь примерно в 8 раз (с потерями), после этого Spirit, по заявлению компании, может сжать речь еще в 3 раза. «Один из высокоэффективных специализированных кодеков для записи речи SpiritVostoc (VoiceStorageCodec) уже прошел обкатку и временем и клиентами», — говорят разработчики.

Spirit Vostoc — это специализированный вокодер, работающий на скорости 2400 бит/с и спроектированный специально для хранения речи. По качеству ее воспроизведения Vostoc в своем классе превосходит мировые аналоги, заверяют в компании. «Когда заходит речь о поиске лучшего решения для хранения большого объема мультимедийных данных, необходимо уделять внимание двум основным параметрам: степени сжатия и качеству записанной речи», — поясняетВладимир Свириденко, технический директор Spirit. — У нас разработаны и уже используются на мировом рынке технологии сжатия голоса, которые позволяют записать в 1 МБ памяти почти 2 часа вокодированной речи».

Возможности сжатия видео

Популярные международные стандарты ITU-T для операторов связи и ВКС-вендоров — видео кодеки H.263/H.264 — сжимают видео в среднем примерно в 50 раз (с потерями), после этого Spirit, по заявлению компании, может сжать видео еще в 100 раз, путем интеллектуального анализа информации на основе ее важности.

«Закон требует записывать и хранить все мультимедийные данные, и, если текст не занимает много места в СХД, то для хранения речи, аудио и видео, потребуются на порядки большие ресурсы. Нет надобности хранить весь “информационный мусор”, более компактно можно записать малоинформативную часть данных, а вот все самые важные фрагменты записи должны быть представлены качественно» — комментирует профессорВладимир Свириденко, технический директор Spirit и автор патентной заявки.

Ликбез Spirit по кодированию

Для кодирования видео широко используются кодеки ITU-T Н.26Х, а также проприетарные кодеки VPх. Коэффициент сжатия варьируется от 10 до 500 раз в зависимости от допустимой скорости видеопотока или выделенного объема памяти для хранения изображений/видео, уровня заданного качества, типа кодека и специфики материала. Широко используемый в таких кодеках принцип сжатия изображений и видео с потерями — это устранение пространственной избыточности на базе перехода из пространственной области в частотную на базе трансформации матрицы изображения, как в JPEG (или опорного кадра, как в MPEG 2 и 4) и использования системы ортогональных функций (преобразование Фурье, Уолша, дискретного косинусного преобразования (DCT), вейвлетов и др.) и тонкого или грубого квантования компонент, что вносит погрешность, и последующее кодирование квантованных компонент на принципах энтропийного кодирования без потерь (в частности, арифметического кодирования); устранение временной избыточности в соседних кадрах видеопотока, в которых, как правило, есть небольшие изменения за счет движения объектов в кадре или видеокамеры, выявляемые наблюдателем движения (motion estimator) и определением векторов движения для кодирования только измененных фрагментов нового кадра по отношению к опорному (что детально описано в стандартах MPEG 2 и 4, Н.26х).

Для кодирования речи используются речевые кодеки по стандартам ITU-T серии G.7xx (G.711, G.718, G.719, G.722.2 (AMR WB), G.723.1, G.726, G.729, G.729.1 и др.), кодеки GSM, SILC, iLBC и другие проприетарные кодеки. Коэффициент сжатия варьируется от 5 до 50 раз в зависимости от требуемой скорости речевого потока на выходе кодера, уровня заданного качества, допустимой задержки и специфики речевого сигнала (с учетом пауз в речи). Если же форма оригинального сигнала сохраняется на выходе кодека с контролируемой погрешностью, то такие кодеки называются кодеками речевой волны (waveform codecs).

Для кодирования аудио-сигналов используются такие известные и широкоиспользуемые аудио-кодеки как МР3, ААС, ААС+, WMA и др. Практически все аудио-кодеки построены на основе метода waveform coding, но обработка сигнала производится, как правило, в частотной области. Коэффициент сжатия аудиопотока варьируется от 5 до 30 раз и зависит от полосы частот аудио-сигнала и требуемого качества воспроизведения аудио при декодировании.

Несколько фактов о Spirit

Компания Spirit — разработчик известного на рынке ВКС-решения Videomost — специализируется в области разработки и лицензирования программных движков для передачи голоса и видео по IP-сетям. Ее коммуникационная программная платформа операторского класса Spirit используется операторами связи, производителями оборудования, разработчиками программного обеспечения и веб-сервисов и обслуживает свыше миллиарда пользователей более чем в 100 странах мира — «больше чем Skype», как любят подчеркивать в компании.

Программные продукты компании лицензированы и/или стоят внутри популярных потребительских продуктов Apple, Adobe, ARM, AT&T, Avaya, Blizzard, BroadSoft, BT, China Mobile, Dialogic, Ericsson, HP, HTC, Huawei, Korea Telecom, Kyocera, LG U+, Mitel, Microsoft, NEC, Oracle, Polycom, Reliance, Samsung, Skype, Texas Instruments, Toshiba, Viber, ZTE и более 250 других мировых технологических лидеров. Прямые клиенты Spirit сегодня являются производителями более 60% смартфонов в мире. 

Источник http://www.cnews.ru/news/top/2016-10-05_spirit_patentuet_tehnologiyu_sverhszhatiya_informatsii

Комментарий автора: 

60%, Карл...

Комментарии

Аватар пользователя Напильник
Напильник(10 лет 1 месяц)

Хм, спорно, смысл в вырезании "ненужной" информации, только как понять, что нужно, что нет? Если оставлять ключевые слова и области интереса на видео, то потеряется контекст. Работаю в области видеонаблюдения если что, потеря деталей зачастую приводит к обесцениванию информации в целом.

Аватар пользователя Elya
Elya(9 лет 8 месяцев)

В далеком 97-м году я был знаком с двумя программистами, которые написали видеокодек не на Фурье, а используя преобразование Адомара. Кодек был очень быстрый, видео 800х600 запаковывал и разжимал в реальном времени на компе с процом Pentium 200 MMX. Характер артефактов был не такой как в жипеге, с увеличением сжатия картинка теряла цвет и становилась как бы присыпанной песочком. Степень сжатия при сравнимом качестве была раза два выше чем в мпеге.

Если в новости все верно, то Spirit молодцы. Но, если честно, я не верю, что видео, пожатое в 50 раз можно еще утоптать в 100, не потеряв сильно в качестве.

Аватар пользователя sPirtovicH
sPirtovicH(12 лет 3 месяца)

ну мы упомянутый Видемост используем, достаточно серьезный подход к разработке, за этот отечественный программный продукт ну в принципе не стыдно. Так что молодцы точно)

Аватар пользователя nictrace
nictrace(12 лет 2 месяца)

Непонятно, в чем новизна патента?

Все перечисленные кодеки - уже запатентованы...

А вот то, что единожды закодированный сигнал можно заархивировать еще раз, причем с потерей качества - это ненаучная фантастика)

Аватар пользователя Напильник
Напильник(10 лет 1 месяц)

Не, как раз пережать зажатое с потерей качества как раз таки тривиальная задача. Вот без потери - соглашусь - больше похоже на маркетинг.

Аватар пользователя nictrace
nictrace(12 лет 2 месяца)

если сначала разжать - то можно, но тогда накой нам два костыля кодека?))

Аватар пользователя Напильник
Напильник(10 лет 1 месяц)

Ну очевидно, что они сначала разожмут из условного H264, затем обрежут инфу как посчитают нужным, затем зажмут еще раз. Операции тяжелые сами по себе. Зачем - это правильный вопрос, лично мне кажется, что с учетом необходимых мощностей по разжатию, анализу и пережатию, да еще и для огромного количества источников, реальный выигрыш в 10-30% не будет иметь никакого преимущества. Но они-то обещают какие-то нереальные цифры. В общем, ИМХО, реклама, PR.

Аватар пользователя cr4zyr0m
cr4zyr0m(11 лет 4 месяца)

может заодно новый кодек сделают для рипанья видео с блурея?

Аватар пользователя Дирижёр
Дирижёр(8 лет 8 месяцев)

1. "после этого Spirit, по заявлению компании, может сжать видео еще в 100 раз"(c).

Это возможно только если у камеры будет сидеть мужик и раз в 100 секунд нажимать на кнопку записи на 1 секундуlaugh

2. "которая может позволить операторам связи тратить в десятки раз меньше на СХД при исполнении «закона Яровой»"(c)

Это невозможно по причине ужасного недостатка вычислительных мощностей, сидящих на отслеживании трафика. Это колоссально трудно даже если сажать на каждое видео упомянутого выше мужика с кнопкой.laugh

Ну что можно сделать с каналом оператора связи в 250000 Мбит/с, которые уже давно работают? А в 1000000 Мбит/с? Там десятки и сотни тысяч пользователей, которые передают голос и видео. Видео с ютуба, которое все эти люди смотрят, будете разжимать, потом сжимать? В реальном времени? Сколько суперкомпьютеров потребуется? Сотни тысяч мужиков сажать за компьютеры, чтобы жать на кнопку когда нужно? Попа слипнется!laugh А иначе никакой экономии в десятки раз на СХД не выйдет - по закону писать надо всех, и полгода хранить.

Комментарий администрации:  
*** "Большевиков приравниваю к Геббельсу... Сам - дочь сдавшегося в плен расстрелянного петуха" (с) ***
Аватар пользователя Не_волшебник
Не_волшебник(9 лет 8 месяцев)

* небольшая ремарка

Пользователей много, а смотрят по сути одно и то же. Миллион просмотров, а сохранить или обработать нужно 1 раз.

Аватар пользователя Дирижёр
Дирижёр(8 лет 8 месяцев)

Замечание в чём-то справедливое. Но вы не учитываете, что операторов много. А самое главное как вы без обработки сможете быть уверены что то что сейчас смотрит пользователь данного оператора связи полностью совпадает с тем что смотрели до него тысячи других пользователей? Ведь видео по ссылке кто-то может в любой момент изменить? Ведь закон обязывает сохранять именно сиюсекундный трафик именно данного пользователя, а не то что там когда-то было по ссылке полгода назад!

Комментарий администрации:  
*** "Большевиков приравниваю к Геббельсу... Сам - дочь сдавшегося в плен расстрелянного петуха" (с) ***
Аватар пользователя Не_волшебник
Не_волшебник(9 лет 8 месяцев)

Операторов и много с одной стороны, но и не так уж, если задуматься.

Вконтакты и одноклассники - они и так всё сохраняют и всё помнят. Тут вообще ничего делать не надо.

С Ютубами сложнее, но вопрос решаемый с другой стороны - как вариант не пускать ролики без "сертификата". Да часть видео (залитых не из РФ) будет недоступна - да и ладно. Цена вопроса? Кто-то что-то не посмотрит - да и хай с ним, посмотрит что-то другое.

 

Аватар пользователя Дирижёр
Дирижёр(8 лет 8 месяцев)

Что там сайты у себя помнят - закон не колебёт ни копейки!

Закон интересует что конкретный гражданин читал, смотрел, писал итп в данный конкретный момент лично.

Только это будет являться доказательством в суде если что.

Никаким потенциально элементарно подделанным данным, особенно с вражьего ресурса, закон доверять не может.

Комментарий администрации:  
*** "Большевиков приравниваю к Геббельсу... Сам - дочь сдавшегося в плен расстрелянного петуха" (с) ***
Аватар пользователя Не_волшебник
Не_волшебник(9 лет 8 месяцев)

Только это будет являться доказательством в суде

Одним из доказательств в суде, а не только.

Аватар пользователя Дирижёр
Дирижёр(8 лет 8 месяцев)

Из упомянутых - именно только.

Комментарий администрации:  
*** "Большевиков приравниваю к Геббельсу... Сам - дочь сдавшегося в плен расстрелянного петуха" (с) ***
Аватар пользователя Не_волшебник
Не_волшебник(9 лет 8 месяцев)

Суды рассматривают совокупность... А упомянутые, если работать захотят - прогнутся.

Аватар пользователя Дирижёр
Дирижёр(8 лет 8 месяцев)

Совокупность поддельных доказательств?

Упомянутые здесь - это те, которые собраны ответственными товарищами, находящимися непосредственно между пользователем и его контрагентами. И те, которые вы предлагате спрашивать потом от ни за что не отвечающих вражьих сайтов. Догадайтесь с трёх раз куда суд пошлёт обвинение, которое основано целиком на информации, полученной с этих сайтов. В то время как собранный ответственными товарищами трафик и извлечённые из него данные не подлежат сомнению.

Вы вообще что, хотите поставить суды России и судьбы обвиняемых в зависимость от миллионов сраных вражеских сайтов? Чего вы тут пытаетесь доказать?

Что "прогнутся" - так от них только ключ нужен. Никто у них сам трафик спрашивать не собирается. Этим ключом ответственные товарищи самостоятельно полученный трафик и расковыряют. Это и будет доказательством отсутствия подделки для суда.

Комментарий администрации:  
*** "Большевиков приравниваю к Геббельсу... Сам - дочь сдавшегося в плен расстрелянного петуха" (с) ***
Аватар пользователя Не_волшебник
Не_волшебник(9 лет 8 месяцев)

Это ты мне здесь пытаешься чего доказать? Кого ты врагами здесь называешь, утырок?

Аватар пользователя klisha
klisha(8 лет 6 месяцев)

Это было бы справедливо, если бы не одно НО: https траф (ютуб например) невозможно понять что сейчас смотрит пользователь, ибо зашифровано и ключи уникальны для каждой сессии и оператор в эту сессию доступа не имеет. Вы никогда не задумывались, почему, например, в реестре РКН нет https страничек?

Аватар пользователя Не_волшебник
Не_волшебник(9 лет 8 месяцев)

Пока да.

Но по опыту того же Китая - ничто не мешает поставить между свой сервер со "своими" сертификатами. Скорее всего так и сделают на самом деле.

Аватар пользователя sPirtovicH
sPirtovicH(12 лет 3 месяца)

Сложности. Я пробовал в рамках компании поднимать промежуточный https, сертификаты клиентам через политики кормил. Однако гугл, яндекс, банки, другие сервисы сами проверяют сертификат в браузере и отказываются работать со схемой MITM =)

У меня тупо гмейл не открывался и я не мог его заставить работать. 

Аватар пользователя Не_волшебник
Не_волшебник(9 лет 8 месяцев)

со схемой MITM =)

Китайцы получается смогли. Тут же ещё вот в чём вопрос - захочет Гугл или тот же Фэйсбук в России работать или нет? Захочет - прогнётся, не захочет - попутного ветра в горбатую спину. 

Понятное дело не сразу  - постепенно, к любой мысли сначала надо привыкнуть.

Аватар пользователя sPirtovicH
sPirtovicH(12 лет 3 месяца)

Безусловно. Предыдущая коммерческая контора дала команду закрыть нахрен HTTPS и открывать только на конкретные адреса по конкретным заявкам. И отлично все вышло =). 

Тогда основная корпоративная проблема - BYOD. Кроме главного офиса Лукойла на Чистых прудах особливо не припомню мест, где на входе рамка детектора шмонает тебя на электронику и все мобилы надо оставлять в шкафчиках. 

В текущих реалиях я вот пока не уверен, что всю нашу огромную страну можно взять и лишить возможности пользоваться всеми протоколами интернета и шифровать свой трафик. У меня старая привычка: поднимаю openvpn на своих серверах на 443 порту, чтобы любая прокся пропускала этот TCP SSL трафик. Если все провайдеры внедрят MITM и запретят любой другой VPN, ну будут нелегальные сети развиваться. 

Аватар пользователя Не_волшебник
Не_волшебник(9 лет 8 месяцев)

Кроме главного офиса Лукойла

Тут вот какое странное дело - моя мама в детском саду работает в Казахстане. Имеет два телефона - один кнопоШный совсем простой, а другой смартфон. Спрашиваю зачем тебе два? Ответчает - на работу, у нас строгий запрет на смартфоны вплоть до увольнения. Только кнопочные и без камеры или дома оставляй.

Во всех ДДУ так или нет не знаю - но у них вот это есть.

удут нелегальные сети развиваться

Были, есть и будут - но сколько их будет на общем фоне? Будут следить, чтобы не много. Оборудование сертификацию проходит всё таки. Это если про ширнармассы говорить, а программно - ну, любители всякие да шпиёны Игиловские.

Аватар пользователя Lokki
Lokki(9 лет 1 месяц)

Есть всё же алгоритмы, которые упаковывают любой поток в 1 бит :)

И распаковать могут :) во что прикажут.

Так что, есть куда стремиться.