Российский союз промышленников и предпринимателей (РСПП) предлагает в рамках реализации "закона Яровой" снизить объемы и сроки хранения операторами связи голосового и sms-трафика до 1 месяца, сетевого трафика - до 72 часов, сообщил в ходе заседания руководитель рабочей группы комиссии РСПП Руслан Ибрагимов.
При этом предлагается хранить трафик передачи данных в отношении отдельных лиц, включая круг их общения, не более 6 месяцев.
По оценкам РСПП, к 2019 году операторы связи потратят на реализацию закона около 17 трлн рублей (не включая расходы на съем голосового трафика).
Использованные источники:
Комментарии
Ждем маршрут для пеших путешествий всему РСПП в полном составе. Обосновать маршрут будет крайне не сложно
Эти клоуны как-нибудь свои оценки обосновывают?
А это не оценка как таковая, это попытка отмазаться от реализации этого закона какими угодно способами. Типа говорят "у вас все равно денег на это не хватит".
Хм.
Ладно, обосную, как инженер интернет-сервис провайдера, начинающего, очень маленького, провайдера всего навсего 300 абонентов максимально возможная скорость по тарифу - 10 Мбит/сек.
Основная масса абонентов на тарифе 5 Мбит/сек. фактический усредненный трафик в сутки - 0,7 Тбайт (за 6 месяцев)
Следовательно для полугодового хранения информации проходящей через внешние интерфейсы потребуется - 180*0,7 = 126 Тб. дискового пространства.
Помимо этого есть еще такой нюанс - скорость на внешних интерфейсах достигает значений в 220-250 Мбит/сек, соответственно чтобы писать информацию с такой скоростью в часы пиковой загрузки (около 5-7 часов в вечернее время) потребуется буферный массив SSD дисков примерно в 250 Гбайт, также нужен высокопроизводительный сервер (внезапно не правда ли?) который примет этот поток данных, обработает его и запишет в базу данных, которая, напомню, будет лежать на RAID-1 массиве объемом примерно в 130-150 Тбайт.
Теперича прикинем стоимость этого добра и потом поделим ее на 300 абонентов...
Итак:
1. Дисковая полка SunStor 4U-48-3,5 в которую поставим 28 SAS дисков по 10 Тбайт каждый (280/2 = 140 Тбайт) - 2 500 000 рублей
2. Сервер Сервер SRV|LEGION SL2500/4U24RG3 / CPU-E5-2637V3x2 / 4*MEM-D4R-16G2400x1 / SATA3,5-4000GB7.2Kx2 / SSD2,5-400GBS3710x2 / 92404Ix1 / WARL1Yx1 еще 525 000 рублей.
3. ИБП для этого добра киловатта на три с удержанием 15-25 минут, пока запустится резервный генератор еще 130 000 рублей.
Софт так и быть напишем сами и добавим бесплатный SQL сервер.
Что имеем - 3 038 000 руб. делим цифирь на 300 абонентов - 10126 рублей на 1-го абонента.
Теперь взглянем на больших операторов связи - скорость доступа к сети не 10 как у нас а частенько 100 и поболее (Ростелеком точно дает больше) Мбит/с количество абонентов измеряется не трехзначными а шести-семизначными числами, внешние каналы меряются в терабитах в секунду.
Так что 17 триллионов более чем обоснованная цифра. Скорее даже заниженная. И, как пЭрсик на торте (вишенки тут мало будет), 90-95% этих денег уйдет за бугор, нашим западным партнерам, поскольку отечественное оборудование для систем хранения данных в таких объемах и на таких скоростях не существует в природе.
Отлично ты тут некоторых уел, поддерживаю, как бывший работник провайдинга вынужденный периодически выслушивать хотелки ФСБ и вежливо указывающий направление для их дальнейших поисков.
Вот как не зайдешь в инет - все такие смелые, ФСБ вежливо на йюх посылают. А потом зайдешь в другой инет - а там новый 37 год. Вот и не знаешь кому верить....
Ну там на самом деле не пришельцы работают, главное вежливо общаться, совета спросить опять же можно, там тоже люди и в общем все понимают, хотя и морду кирпичом делать любят, и первое впечатление могут очень неприятное произвести.
Точно, для всех операторов - это десятки футбольных полей железа только под хранение.
Тут неплохо уточнить - ИМПОРТНОГО железа :)
В среднем 2,5 гига на человека. Угу, искренне верю, что твоя выборка репрезентативна. Ну и после этого вопросы винтов и их хранения немного смешны.
Зачем? Они у тебя все одновременно торренты качают?
Зачем? На работе стоит видеосервер, пишет чуть ли не с 20 камер в фуллхд.Размером с пачку А4 ну и цена не многим больше.
Зачем САС, почему райд-1?
Ничем она не обоснованная. Ты в своих расчетах почему то забыл про дублирование инфы у пользователей. Внезапно.
300 человек * среднетарифные 5 Мбит/сек ~ 1,5 Гбит/сек, нет не все одновременно торренты качают, просто пользуются инетом помаленьку - фильмы смотрят, музычку слушают, в соцсетях развлекаются, кто-то возможно и качает.
Если внимательно прочитать "скорость на внешних интерфейсах достигает значений в 220-250 Мбит/сек", то наверное можно сделать вывод что рейд 0+1 на недорогих SAS винтах просто не прожует такой поток инфы на запись.
Спс, поржал от души :) просто прям от всей души... несжатый Фулл ХД поток при 10-битном цвете около 1 Гбит/сек * 20 камер получаем 20 Гбит/сек * 3600 секунд * 24 часа / 8 бит в байте = 210 терабайт в сутки. сжатие дает примерный коэффициент 15-20 в лучшем случае 2 терабайта в сутки насобирается с Ваших 20 фуллхд при 25 кадрах в секунду. Размером с пачку А4 и хранит записи за три месяца не меньше.
И да, самое близкое, из недорогих и моноблочных, решение размером с пачку А4 называется регистратор HD-CVI Dahua HCVR7416L и пишет оно 16 фулхд камер со скоростью (Внезапно) 12 кадров в секунду на 4 жестких диска одновременно (скорости блин записи не хватает) стоит это чудо китайской инженерной мысли в комплекте с винтами в районе 120 000 рублей. и Кушает оно около 1 Тб дискового пространства в сутки. И да, до видеосервера этой китайской поделке сильно далеко.
Может путаете с AHD? там как раз регики есть в подобном формате :) и стоит всего 10-ку без винта.
Ну продемонстрируйте мне САТА винтик на который смело можно вваливать 250 Мбит/сек на запись. Пересчитаю в САТА.
Хранение подразумевает надежность, чтобы потом на штраф не нарваться. Поскольку конфигурация рейда все-таки 0+1 то вылет одного диска решается без проблем, а вот вылет одного диска в рейд 0 валит весь раздел на глушняк без возможности восстановления, более сложные конфигурации рейд требуют большего избыточного количества дисков, либо резко теряют в производительности.
Разбиение базы предназначенной для циклической записи по разным носителям тоже не прибавляет ни надежности, ни производительности для SQL сервера
С этого момента поподробнее, какое дублирование у пользователей?
Я трехчасовой стрим с ютуба по HTTPS в фуллхд глянул - кеш браузера почистил и все, а провайдер этот самый шифрованный трафик должен хранить полгода. Внезапно.
Вот если пользуются помаленьку - то пик будет раз в 100 ниже твоих 1,5 Гб/сек.
Наверное можно сделать любые выводы. В реальности поток будет на 2 порядка ниже, с ним справится кто угодно
:facepalm:
Но зачем?
Ну да, немного дешевле нафантазированных тобой 3 лямов.
Какой нулевой? Пятерка чем тебя не устраивает?
Чуть ниже почитай. Пользователи тяжелый контент пользуют один и тот же. Поэтому один раз записали, а потом ссылочками, как в соц сетях
Вот и посмотри сколько у него просмотров. Провайдер один раз закейшировал - у всех остальных только ссылочки на него.
С чего вдруг он стал зашифрованным?
Вот зашел я тупо на главный роутер который одним концом в сеть, вторым к абонентам стоит, и вот прям вот щас на внешнем интерфейсе 150 Мбит/сек. а это всего в 10 раз меньше и час пик наступит через 2,5 часа...
С чего он будет ниже-то? 250 на внешнем интерфейсе надо перехватить поток с коммутатора, разобрать по адресатам и слить в базу данных. Два порядка это голый netflow который толком даже абонента идентифицировать не в состоянии будет.
Производительностью.
Рекомендую ознакомиться для начала чем HTTP отличается от HTTPS с точки зрения протокола TCP/IP а не пользователя который ссылочки глазами видит и буковки набирает.
https://www.youtube.com/watch?v=vsd3MCnoXe8 - 2,5 часа, 513 000 просмотров, так как у ютьюба протокол HTTPS, следовательно какой-бы умный прокси у провайдера не стоял, кэшировать это он не в состоянии, поскольку к каждому из смотрящих стрим отправляются одинаковые по содержанию пакеты, но зашифрованные РАЗНЫМИ ключами, следовательно на винтах у провайдеров осядет 513000 копий этого стрима.
С того, что HTTPS расшифровывается как HyperText Transfer Protocol Secure
Где слово Secure означает шифрование.
Вот смотрю я на тебя и вижу - полчаса пишешь в комментах, потом отправляешь 100 кБ. Не исключаю, что все это под музыку. Еще 128кб. Вот и считай сколько надо пользователей, чтобы твои 150мбит набрать
С того, что одновременно торренты никто не будет качать.
А первый рейд тебя устраивал? Феерично.
Рекомендую ознакомится с законодательством https://geektimes.ru/post/279434/
Да да да, смотри выше
Я еще немного работаю между комментами, линки радиорелеек просчитываю, там карты всякие, местами довольно подробные скачиваются, снимки спутниковые всякие, но да, на работе я в принципе трафика не так много на работе пользую, дома совсем другое дело - там мой 12-ти мегабитный канал в вечерние часы пик очень плотно забит, поскольку я, жена, двое детей, при этом трое смотрят сериалы и мультики, я опять-таки немножко в пределах мегабита-двух - музычку слушаю, люблю просто качественный звук...
Редкостная упертость... ну будут фильмы смотреть онлайн, или IP телевидение, делов-то.
Конечно устраивал, если бы ты был оборудован мозгом то смог бы понять, ну или чуть позже прочитать в моем комменте конфигурацию массива, задачка несложная, 28 дисков по 10 Тбайт каждый, на выходе доступный объем 140 Тбайт из количества винтов 28 шт, можно сделать вывод, что будет сделано две линейки RAID уровня 0 по 14 дисков в каждой, которые объединяться в RAID уровня 1 общим объемом 140 Тбайт, на уровне контроллера дисков это называется RAID 0+1
Гиктамс уже официальный орган власти? Не знал, исправлюсь :) Но так и быть прокомментирую, хотя отсутствие мозга поражает...
"1. Организатор распространения информации в сети «Интернет» осуществляет передачу информации для декодирования на основании запроса уполномоченного подразделения, подписанного начальником (заместителя начальника)."
Вот, достаточно было прочитать тут, ключевые слова: ОРГАНИЗАТОР РАСПРОСТРАНЕНИЯ ИНФОРМАЦИИ, т.е. владелец сайта, должен предоставить в ФСБ ключи для расшифровки информации, именно в ФСБ, а не всем операторам связи на территории РФ. Соответственно операторы связи расшифровать и идентифицировать трафик не смогут.
а вот в самом законе есть другой текст:
"1. Операторы связи обязаны хранить на территории Российской Федерации:
1) информацию о фактах приема, передачи, доставки и (или) обработки голосовой информации, текстовых сообщений, изображений, звуков, видео- или иных сообщений пользователей услугами связи - в течение трех лет с момента окончания осуществления таких действий;
2) текстовые сообщения пользователей услугами связи, голосовую информацию, изображения, звуки, видео-, иные сообщения пользователей услугами связи - до шести месяцев с момента окончания их приема, передачи, доставки и (или) обработки. Порядок, сроки и объем хранения указанной в настоящем подпункте информации устанавливаются Правительством Российской Федерации.»"
Получение/отправка абонентом зашифрованного TCP-пакета попадает под п. 1.2. - "иные сообщения пользователей услугами связи".
А так как ключи для расшифровки пакетов должны быть предоставлены в ФСБ, а не оператору связи оператор идентифицировать, что именно находится в пакете не может, следовательно пакет воспринимается как "иное сообщение пользователя услуг связи" и пакет должен быть сохранен на срок определенный Правительством РФ.
И да, Правительство может принять постановление и через 10 дней все станут обязаны.
Засим дискуссию прекращаю, поскольку для тебя интернет это просто ссылочки и пользователи могут нагрузить свой канал только лишь торрентами, а также производительность 5-го рейда (к слову - самый медленный из всех возможных, даже RAID 1 быстрее) одна из самых-самых :)
Уважаемый Аксель, извините, пожалуйста, что вмешиваюсь в вашу содержательную дискуссию. Хочу лишь заметить, что общались вы с оппонентом не вдвоём - нас тут много, кто ознакомился с Вашими соображениями.
Всё верно: трафик давно летит гигами в день на мобильном инете - LTE это позволяет, а про проводной трафик на ПК я вообще молчу.
ПС: Чтобы два раза не вставать, здесь же благодарю и Вашего собеседника, который, ловко прикинувшись дилетантом, позволил Вам доходчиво раскрыть тему и пояснить таким, как я, цену вопроса, якобы решаемого "законом Яровой", не к ночи будь помянута эта проклятая лоббистка подлых пиндопроизводителей электроники!
У вас получился прекрасный тандем с типа оппонентом! Надеюсь и далее иметь возможность наблюдать за вашими дискуссиями.
Ещё раз - спасибо за ликбез. Удачи, здоровья и терпения!
Лолчто? Лослесс по интернету? Феерично.
Вот чего только люди не делают, лишь бы оправдать свои фантазии....
Не будут. Кто то смотрит, кто то в соц сетях, кто то уроки делает, кто то телевизор смотрит. Твой пример не показателен от слова абсолютно
Не хами клоун. Если бы у тебя был мозг - ты бы не вертелся ужиком на сковородке.
Это только клоун-фантазер без мозга мог сделать такой вывод.
Это да, но зачем ты рассказываешь о своих проблемах людям?
Мда, не удивлен наивностью клоуна-фантазера без мозга
Я рад, что ты осознал ущербность своей позиции
Угу
Бред скипну.
Последняя картинка - тест последовательного чтения разных типов массивов вот из этой статьи:
http://cheklab.ru/archives/2284?%03
Но, так как нас интересует запись и, не всегда последовательная, нам нужна вот эта картинка (оттуда же):
И тут, внезапно, все становится на свои места и медленнее пятого рейда становится только практически нигде не используемый шестой. Думается что разрыв в скорости в 70% вполне обосновывает почему я выбрал уровень 0+1 вместо красивой цифры 5, ну и заодно этот же пример иллюстрирует что первый уровень тоже быстрее чем пятый.
И да, хорош натягивать совушку на глобусок, или совушка лопнет или глобусок сломается
И немного теории, чтобы все встало на свои места:
"RAID 5
RAID 5 — массив дисков с поблочным чередованием с одной контрольной суммой. При построении RAID 5 для контрольных сумм не выделяется отдельный диск, как в RAID 4, вместо этого данные циклически записываются на все диски. Аналогично RAID 4, RAID 5 позволяет производить параллельную запись, что существенно увеличивает производительность. Нагрузка на диск четности равномерно распределяется по всем дискам в массиве.
Использование:
RAID 5 широко применяется в реальных бизнес-задачах. Типовым сценарием является использование в серверах в области хранения данных для пользовательских приложений и выполнения транзакций. Использовать в СХД рекомендуется в первую очередь для маловажной информации с небольшой нагрузкой на диски, например, в системах видеонаблюдения.
"RAID 10
RAID 10 — массив дисков с зеркалированием и чередованием. Представляет собой массив RAID 0 из нескольких массивов RAID 1. В реализации RAID 10 на практике каждый подмассив RAID 1 состоит из двух дисков, поэтому допускается выход из строя не более одного диска в каждом подмассиве. RAID 10 обладает самой высокой производительностью и надежностью, при этом эффективность использования дискового пространства составляет 50%.
Использование:
Основным сценарием применения является использование для работы с базами данных (Oracle, SAP HANA, SQL) и другими высокотранзакционными нагрузками.
Рад что ты осознаешь свои проблемы.
Внимательней читай. Это последовательная запись.
Всегда последовательная - объемы очень большие.
Вот и славненько. Ты осознал свои проблемы. Может перестанешь бредить.
Ну давай, покажи мне SQL сервер с последовательной записью, чтоб как в тесте, все по честному.
Ну и еще, в пятом рейде выпал диск, просто сдох, ставим замену, чему равна производительность пятого рейда в процессе восстановления массива на запись, график в студию. Восстанавливать немножко, всего 10 Тбайт.
Поскольку траффик идет непрерывно, останавливаться на период восстановления винта нельзя, надо писать дальше. Как там 5-й рейд, справится?
Ютуб. Ты мне объясни - зачем писать рандомно?
Легко. Я тебя удивлю, но существует понятие избыточности оборудования. И если вылетел один рейд, писать будут на другой.
Объясню, 300 пользователей, пишем трафик в БД в виде - юзер, дата/время, адрес отправки/адрес получения, содержимое пакета, транзакционные нагрузки ого-го будут. SQL-сервер это не видеорегистратор, поскольку будут писаться не только сами данные в базу, но еще и индексы к этой базе будут создаваться, то тут уже однозначно не последовательная запись.
Почему именно в SQL и почему с разбивкой по пользователям - потому, что когда придет дяденька из ФСБ, то ему нужно выдать трафик конкретного пользователя, а не весь трафик маршрутизатора за определенное время.
Избыточность 0+1 достаточна для надежности, оптимальна по производительности и при выходе из строя одного из дисков пары легко восстанавливается после замены напрягая только один диск в массиве на чтение.
При этом операции записи на умном контроллере смещаются в другие пары зеркал и на период восстановления кроме обмена данными между парой винтов они ни на что не отвлекаются, соответственно производительность цепочек зеркал не падает от слова вообще.
В тоже время 5-й рейд начинает восстанавливать четность читая со ВСЕХ дисков массива, из-за чего по всем остальным дисковым операциям идет резкий спад производительности, вплоть до появления отказов на запись, что в критически важных приложениях неприемлемо.
И да, держать в горячем резерве еще один пятый рейд - ну так, на всякий случай, для избыточности оборудования - это конечно-же инженерное решение отличающееся особым изяществом.
Ээээ, а индексы к базе создаются на другом конце диска?
Ага, ты уже начал понимать, почему у провайдера трафик будет храниться в расшифрованном виде.
Это нормальное решение. Сейчас твой процессор работает на одном ядре и 1600Мгц. В нагрузке все 4 ядра заработают на 3,5 ГГц. Но такая нагрузка бывает раз в год. Ты же не считаешь 3 ядра неизящным инженерным решением?
там про смски и аудиозвонки все ваши 300 пользователей хорошо если на 1 гигабайт говорят за пол года ...
в рспп интересно по тому же принципу расчеты вели?
1. Операторы связи обязаны хранить на территории Российской Федерации:
1) информацию о фактах приема, передачи, доставки и (или) обработки голосовой информации, текстовых сообщений, изображений, звуков, видео- или иных сообщений пользователей услугами связи - в течение трех лет с момента окончания осуществления таких действий;
2) текстовые сообщения пользователей услугами связи, голосовую информацию, изображения, звуки, видео-, иные сообщения пользователей услугами связи - до шести месяцев с момента окончания их приема, передачи, доставки и (или) обработки.
Я там жирненьким выделил, а то Вам лениво ветку видимо читать. Так вот, интернет трафик отправленный с шифрованием (вот Вы этот коммент читаете, но провайдер его идентифицировать не может как коммент, он видит только шифрованные пакеты идущие к Вам, поскольку 90% сайтов сейчас на https) попадает под "иные сообщения пользователей услугами связи", так что провайдер все эти шифрованные пакеты вынужден сохранять на свои носители.
полагаю не весь трафик интересует спец службы ... а следовательно и хранить нужно не все ... хотя конечно все это требует уточнения
Тоже не понял причем тут предприниматель ибрагимов когда это в ведении Минсвязи тема
Обосновывают, обосновывают. Правда в оцеках не учитывают рост цен на оборудование из-за большого объема закупок.
Стоит просто посмотреть насколько сейчас выросши в цене видяхи из-за этих бзиков с эфирумом.
2К долларов на абонента? Легко, если хранить весь интернет-трафик за несколько месяцев. Инфраструктура (дата-центры), линии связи до них, накопители, софт, обслуживание. Амортизация накопителей - несколько лет. Так что будет не только CAPEX, но и приличный OPEX. Скорее всего под это дело торренты порежут, так будет дешевле и увеличит колониально-интеллектуальный налог.
Легко все оптимизируется. Один раз тяжелый контент сохранили, а дальше только ссылочки. А то что тяжелый контент примерно одинаков показывают, например, соц сети.
Угу, только мощности для оценки повторности контента нужны тоже не детские. Так что неизвестно, будет ли дешевле.
А учитывая, что большинство траффика - это нерасшифрованный SSL/TLS, то не вижу особенных перспектив у предлагаемого вами подхода.
С чего вдруг он зашифрованный?
Да ну, глупости все это. Биткоин подтверждает.
Только контент этот весь разный, потому-что представляет собой поток зашифрованного трафика.
Так зашифрованый трафик теперь вне закона же будет
А поведайте мне, как на лету отличить пакет с куском zip-файла от пакета с куском зашифрованной страницы? И то и другое - просто случайный набор байтов.
Для zip-файла в HTTP будет тип MIME application/zip и магические байты "PK".
Это в первом пакете. А в остальных?
А в остальных как нормальный прозрачный прокси. Если был запрос HTTP на скачивание файла, то получили файл в ответ, копию сохранили. Если в ответ пошло что-то не соответствующее HTTP протоколу., аварийно оборвали соединение.
В корпоративных сетях принудительное заворачивание всего трафика на прокси сервер уже лет 20 используют.
Если Вы в начале адресной строки своего браузера увидите https:// то все это не рассматривается как контент, а только как шифрованный трафик, собственно даже афтершок сейчас на https :) можно у Алекса спросить какой объем трафика только с афтершока придется ежемесячно сохранять провайдерам...
Так надо весь такой плохой трафик запретить, это все загнивающий запад придумал, а там как известно шпиены одни. Так что ждём следующего закона о https по спец разрешения.
Закон о том, что необходимо предоставлять ключи для расшифровки уже есть. Если https/SSL сессия не предоставляет ключи, значит она незаконна.
это какой-то гон )) РСПП давно уже надо реформировать.
Если буржуи голосят ,то значит всё делается правильно)) ...народная примета
Поднимать отечественные ЦОДы все одно надо. И переносить БД в Россию надо. Под каким соусом, в каких объемах и за какие сроки - - это вопрос обсуждаемый.
производители жестких дисков скупили РСПП
Это не саботаж, это @#$ диверсия какая то.
ОПСосы совсем оборзели.
В смысле? Мегазаяву сделал некий Руслан Ибрагимов из РСПП, а виноваты у вас ОПСОСы?
Теперь понятно чем этот Союз Предпринимателей занимается - набросами, на проблемы малого бизнеса они плювали.
Страницы