Для чего в наше время обычными людьми используются профессиональные рабочие станции? Часто (и в моём случае) это видеомонтаж, иногда -- сервер любого вида, (например, веб-сервер личного бизнеса). По совместительству, она как правило является основным "файлохранилищем" и игровым компьютером.
Что нужно настоящей рабочей станции? Надёжность и скорость всех компонентов, прежде всего процессора и дисковой подсистемы (хранилище данных). Ниже описан мой опыт и текущее решение по построению БЫСТРОЙ дисковой подсистемы.
Как известно, "скорость" и "надёжность" дисковой подсистемы - это RAID, что расшифровывается как избыточный массив независимых (как вариант, недорогих) дисков. Немного теории (см спойлеры)
Ну так вот. А теперь что я сделал.
Основное семейное файлохранилище у меня под Linux. Раньше у меня несколько лет был Linux-RAID 1 уровня на 2-3 разделах по 480 Гб на разных физических дисках (в последнее время я фанат 2-Tб Western Digital Red Pro). Работало хорошо, массив периодически в связи с крахом старых HDD переезжал с раздела на раздел, но место начинало заканчиваться, да и накопилось желание поэкспериментировать. Я решил добавить "немного" объёма и скорости.
В ходе инвентаризации были обнаружены 2 SSD по 250 миллиардов байт. За 2900 руб. был прибретён RAID-контроллер среднего ценового уровня (дешёвый "не взлетел") и создан аппаратный RAID1 из 2 SSD объёмов 240 гигабайт. Поскольку файловая система на старом Linux-RAID была btrfs , я "просто" присоединил новый 240-Гб накопитель к ней. Объём свободного пространства СРАЗУ увеличился, и скорость работы СУЩЕСТВЕННО возросла, так как включилась автоматическая балансировка и буферизация за счёт SSD. Я ДОВОЛЕН.
В ближайших планах перекинуть на эту же файловую систему (псевдо-том) корневую файловую систему Linux "/" - на сегодня это 10 Гб системных файлов, находящихся на другом, довольно активно используемом SSD, на котором находится и "C" операционной системы Windows.
(Да, у меня в компе сейчас 3 SSD, 2 HDD, 1 DVD-RW и это не предел!)
Когда "загрузочный" SSD сдохнет, я потеряю лишь Windows, и придётся переустанавливать все игры. Для ремонта компьютера в ламер-стиле будет достаточно воткнуть куда-нибудь Linux, а затем снова перенести его на гибридную файловую систему на SSD. Но поскольку раздел "/boot" Linux у меня хранится на надёжном HDD и вряд ли выйдет из строя, если всё рухнет после переноса "корня" на гибридный массив, то мне будет достаточно загрузиться с флешки, сделать chroot, войти в настройки GRUB и скомандовать GRUB прописать себя в загрузочный сектор "живого" HDD.
Нюансы:
- для работы c флешки с виртуальными томами, созданными под mdadm, нужно подключиться к инету, установить mdadm, и собрать массив, а для работы с данными нужно куда-нибудь его смонтировать.
- В некоторых дистрибутивах, чтобы при установке Linux была доступна файловая система btrfs, нужно установить соответствующий пакет btrfs-tools до начала установки.
Эксперименты производились на Linux Debian и Linux Mint разных версий. Производительностью и надёжностью btrfs и MDADM автор доволен, кроме операций копирования данных на внешние USB-носители в режиме переноса раздела через Pipe, но там скорее претензии к стабильности внешнего USB-соединения. LVM, напротив, многие ругают именно за неоптимальную реализацию рейдов, поэтому я даже не экспериментировал.
В заключение обобщу известные мне способы создать файловую систему либо том на нескольких дисках, кроме "чистого" RAID-массива:
- С помощью аппаратного контроллера создаётся массив массив Marvell HyperDuo. Объём суммирует объём обеих дисков.
- Аналогично работает Apple Fusion Drive - это soft-raid, объединяющий разные диски и балансирующий их производительность. Не тестировал.
- brfs на нескольких дисках, причём возможно выбрать опцию "RAID1" (данные хранятся с избыточностью). Балансировка нагрузки есть и работает!
- Аналогично работает ZFS: как правило, она недоступна на Linux по лицензионным соображениям, хотя давно уже портирована. Создатели btrfs во многом вдохновлялись возможностями ZFS.
Особняком, как обычно, стоят решения Windows, которые прошли свой длинный эволюционный путь развития. Они доступны после преобразования дисков в "расширенные", после чего таблица разделов не видна большинству средств родом из Linux, хотя доступ к ранее определённым средствам blkid дискам и к ранее созданным mdadm-массивам сохраняется.
- Можно объединить отдельные разделы в RAID0 (тестировалось, работает).
- Можно механически объединить разделы (ОК, но алгоритм JBOD морально устарел - см ниже).
- Начиная с Windows7, можно создать RAID1 между целыми дисками (проблем быть не должно).
- Начиная с Windows10, встроенным (а не унаследованными из Windows7) средством администрирования "Дисковые пространства" доступны новые механизмы, алгоритмы работы компания Microsoft публично не раскрыла.
Справка: JBOD - "Просто группа дисков" - механическое объединение нескольких дисковых пространство в одно. В Linux реализовано средствами dm (drive mapper). Здесь не рассматривается, так как при падении надёжности не даёт роста производительности.
Ниже приведена официальная информация от Microsoft по "Дисковым пространствам":
- Простые пространства обеспечивают высокую производительность, но не защищают файлы от сбоя диска. Они лучше всего подходят для временных данных (например, файлов обработки видео), черновиков в редакторе изображений и файлов промежуточных объектов компилятора. Для простых пространств требуется по крайней мере два диска.
- Зеркальные пространства обеспечивают высокую производительность и защищают файлы от сбоя диска, храня несколько копий. В пространствах типа "двухстороннее зеркало" создается две копии файлов. Они обеспечивают защиту от сбоя одного диска, а пространства типа "трехстороннее зеркало" — от сбоя двух дисков. Они хорошо подходят для хранения разнообразных данных, от универсальной общей папки до библиотеки виртуальных жестких дисков. Если зеркальное пространство отформатировано с помощью файловой системы Resilient File System (ReFS), то Windows будет автоматически поддерживать целостность данных, что обеспечит дополнительную защиту от сбоя диска. Для пространств типа "двухстороннее зеркало" требуется по крайней мере два диска, а для пространств типа "трехстороннее зеркало" — по крайней мере пять.
- Пространства с контролем четности обеспечивают эффективность хранения и защищают файлы от сбоя диска, храня несколько копий. Они лучше всего подходят для архивных данных и потокового мультимедиа, например музыки и видео. Для защиты от сбоя одного диска в этой структуре хранилища требуется по крайней мере три диска, а для защиты от сбоя двух дисков — по крайней мере семь.
Для анализа данных выше обратим внимание на количество дисков (выделено жирным). Можно сделать следующие выводы:
- "Простой" массив, скорее всего, имеет функции балансировки нагрузки (а-ля HyperDuo) либо элементы RAID0 (упоминается высокая производительность).
- "Зеркальный" в усечённом виде (на 2 дисках) массив - это RAID1, при увеличении количества дисков возможны более производительные варианты.
- "Трёхстороннее зеркало" является более простым в администрировании массивом, чем RAID6.
- "Пространства с контролем четности" начинаются с трёх и семи дисков. Скорее всего, это аналоги RAID5 и RAID6.
- Ограничения на количество дисков, среди прочего, направлены на то, чтобы ограничить пользователя от неправильных (по мнению Microsoft) способов организации дисковой подсистемы.
Автор не экспериментировал с массивами, создаваемыми "Дисковыми пространствами".
Комментарии
За 2.5-3 года, если писать почти нон-стоп.
Моя система видеонаблюдения уже дольше работает.
ССД под систему видеонаблюдения? Месье знает толк в извращениях.
Сколько весит час твоего видео?
Тут недавно умер ВД Блэк. 4года. 1Тб. Записано на него было 100гигов....
Дядя, вы дурачок? Или меня за такового считаете?
2,5 года нужно, чтобы залить 8 петабайт на HDD в режиме 100 мегабайт в секунду 24/7/365. На видеонаблюдении стоит WD Purple 3-террабайтный вроде. Ресурс HDD всяко будет больше 1000 перезаписей, так что надеюсь, этот HDD ещё лет 5-10 прослужит.
Чтобы HDD не умирал, советую в сети питания ЛЮБОГО компьютера или другого устройства с HDD предусматривать стабилизатор и ИБП (и то, и другое!). 80% проблем с HDD у меня были вызваны некачественным питанием. ХОРОШИЕ блоки питания компа тоже важны, но импульсные помехи они, похоже, почти не останавливают.
То, что у вас сдох ХОРОШИЙ диск, может в общем случае свидетельствовать лишь о ваших кривых руках, либо о нежелании тратиться на качественное электропитание.
Не хами.
Т.е. ты согласен, что ресурс ССД как минимум не хуже ХДД, а обычно - много больше? И то хорошо.
Т.е. реальный случай смерти винта после в лучшем случае 1-2 перезаписей предпочитаешь не видеть? Ну ну..
Только вот стабилизатор или ИБП тут совершенно не при чем...
Да да да, продолжай фантазировать.
Наоборот. Нормальный HDD надёжней среднего SSD. Хороший HDD в своей узкой нише, пожалуй, лучше лучших SSD. Но возможно, хороший SSD под базой данных, пожалуй, будет лучше чем HDD...
Не надо всякий хлам покупать...
Это не так. Ты это прекрасно осознаешь. Ибо не хочешь отвечать сколько петабайт ты пишешь в день
И зачем ты тогда покупаешь ХДД?
Я в сутки и 100 гигов не пишу обычно. Но это не отменяет негативный опыт многих людей, купивших дешёвые SSD. Пока технологии не обкатаны, и на рынке куча левака, В СРЕДНЕМ ПО БОЛЬНИЦЕ HDD однозначно надёжней.
Ну вот видишь - ты прекрасно осознаешь, что ССД как минимум не хуже по надежности по сравнению с ХДД.
Это проблемы этих людей. Я тебе рассказал про сдохший ВД - ты ответил что не надо хлам покупать. А в случае ССД - можно хлам покупать, я тебя правильно понял?
Не надо всякий хлам покупать(с)
Это вопрос веры. На почитай, чтобы перестать верить и просто знать https://habr.com/post/13560/
В случае ХДД есть куча условий, чтобы он был надежным. Интенсивность использования, питание, недопустимость низких и высоких температур, минимум остановок шпинделя, никаких резких движений.
А вот тебе и нокдаун https://tproger.ru/translations/ssd-reliability/
И еще в отличие от ХДД
Не трать время на этого клоуна, он специально пишет ХДД а не SSD или HDD. Гони его в баню из своих статей, зачем тебе мусор в комментах?
Шо, ты опять обосрался и готовишься меня забанить? Нельзя зайти в одну реку дважды, клоун. Хотя ты обсираешься каждый день.
Теперь хамишь ты. Я поступлю изящней: "скрою" бред.
Чуть выше начни скрывать, а то клоун хамит, но ты этого не замечаешь, да?
Нет никакого опровержения а наоборот даже подтверждение, смотри какой разброс надёжности и это при том что там тестируются винты так или иначе себя зарекомендовавшие, эти винты были выбраны для тестов, т.е. изначально всякое говнище уже отсеялось. А вот то что продаётся в магазах, то там ещё та песня, модели имеющие одно и то же название и описание, чудесным образом за несколько месяцев умудряются поменять полностью всё своё нутро, потому и выходит, винтов много, производителей много, а реально только два производителя SSD которым можно доверять и то ограниченно, потому что у Самсунга ограниченная гарантия, ну т.е. приносишь им их винт а они говорят, у нас в базе винта с таким ID нет, у вас контрафакт, идите вы
лесомв магазин где купили не наш наш винт.Ты прочитай статью, а не фантазируй.
Опять фантазии
Т.е. не надо покупать серый товар? Внезапно.
Вообще то винты отбирают для тестов, причём пользователей просят подобрать модели, на этом специализированном ресурсе людей не в теме всяко меньше, откровенное чё попало не предлагают тестировать.
Ты сам то картинку погляди, там даже в ней есть винты имеющие одно и то же название но имеющие разную начинку а оттого разную надёжность.
Дядя ты когда покупаешь винт в магазине компьютерной техники хоть раз в документах видел пункт: "серый товар" - да, вот и я не видел такого пункта.
Тебе сказали - прочитай статью, а не фантазируй. Ты с первого раза не понимаешь?
Я правильно понимаю они в течение нескольких месяцев выпустили 2 разные модели с одинаковым торговым названием, но разной маркировкой?
И ни разу не имел проблем с гарантией. Но это я не на помойках отовариваюсь.
Я тебе выше отписал коренное отличии тестируемых образцов на 250gb от тех что в магазе на 120gb. У винтов на 120gb, которые как раз и являются массовыми по продажам, потмоу что туда лвазит винда и ещё немного остаётся, для той цены что они сейчас стоят (дешёвые модели, ценник до 2000 рублей) просто нету возможности воткнуть приличный контролер, а это и есть главная проблема, вторая проблема это малые кэши из SLS и отсутствие DRAM буфера. SSD на 120gb что производили несколько лет назад были на удивление надёжнее чем сейчас так как память там была MLS и контролер там был крутой, потмоу что тогда винты на 120gb стоили дорого а потмоу производители пихали туда лучшее а не худшее как сейчас.
Конкретно у Самсунга одинаковое название но разная ревизия, память TLS 48 слоёв сменилась на TLS 64 слоя, надёжность при этом сильно упала, но по прежнему на высоком уровне, цена кстати тоже упала, так что главный показатель SSD "количество перезаписей" / "Цена" при этом остался примерно на одном уровне. Но то Самсунг, он хоть что то пишет и в пределах одной ревизии не меняет начинку. Забудь ты про эту таблицу, эта таблица для тех кто в теме и они покупают винт под операционку на 250gb, потому что знают что для долгой жизни SSD, примерно половина SSD должна быть большую часть времени свободна, такова специфика SSD. А вот в массовом сегменте 120gb картина уже другая, в этом сегменте только Самсунги и Интел сохраняют стабильную надёжность исключительно только за счёт того что они держат цену в 2 раза выше чем у конкурентов, и люди которые платят двойной тариф, знают за что платят. А вот те кто дешевле 2000 рублей контроллеры ставят по принципу что удалось купить сегодня самое дешёвое, то сегодня и впаиваем, причём многие эту политику и в сегменте 250gb продолжают, а чё парится то, лохи купят, а самсунг всё равно нечем бить, вот и получается тестируем одно, обзоры на тертья, а у покупателей четвёртое, и толькотот кто в теме, знает что брать надо, вот у тех кто в теме SSD в результате надёжен, но таких меньшинство, массовый рынок SSD ненадёжен.
Э? Не в России закупаетесь? Сильны.
Послесловие: картинка с тестами немного отличается от реальной жизни, с одной стороны столько в реале не перезаписывают, а с другой стороны, в массовом сегменте 120gb весь SSD у обычного пользователя забит полностью, т.е. дешёвый контролер буквально дырку терёт в одной точке SSD а именно там где TMP и кэш Хрома и его клонов, имеем серьёзный перекос в износе узкой группы ячеек памяти. Вот почему нужно иметь дорогой контролер, умный контролер лучше балансирует, он в крайнем случаи перекинет на изношенные ячейки те блоки которые только читаются.
Повторяю в очередной раз - прочитай статью.
Конкретно ты написал, что начинка меняется за несколько месяцев. Обычному покупателю хоть 30лет хоть 50 - пофиг. А тому кому надо - те в курсе изменений. Перестань фантазировать.
Почему? Потому что она мешает тебе врать?
Перестань фантазировать и врать.
Я тебе уже говорил про резервные ячейки. Загугли уже.
Я так и знал что ты обязательно вспомнишь про резервные ячейки как будто это панацея.
Вот тебе цитаты из статьи откуда картинка
Дешёвый контролер именно трёт в одном месте, при чём трет с высоким коэффициентом усиления, а он по другому и не умеет, а когда ресурс ячеек заканчивается он лезит в резерв, и снова трёт взятые ячейки из резерва, а когда резерв кончается, а он у дешёвых винтов ценой меньше 2000 рублей мал или вообще отсутствует, то SSD помирает, при этом на SSD полно невыработанных свой ресурс ячеек, просто они заняты установленной виндой и прогами, которые забивают винт на 120gb полностью и потом не перезаписываются, именно поэтому и рекомендуют оставлять SSD на половину свободным, чтоб простые алгоритмы дешёвых контролёров могли балансировку делать, но где ты видел свободное пространство в винтах на 120gb? А дорогие контролеры могут и занятые информацией ячейки балансировать, у них для этого и контролер умнее, и буферы SLS толще, и DRAM может быть в наличии, но это не массовый сектор, хотя пользователи один раз обжегшиеся на дешмане начинают массово переходить на Самсунги, хоть и стоят они в 2 раза дороже. Вот когда Самсунг полностью выдавит с рынка всех производителей дешмана своей надёжностью, вот тогда надёжность SSD перестанет вызывать сомнения у конечных пользователей, а пока имеем то что имеем.
Даже не понятно зачем ты споришь, упорото доказывая очевидную чушь что SSD такие же надёжные как HDD, вопреки всей статистике, напоминаю речь идёт о массовом сегменте 120gb а не о винтах протестированных на 3DNews из другой ценовой категории, я на их месте то же бы не стал тестить винты ценой ниже 2000 рублей, там даже нельзя быть уверенным в начинке, лотерея блин.
Мда. Давай я тебе в третий раз повторю - резервные ячейки. Погугли что это. И это, ты сразу скажи с какого ты раза понимаешь - чтоб я сразу нужное количество раз повторил.
Опять фантазируешь?
Ты мне лучше скажи зачем ты так упорото и голословно доказываешь, что ХДД надежней ССД? Ты сам привел факты феноменальной живучести ССД - почему ты не можешь осознать содержание статьи?
Прочитай уже статью, а?
А вообще по SSD самая лучшая инфа тут
хабр не тута
Претензии к редакторам Пульса, я в БЛОГах публиковался.
Все последующие комменты "харб не тут" будут безжалостно выпиливаться.
Автор, а Вы когда нибудь ради развлечения SSD в RAID пробовали убивать специально? Ну, чтобы надежность оценить. Удалось со второго диска безболезненно поднять данные?
Есть забавные мнения на этот счет:
RAID was very important with mechanical hard drives; if it moves it breaks! With SSD's, RAID may not be advantageous. Consider that the RAID controller is another piece of electronics that could fail, but more importantly it's another piece of complicated firmware that can introduce failures due to bugs.
Of course, you want to use enterprise class SSDs in a server. There are a few brands that have proven to be extremely reliable compared to others. Do research on failure rates. Maybe you don't want to purchase a newly designed SSD that was released last week. Test the SSDs thoroughly before putting them into production.
Since there are no moving parts, the biggest risk is bugs in the SSD firmware. No matter how many drives you have, they will all have the same firmware, unless you mix SSD models/brands. So how will RAID save you from firmware bugs or design bugs?
With SSDs, I believe the best course of action is to drop the RAID, and instead have a very good backup that you can restore from. If your really want redundancy, then it probably makes more sense to do it at the server level, and the servers should be physically located far from each other.
SSDs are solid state devices. In a server, the only solid state device that you are likely to have redundancy for is the power supply (mainly because the mechanical fan might fail). You might have DRAM redundancy too (again, a firmware risk). But your server doesn't have redundant motherboards, or redundant RAID controllers. The single greatest source of failures that I have seen are firmware bugs, far exceeding any hardware failures (with the exception of mechanical hard drives).
That said, I have always assembled my own workstations and servers using top-of-the line components. I can't speak to failure rates for brand-name computers and servers. If you really need a service contract for a server or workstation, then maybe it isn't reliable. The stuff that I assemble just doesn't fail, except for power supply failures, which are extremely rare. Every computer I replace is still working when I replace it (I don't replace computers less than 5 years old).
RAID with SSDs to me is an added failure point. Good backup makes much more sense to me. You are far more likely to lose data and/or experience downtime from other causes than from an SSD failure (if you are using the best SSDs). "
В двух словах: в современной электронике включая SSD чаще всего ломается не поверхность диска, а кривая прошивка. RAID не повышает надежность, а уменьшает за счет добавления дополнительного источника ошибок - самого RAID. Мнение не факт, что верное, но не помешало бы глянуть какие-то исследования на эту тему.
Ткнувшись навскидку - народ предлагает для SSD отдельный подход.
Ну сдохнет, заменю. На то он и RAID.
Если кто-то разработает особую форму RAID спецом для SSD, правильней будет реализовать поддержку этой логики на уровне файловой системы или узкоспециализированного RAID-контроллера.
Так уже!!!
SSD это и есть RAID сам в себе. Просто говно фирмы делают RAID 0, а норм фирмы типа Самсунга уже делают навороченные райды с кэшированием, резервированием и избыточностью данных, ну конечно за всё надо платить, потому и ценник у самса в 2 раза выше, зато надёжность выше в разы.
Я что-то подобное и описывал. Коли так, можно не париться... а просто "кидать данные" на хороший SSD как на обычный накопитель?
Но всё же, я S.M.A.R.T. тоже не особо верю, у меня диски подыхали без предупреждения, однако. Я ЛИЧНО за RAID "своими руками". По крайней мере для себя.
Вы когда нибудь ради развлечения SSD в RAID пробовали убивать специально?
Вот сейчас, считай, и пробую - но не убивать, а просто пользоваться. Можно ещё раздел на 250 Гб на HDD добавить, если всё плохо...
У меня разные SSD, оба проверены.
Знакомые баловались с этим вопросом на двух хорошо пользованных 128G - второй лег вместе с первым. Опыт однократный - выводы не сделаешь, но после этого все, что творится на SSD, тупо ставят в регулярный бакап, где уже старая механика и RAID. Если у вас случатся отказы - не поленитесь, пожалуйста, опубликовать, это очень интересная информация.
Обязательно. Но у меня обычная нагрузка, в целом, и бекапы я люблю.
Есть мысль слепить RAID0 на 2 HDD и воткнуть его для подстраховки в зеркало к SSD, по сути, третьим диском.
Я поднимал зеркало HDD-SSD после сдыхания SSD. Через менюху биоса.
Понятно что можно. Непонятно зачем. Скорость записи предсказуемо просядет.
HDD обновляется по запросу вручную. Когда поставленное/обновленное ПО продемонстрирует стабильность.
На самом деле затраты времени чисто на запись данных на HDD в ходе настройки и конфигурирования системы не столь значительны... Но можно и так, настроить систему и создать аппаратное зеркало на HDD.
Так много буковок не осилю, но рецепт для простого (не замороченного в ИТ) пользователя дать осмелюсь.
Берем флэшку на 16 или старый диск. Ставим на него на выбор: FreeNAS, Nas4Free, OpenMediaVault.
Добавляем в систему три диска для данных (полезного места останется чуть менее чем 2/3). Разбиваем на этих дисках ZFS том. Раздаем его домашним устройствам. Все! Теперь фотки потеряются при пожаре или краже.
Сделать выше указанное может даже не сильно продвинутый пользователь .
Слишком много неясности для меня, ламера. И я больше по btrfs, а не по ZFS.
Ув. Автор ещё и посты удаляет. Мило, очень мило.
Я ж написал почему. Не надо писать "харб не тут" который раз.
Когда я писал вам ответ, ув. Aijy01, этот вашего поста еще не было. Впрочем, всё кристально и ожидаемо.
Имеено так. Налетели, понимаешь, толпой с (с моей точки зрения) тупыми одинаковыми комментариями. Я решил пресечь необоснованные наезды.
Я удалил ОДИН комментарий.
Не обижайтесь, но не совсем ясно, зачем эта статья. Целевая аудитория - домашние пользователи, которые хотят иметь дома файлопомойку с повышенной надежностью и скоростью (кстати, зачем она дома?) за небольшие деньги. Решить эту проблему можно многими способами, а ваш - лишь один из многих.
Бизнес, как правило выбирает другие решения.
RAID из SSD - популярная тема в SAN. Позволяет получить действительно огромные скорости при высокой надежности. Но там используются другие аппаратные средства за совсем негуманные деньги для простого обывателя.
просто вы оперируете терминами, которые не понятны и программистам. куда уж там простым юзерам. т.е не смогут использовать.
в общем специфическая тема эри рейды, саны и т.д. мы же тут в основном просто доллар хороним :)
Я так только SAN не понял. В начале статьи ликбез по терминам.
видимо это сеть хранения данных (англ. Storage Area Network, SAN)
ликбез есть, а понимания не будет, а значит и действий. помню в универе raid проходили и то напрягались. врач думаю не поймет
Захочет -- поймёт.
Полагаю, разница не столь велика. 4 года на 120-ГБ SSD OCZ в качестве системного диска как-то заставили меня поверить в надёжность SSD. Пока что всё пашет как часы.
Вы статью не читали? Ответ на этот вопрос ещё до ката.
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
Страницы