Как смот­реть аме­ри­кан­ский ты-​туп или чи­тать парижско-​дубайский теле$рам, с гол­ланд­ским дзы­нем и не стать ту-​пым

Тео­ре­ти­че­ских работ до­ста­точ­но много по во­про­су, как из­вле­кать даже из лож­ной ин­фор­ма­ции не лож­ную (не без кон­тек­ста ко­неч­но), есть и раз­лич­ные грубо го­во­ря "плат­ные" сер­ви­сы для обы­ва­те­ля, прав­да в ре­аль­но­сти не так то все про­сто, да и в общем слу­чае вре­ме­ни нет сво­бод­но­го, на вот это вот все. 

Но есть и хо­ро­шие но­во­сти - если рань­ше об­ра­бот­ка ин­фор­ма­ции была до­ступ­на толь­ко профи, то сей­час в прин­ци­пе от­но­си­тель­но при­ем­ле­мо можно де­лать даже дома на ко­лен­ке. 

Так как на самом деле необ­хо­ди­мо смот­реть ви­до­си­ки или тем более чи­тать вся­кую ин­тер­нет шнягу?

Прак­ти­че­ски любое ин­фор­ма­ци­он­ное со­об­ще­ние в ин­тер­не­те, пус­кай даже оно и за­мас­ки­ро­ва­но под "какой нить" из­ви­ня­юсь "высер", рас­кла­ды­ва­ет­ся на век­тор из упо­ми­на­ний чего то или кого то с под­ве­де­ни­ем со­от­вет­ству­ю­щей кон­но­та­ции (обыч­но нега­тив­ной ибо "про­смот­ров боль­ше").

Так как уро­вень "ге­не­ра­то­ров" па­да­ет и все чаще соб­ствен­но эти со­об­ще­ния стро­га­ют по за­дан­ным шаб­ло­нам ней­ро­сет­ки, то и об­рат­ную де­ком­по­зи­цию также можно вы­пол­нить с их по­мо­щью, за­од­но сэко­но­мив время.

Итак - вме­сто траты время на про­смотр "ви­до­са" - можно ре­а­ли­зо­вать сле­ду­ю­щий ал­го­ритм.

Со­хра­ня­ем видео (или аудио), если уже есть суб­тит­ры (одно время мно­гие ви­део­хо­сте­ры де­ла­ли, но сей­час на­ча­ли от­клю­чать - так по­ни­маю эко­но­мят) со­хра­ня­ем и суб­тит­ры, если нет, то ге­не­ри­ру­ем свои, про­пус­ка­ем суб­тит­ры через ПО для вы­де­ле­ния сущ­но­стей ( люди, ком­па­нии на­при­мер ), так же можно вы­де­лить "кон­но­та­ции" - т.е. нега­тив­ный или по­зи­тив­ный кон­текст от­но­си­тель­но "сущ­но­сти" , потом за­но­сим в БД и стро­им карту (можно трех­мер­ную со вре­ме­нем), ну или мат­ри­цу если хо­ти­те.

Кто - про кого и про что, что ска­зал, с одним из из­ме­ре­ний - "вре­ме­нем".  Не обя­за­тель­но это про "друг" про "друж­ку" долж­но быть, можно и от­но­си­тель­но ка­ко­го то "бу­ду­ще­го" или "про­шло­го" - "мема" (все рано или позд­но пре­вра­ща­ет­ся увы в оные).

По ре­зуль­та­там на­при­мер за­мет­но, как на­чи­на­ют как по ко­ман­де  на или за Пуш­ки­на, или за­уныв­но трын­деть про "де­мо­гра­фию." ...

Как это может вы­гля­деть на прак­ти­ке:

Чтобы, как на­зы­ва­ет­ся ни­ко­го слу­чай­но не за­деть, для при­ме­ра возь­мем в наших усло­ви­ях по­лу­и­сто­ри­че­ский ( на­угад - сам и не смот­рел, что там несут ) видос про рус­скую "ли­те­ра­ту­ру" 90-ых:

Ты-​туп кста­ти тут уже вы­де­лил "людей" из ви­до­са, раз­ме­тил поток, что тоже удоб­но, для срав­не­ния.

Итак.

Для со­хра­не­ния ви­до­са в папку - де­ла­ем так ( при­вел сразу если кому надо с прок­сей ) , со­хра­ня­ем толь­ко ауди­о­до­рож­ку ( очень редко кто то по­ка­зы­ва­ет слай­ды, т.е. ана­ли­зи­ру­ем толь­ко аудио­ряд  )

yt-​dlp -c -​-proxy "socks5://user:password@ip:port/" -​-sub-format vtt  -​-write-auto-subs -​-write-info-json -​-sub-lang "ru.*" -​-no-abort-on-error -​-ignore-errors -x -f worstaudio -​-audio-format mp3 http://адрес_ви­до­са -o "data/%(upload_date)s_%(id)s.%(ext)s"

Ска­чи­ва­ет­ся:

по­лу­ча­ем набор фай­ли­ков: 

далее ге­не­ри­ру­ем "суб­тит­ры"  ( бес­плат­ное ПО -  whisper-​ctranslate2 ) если их нет.    Кста­ти по­след­нее время уро­вень ге­не­ри­ру­е­мых са­ми­ми ви­део­хо­стин­га­ми суб­тит­ров как ни стран­но упал  и это на фоне роста мощ­но­стей!.

В дан­ном слу­чае тран­скрип­ция от гугла дей­стви­тель­но про­сто от­вра­ти­тель­но­го ка­че­ства:

со­от­вет­ствен­но де­ла­ем свою тран­скрип­цию:

whisper-​ctranslate2 $1 -​-model large-​v3 -​-output_dir outmisc -​-language Russian > $2

и дей­стви­тель­но стран­но, но до­ста­точ­но тупая "до­маш­няя" ней­ро­сет­ка ока­за­лась лучше, чем у гуг­ло­и­дов

-​---------

и для вы­де­ле­ния суч­но­стей рань­ше была биб­лио­те­ка от ми­сте­ра Ку­куш­ки­на [ https://lab.alexkuk.ru/ ]   - На­та­ша 

сей­час есть spacy - https://spacy.io/models/ru#ru_core_news_lg ( на его же "неру­си" сде­ла­на )

До­пу­стим сде­ла­ем про­стень­кий скрипт с ее ис­поль­зо­ва­ни­ем:

Ре­зуль­тат про­го­на через него

Как видим уже боль­ше, чем у хугля, ну не суть ( Воз­ник пер­вый же во­про­сик, как хугль от­филь­тро­вал, кого вклю­чать в свою под­бор­ку, отоб­ра­жа­е­мую под ви­до­сом, а кого нет - ибо как видим набор то кон­крет­но по "ширше" будет... ?)

Это все далее за­ки­ды­ва­ет­ся в со­от­вет­ству­ю­щую базу (по­след­нее время пред­по­чи­таю clickhouse ибо он и прав­да _быст­рый_ , хотя ко­неч­но лучше что ни­будь им­пор­то­за­ме­щен­ное типа postgres от мест­ных аст­ро­фи­зи­ков )

На­при­мер в таб­ли­цу с ко­лон­ка­ми:

[ время ] , [ канал ] , [ видос ] , [ тип объ­ек­та ] , [ время упо­ми­на­ния ] , [ кон­но­та­ция ] 

И так по всему, до чего до­тя­нем­ся.

Со­от­вет­ствен­но со вре­ме­нем ста­но­вит­ся легко от­сле­жи­вать, как под­ни­ма­ют­ся "ко­гни­тив­ные" волны по тому или иному "объ­ек­ту", а так же по­яв­ле­ние новых или за­бы­тие "ста­рых" "мемов".

Софт сей­час пи­шет­ся быст­ро - много всего го­то­во­го, легко до­пи­лить на­пиль­ни­ком. Выше про­сто при­мер того, на­сколь­ко это все стало про­сто.

В чем может быть про­бле­ма при "бес­плат­ной" ре­а­ли­за­ции?

На одном "до­маш­нем" при­со­еди­не­нии Вы не смо­же­те мо­ни­то­рить сразу дей­стви­тель­но много ка­на­лов, ска­жем так бес­плат­но.

Что можно сде­лать - со­брать docker образ, либо еще лучше все за­ком­пи­лить в одно при­ло­же­ние (немно­го боль­ше возни, с уче­том ко­ли­че­ства сто­рон­них биб­лио­тек , но тоже ре­а­ли­зу­е­мо во­об­щем то, в т.ч. на arm toolchain чтобы на мо­бил­ках го­нять, бгг) и раз­дать его дру­зя­кам ( обыч­но рас­кла­ды­ва­ет­ся по раз­ным хо­стин­гам ).

Где вот это все будет по­лу­чать ко­ман­ды (типа вы­пол­нить ана­лиз со­от­вет­ству­ю­ще­го url и вер­нуть ре­зуль­тат), далее на­пи­сать неслож­ный сер­вер, ко­то­рый раз­да­ет кли­ен­там за­да­ния и по­лу­ча­ет от них ре­зуль­та­ты об­ра­бот­ки, через апи. 

Таким об­ра­зом "на­род­ный ва­ри­ант" поз­во­лит филь­тро­вать по­то­ки бреда и не очень бреда, об­ру­ши­ва­е­мо­го на го­ло­вы че­ло­веч­ков медиа-​корпами или "эн­ту­зи­а­ста­ми" (в т.ч. псев­до) и вы­де­лять из него толь­ко то, что дей­стви­тель­но ин­те­рес­но, ну и за­од­но под­све­чи­вать ре­аль­ные век­то­ры, вы­яв­лять "волны", "пер­вич­ку" и прч. 

Схе­ма­тич­но вот выше.

С управ­ле­ни­ем оче­ре­дью можно тоже особо не за­мо­ра­чи­вать­ся, а сде­лать на го­то­вом - rabbitmq на­при­мер, так как пе­ре­да­ет­ся толь­ко об­ра­бо­тан­ное, то тре­бо­ва­ния к сер­ве­ру ми­ни­маль­ные...

У "ре­клам­щи­ков" есть _кон­крет­но_ про­дви­ну­тые такие Ма­ши­ны, в т.ч. по ска­жем так не со­всем пуб­лич­ным дан­ным (осо­бен­но после того, как они ин­те­гри­ро­ва­лись с те­ле­ком­щи­ка­ми и бан­ки­ра­ми), ко­то­рые "смот­рят и чи­та­ют всё".

Немно­го (ре­аль­но не много) слож­нее схема с сим­во­ли­че­ски­ми ал­лю­зи­я­ми - это когда "ши­ро­ко­ве­ща­те­лем" под­би­ра­ет­ся что то по­хо­жее на,  с уче­том це­ле­во­го кон­тек­ста, но даже с уче­том этого уров­ня все равно по итогу это все чи­стая ме­ха­ни­ка. В под­лож­ке у ко­то­рой лежит либо ком­мер­ция, заказ, либо тупо агрес­сия с век­то­ром атаки.  Из-за чего воз­ни­ка­ет агрес­сия, если это не заказ? Несо­от­вет­ствие кон­тек­стов? Вот тут уже ин­те­рес­ней ко­неч­но.  На­сколь­ко понял есть Мо­де­ли и с ними... 

Сле­ду­ю­щие уров­ни это смы­ка­ние "смот­ря­щих машин" с социо-​экономическими сгуст­ка­ми, име­ю­щи­ми ре­аль­ные ре­сурс­ные воз­мож­но­сти - при­чем порой из раз­ных ад­ми­ни­стра­тив­ных кон­ту­ров.

А так же их раз­бор­ки между собой,  ино­гда вы­гля­дя­щие кон­крет­но за­бав­но.

Слайд из клас­си­ки:

Зато даже по­верх­ност­ный ана­лиз про­из­вод­ной от век­то­ров поз­во­ля­ет хотя бы при­бли­зи­тель­но, но все же вос­ста­но­вить ре­аль­ные рас­кла­ды.

Но это уже дру­гая сказ­ка... всем хо­ро­ших вы­ход­ных.

P.S.

Ис­поль­зо­ван­ное ПО:

https://github.com/yt-​dlp/yt-​dlp

https://github.com/Softcatala/whisper-​ctranslate2

https://spacy.io/models/ru#ru_core_news_lg

P.S.  2

Вывод из этой басни про­стой - сле­ду­ет крайне скеп­ти­че­ски от­но­сить­ся к лю­бо­му, как сей­час го­во­рят "кон­тен­ту", про­из­во­ди­мо­му за де­нюж­ку, или про­сто ма$$овому, но не офи­ци­аль­но­му  - и рань­ше то это про­сто кон­крет­но все было ути­ли­тар­но, а сей­час, с раз­ви­ти­ем тех­но­ло­гий пре­вра­ти­лось,  про­сто в "ме­ха­ни­ку". Ака­де­ми­че­ский сек­тор пока еще дер­жит­ся, за счет ин­сти­ту­та ре­цен­зи­ро­ва­ния и сла­бой об­рат­ной связи с раз­ме­ром ауди­то­рии, но тоже ме­ста­ми пре­вра­тил­ся в оную.