LINUXTALKS.CO

парсер новостей с OpenNet'a

 ,

L


0

1

Теперь, когда подхватываются внешние картинки с маркдауна в новостях, я займусь изготовлением конвертора новостей с OpenNet'a. Новости там хорошие, лицензия использовать позволяет, а комплексов NIH, как на лоре, у меня нет. Будем быстренько репостить и обсуждать.

★★☆☆☆

Хехе, главное чтоб они там быстренько не поменяли условия перепечатки их новостей %)

А вообще, после запуска я вам тут новости буду регулярно переводить. На ЛОРе я из-за шамана перестал, он весь интерес сгубил.

cocucka    
★★★★★★★★★★★
Linux / Chrome
Ответ на: комментарий от cocucka

пока численность нашей аудитория в 10 раз меньше, мы им не мешаем.

crypt    
★★☆☆☆
Последнее исправление: crypt (всего исправлений: 1)

FreeBSD / Chrome

Будем быстренько репостить и обсуждать.

Только надо бы сделать так, чтоб не было дублей одинаковых новостей с ЛОРа и опеннта.

torvn77    
★★★
Android / Chrome
Ответ на: комментарий от crypt

Можно сделать так: сверять название новой новости с названиями новостей за последние пять дней и если более двух слов на латинице совпадают то новость ставится в очередь на модерацию.
Ну и для русских слов тоже применить такой или похожий критерий.

torvn77    
★★★
Android / Chrome
Ответ на: комментарий от crypt

Не можешь два вложенных цикла for-shift по очереди сверяющий слова в каждой новости друг с другом?
(Потребуется третий цикл while/until перебирающий сами новости до n новостей назад).

torvn77    
★★★
Последнее исправление: torvn77 (всего исправлений: 1)

Android / Chrome
Ответ на: комментарий от torvn77

и нафига мне такая помощь? на баш я и сам могу. ты сказал, что это на java (а не js) легко. вот и сделай, раз такой умный.

crypt    
★★☆☆☆
FreeBSD / Chrome
Ответ на: комментарий от crypt

На java вызываешь внешнюю программу от которой принимаешь вывод succes|failed|error.

Саму программу пишешь на bash или что тебе удобно.

Программа принимает два аргумента: тестируемое название и путь к файлу с названиями последних новостей.

torvn77    
★★★
Последнее исправление: torvn77 (всего исправлений: 1)

Android / Chrome
Ответ на: комментарий от torvn77

я уже сказал. код на гитхабе. пиши. хорошо, если ты вообще найдешь место, где это нужно делать.

а я лучше выложу инструкцию по конвертации новостей с опеннета. кто первый воспользуется, тот и запостит.

crypt    
★★☆☆☆
Последнее исправление: crypt (всего исправлений: 1)

FreeBSD / Chrome
Ответ на: комментарий от crypt

На баше же есть массивы. Их можно забивать элементами динамически.

В один массив поместить отдельные слова, а в другой нули, как вес слова.

Разбив по пробельным строку сабжа с лора на массив, можно для каждого элемента нашего массива, пройтись по лоровскому и при совпадении делать по индексу инкремент веса в массив весов наших слов.

Теперь у нас есть кол-во слов (WC) и значения их весов (ARR), а так же известно максимальное значение (MAX). При превышении среднего значения, например, рассчитанного по формуле SUM(ARR)/WC порога в N% можно будет стриггерить дубликат сабжа.

deep-purple    
★★★★★★★★★★
Android / Firefox
Ответ на: комментарий от mydibyj

Ждём. Надеемся. Верим.

блин, ты задрал некропосты подымать. давно уже все написано. полгода ссылка почти в каждой новости.

crypt    
★★☆☆☆
FreeBSD / Chrome
Ответ на: комментарий от deep-purple

у меня в прошлом дохрена стажа в айти и я не особо интересуюсь техническими обсуждениями на форуме.

crypt    
★★☆☆☆
Последнее исправление: crypt (всего исправлений: 1)

FreeBSD / Chrome
Ответ на: комментарий от crypt

Оставил хоть бы ссылку, где искать. Извини, я не знал, что это будет некропост, с какого времени ответ в тему считается некропостом?

mydibyj    
★★
Windows / Firefox
Ответ на: комментарий от mydibyj

это же на лоре сделали некромаркеры. тебе видней)

Оставил хоть бы ссылку, где искать.

ссылки в актуальных темах (новостях), а не в мартовском некро.

crypt    
★★☆☆☆
Последнее исправление: crypt (всего исправлений: 1)

FreeBSD / Chrome
Ответ на: комментарий от crypt

Ну чтобы на сервере ЛТ был чекер новостей опеннета и при наличии новой сразу парсилось в новость на ЛТ

Вот прикол будет…

GREAT-DNG    
★★★★★
Android / Chrome
Ограничение на отправку комментариев: только для зарегистрированных пользователей, score>=90