Menu
Strona g艂贸wna
Hacking
Programowanie
Telefonia Kom贸rkowa
Kody do Gier
Linux
Dlaczego?
Programowanie w Delphi
Mapa strony
 Programy
Systemy
Artyku艂y PDF

Security

Skanery
Sniffery
Security

Windows

U偶ytkowe
Przegl卤darki graficzne
Kodeki
Narz臋dzia plikowe
Narz臋dzia dyskowe
Narz臋dzia systemowe
Sterowniki
Szyfrowanie danych
Zarz卤dzanie has艂ami
Zarz卤dzanie rejestrem
拢aty i Patche
Zarz卤dzanie pami臋ci卤
Synchronizacja czasu
Nagrywanie p艂yt
Free Antivirus (Darmowe Antyvirusy)
Sterowniki
Obr贸bka d录wi臋ku
Edycja wideo

Internetowe

Bezpiecze帽stwo
Programy P2P
Komunikatory
Dodatki do przegl卤darek
Klienty poczty elektronicznej
Narz臋dzia Antyspamowe
Przegl卤darki grup dyskusyjnych
Przegl卤darki Offline
Serwery poczty elektronicznej
Telefonia kom贸rkowa
Wyszukiwarki internetowe
Zdalny dost臋p
Cybernianie
Klienty FTP
Narz臋dzia internetowe
Prywatno艣c
Przegl卤darki internetowe
Serwery FTP
Serwery WWW
Wspomagacze 艣ci卤gania
Zarz卤dzanie sieci卤 lokaln卤

Tuning Systemu

Diagnostyka i testowanie
Inne
Rozszerzenia pulpitu
Tapety na pulpit
Tuning Systemu
Ikony
Pow艂oki
Tuning sprz臋tu
Wygaszacze ekranu

Programowanie

Kompilatory
Biblioteki i komponenty
Bazy danych
Edytory programistyczne
娄rodowiska programistyczne
Debugery
Tworzenie wersji instalacyjnych

Webmastering

U偶ytkowe
Kursy

Linux

U偶ytkowe
Internetowe
Multimedialne

Programy biurowe

Programy dla firm
Pakiety biurowe
Administracja
Edytory tekstu
Grafika prezentacyjna
Kadry i p艂ace
Wspomaganie projektowania
Zarz卤dzanie projektami
Bazy danych
Finanse i ksi臋gowo艣c
Handel
Programy ewidencyjne
Zarz卤dzanie informacj卤 osobist卤 (PIM)
 Download GRY
Pelne Wersje GIER
 Artyku硑 > Linux > Feeder - skompresowane newsy

Feeder - skompresowane newsy

Wst臋p

Czy czasami zastanawia艂e艣 si臋 jak mo偶na przyspieszy膰 艣ci膮ganie setek list贸w, kt贸re codziennie trafiaj膮 na grupy dyskusyjne? Zapewne przychodzi艂y Ci do g艂owy pomys艂y o zmianie serwera newsowego (co i tak nie dawa艂o oczekiwanych efekt贸w :(), a co ambitniejsi kompresowali ca艂膮 transmisj臋 przez ssh. Rozwi膮zanie kt贸re chce Wam zaproponowa膰 jest o wiele bardziej efektywne, a co za tym idzie w bardzo szybkim czasie 艣ci膮gniemy codzienn膮 porcj臋 news贸w. W jednym po艣cie na pcol Andrzej Radecki (autor serwisu) napisa艂 tak:

" Od ponad roku prowadzimy serwis udost臋pniaj膮cy newsy w postaci skompresowanych paczek. G艂贸wnym jego przeznaczeniem jest skr贸cenie czasu pobierania news贸w, z czego wywi膮zuje si臋 on bardzo dobrze. My艣l臋, 偶e doceni膮 to ludzie 艂膮cz膮cy si臋 za pomoc膮 dialup'u TP S.A. ;-) Wynika to nie tylko z samej kompresji ale r贸wnie偶 znacznego zmniejszenia ilo艣ci zapyta艅 serwera oraz zr贸wnoleglenia pobierania plik贸w. Pobieranie i kompresowanie news贸w odbywa si臋 4 razy dziennie przy czym nowo tworzonym paczkom nadawane s膮 nazwy b臋d膮ce z艂o偶eniem nazw grup i kolejnych numer贸w uruchomienia skryptu 'serwerowego'. "

Ja tylko dodam, ma ca艂kowit膮 racj臋! Za pierwszym razem gdy 艣ci膮ga艂em newsy to przez 4,5 minuty po艂膮czenia modemowego z TPSA 艣ci膮g艂em 1106 list贸w! robi膮c oczywi艣cie w tym czasie inne internetowe rzeczy. Je艣li my艣lisz, 偶e warto skorzysta膰 to czytaj dalej.

Jak to dzia艂a?

Autorzy serwisu 4 razy dziennie udost臋pniaj膮 spakowane bzipem newsy. Ty za pomoc膮 odpowiednich skrypt贸w 艣ci膮gasz je na sw贸j dysk lokalny, a dalej podajesz je do odpowiednich program贸w - serwera news inn, leafnode+ lub slrnpull`a - programu 艣ci膮gaj膮cego posty dla slrn. Nast臋pnie odczytujesz je swoim ulubionym linuxowym programem (i tak wiem, 偶e jest to slrn :)) W tym dokumencie opisz臋 tylko jak korzysta膰 z serwera inn. Slrnpull nie jest moj膮 mocn膮 stron膮 wi臋c, je艣li chcesz z niego korzysta膰 musisz sam si臋 nim pobawi膰. Do Leafnode+ s膮 ju偶 napisane odpowiednie skrypty, wkr贸tce b臋d膮 dost臋pne w projekcie.

Troch臋 o autorach

Andrzej Radecki radecki@wpk.p.lodz.pl - szef ca艂ego przedsi臋wzi臋cia, pomys艂odawca,

Gotar gotar@priv0.onet.pl - skrypty do slrnpull`a,

Radek Zieli艅ski - skrypt prelowy pracuj膮cy na serwerze,

Radek Kojecki - to na jego serwerze dzia艂a projekt,

Daniel Mr贸z - pisze dokumentacje,

Zerknij po feedera

Pierwsz膮 rzecz膮 jak膮 powinniene艣 zrobi膰 to zajrzenie na stron臋 domow膮 projektu: http://www.media-com.com.pl/~radecki/. Mo偶esz tam znale录膰 statystyki 艣ci膮ganych grup newsowych (czasami skrypt to obs艂uguj膮cy potrafi p艂ata膰 figle :), ich list臋 oraz co najwa偶niejsze skrypty potrzebne do ob艂ugiwania projektu. 娄ci膮gniesz je w formacie .src.rpm z katalogu http://www.media-com.com.pl/~radecki/scripts/. Jak je zainstalowa膰 przeczytasz w artykule o instalacji oprogramowania. Je艣li jednak nie u偶ywasz rpm`a (tak jak ja, heh :) wystarczy, 偶e wyci膮gniesz odpowiednie pliki i umie艣cisz je we w艂a艣ciwych miejscach. Skrypty id膮 do /usr/bin, tworzysz /var/spool/news/feeder i umieszczasz w nich pliki grupy i last.

Konfiguracja i u偶ywanie

W /usr/bin znajdziesz 7 skrypt贸w kt贸re obs艂uguj膮 projekt. Niekt贸re s艂u偶膮 do tego samego :) inne s膮 wykorzystywane w r贸偶nych opcjach (zale偶y z jakich program贸w korzystamy). Do 艣ci膮gania s艂u偶膮: suckem-sh i suckem-perl, oba robi膮 to samo, drugi napisany w perlu jest jeszcze w fazie rozwojowej, ale podobno ca艂kiem stabilny. feed2inn przesy艂a i rozpakowywuje skrypty do serwera inn`a, a dwa funkcjonalnie rownowa偶ne do spoola programu slrn - feed2slrnpull_a i feed2slrnpull_b. Dodatkowo w paczce znajduje si臋 skrypt 'news.send' do wysy艂ania news贸w z inn'a (klasycznie - za pomoc膮 rposta) i filtr nag艂贸wk贸w do niego - 'news.put'.

Plik konfiguracyjny to /var/spool/news/feeder/grupy gdzie zapisujemy nazwy grup, kt贸re b臋dziemy chcieli pobiera膰 np.

pl.comp.os.linux
pl.news.czytniki

Oczywi艣cie pe艂n膮 list臋 grup znajdziemy na stronie projektu.

Poza tym w pliku list zapisywane s膮 numery 艣ci膮ganych feed贸w (paczek) a w last numer ostatnio 艣ci膮gni臋tego.

Znowu podepr臋 si臋 Andrzejem:

" Niedawno napisa艂em perlowy skrypt do 艣ci膮gania news贸w. Jest to jak na razie konstrukcja eksperymentalna (cho膰 ju偶 ca艂kiem stabilna - ja jej u偶ywam na co dzie艅). Cech膮 szczeg贸ln膮 tego skryptu jest to 偶e nie u偶ywa on plik贸w 'grupy' i 'last' lecz jednego pliku 'groups' umo偶liwiaj膮cego precyzyjniejsz膮 kontrol臋 nad tym co i od jakiego miejsca 艣ci膮gamy. Format tego pliku jest opisany w samym skrypcie. Dodatkowo posiada on kilka innych feature'贸w - czytelniejsza prezentacja wynik贸w. Powinien by膰 te偶 (takie jest za艂o偶enie) bardziej odporny na zerwanie po艂膮czenia od wersji napisanej w bashu."

Mowa tu oczywi艣cie o skrypcie 艣ci膮gaj膮cy suckem_perl, kt贸rego mo偶esz u偶ywa膰 do 艣ci膮gania feed贸w. Ja jednak preferuje suckem_sh (napisany w bashu), ale to tylko moje przyzwyczajenia.

Je艣li skonfigurowali艣my feedera to teraz wydaj膮c polecenie suckem_sh lub suckem_perl 艣ci膮gniemy interesuj膮ce nas paczki. Dalej musimy wepchn膮膰 je do programu inn lub slrnpull (poczekaj a偶 skonfigurujemy inn`a w nast臋pnym punkcie) poleceniem feed2inn lub dla slrnpull feed2slrnpull_a lub feed2slrnpull_b.

Serwer news - inn

Sam feeder _tylko_ 艣ciaga newsy, Ty musisz jeszcze postawi膰 co艣 z czego program do news贸w b臋dzie je czyta艂 - u mnie jest to serwer inn (mo偶e by膰 slrnpull - na razie nie b臋dzie jego opisu, b膮d录 co艣 innego jednak na razie nie ma jeszcze skrypt贸w do program贸w innych ni偶 powy偶sze). Zainstaluj inn`a z rpm`a, tgz lub 录r贸de艂ek. Zadbaj tak偶e aby na twoim komputerze znalaz艂 si臋 pakiet cleanfeed. Edycji poddamy plik konfiuracyjny inna. W /etc/news/newsfeed dopiszemy:

tpnet::H1:

i do sekcji ME akceptowanie polskich grup czyli pl

ME\
:*,@alt.binaries.warez.*,!junk,!control*,!local*,!foo.*\
/pl,world,usa,na,gnu,bionet,pubnet,u3b,eunet,vmsnet,inet,ddn,k12\
::

UWAGA: wystarczy dopisa膰 tylko pl (3 linijka) pozosta艂e ju偶 s膮 w standardowej konfiguracji inn`a! Powt贸rzenie tego wpisu powoduje b艂膮d w konfiguracji programu.

Uruchamiamy serwer inn poleceniem inndstart i tworzymy nowe grupy na serwerze (takie same jak w pliku grupy feedera). Robimy to poleceniem:

ctlinnd newgroup nazwa.dodawanej.grupy

# np. ctlinnd newgroup pl.comp.os.linux

Teraz wpychamy do inna posty z feedera: feed2inn.

Co dalej?

Mamy ju偶 na w艂asnym lokalnym serwerze wiadomo艣ci. Teraz wystarczy je tylko odczyta膰. Ja polecam do tego celu slrn. Nie b臋d臋 si臋 tutaj wdawa艂 w szczeg贸艂ow膮 konfiguracje, jednak podam kilka uwag. Slrn korzysta z serwera, kt贸rego nazw臋 (adres) podamy w zmiennej NNTPSERVER, w naszym wypadu b臋dzie to serwer lokalny czyli 127.0.0.1. Zr贸b (dopisz do /etc/profile) export NNTPSERVER=127.0.0.1. Przy pierwszy uruchomieniu slrn pr贸buje pobra膰 list臋 grup. Tworzymy j膮 wydaj膮c polecenie:

slrn -f /home/user/.newsrc -create

Na ekranie powinny pojawi膰 si臋 wszystkie dost臋pne na serwerze grupy. Te kt贸re chcemy czyta膰 musimy zasubskrybowa膰 poprzez u偶ycie klawisza s.

U偶ywanie slrn i slrnpull

Je艣li nie mamy ochoty by stawia膰 serwer neiws inn, gdy tylko my korzystamy ze 艣ci膮gni臋tych feed贸w i u偶ywamy czytnika news o nazwie slrn warto zainteresowa膰 si臋 programem do艂膮czanym do tego czytnika o nazwie slrnpull. W rzeczywisto艣ci s艂u偶y on do 艣ci膮gania post贸w z newsgrup, ale dzi臋ki Gotarowi mo偶liwe jest go u偶ywanie w po艂膮czeniu razem z feederem.

Zaczniemy od konfiguracji samego slrnpulla. W pliku /var/spool/slrnpull/slrnpull.conf edytujemy jego konfiguracje. Wystarczy, 偶e dodamy w艂asne grupy dyskusyjne:

pl.comp.os.linux
pl.comp.os.linux.sieci

Teraz nadszed艂 czas, aby zmusi膰 slrn do korzystania z slrnpull. Wa偶ne, aby w pliku konfiguracyjnym slrn (.slrnrc) znalaz艂y si臋 nast臋puj膮ce wpisy:

set spool_inn_root "/var/spool/slrnpull"
set spool_root "/var/spool/slrnpull/news"
set spool_nov_root "/var/spool/slrnpull/news"
set read_active 1
set use_slrnpull 1

Oczywi艣cie 艣cie偶ki musz膮 by膰 poprawne.

Teraz prze艣lemy spakowane paczki 艣ci膮gni臋te feederem do spoola slrnpull. Mo偶emy to zrobi膰 za pomoc膮 dw贸ch r贸wnorz臋dnych skrypt贸w: feed2slrnpull_a i feed2slrnpull_b. Kt贸rego u偶yjemy zale偶y tylko i wy艂膮cznie od nas. Rozpakowane posty pojawi膮 si臋 w katalogu: /var/spool/slrnpull/news/nazwa/grupy.

Do czytania news贸w musimy u偶y膰 programu slrn. Aby korzysta艂 z slrnpull wywo艂ujemy go parametrem:

slrn --spool

Je艣li u偶ywamy slrn tylko w ten spos贸b warto doda膰 alias do /etc/profile:

alias slrn='slrn --spool' i wywo艂ywa膰 czytnik przez wpisanie slrn.

Wysy艂anie post贸w na grupy dyskusyjne przy korzystaniu z slrnpull nie stwarza 偶adnych trudno艣ci. Musimy mie膰 wspomnian膮 ju偶 opcj臋 w pliku konfiguracyjnym slrn`a (.slrnrc):

set use_slrnpull 1

Wysy艂ane artyku艂y umieszczane s膮 w katalogu /var/spool/slrnpull/out.going i dlatego powinni艣my nada膰 temu katalogu odpowiednie prawa do zapisywania:

chmod ugo+rwxt out.going

Komend臋 t臋 wydajemy z lini polece艅, gdy znajdujemy si臋 w katalogu /var/spool/slrnpull/

Gdy chcemy wys艂a膰 w 艣wiat nasze posty wywo艂ujemy slrnpull z opcj膮:

slrnpull --post-only

Dzi臋ki temu slrnpull nie b臋dzie pobiera艂 nowych wiadomo艣ci (tym zajmuje si臋 feeder), a jedynie wy艣le nasze.

Tak偶e i tutaj warto utworzy膰 w /etc/profile alias:

alias slrnpost='slrnpull -d /var/spool/slrnpull/ --post-only'

Je艣li go utworzymy wystarczy wpisa膰 slrnpost by wys艂a膰 newsy.

UWAGA: Musisz okre艣li膰 z jakiego serwer news slrnpull ma korzysta膰. Odpowiedzialna jest za to zmienna NNTPSERVER. Ustawiamy t臋 zmienn膮 poleceniem (dla pow艂oki bash):

export NNTPSERVER=news.vogel.pl

gdzie news.vogel.pl jest naszym wybranym serwerem news. Aby nie wpisywa膰 tej zmiennej za ka偶dym razem gdy si臋 ponownie zalogujemy na konto, warto doda膰 j膮 do /etc/profile:

NNTPSERVER=news.vogel.pl
export NNTPSERVER

Grupa dyskusyjna. Uwagi ko艅cowe.

Mo偶esz zapisa膰 si臋 na grup臋 dyskusyjn膮 po艣wi臋con膮 feederowi feed-pl@egroups.com, (zapisy na: feed-pl-subscribe@egroups.com). Uwagi kierujcie do Andrzeja lub Gotara (skrypty do slrnpulla), adresy na g贸rze artyku艂u.

Serwis jest widoczny tak偶e pod adresem ftp://ftp.media-com.com.pl/pub/newsy/.

komentarz[1] |

Copyright 2006 - 2007 E-comet.info. Wszelkie prawa zastrze縪ne.

programy,artyku硑,gry online,teledyski,filmiki,smieszne reklamy,sterowniki,kodeki,programy,program,download, downloads,security,bramka sms, teledyski,antywirusy,darmowe free program,programy p2p,tapety,programy biurowe,programy dla firm,narz阣zia dyskowe,edytory,gry strategiczne,gry przygodowe,gry sportowe, symulatory, gry rpg,gry karciane, gry zrecznosciowe. Zapraszamy.
0.032 |