SeoChase

Alpha_Juno

Привет.
Есть скрипт граббер кейвордов с овертюры, складывающий
результаты в текстовые файлы и смотрелка полученной базы.
Если нужен оставьте сообщение здесь. Типа взамен полученной
мной инфы на этом форуме готов выложить скрипт.
Бесплатно если кто не понял.

alexro

Выкладывай!

kochugov

keyword-ов или ставок по ним?

alexro

Alpha_Juno

Список скриптов и директорий

----------------
'in'
'out'
make.php
look.php
keywords.txt
----------------

Вот два файла make.php и look.php

make.php
-------------------------------------------------------------------------------------
<?
$file1=fopen("keywords.txt","r");
while(!feof($file1))
{
$str1=fgets($file1);
$str1=trim($str1);
echo $str1." ";
///
$file2_name="_term=".$str1."&mkt=us&lang=en_US";
$out="";
$file2=fopen("in/$file2_name","r");
while(!feof($file2))
{
$str2=fgets($file2);
$try_find="/d/searchinventory/suggestion/";
$try_pos=strpos($str2,$try_find);
if ($try_pos==19)
{
$try_find2="color=#000000>";
$try_pos2=strpos($str2,$try_find2);
$cutoff=$try_pos2+14;
$str2=substr($str2,$cutoff);
$str2=str_replace("</a></td>","",$str2);
$str2=trim($str2);
$str2=$str2."\n";
$out=$out.$str2;
}
}
fclose($file2);
$out=trim($out);
$file3=fopen("out/$str1.txt","w+");
fwrite($file3,$out);
fclose($file3);
///
}
fclose($file1);
echo " Done";
?>
-------------------------------------------------------------------------------------

look.php
-------------------------------------------------------------------------------------

<?
$file1=fopen("keywords.txt","r");
while(!feof($file1))
{
$str1=fgets($file1);
$str1=trim($str1);
echo "<big><big>$str1</big></big> ";

$file2=fopen("out/$str1.txt","r");
while(!feof($file2))
{
$str2=fgets($file2);
$str2=trim($str2);
echo "$str2 ";
}
fclose($file2);

}
fclose($file1);
echo " Done ";
?>

-------------------------------------------------------------------------------------

Для работы скрипта нужен апач, php, и высасывалка flashget или подобная.
Создаем базу например для кейворда 'sex'
Идем на http://inventory.overture.com/d/searchinventory/suggestion/
В форму пишем sex и жмем кнопку
Нажимаем на правую кнопку мыши и выбираем 'закачать все при помощи flashget',
пускай пока скачивает.

Что выдает овертюра:

--------------------------------------------------------------------------------
Searches done in July 2004
Count Search Term

3607778 sex <-- этот кейворд не является ссылкой (см ниже)
579680 world sex
394786 sex story
367944 free sex
286175 sex toy
248632 teen sex
247115 sex position
241890 sex com
219346 gay sex
208520 free sex picture
195903 free sex story
186443 oral sex
185115 anal sex
175684 sex picture
144326 sex movie
143954 lesbian sex
139100 free sex movie
135647 free sex video
128999 sex video
128627 hilton paris sex tape
119284 hardcore sex
109850 group sex
100676 sex and the city
98171 sex offender
96979 cartoon sex
96505 free erotic sex story
92638 adult sex
81390 hot sex
72965 sex image
72210 mature sex
71228 hilton paris sex video
66810 asian sex
64995 black sex
62835 sex photo
61310 first sex teacher
57128 sex pistol
54013 indian sex
52120 amateur sex
49477 xxx sex picture
49460 interracial sex
49103 xxx sex
47733 live sex
47128 anime sex
45630 sex party
45507 sex woman
44991 free sex clip
44895 sex gallery
44729 sex on the beach
43757 sex game
43647 sex porn
42895 public sex
42143 sex chat
41061 young sex
37193 teacher sex
32089 sex education
31907 arab sex
31792 sex clip
31686 sex tip
31675 world sex guide
31481 sex comic
30811 free sex site
30690 jenna lewis sex tape
29630 hilton paris sex
29583 sex machine
29289 cyber sex
27509 same sex marriage
26207 better sex
26043 sex story post
25799 hard sex
25563 sex shop
25541 sex tracker
25496 toon sex
24916 real sex
24700 sex advice
24299 sex cam
23976 free sex chat
23809 live sex list
23694 safe sex
23443 free teen sex
23389 sex in the city
23135 cameron diaz sex video
22654 cameron diaz sex tape
22615 free sex gallery
22200 sex film
22088 sex search
21919 ocean sex
21804 sex site
21539 free hilton paris sex tape
21538 disney sex
21535 bracelet sex
21491 office sex
20958 sex hungry joe
20911 iran sex
20846 rough sex
20360 cruising for sex
20058 sex doll
19433 japan sex
19327 sex slave
19024 pregnant sex
18210 india sex
--------------------------------------------------------------------------------

Полученный результат надо подправить, оставив только кейворды со ссылками,
удалив цифры и тд.

Должно получиться так:

- keywords.txt begin -----------------------------------------------------------
world sex
sex story
free sex
sex toy
teen sex
sex position
sex com
gay sex
free sex picture
free sex story
oral sex
anal sex
sex picture
sex movie
lesbian sex
free sex movie
free sex video
sex video
hilton paris sex tape
hardcore sex
group sex
sex and the city
sex offender
cartoon sex
free erotic sex story
adult sex
hot sex
sex image
mature sex
hilton paris sex video
asian sex
black sex
sex photo
first sex teacher
sex pistol
indian sex
amateur sex
xxx sex picture
interracial sex
xxx sex
live sex
anime sex
sex party
sex woman
free sex clip
sex gallery
sex on the beach
sex game
sex porn
public sex
sex chat
young sex
teacher sex
sex education
arab sex
sex clip
sex tip
world sex guide
sex comic
free sex site
jenna lewis sex tape
hilton paris sex
sex machine
cyber sex
same sex marriage
better sex
sex story post
hard sex
sex shop
sex tracker
toon sex
real sex
sex advice
sex cam
free sex chat
live sex list
safe sex
free teen sex
sex in the city
cameron diaz sex video
cameron diaz sex tape
free sex gallery
sex film
sex search
ocean sex
sex site
free hilton paris sex tape
disney sex
bracelet sex
office sex
sex hungry joe
iran sex
rough sex
cruising for sex
sex doll
japan sex
sex slave
pregnant sex
india sex
- keywords.txt end -------------------------------------------------------------

Теперь сохраняем кейворды в файл keywords.txt
keywords.txt begin, end сохранять не надо:)
Все скаченные flshgetом файлы помещаем в директорию 'in'
Запускаем make.php
Базу смотрим скриптом look.php

Надеюсь, пригодиться.

kochugov

ты бы хоть кусок результата сего творения показал...

кейворды грабить каждый может, да и остальное тоже Smile

Drow

copy/paste в exel, а там что хочешь с ними делай, хочешь сортируй, хочешь просто смотри на них. Wink

_________________
Дешевые домены за Webmoney

Alpha_Juno

http://over123.narod.ru/

250kb

Alpha_Juno

Попробуй 10000 раз copy->paste.
С моим скриптом copy->paste всего сто раз.

Web-women

Gutorin

я для этого использую следующую комбинацию софтинок и ресурсов:
1. источник кейвордов с частотами (овертура+ вордтракер) -
http://www.digitalpoint.com/tools/suggestion/
2. скачиватьель reget.
3. пакетный редактор TR с поддержкой регулярных выражений.
4. ексель.

Последовательность такая.
берем список интерсующих нас слов или фраз.
с помощью tr обрабатываем его. вставялем в ексель,
в котором превращаем его в список строк вида
http://www.digitalpoint.com/tools/suggestion/?keywords=car+park
сохраняем так текстовый файл. инпортируем очередь на закачку
в гетрайт. можно закачивать, но тут нас ждут два подводных камня.
первый камень такой, что регет очередь больше 10000 урлов за раз сильно тяжело воспринимает Smile

но это не страшно. второй камень - у регета проблемы с самостоятельным придумыванием названий для сохраняемых файлов. это поправимо тем же TR достаточно подредактировать в пакетном режиме файл с очередью закачек. в явном виде указав названия файлов для сохранения.
за ночь на 64Кб как раз около 10000 страниц регет всасывает.
в них содержится инфа о 50000 запросах - частоты по данным овертуры и бесплатной части вордтракера.
делаем copy *.* res.txt
полученный res.txt (200-400 МБ) очищаем от неинформативного мусора с помощью того же TR. Я осталвяю только фразы и частоты, игнорируя, откуда они - с овертуры или вордтракера.
Очищенные результаты засовываем в аксесс (в ексель не влезут).
если кому интерсно, могу кинуть готовые шаблоны обработки для TR.

Откуда брать исходный список слов по тематике?
всосать телепортом какой-нибудь сайт-два-три и после очистки от html мусора (тем же TR) порезать на слова или на двусложныен фразы.

У метода есть недостаток - за ночь съедает около 300 МБ трафика.

а уж отрезать частоты от самих фраз или отобрать только низкочастотные фразы a аксессе не трудно Smile

alexro

kochugov

я такую же штуку, как у Gutorin, тоже написал, тока на PHP Smile

Gutorin

у меня для пхп талантов не хватает Smile

а мучения с многопоточностью и подстановкой проксиков
уже в регете реализовано.
конечно, такая комбинация из уже готовых инструменов, очевидно требует ручного труда,
но зато в любой момент можно что-то подправить в процессе.
опять же аксесс, имхо, конечно, удобнее для изготовления выборок по разным критериям, чем связка пхп+mysql.

Mauser

kochugov, ну так поделись с народом Smile

_________________
Золото | Реальность | Серебро | Gun auction