Как написать парсер HTML на PHP

Много разных задач сводятся к парсинку HTML. И не только сбор контента для ГС. Вот мне например понадобилось разобрать HTML собственного контента, чтобы культурненько облагородить. Ну например внешние ссылочки спрятать.

Сначала я подумал – фигня. Найти в тексте строчку “<a href=http://” и получи себе внешнюю ссылочку. Но ведь в контенте теги и атрибуты могут писаться с заглавной буквы. И ещё между A и HREF может стоять произвольное количество пробелов. Но самое главное, между A и HREF могут быть разные всякие другие слова. Короче выхода нет, кроме как строить нормальное дерево DOM и его анализировать. То бишь парсить.

Но оказывается библиотека парсера давно есть и встроена в PHP. Осталось только попользоваться!

Расписывать не буду. Мануал превзойти тяжело. А примерчик для направления – самый раз будет.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
// Содаём объект
$dom = new domDocument; 
$dom->strictErrorChecking=false;
$dom->recover = true;
 
// скармливаем объекту готовую строку
$dom->loadHTML($strHTML); 
 
//или удобнее будет файл?
$dom->loadHTMLFile($htmlFile);
 
//И всё! Можно вытащить любой аттрибут любого элемента!
foreach($dom->getElementsByTagName('img') as $img_dom) 
    $img_src= html_entity_decode($img_dom->getAttribute('src'));
 
    // А вот можно переделать ссылку на свой хитрый редирект
    $link_dom->setAttribute('href','/link/redirect/'.$link->id);
}
В результате можно вывести код, который получился в результате.
echo $dom->saveHTML();

Пара слов про кириллицу
=======================
Раз уж вы читаете этот сайт на русском языке, то и парсить вероятно будете тоже русскоязычный сайт. А вот с ними не всё так просто.

В документации написано, что класс делает utf_encode, но ситуация ещё сложнее. Вот пример

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<?php
$dom = new domDocument('1.0', 'UTF-8');
$dom->loadHTML("<p>Германия, Великобритания и Франция</p>");
 
// Тут работает
foreach($dom->getElementsByTagName('p') as $p_dom)
    echo utf8_decode ($p_dom->nodeValue);
 
// А тут фигня
echo utf8_decode($dom->saveHTML());
 
// Тут по-лучше, но всё равно фигня
echo html_entity_decode($dom->saveHTML());
?>

Вот такой получаю результат:
Screenshot_2

По этому примеру понятно, что преобразование похоже на htmlentities, но не совсем оно.

В общем чтобы не мучиться я решил зашифровать кириллицу в url_encode. Потом делаешь url_decode – и кириллица работает. Но есть проблема – знаки тегов тоже конвертируются, и это мешает парсить HTML. Я решил проблему путём написания простенькой функции. Теперь код выглядит так:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<?php
 
function my_urlencode($str)
    {
    // То же urlencode, но только кириллицы
       $tr = array( '%3C' =>'<',  '%3E' =>'>',  '%3D' =>'=',
                    '+' =>' ', '%22' =>'"', '%27' =>'\'',
                    '%21' =>'!','%2F' =>'/','%3A' =>':'
       );
       $str=strtr(urlencode($str),$tr);
       return $str;
    }
 
$dom = new domDocument('1.0', 'UTF-8');
$dom->loadHTML(my_urlencode("<p>Германия, Великобритания и Франция</p>"));
 
// Тут работает
foreach($dom->getElementsByTagName('p') as $p_dom)
    echo urldecode($p_dom->nodeValue);
 
// И так работает
echo urldecode($dom->saveHTML());
 
?>

Теперь точно работает.



Как написать парсер HTML на PHP - Генератор расширений Joomla и многое другое на нашем сайте посвященном работе расширений, компонентов, модулей, плагинов для линейки Joomla. Отправляйте ссылку на страницу своим друзьям и в социальные сети воспользовавшись графическими иконками выше.

Блог

Календарь приёма объявлений

Небольшой пример из повседневной практики. Организация меняет реквизиты, и они вступят в силу через  пару недель. На сайте идет приём объявлений и объявления принимаются на несколько месяцев в...

Дырка в com_content

Сегодня у товарища, сайт которого находится на старой  Joomla 1.0.3, была сильная нагрузка на сервере, просматривая логи обнаружил не вежливый запрос такого порядка: http://сайт/index2...

Лечим вирус на сайте

  Первоначальный осмотр сайта обнаружил, что у клиента закрыт доступ по фтп, что сузило круг подозреваемых уязвимостей, стало быть отверстие в какомто скрипте движка joomla. Касперский яро...

Troj/JSRedir-MH

Снова грянул гром зарежения сайтов новым вирусом  Troj/JSRedir-MH.  И так в коротко по вирусу Troj/JSRedir-MH. Вирус или троян куда интереснее чем свои предшествиники, тепер...

Доработка расширения для рассылки Send Email JK

Сегодня поделюсь немного интересной информацией для владельцев сайтов собранных ан joomla.  Рано и поздно возникает задача подписки и рассылки информации с сайта, это может быть разная постановка зада...

Привет Ie 10 регулярка

И вот и мне пришлось столкнулся с проблемами перехода на win 8 в придачу с ie 10, некоторых постоянных пользователей моих сайтов. На многих сайтах  имеющих раздел по приёму объявлений, использ...

Kunena заменяем ссылку на профиль пользователя

Всем привет, снова снова кунена, получил задание на допиливание популярного форума Kunena, сегодня потребовалось поменять ссылку на профиль пользователя. Это связано с тем, что на сайте стоит социа...

Работает на Kunena - зачем на каждой странице?

  Все у кого стоит форум kunena мешает надпись с двумя ссылкам внизу форума "Работает на Kunena". Сея надпись висит на каждой странице форма, а также страница разработчиков содержит множество вн...

Kunena избавимся от лишних quote

Для тех кто действительно делает сайт для людей, моя следующая заметка. Расскажу вам, как избавиться от лишних quote в постах на форуме kunena. У меня несколько тематических сайтов с нормальной посеща...

Kunena решаем проблему с пропажей аватаров

Так и вот мы обновись до последней версии кунены, сразу видно компонент внутри сильно изменился, и вот незадача у некоторых пользователей пропали аватары, физически они есть но неотображаются. ...

Джомлавикам

Обработка параметров расширений joomla

При разработке расширений для CMS Joomla, таких как плагины, модули, компоненты или шаблоны, часто возникает необходимость получить параметры разрабатываемого или любого другого расширения. В этой ...

Кunena крамсаем шаблон

1. В папке \components\com_kunena\template\ваш_шаблон\ находим файл template.xml и вставляем в него такой кусок (чтобы была возможность выбора показывать это поле или нет): <param name="l...

Подключить свои классы и методы в Joomla?

Иногда случается, что набор собственных функций или библиотек нужно подключить в Joomla. Но иногда подключить их нужно так, чтобы они присутсвовали во всей системе, вне зависимо...

3 новых полезных класса в Joomla 2.5

В платформе Joomla 11.3 разработчики добавлил несколько полезных новых классов для разработчиков. Рассмотрю некоторый из них - JGrid (для построения HTML таблиц), JWebClient (для получения информац...

Репозиторий файлов на Joomla средствами Apache

Создадим две вложенные директории /files/files в корне сайта. Если вы пожелаете использовать другие имена директорий, то вам необходимо будет внести соответствующие правки в дальнейшем. ...