抓取网页数据怎么保存到数据库 php

今天我爱编程网小编整理了抓取网页数据怎么保存到数据库 php相关内容，希望能帮助到大家，一起来看下吧。

本文目录一览：

• 1、抓取网页数据怎么保存到数据库 php
• 2、linuxphp执行java失败linuxphp执行
• 3、php中这句话是什么意思$str .= ($str ? '|' : '') . $v;

抓取网页数据怎么保存到数据库 php

给一个例子你看看吧.

if($pro_list_contents=@file_get_contents(' -luxury.com/louis-vuitton-c-82.html '))
{
preg_match_all("/<td width=\"50%\" valign=\"top\">(.*)<td width=\"10\"><img src=\"images\/spacer.gif\"/isU", $pro_list_contents, $pro_list_contents_ary);
for($i=0; $i<count($pro_list_contents_ary[1]); $i++)
{
preg_match_all("/<a href=\"(.*)\"><img src=\"(.*)\".*<span>(.*)<\/span>/isU", $pro_list_contents_ary[1][$i], $url_img_price);
$url=addslashes($url_img_price[1][0]);
$img=str_replace(' ', '20%', trim(' -luxury.com/ '.$url_img_price[2][0]));
$price=(float)str_replace('$', '', $url_img_price[3][0]);

preg_match_all("/<a class=\"ml1\" href=\".*\">(.*)<\/a>/isU", $pro_list_contents_ary[1][$i], $proname_ary);
$proname=addslashes($proname_ary[1][0]);

include("inc/db_connections.php");
$rs=mysql_query("select * from pro where Url='$url' and CateId='{$cate_row['CateId']}'"); //是否已经采集了
if(mysql_num_rows($rs))
{
echo "跳过：{$url}<br>";
continue;
}

$basedir='/u_file/pro/img/'.date('H/');
$save_dir=Build_dir($basedir); //创建目录函数
$ext_name = GetFileExtName( $img ); //取得图片后辍名
$SaveName = date( 'mdHis' ) . rand( 10000, 99999 ) . '.' . $ext_name;
if( $get_file=@file_get_contents( $img ) )
{
$fp = @fopen( $save_dir . $SaveName, 'w' );
@fwrite( $fp, $get_file );
@fclose( $fp );
@chmod( $save_dir . $SaveName, 0777 );

@copy( $save_dir . $SaveName, $save_dir . 'small_'.$SaveName );

$imgpath=$basedir.'small_'.$SaveName;
}
else
{
$imgpath='';
}

if($pro_intro_contents=@file_get_contents($url))
{
preg_match_all("/<\/h1>(.*)<\/td><\/tr>/isU", $pro_intro_contents, $pro_intro_contents_ary);
$p_contents=addslashes(str_replace('src="', 'src=" -luxury.com ', $pro_intro_contents_ary[1][0]));
$p_contents=SaveRemoteImg($p_contents, '/u_file/pro/intro/'.date('H/')); //把远程html代码里的图片保存到本地
}

$t=time();

mysql_query("insert into pro(CateId, ProName, PicPath_0, S_PicPath_0, Price_0, Contents, AddTime, Url) values('{$cate_row['CateId']}', '$proname', '$imgpath', '$img', '$price', '$p_contents', '$t', '$url')");

echo $url.$img.$cate."<br>\r\n";
}
}

linuxphp执行java失败linuxphp执行

php三个应用领域？

PHP技术主要应用于三个领域：

01服务端脚本

服务器脚本运行模式需要具备3个条件：php解析器(CGI或者服务器模块)、Web服务器、Web浏览器。

具体执行流程：首先运行Web服务器，然后安装并配置php，最后可以用Web浏览器访问php程序的输出，即浏览服务端的php页面(或数据输出)。

02命令行脚本

通过命令行模式运行php脚本，这种模式下不需要服务器的支持或者依赖浏览器的触发，在命令行脚本模式下仅需要php解析器来执行。通常这种方法被用在Windows和Linux平台下做日常运行脚本使用，如某些守护程序等。当然这些脚本也可以用来处理简单的文本。

03编写桌面应用程序

php也许并不完全适合用来做图形界面应用程序，但是开发人员同样可以在客户端程序应用某些php的高级特性，通过使用php-GTK来编写这些程序。php-GTK是php的一个扩展，并不包含在标准的开发包中，开发人员需要单独编译它。通过php-GTK可以建立独立的GUI(用户图形界面)应用程序，例如，音频播放器、文本编辑器、数据库后台等。

php多线程教程？

PHP+shell实现多线程的方法

先写个简单的php代码，这里为了让脚本执行时间更长，方便看效果，sleep一下，呵呵!先看下test.php的代码：ls

PHP代码:

for($i=0;$i10;$i++){

echo$i;

sleep(10);

}

?>

在看下shell脚本的代码，非常简单

#!/bin/bash

foriin12345678910

do

/usr/bin/php-q/var/www/html/test.php

done

注意到在请求php代码的那行有一个符号吗，这个是关键，不加的话是不能进行多线程的，表示讲服务推送到后台执行，因此，在shell的每次的循环中不必等php的代码全部执行完在请求下一个文件，而是同时进行的，这样就实现了多线程，下面运行下shell看下效果，这里你将看到10个test.php进程再跑，再利用linux的定时器，定时请求这个shell，在处理一些需要多线程的任务，例如，批量下载时，非常好用!

php中用WEB服务器实现多线程

假设我们现在运行的是a.php这个文件.但是我在程序中又请求WEB服务器运行另一个b.php，那么这两个文件将是同时执行的.(PS:一个链接请求发送之后,WEB服务器就会执行它,而不管客户端是否已经退出)

有些时候,我们想运行的不是另一个文件,而是本文件中的一部分代码.该怎么办呢?

其实可是通过参数来控制a.php来运行哪一段程序.

下面看一个例子:

//a.php,b.php

PHP代码:--------------------------------------------------------------------------------

functionrunThread()

{

$fp=fsockopen('localhost',80,$errno,$errmsg);

fputs($fp,"GET/b.php?act=brnrn");//这里的第二个参数是HTTP协议中规定的请求头

//不明白的请看RFC中的定义

fclose($fp);

}

functiona()

{

$fp=fopen('result_a.log','w');

fputs($fp,'Setin'.Date('h:i:s',time()).(double)microtime()."rn");

fclose($fp);

}

functionb()

{

$fp=fopen('result_b.log','w');

fputs($fp,'Setin'.Date('h:i:s',time()).(double)microtime()."rn");

fclose($fp);

}

if(!isset($_GET))$_GET='a';

if($_GET=='a')

{

runThread();

a();

}

elseif($_GET=='b')b();

?>

--------------------------------------------------------------------------------

打开result_a.log和result_b.log比较一下两个文件的中访问的时间.大家会发现,这两个的确是在不同线程中运行的.有些时间完全一样.

上面只是一个简单的例子,大家可以改进成其它形式.

既然PHP中也能多线程了,那么问题也来了,那就是同步的问题.我们知道PHP本身是不支持多线程的.所以更不会有什么像Java中synchronize的方法了.那我们该如何做呢.

1.尽量不访问同一个资源.以避免冲突.但是可以同时像数据库操作.因为数据库是支持并发操作的.所以在多线程的PHP中不要向同一个文件中写入数据.如果必须要写的话,用别的方法进行同步..如调用flock对文件进行加锁等.或建立临时文件并在另外的线程中等待这个文件的消失while(file_exits('xxx'));这样就等于这个临时文件存在时,表示其实线程正在操作

如果没有了这个文件,说明其它线程已经释放了这个.

2.尽量不要从runThread在执行fputs后取这个socket中读取数据.因为要实现多线程,需要的用非阻塞模式.即在像fgets这样的函数时立即返回..所以读写数据就会出问题.如果使用阻塞模式的话,程序就不算是多线程了.他要等上面的返回才执行下面的程序.所以如果需要交换数据最后利用外面文件或数据中完成.实在想要的话就用socket_set_nonblock($fp)来实现.

说了这么多,倒底这个有没有实际的意义呢?在什么时候需要这种用这种方法呢?

答案是肯定的.大家知道.在一个不断读取网络资源的应用中,网络的速度是瓶颈.如果采多这种形式就可以同时以多个线程对不同的页面进行读取.

本人做的一个能从8848、soaso这些商城网站搜索信息的程序。还有一个从阿里巴巴网站上读取商业信息和公司目录的程序也用到了此技术。因为这两个程序都是要不断的链接它们的服务器读取信息并保存到数据库。利用此技术正好消除了在等待响应时的瓶颈。

php模拟实现多线程的三种方法

PHP语言本身是不支持多线程的.总结了一下网上关于PHP模拟多线程的方法,总的来说,都是利用了PHP的好伙伴们本身所具有的多线程能力.PHP的好伙伴指的就是LINUX和APACHE啦,LAMP嘛.

另外,既然是模拟的,就不是真正的多线程.其实只是多进程.进程和线程是两个不同的概念.好了,以下方法都是从网上找来的.

1.利用LINUX操作系统

for($i=0;$i10;$i++){

echo$i;

sleep(5);

}

?>

上面存成test.php,然后写一段SHELL代码

#!/bin/bash

foriin12345678910

do

php-qtest.php

done

2.利用fork子进程(其实同样是利用LINUX操作系统)

declare(ticks=1);

$bWaitFlag=FALSE;///是否等待进程结束

$intNum=10;///进程总数

$pids=array();///进程PID数组

echo("Startn");

for($i=0;$i$intNum;$i++){

$pids=pcntl_fork();///产生子进程，而且从当前行之下开试运行代码，而且不继承父进程的数据信息

if(!$pids){

//子进程进程代码段_Start 我爱编程网

$str="";

sleep(5+$i);

for($j=0;$j$i;$j++){$str.="*";}

echo"$i->".time()."$strn";

exit();

//子进程进程代码段_End

}

}

if($bWaitFlag)

{

for($i=0;$i$intNum;$i++){

pcntl_waitpid($pids,$status,WUNTRACED);

echo"wait$i->".time()."n";

}

}

echo("Endn");

?>

3.利用WEBSERVER,PHP不支持多线程,APACHE可是支持的,呵呵.

假设我们现在运行的是a.php这个文档.但是我在程式中又请求WEB服务器运行另一个b.php

那么这两个文档将是同时执行的.(代码同上)

当然啦,也可以把需要多线程处理的部分交给JAVA去处理,然后在PHP里调用,哈哈.

system('javamultiThread.java');

?>

扩展资料：PHP即“超文本预处理器”，是一种通用开源脚本语言。PHP是在服务器端执行的脚本语言，与C语言类似，是常用的网站编程语言。PHP独特的语法混合了C、Java、Perl以及PHP自创的语法。利于学习，使用广泛，主要适用于Web开发领域。

php用什么办法实现异步任务？

php实现异步任务的方法：

通用的异步执行文件exec.phpsleep(8);

$data=---type.date(Y-m-dH:i:s).---n;

file_put_contents(../log.txt,$data,FILE_APPEND);

popen

通过popen()函数打开进程文件指针，从而能异步执行脚本文件。(只在linux下有效)pclose(popen(phpexec.php,r));

echo1;

PHP可以开发电商网站吗？

PHP的特性和优点：

1、快捷性，程序开发快，运行快，前期保护费用低，完美支持移动APP开发。PHP已经是国际大部门Web项手段首选，以至众多公司从其它语言（如ASP，JAVA）转到了PHP，不仅仅国内的腾讯、百度、淘宝、京东、点评网、糯米网，甚至国外的大型网站例如facebook、youtobe、google也转到用PHP来开发。微信官网宣布的开发者文档就是PHP版。今朝全球5000万互联网网站中，有60%以上使用着PHP；PHP是全球五大最受欢迎的编程语言之一，AlexaTOP500中国网站排名，有394家使用了PHP，比例为78.8%。

2、跨平台性强，由于PHP是运行在服务器端的脚本，可以运行在UNIX、LINUX、WINDOWS、MacOS下。

3、运营高效性。相对java等，PHP消耗相当少的系统资源。由于PHP运行在相应的平台解释器上，消耗系统资源比较少，运行的环境简单，所以效率就很高。

4、面向过程和面向对象并用。在PHP语言的使用中，可以分别使用面向过程和面向对象，而且可以将PHP面向过程和面向对象两者一起混用，这是其他很多编程语言是做不到的。php已经广泛应用于淘宝、Facebook等大型商业程序的开发当中。

5、PHP独特的语法混合了C、Java、Perl以及PHP自创新的语法，兼容性强。

6、数据库连接的广泛性。PHP支持几乎所有流行的数据库以及操作系统，如MySQL、ODBC、Oracle、AdabasD、S等，PHP是利用编译的不同函数与这些数据库建立起连接的，PHPLIB就是常用的为一般事务提供的基库。。

7、PHP可以比CGI或者Perl更快速的执行动态网页——动态页面方面，与其他的编程语言相比：PHP是将程序嵌入到HTML文档中去执行，执行效率比完全生成htmL标记的CGI要高许多；PHP具有非常强大的功能，所有的CGI的功能PHP都能实现。

php中这句话是什么意思$str .= ($str ? '|' : '') . $v;

我爱编程网(https://www.52biancheng.com)小编还为大家带来php中这句话是什么意思$str .= ($str ? '|' : '') . $v;的相关内容。

$str .= ($str ? '|' : '') . $v;

相当于：

if ($str == "") {  //如果字符串变量$str的值是空字符串
    $str = $v;  //就把$v赋值给$str
} else {
    $str = $str . '|' . $v;  //否则就在$str的后面接上一个竖线，再接上$v
}

这其实就是把数组的每个元素合并为一个字符串，元素之间用“|”隔开。

但php有直接完成这个过程的函数，用不着这么啰嗦：

$topleveldomaindb = array('com', 'edu', ...代码略...);
$str = join('|', $topleveldomaindb);  //用join函数就搞定了！
$matchstr = ...后面的代码此略...

以上就是抓取网页数据怎么保存到数据库 php全部内容，更多相关信息，敬请关注我爱编程网。更多相关文章关注我爱编程网：www.52biancheng.com

免责声明：文章内容来自网络，如有侵权请及时联系删除。