php处理大数据量请求 php 大数据处理

如何解决PHP查询大量数据内存耗尽的问题

这个意味着PHP脚本使用了过多的内存，并超出了系统对其设置的允许最大内存。解决这个问题，首先需要查看你的程序是否分配了过多的内存，在程序没有问题的情况下，你可以通过一下方法来增加PHP的内存限制（memory_limit）。

创新互联建站-云计算及IDC服务提供商，涵盖公有云、IDC机房租用、服务器主机托管、等保安全、私有云建设等企业级互联网基础服务，服务电话：13518219792

我给你个思路，利用游览器的刷新机制，每执行10秒刷新一下自动更新下一串数据，一串多少数据，看你的SQL效率而定。就这样一直刷新更新，到结束为止。

你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。最好是换种方式实现，不要通过网页进行采集。

使用缓存，比如memcache，redis，因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。

1尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。

这样的结果就是PHP程序消耗较少的内存，但却增加了数据库服务器的压力，因为数据库会一直等待PHP来取数据，一直到数据全部取完。很显然，缓冲查询模式适用于小数据量查询，而非缓冲查询适应于大数据量查询。

可以采用MQ，首先将task丢进Q里面，然后给出用户提示，前台页面轮询后台结果。如果数据量过大建议分批处理，拆分成多个task即可。

一设置浏览器下载Excel需要的Header 打开php：//output流，并设置写入文件句柄。

使用phpstudy搭建一个测试平台，直接访问数据库。下载的phpcms安装包拷贝到IIS目录，开通访问，即可搭建成功。登录网站后台，系统权限，文件目录以及数据库等功能，进行管理。

php导出大量数据到Excel，可以通过生成多个Excel文件，然后压缩成压缩包解决。方案是：假如我们数据库有10w条数据，每2000条数据生成一个Excel文件，这样每次只要从数据库里查询出2000条数据即可，一定要分页去查询。

前面硬件都过关了，但程序也要加强了，一下上传500M是哪种语言都不能实现的，唯一解决方案，文件切割，如迅雷下载原理一样（采用续点上传），分成若干小块，然后全部上传完毕以后，再进行文件合成。

网站栏目：php处理大数据量请求 php 大数据处理
文章位置：http://cdiso.cn/article/dcojipp.html