手机浏览器扫描二维码访问

第1745章 一句话点醒了贾瀞雯（第6页）

挂断时，贾瀞雯觉得心里踏实了很多。

她打开灯，拿出笔记本，开始写新的工作计划。

第二天开会，她把陈浩的策略传达给团队。

“陈总说，我们现阶段的目标是收录量。”贾瀞雯在白板上写下“十万网页”四个字，“三周时间，把收录量从一万做到十万。”

李明眼睛一亮：“这个思路对！现在我们总是纠结算法优化，但数据量太小，优化了也看不出效果。

先把数据堆上去，再谈怎么用好这些数据。”

张涛也点头：“爬虫部分其实可以改进。

我们现在是单线程抓取，太慢。

可以改多线程，同时抓多个页面。

还可以优化去重算法，减少重复抓取。”

“索引结构也要调整。”王磊说，“数据量大了，现在的结构肯定撑不住。

得设计新的存储方案。”

团队重新有了方向。

当天下午，他们就开始分工：李明负责优化爬虫，张涛改进索引结构，王磊和其他两人处理数据存储和服务器扩展。

【跪求礼物，免费的为爱发电也行！】