↓ 快轉到主要內容
瓶子裡的小狐狸

罕见的网络爬虫

·259 字·1 分鐘
Web Crawler
Y Cheung
作者
Y Cheung
Blogger, Programer & Traveler.

看网站LOG信息有奇怪的东西混入：

1130.211.147.7 - - [23/Nov/2014:15:36:20 +0000] "GET / HTTP/1.0" 200 18701 "-" "NerdyBot"
2107.22.83.14 - - [23/Nov/2014:15:13:36 +0000] "GET /robots.txt HTTP/1.1" 200 345 "-" "HubSpot Crawler 1.0 http://www.hubspot.com/"
3192.99.107.190 - - [24/Nov/2014:14:49:46 +0000] "GET /robots.txt HTTP/1.1" 200 357 "-" "Mozilla/5.0 (compatible; meanpathbot/1.0; +http://www.meanpath.com/meanpathbot.html)"

搜索了一下，得知：

  • NerdyBot是搜索引擎 (http://nerdydata.com/) 的爬虫，这个主要是面向开发者搜索源代码（source code）的引擎。
  • HubSpot Crawler是数字营销公司的爬虫，已经IPO了，连google都投资它了，传说hubspot的企业文化十分令人艳羡。
  • meanpathbot 是付费搜索引擎 (http://meanpath.com/) 的爬虫，它的主要客户群是做语义分析/恶意软件及病毒分析/身份防窃保护之类的，免费试用可以点这里。

突然觉得，有空写写爬虫也还蛮好玩的…

相關文章

drupal中获取 entity reference field 的 node type 值

drupal中获取 entity reference field 的 node type 值

·421 字·1 分鐘
Drupal HowTo
标题很拗口我知道…… 用过 entity reference 模组的朋友都知道，这个模组（module）能让你在节点（node）中添加一个 Entity Reference 的字段（Field），可以引用其他的实体（entity）。此次添加引用的是节点。根据需求，须输出节点类型（node type），但是 entity reference 的字段只能输出被引用实体的ID（本例是 nid），所以……
facebook anniversary video

facebook anniversary video

·268 字·1 分鐘
Facebook Guide Social Media
刚才Facebook上线突然看到官方通知，要我制作感谢视频给朋友。真是……又不是感恩节，这是做哪门子的感谢视频啊摔！ 制作感谢视频URL 只有短短30秒的视频呢….
DETEKT：檢查電腦是否被安裝間諜程式

DETEKT：檢查電腦是否被安裝間諜程式

·560 字·2 分鐘
DETEKT Computer Care Security
❗ 該軟體已停止更新，Y Cheung發現github上有個備份的repo： https://github.com/eReader/detekt 看到朋友分享一個叫Detekt 的軟件，據說是用來掃描Windows系統的電腦，看看有沒有被什麼間諜軟件悄悄監控着。官網說明倒是煞有其事，它主要是針對保護人權鬥士、記者、宗教人士等進行RESIST SURVEILLANCE，這同時也是一個python開源項目 。
紀念碑谷通關喇

紀念碑谷通關喇

·436 字·1 分鐘
Puzzle IOS Game
很久以前在G+上看到有大大推薦《Monument Valley》這個遊戲，好像很好玩的樣子，但因為是付費遊戲（不是不捨花錢，是牆內購買實在太麻煩）就沒有玩。昨天看到亞馬遜限免APP裡有它，馬上下載來玩玩，果然很贊呢！
Wordpress默认相册与文字内容分开显示及定制显示格式

Wordpress默认相册与文字内容分开显示及定制显示格式

·1319 字·3 分鐘
Wordpress HowTo
最近工作上要重新建站，公司有些站点是ASP的，程序老旧经常被黑。因为就是一般的企业展示类站点，就直接用wordpress重建了，页面样式还是用原来的，工作重点就是如何output出跟旧站一样的html结构。得益于这大半年的几个drupal项目，在做的时候思路跟以前不同了，不得不说drupal的核心思维还是很赞很科学的。