这个日收录域名数据库每天都会更新, 它从百度和Google还有Bing这些主流搜索引擎里面, 抓取并整理那些新收录的域名的数据。这些数据集合是结构化整理过的, 覆盖了首页的收录情况, 也覆盖了内页的收录情况。
它的字段是比较完整的, 更新也比较稳定, 适合用在SEO运营的场景里, 也可以用在域名投资的场景里, 还能用到竞品监控和数据安全这类地方去。
一、针对数据库中那些最为关键的字段信息, 进行相关的详细说明。
每天都会生成数据文件, 这些文件里面固定都带着下面提到的那些字段。
域名(Domain): 指的是完整的URL以及其中的主域名。
首次收录时间的具体时刻, 指的是精确到小时的那个时间点。
收录引擎, 指的是具体的来源搜索引擎。
收录的类型(Type): 包括首页的收录内容, 或者内页的收录内容。
页面的快照, 意思就是记录在收录那个时间点上面页面标题是什么样子, 还有Meta描述是什么内容的。
注册归属地(Region):域名WHOIS注册国家/地区
所谓域名年龄(Age), 指的就是从最初的注册那一天, 一直到被搜索引擎收录的那一天, 中间所经过的这些天数。
二、下载方式与格式
1. 访问入口是这样的, 你先登录到平台数据中心, 然后进入"域名数据"这个板块, 接着选择"日收录域名"这个分类, 这样就可以下载了。
2. 支持的格式, 是可以直接用Excel打开的CSV, 是可以用在程序API调用里的JSON, 是为了导入数据库而准备的SQL, 还有是用于文本进行批量处理操作的TSV。
3. 对于注册用户而言, 每人每天可以免费下载1份全量数据, 这个规模大约包含50万条记录。而企业账户则拥有不同的下载权限, 可以获取按照分引擎、分行业以及分地区进行分类的细分数据。
4. 更新频率方面, 我们会按照每日06:00的标准来进行操作, 这里的时间是指北京时间。
在这个时间点, 系统会针对前一日所产生的数据进行相应的更新工作, 并且在整个过程中, 支持采用全量与增量这样的两种不同模式进行数据同步。对于选择采用增量模式的情况而言, 其生成的文件中仅会包含在最新当日所新增出现的记录信息。
三、典型使用场景
我们开展SEO外链建设工作, 具体做法是按行业关键词来筛选那些刚刚被收录的站点, 然后针对这些站点定向地去开展合作以及进行内容推广。
在域名投资这一领域进行的时候,我们需要对那些已经成功被搜索引擎收录了的新注册的域名实施监控操作, 借由这样的方式来捕捉早期的投资信号。
对竞争对手的情况以及网络上的舆论风向进行分析, 识别竞争对手新上线的网站, 找到竞争对手新发布的内容页面, 以便辅助进行市场判断。
安全与合规预面, 要对新收录的域名里出现的异常站点进行排查工作。这一过程可以辅助人们识别出那些从事黑产活动的网站、专门用于钓鱼的网站以及存在违规内容的网站。
四、合规与使用规范
我们是根据《网络安全法》还有各大搜索引擎的robots协议, 这个数据库只能够拿来做一些内部的数据分析工作, 同时也能用于合法的商用活动, 所以是严格禁止下面这些行为的。
对原始数据进行二次公开传播, 或者将其转售给未经授权的第三方。
基于数据对收录的域名进行批量化的自动化访问、爬取或者是干扰。
这句话是用来进行垃圾邮件的群发操作。还有用来建设垃圾外链等等这些行为。而这些都是违反了搜索引擎规范的用途。
数据版权归属于本平台, 企业级的商用行为必须另行签署授权协议。



