围绕360搜索引擎是否违反Robots协议而引发的不正当竞争纠纷案，2014年8月7日在北京市第一中级人民法院作出一审判决，认定被告北京奇虎科技有限公司的行为违反了反不正当竞争法的相关规定，应赔偿原告北京百度网讯科技有限公司、百度在线网络技术（北京）有限公司经济损失及合理支出共计70万元，同时驳回百度公司的其他诉请。

    百度公司诉称，奇虎公司在经营360搜索引擎的过程中存在对百度的不正当竞争行为，具体包括：一、违反搜索引擎的机器人协议（Robots协议），擅自抓取、复制原告网站并生成快照向用户提供；二、在原告明确函告被告后，仍擅自抓取、复制原告网站并生成快照向用户提供；三、绕过原告网站，在用户点击搜索结果中原告的网站地址后，直接向用户提供快照服务。为此，百度请求法院判令被告立即停止不正当竞争行为，在www.360.cn等网站首页及相关媒体刊登道歉声明，消除影响，赔偿经济损失1亿元以及为制止侵权的合理支出20万元。

    被告奇虎公司当庭辩称：一、百度滥用Robots协议，以设置robots.txt文件为手段排斥同业竞争者，以达到限制同业竞争者正当竞争的目的；二、百度滥用Robots协议的行为如果被司法判决确认保护，将给中国互联网搜索引擎服务行业的发展带来极为不利的影响，并将严重损害互联网用户利益；三、360搜索以网页快照而非原始网页链接方式显示百度内容网站的内容是由于百度恶意技术干扰所致，且360搜索早已不再通过网页快照方式显示百度内容网站搜索结果，百度在本案中控诉的所谓相关不正当竞争行为已不存在；四、百度在本案中控诉的360搜索违反百度设置的robots.txt文件、抓取百度网站内容的行为不属于不正当竞争行为。综上，请求法院驳回原告的诉讼请求。

    最终，北京一中院一审判决认定，被告奇虎公司的行为违反了反不正当竞争法第二条的规定，应当承担相应的民事责任。被告自其搜索引擎推出伊始至《自律公约》签订之日期间的行为已经构成不正当竞争，应对原告予以赔偿。由于两原告并未指出被告的不当行为给两原告造成了何种商业信誉上的损失，故而两原告要求被告消除影响的诉讼请求缺乏事实和法律依据，法院不予支持。据此，法院一审判决奇虎赔偿百度经济损失及合理支出共计人民币70万元，驳回百度公司的其他诉请。

   【案件评析】

    反不正当竞争法第二条规定，经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用的原则，遵守公认的商业道德。互联网行业的发展彻底改变了人们的生活，这种改变归根结底来自自由竞争环境下实现的创新。所以，互联网企业在经营过程中在法律准许的范围内的自由竞争应当得到坚决维护。但此种“自由”并非毫无约束的绝对自由，为了自身发展可以采用违背诚实信用及商业道德的方式攻击竞争者，那么创新就会被扼杀，市场就会停滞不前，因此必须重视和强调规则在自由竞争中的作用。

    Robots协议被认定为搜索引擎行业内公认的、应当被遵守的商业道德，被告奇虎公司在推出搜索引擎的伊始阶段没有遵守百度网站的Robots协议，其行为明显不当，应承担相应的不利后果。

    市场竞争亦需要给每个竞争者公平的竞争环境，即使是后进入市场的竞争者，也应获得公平竞争机会。本案中，原告在不知晓被告提供搜索引擎服务的前提下，没有将被告搜索引擎加入其Robots协议的白名单内并无不当。但是在被告推出搜索引擎之后，尤其在双方争议短时间内快速升级，行政机关和行业协会已经积极介入调处，被告也明确表示希望抓取原告网站内容的前提下，原告既没有充分阐明如此设置Robots协议的理由，又拒绝修改其Robots协议，故而其请求法院判令禁止被告抓取原告网站的主张不应得到支持。

    市场经济的竞争，特别是在互联网行业的竞争，不应采取 “以牙还牙”的方式解决纠纷，而应当在法律框架内解决问题。此案中，虽然奇虎公司因百度公司设置Robots协议无法抓取百度网站内容，但奇虎公司通过搜索引擎，在网络用户点击原本链接到原告百度公司具体网页的搜索结果时，直接链接至奇虎公司网页快照界面，其行为明显已经超出网页快照的合理范围。故而法院判决认定被告将原告网站的搜索结果直接以网页快照的方式向网络用户提供的行为不当。

    法院认为，有鉴于互联网行业，尤其是搜索引擎行业的现状，并考虑到互联网行业内已建立了互联网协会这一成熟的行业自律组织，以及在行业内已经形成《自律公约》这样专门解决该类纠纷的自律性公约的事实，搜索引擎服务商与网站服务商或所有者关于Robots协议产生纠纷时，应遵循如下“协商-通知”程序处理：即在搜索引擎服务商认为网站Robots协议设置不合理时，应先向网站服务商或所有者提出书面修改Robots协议的请求，网站服务商或所有者不同意修改Robots协议的，应在合理的期限内，书面、明确的提出其拒绝修改的合理理由，如搜索引擎服务商认为网站服务商或所有者提出的合理理由不成立的，双方可以由相关行业协会调解和裁决，紧急情况下可以采取诸如诉讼、申请行为保全等法律措施予以解决。

    什么是Robots协议？

    Robots协议全称Robots Exclusion Protocol，可直译为拒绝机器人协议，也可译为爬虫协议、机器人协议等。爬虫技术，即事先逐一访问互联网上的每一个网页，将每一个网页上的信息进行分析后，提炼出最能够概括这个网页上刊载信息的关键字，将每一个网页的网络地址和关键字一并存储在搜索引擎服务器上，这一技术被形象的称为爬虫技术，负责访问网页的程序被称为爬虫机器人或者直接称为爬虫。爬虫对于热门网站访问频率过高，造成了热门网站的访问者中爬虫机器人的比率畸高，网络用户访问时会遇到网络拥堵，访问速度和访问体验下降，引起了相关网站的服务商或所有者的不满。

    为了应对这一局面，部分网络技术人员提出和发起了Robots协议的技术规范。根据Robots协议，网站服务商或所有者可以在网站程序的最开头部分写入一段网络程序，即robots.txt文件，以此标示限制搜索引擎爬虫机器人访问的信息。（常 鸣）