问题一：在设置robots.txt文件时，到底哪些是不想被抓取的页面?
问：这个问题我一直不解，可能是因为我不会设置robots.txt文件的原因。其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢?我也希望自己能够提升这块的操作能力。
答：看了你的问题后，其实之前就发现不少企业网站和个人网站都没有设置robots.txt文件，也了解了下，部分原因是因为他们不懂怎么去设置robotsl.txt文件，当然也和他们不愿意学习所造成的一部分因素。那么，我这里简单的说下吧：
①：网站程序安装后自带的数据文件夹，例如隐私数据、用户信息、管理后台页面等
②：屏蔽掉动态URL，这个是我们最经常做的，如果我们做了伪静态以后，不希望动态URL被抓取，就可以对动态URL做屏蔽抓取。
③：网站改版或出于某种原因突然删除很多页面造成大量死链，这个时候会对网站造成很大的影响，很多站长第一反应就是找到死链并删除，那么这里就可以通过robots去屏蔽这些死链，理论上来说百度不会突然发现网站上有太多的死链，或者两者同时进行。当然，站长最好把自己站内的死链处理干净。
问题二：网站内容怎么做才是最好的，有什么建议吗?
答：网站内容建设这块其实很多企业的SEO人员都很难下手，我遇到很多都是如此，他们难于写文章，甚至是不知道怎么做内容建设。当然，我也会稍微的给他们一些简单的技巧。我下面简单的说下，希望对你和大家有帮助：
①：像写作文一样去写原创软文，其实我们都写过作文，写作文的时候也不知道有软文这回事，而且也不存在关键词堆砌现象。所以，大家也可以以后试下，可以尝试下这个方式。
②：想要做好网站内容建设，你需要深入了解这个行业。所谓“不入虎穴焉得虎子”其实就是这个道理。很多人都在大量的挖掘长尾关键词，但最后因为不了解这个行业而对现有的关键词无从下手。所以，了解这个行业是你的第一站。
③：原创是最基本的，这个不用说了，尤其是新站做原创很重要。那么转载呢?你也不要多去想了，尽量能原创就原创。
④：千万不要以伪原创为出发点，其实很多人都在做伪原创。就比如我今天和一个做菜谱网站的站长交流，他总说网站不收录内容或收录的很少，其实一看网站里的文章就发现了，内容几乎都是复制或掐头去尾修改，这样肯定不行。长期做的话百度对你网站的信任度越来越少，而且现在百度的星火计划也在实施中。
问题三：怎么能够快速的诊断自己的网站呢?求方法!
答：这个其实也没什么可说的，其实就是个人有一定的经验积累和SEO基础，看网站后一眼就可以知道哪些存在问题哪些不存在，更细致的问题还得去分析。当然，我可以给你简单的说下网站被惩罚的诊断建议，一般三句话就可以搞定，例如：
①：你先自己想下，看下有哪些原因会造成你网站被惩罚或被K。
②：还有其他的吗?你再仔细想想。
③：好了，就是你说过的那一条或那几条。
郑州知网计算机软件有限公司拥有雄厚的技术研发实力，专门从事量身定制APP开发，选择我们，带给你国际化专业的技术服务。把握市场动向，深耕O2O领域。您的电商大业，由知网软件守护
豫公网安备 41010402002388号 网站地图 http://www.ur10.com/