Biegral Blog

前言模块化登录模块博客扫描模块博客详情模块搜索模块演示案例一案例二总结前言之前学过一点点关于全文检索相关的技术，当时使用的是Java语言，Lucene和compass框架。有兴趣的话可以参考下面的专栏链接 http://blog.csdn.net/column/details/lucene-compass.html然后现在用的是Python了，所以需要迭代一下。网上搜索了下，相关 …… 阅读全文

前言环境virtualenv第三方库模块化爬虫模块关于模拟登陆爬取数据图形化步骤中文节点问题实战总结前言最近国产的一部电视剧《人民的名义》突然的就火了，随之而来的是各大Coder们的社交网络分析。针对剧本中出现的人名，事件，词频等以图形化的界面展示，清晰化的显示出了剧本的特色。而对于CSDN的关注人和粉丝的图形化展示，也恰好符合这一个主题（暂且这么认为吧）。本来想做的是公共粉 …… 阅读全文

前言查找的过程核心总结前言微博数据基本上可以说是社交圈里面最大的了。但是单纯的使用urllib，是不足以获取数据的。今天来使用Cookie的方式绕开微博权限验证这一关卡， 爬取一下数据。查找的过程打开Chrome 的F12之后，刷新页面，真的是眼花缭乱的数据流啊，飞流直下。找了好久，发现大部分数据都是通过JavaScript脚本渲染到页面上的。这也就是为什么单纯的使用urllib抓不到的原因了 …… 阅读全文

前言框架搭建模块化爬虫数据库调度器web服务TODO总结前言虽然知乎早已不是最开始的样子了，但是其用户还是很广泛的。我原本打算做的写个爬虫，把用户的居住地，学历，专业等信息爬下来。然后持久化到数据库中，最后写个web服务，用图标的形式展示出来。但是echarts地图这块，最终没能正确显示出来。尽管做了调试，效果还是不甚理想。汗颜(⊙﹏⊙)b框架搭建正如前言部分所述，这里用到的技术还是 …… 阅读全文

前言ORM拓展安装数据库设置使用关系单表操作建表应用表结构CRUD添加查找操作更新操作删除操作一对多多对多总结前言最近几天接触了一下Flask，在惊叹于其简洁性的同时，更是被其先进的设计理念折服。但是一直以来对于它的ORM不是很理解，借此机会，做下实践，让自己对此加深一下印象。权当是留给自己的一个纪念吧。ORM拓展Flask中可以使用的拓展有很多。或者可以这么说， 在f …… 阅读全文

part 1def application(env, start_response): print(env['PATH_INFO']) status = '200 OK' response_headers = [('Content-Type', 'text/html')] start_response(status, response_headers) ret …… 阅读全文

前言框架项目目录及各自功能流程图后端serverbackendexector前端ajax页面更新演示简易应答模式代理模式处理外部请求后台日志总结前言这两天老是做梦，全根Python有关，这不昨晚梦见我把Python做成了类似于JavaScript一样的功能，在前端混的风生水起。结果是个梦。。。。。。在第一次接触了Flask之后，就被它优雅的路由映射给俘获了。后来我自己又 …… 阅读全文

之前在搜索一些资料的时候，发现开源中国这个博客网站有一大亮点。那就是一张技能雷达图。大致如下： 但是遗憾的是CSDN官方并不支持这一实现，其实对于技能雷达图而言，言简意赅的能表现出一个技术者擅长的领域，以及不擅长的领域。抱着玩一玩的态度，我也着手实现了一下针对CSDN博客用户的技能雷达图。下面先来看下最终实现的效果图。接下来记录一下整体的实现流程。思路根据用户指定的博客ID，找到其文章分类情况。然 …… 阅读全文