记一次失败的debug经历

昨天使用spring aop的事务注解出现了业务中主动抛出异常却无法回滚脏数据的情形,然后崩溃的debug了一天,最后猛然发现不能通过this去掉加了增强的方法否则将拿不到代理对象。归根结底还是自己不甚理解事务实现的其中原理,才导致了bug的出现而不自知。

问题还原

如果对java如何实现底层的事务机制不太熟悉的话可以看看java事务处理系列文章 自己手动实现事务处理。

阅读全文

python 爬取新浪微博

最近因为课设的要求,开始了对新浪微博数据的爬取研究,看了不少博客文章,也试了不少方法,原理无非就是模拟登录,但是感觉目前可用的方法太过分散,而且自从微博改版之后,很多以前适用的方法都基本没有用处了。这里总结一下几种可用的方法以及自己研究之后稳定可用的方法(所有的方法都是基于python2.7):

阅读全文

手动封装HbaseTemplate mapper类

前言

最近因为业务关系,用到了Hbase,因为用的是Spring boot框架 ,所以自然而然就用到了spring封装的HbaseTemplate工具类。然而HbaseTemplate封装的代码实在比较糟糕,出了一些基本的CRUD操作之外并没有给我们提供太多便利之处。先来看看痛处:

阅读全文