每天进步一点点之Redis使用详细教程【转】

一、Redis基础部分:

1、redis介绍与安装比mysql快10倍以上

*****************redis适用场合****************

1.取最新N个数据的操作

2.排行榜应用,取TOP N 操作

3.需要精确设定过期时间的应用

4.计数器应用

5.Uniq操作,获取某段时间所有数据排重值

6.实时系统,反垃圾系统7.Pub/Sub构建实时消息系统

7.Pub/Sub构建实时消息系统8.构建队列系统

9.缓存

=============================================

SET操作每秒钟 110000 次,GET操作每秒钟 81000 次,服务器配置如下:

Linux 2.6, Xeon X3320 2.5Ghz.

stackoverflow 网站使用 Redis 做为缓存服务器。

同时也会将数据写到硬盘上。所以数据是安全的(除突然断电外,重启服务会写到dump.rdb文件中)

1.安装:

tar zxvf redis-2.6.9.tar.gz

cd redis-2.6.9

make

cd src && make install

2.移动配置文件位置(为了便于管理)

cd /usr/local/

mkdir -p /usr/local/redis/bin

mkdir -p /usr/local/redis/etc

mv /lamp/redis-2.6.9/redis.conf /usr/local/redis/etc

cd /lamp/redis-2.6.9/src

mv mkreleasehdr.sh redis-benchmark redis-check-aof redis-check-dump redis-cli redis-server /usr/local/redis/bin

3.修改配置文件

vi /usr/local/redis/etc/redis.conf

一、将daemonize no 中no改为yes[yes指后台运行]

4.启动/随机启动:

cd /usr/local/redis/bin

./redis-server /usr/local/redis/etc/redis.conf#启动redis并指定配置文件。

#vi /etc/rc.local #设置随机启动。

/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf

5.查看是否启动成功

ps -ef | grep redis

netstat -tunpl | grep 6379#查看端口是否占用。

6.进入客户端/退出

cd /usr/local/redis/bin

./redis-cli#进入

quit#退出

7.关闭redis

pkill redis-server#关闭

./redis-cli shutdown#关闭

************************************Redis安全************************************

Redis的安全性???(由以下4种方式)

1.用ACL控制器安全性。

2.在redis.conf配置文件增加下面这一行配置,即可把redis绑定在单个接口上(但并不是只有接受这个网卡的数据)。

bind 127.0.0.1

3.给redis加上较长密码(无需要记住)

4.在redis.conf配置启用认证功能。

5.SSL代理

6.禁用指定命令。

************************************** Redis配置 **********************************************

daemonize 如果需要在后台运行,把该项改为yes

pidfile 配置多个pid的地址 默认在/var/run/redis.pid

bind 绑定ip,设置后只接受来自该ip的请求

port 监听端口,默认为6379

timeout 设置客户端连接时的超时时间,单位为秒

loglevel 分为4级,debug、verbose、notice、warning

logfile 配置log文件地址

databases 设置数据库的个数,默认使用的数据库为0

save 设置redis进行数据库镜像的频率

rdbcompression 在进行镜像备份时,是否进行压缩

Dbfilename 镜像备份文件的文件名

Dir 数据库镜像备份的文件放置路径

Slaveof 设置数据库为其他数据库的从数据库

Masterauth 主数据库连接需要的密码验证

Requirepass 设置登录时需要使用的密码

Maxclients 限制同时连接的客户数量

Maxmemory 设置redis能够使用的最大内存

Appendonly 开启append only模式

以下了解即可:

Appendfsync 设置对appendonly.aof文件同步的频率

vm-enabled 是否开启虚拟内存支持

vm-swap-file 设置虚拟内存的交换文件路径

vm-max-memory 设置redis使用的最大物理内存大小

vm-page-size 设置虚拟内存的页大小

vm-pages 设置交换文件的总的page数量

vm-max-threads 设置VM IO同时使用的线程数量

Glueoutputbuf 把小的输出缓存存放在一起

hash-max-zipmap-entries 设置hash的临界值

Activerehashing 重新hash

*******************************************************************

5种数据类型:字符串、哈希、链表、集合、有序集合。

支持:push/pop、add/remove 、取交集、并集、差集、排序。

redis<===同步====>mysql

同时也会将数据写到硬盘上。所以数据是安全的(除突然断电外,重启服务会写到dump.rdb文件中)

*******************************************************************

select num#选择库,默认在0库,共16个库

auth liweijie#授权用户所需密码(密码就是redis.conf中配置的密码)

flushdb#清空数据库。

String(字符串)类型:

set name lijie#设置键name的值为lijie

get name#获取name的值。

keys *#查询所有的键。

setnx name liweijie#如果键已存在则返回0,不更新,防止覆盖。

setex haircolor 10 red #设置键的值的有效期为10秒。

setrange email 6 lampbre.com#替换键的值从第6个字符开始换为lampbre.com

mset name1 李大伟 name2 李小伟#设置多个键的值。

msetnxname1 张三 name3 李四#判断键是否存在,不存在则设置,否则不设置返回0

mget name1 name2 name3#一次获取多个键的值。

getset name1 Tom#重新设置键的值,并返回旧的键值。

getrange email 6 18#截取email键的值,从第6-18位间的字符。

incr uid#每次自增1 (如果key中uid不存在,则设置并从0开始,下同)

incrby uid 5#每次自增5

incrby uid -5#每次自减5

decr uid #每次自减1

decrby uid 5#每次自减5

appendname1 @126.com#给name1的值,添加字符串@126.com

strlenname1#返回键name1的值的长度。

*************************************************************************

Hashes(哈希)类型:

hset user:001 name liweijie#哈希设置用户user:001的name键值为liweijie

hset user:001 age 21#同样,增加一个age键值为21

hsetnx user:001 age 22#同上,但检测键是否存在。若不存在创建。

hmset user:002 name liweijie2 age 26 sex 1#同时设置多个键的值。

hget user:001 name#哈希获取用户user:001的name键的值。

hget user:001 age #同上。

hmget user:001 name age sex#获取多个指定的键的值。

hgetall user:001#获取所有键的值。

hincrbyuser:001 age -8#在指定键上加上给定的值。

hexists user:001 sex#检测指定的键值是否存在。

hlen user:001#返回指定哈希的键个数/字段个数。

hdel user:001 sex#删除指定(user:001)哈希的指定字段或是键值。

hkeys user:003#返回哈希里所有字段或是键值。

*********************************************************************

Lists(链表)类型及操作(棧或队列):

lpush mylist “world”#从头部插入字符串

lpush mylist “hello”#同上

lrange mylist 0 -1#获取从0到最后一个如[1) “hello” 2) “world”]

rpush mylist “jiejie”#在尾部插入

linsert mylist before “hello” “this is linsert” #指定插入位置(在hello之前插入)。

lset mylist 0 “what”#设置修改指定下标的值。

lrem mylist 1 “hello”#删除(1个)一个值为hello的元素。(n<0从尾部删除,n=0全部删除)

ltrim mylist 1 2 #保留表中下标为1/2的元素。

lpop mylist#弹出开头元素并返回。

rpop mylist#弹出尾部元素并返回。

rpoplpush mylist mylist2 #从mylist尾部弹出插入到mylist2的头部。

lindex mylist 0#获取表下标为0的元素值。

llen mylist#返回表元素个数(相当于count($arr ))。

*********************************************************************

sets(集合)类型及操作(好友推荐、blog、tag功能):

smembers myset#查看myset集合中所有元素值。

sadd myset “hello”#向mysets集合中添加一个值hello

srem myset “hello”#删除myset集合中名称为hello的元素。

spop myset #随机弹出并返回mysets中的一个元素。

sdiff myset2 myset3#返回myset2中的与myset3的差集(以myset2为准)。

sdiffstore myset4 myset2 myset3#返回myset2中的与myset3的差集,并存入myset4中去。

sinter myset2 myset3#返回myset2与myset3的交集。

sinterstore myset5 myset2 myset3#返回myset2与myset3的交集,并存入myset5中去。

sunion myset2 myset3#求并集(去重复)

sunionstore myset6 myset2 myset3#求并集,并存入myset6中去。

smove myset2 myset3 “three”#将myset2中的three移到myset3中去。

scard myset2#返回元素个数。

sismember myset2 “one”#判断元素one是不是myset2集合的(相当于is_array())。

srandmember myset2#随机返回myset2集合中的一个元素,但不删除(相当于array_rand())。

*********************************************************************

sorted sets(有序集合)类型及操作(以scores排序):

zadd myzset 1 “one”#向顺序1的添加元素one

zadd myzset 2 “two”#同上。

zadd myzset 3 “two”#相当于更新顺序为2的值

zrange myzset 0 -1 withscores#查看所有元素并带上排序(默认升序)。

zrem myzset “two”#删除two

zincrby myzset 2 “two”#将two的顺序值加上2

zrank myzset “two”#返回集合中元素的索引下标值。

zrevrank myzset two#元素反转并返回新下标值。

zrevrange myzset 0 -1 withscores#按顺序反转(相当于降序排序)

zrangebyscore myzset 1 10 withscores#返回顺序为1-10的元素(可做分页)。

zcount myzset 1 10 #返回顺序在1-10之间元素的个数。

zcard myzset#返回集合中所有元素的个数。

zremrangebyrank myzset 1 2#删除集合中下标为1到2的元素。

zremrangebyscore myzset 1 10#删除集合中顺序为1到10的元素。

Redis常用命令

键/值相关命令。

keys * #查询所有

keys user*#查询指定的

exists user:001#判断是否存在。

del name#删除指定的键。

expire addr 10#设置过期时间

ttl addr#查询过期时间

select 0 #选择数据库

move age 1#将age移到1数据库。

get age #获取

persist age#移除age的过期时间。

randomkey#随机返回一个key

rename name1 name2#重命名键

type myset#返回键的类型。

ping #测试redis连接是否存活。

echo lamp#输出一个lamp

select 10#选择数据库。

quit/exit/crtl+C#退出客户端

dbsize#返回库里的键的个数。

服务器相关命令:

info#显示redis服务器的相关信息。

config get */loglevel #返回所有/指定的配置信息。

flushdb#删除当前库中的所有键/表。

flushall#删除所有数据库中的所有键/表

二、Redis高级部分:

1、Redis安全性:

1.用ACL控制器安全性。

2.给redis加上较长密码

# requirepass foobared

requirepass beijing

3.在redis.conf配置启用认证功能。

方式一:Auth beijing

方式二:./redis-cli -a beijing

4.在redis.conf配置文件增加下面这一行配置,即可把redis绑定在单个接口上(但并不是只有接受这个网卡的数据)。

bind 127.0.0.1(单台机器的时候可以配置,分布式或主从复制时最好不要配置)

5.SSL代理

6.禁用指定命令。

2、Redis主从复制:

redis只需在从服务器(slave)上配置即可:

slaveof 211.122.11.11 6379 #指定master 的ip 和端口

masterauth beijing#这是master主机的密码

Info#查看主/从服务器的状态。

3、Redis事务处理:

Redis事务很不完善。

4、Redis持久化机制:

1.两种方式:一、备份数据到磁盘(快照)[ snapshotting(快照)也是默认方式]

二、记录操作命令[ Append-only file(缩写aof)的方式]

一、备份数据到磁盘(快照)[ snapshotting(快照)也是默认方式]

save 900 1 #900秒内如果超过1个key被修改,则发起快照保存

save 300 10 #300秒内容如超过10个key被修改,则发起快照保存

save 60 10000

二、记录操作命令[ Append-only file(缩写aof)的方式](较安全持久化)

appendonly yes #启用aof 持久化方式

# appendfsync always //收到写命令就立即写入磁盘,最慢,但是保证完全的持久化

appendfsync everysec //每秒钟写入磁盘一次,在性能和持久化方面做了很好的折中

# appendfsync no //完全依赖os,性能最好,持久化没保证

每天进步一点点之Mysql数据简明使用教程【转】

1、启动MySQL服务器
实际上上篇已讲到如何启动MySQL。两种方法:
一是用winmysqladmin,如果机器启动时已自动运行,则可直接进入下一步操作。
二是在DOS方式下运行
d:/mysql/bin/mysqld

2、进入mysql交互操作界面
在DOS方式下,运行:
d:/mysql/bin/mysql -u root -p
出现提示符,此时已进入mysql的交互操作方式。
如果出现 “ERROR 2003: Can‘t connect to MySQL server on ‘localhost‘ (10061)“,说明你的MySQL还没有启动。

3、退出MySQL操作界面
在mysql>提示符下输入quit可以随时退出交互操作界面:
mysql> quit
Bye
你也可以用control-D退出。

4、第一条命令
mysql> select version(),current_date();
+—————-+—————–+
| version()   | current_date() |
+—————-+—————–+
| 3.23.25a-debug | 2001-05-17   |
+—————-+—————–+
1 row in set (0.01 sec)

此命令要求mysql服务器告诉你它的版本号和当前日期。尝试用不同大小写操作上述命令,看结果如何。
结果说明mysql命令的大小写结果是一致的。
练习如下操作:
mysql>Select (20+5)*4;
mysql>Select (20+5)*4,sin(pi()/3);
mysql>Select (20+5)*4 AS Result,sin(pi()/3); (AS: 指定假名为Result)

5、多行语句
一条命令可以分成多行输入,直到出现分号“;”为止:
mysql> select
-> USER()
-> ,
-> now()
->;
+——————–+—————————–+
| USER()               | now()                           |
+——————–+—————————–+
| ODBC@localhost| 2001-05-17 22:59:15  |
+——————–+—————————–+

6、使用SHOW语句找出在服务器上当前存在什么数据库:

mysql> SHOW DATABASES;
+———-+
| Database |
+———-+
| mysql  |
| test   |
+———-+
3 rows in set (0.00 sec)

7、创建一个数据库abccs
mysql> CREATE DATABASE abccs;
注意不同操作系统对大小写的敏感。

8、选择你所创建的数据库
mysql> USE abccs
Database changed
此时你已经进入你刚才所建立的数据库abccs.

9 创建一个数据库表
首先看现在你的数据库中存在什么表:
mysql> SHOW TABLES;
Empty set (0.00 sec)
说明刚才建立的数据库中还没有数据库表。下面来创建一个数据库表mytable:

我们要建立一个你公司员工的生日表,表的内容包含员工姓名、性别、出生日期、出生城市。
mysql> CREATE TABLE mytable (name VARCHAR(20), sex CHAR(1),
-> birth DATE, birthaddr VARCHAR(20));
Query OK, 0 rows affected (0.00 sec)

由于name、birthadd的列值是变化的,因此选择VARCHAR,其长度不一定是20。可以选择从1到255的任何长度,如果以后需要改变它的字长,可以使用ALTER TABLE语句。);
性别只需一个字符就可以表示:”m”或”f”,因此选用CHAR(1);birth列则使用DATE数据类型。

创建了一个表后,我们可以看看刚才做的结果,用SHOW TABLES显示数据库中有哪些表:
mysql> SHOW TABLES;
+———————+
| Tables in menagerie |
+———————+
| mytables      |
+———————+

10、显示表的结构:
mysql> DESCRIBE mytable;
+————-+————-+——+—–+———+——-+
| Field    | Type    | Null | Key | Default | Extra |
+————-+————-+——+—–+———+——-+
| name    | varchar(20) | YES |   | NULL  |    |
| sex     | char(1)   | YES |   | NULL  |    |
| birth    | date    | YES |   | NULL  |    |
| deathaddr  | varchar(20) | YES |   | NULL  |    |
+————-+————-+——+—–+———+——-+

11、查询所有数据:
mysql> select * from mytable;
+———-+——+————+———-+
| name   | sex | birth   | birthaddr |
+———-+——+————+——–+
| abccs  |f  | 1977-07-07 | china   |
| mary   |f  | 1978-12-12 | usa    |
| tom   |m  | 1970-09-02 | usa    |
+———-+——+————+———-+
3 row in set (0.00 sec)

12、修正错误记录:
假如tom的出生日期有错误,应该是1973-09-02,则可以用update语句来修正:
mysql> update mytable set birth = “1973-09-02” where name = “tom”;
再用2中的语句看看是否已更正过来。

13、选择特定行
上面修改了tom的出生日期,我们可以选择tom这一行来看看是否已经有了变化:
mysql> select * from mytable where name = “tom”;
+——–+——+————+————+
| name  |sex | birth   | birthaddr     |
+——–+——+————+————+
| tom  |m  | 1973-09-02 | usa    |
+——–+——+————+————+
1 row in set (0.06 sec)

上面WHERE的参数指定了检索条件。我们还可以用组合条件来进行查询:
mysql> SELECT * FROM mytable WHERE sex = “f” AND birthaddr = “china”;
+——–+——+————+————+
| name  |sex | birth   | birthaddr     |
+——–+——+————+————+
| abccs |f  | 1977-07-07 | china   |
+——–+——+————+————+
1 row in set (0.06 sec)

14 多表操作

前面我们熟悉了数据库和数据库表的基本操作,现在我们再来看看如何操作多个表。

在一个数据库中,可能存在多个表,这些表都是相互关联的。我们继续使用前面的例子。前面建立的表中包含了员工的一些基本信息,如姓名、性别、出生日期、出生地。我们再创建一个表,该表用于描述员工所发表的文章,内容包括作者姓名、文章标题、发表日期。

1、查看第一个表mytable的内容:
mysql> select * from mytable;
+———-+——+————+———–+
| name   | sex | birth   | birthaddr |
+———-+——+————+———–+
| abccs  |f   | 1977-07-07 | china   |
| mary   |f   | 1978-12-12 | usa    |
| tom   |m   | 1970-09-02 | usa    |
+———-+——+————+———–+

2、创建第二个表title(包括作者、文章标题、发表日期):
mysql> create table title(writer varchar(20) not null,
-> title varchar(40) not null,
-> senddate date);

向该表中填加记录,最后表的内容如下:
mysql> select * from title;
+——–+——-+————+
| writer | title | senddate  |
+——–+——-+————+
| abccs | a1  | 2000-01-23 |
| mary  | b1  | 1998-03-21 |
| abccs | a2  | 2000-12-04 |
| tom  | c1  | 1992-05-16 |
| tom  | c2  | 1999-12-12 |
+——–+——-+————+
5 rows in set (0.00sec)

3、多表查询
现在我们有了两个表: mytable 和 title。利用这两个表我们可以进行组合查询:
例如我们要查询作者abccs的姓名、性别、文章:
mysql> SELECT name,sex,title FROM mytable,title
-> WHERE name=writer AND name=‘abccs‘;
+——-+——+——-+
| name | sex | title |
+——-+——+——-+
| abccs | f  | a1  |
| abccs | f  | a2  |
+——-+——+——-+

上面例子中,由于作者姓名、性别、文章记录在两个不同表内,因此必须使用组合来进行查询。必须要指定一个表中的记录如何与其它表中的记录进行匹配。

注意:如果第二个表title中的writer列也取名为name(与mytable表中的name列相同)而不是writer时,就必须用mytable.name和title.name表示,以示区别。

再举一个例子,用于查询文章a2的作者、出生地和出生日期:
mysql> select title,writer,birthaddr,birth from mytable,title
-> where mytable.name=title.writer and title=‘a2‘;
+——-+——–+———–+————+
| title | writer | birthaddr | birth   |
+——-+——–+———–+————+
| a2  | abccs | china   | 1977-07-07 |
+——-+——–+———–+————+

15、增加一列:
如在前面例子中的mytable表中增加一列表示是否单身single:
mysql> alter table mytable add column single char(1);

16、修改记录
将abccs的single记录修改为“y”:
mysql> update mytable set single=‘y‘ where name=‘abccs‘;

现在来看看发生了什么:
mysql> select * from mytable;
+———-+——+————+———–+——–+
| name   | sex | birth   | birthaddr | single |
+———-+——+————+———–+——–+
| abccs  |f   | 1977-07-07 | china   | y   |
| mary   |f   | 1978-12-12 | usa    | NULL  |
| tom   |m   | 1970-09-02 | usa    | NULL  |
+———-+——+————+———–+——–+

17、增加记录
前面已经讲过如何增加一条记录,为便于查看,重复与此:
mysql> insert into mytable
-> values (‘abc‘,‘f‘,‘1966-08-17‘,‘china‘,‘n‘);
Query OK, 1 row affected (0.05 sec)
查看一下:
mysql> select * from mytable;
+———-+——+————+———–+——–+
| name   | sex | birth   | birthaddr | single |
+———-+——+————+———–+——–+
| abccs  |f   | 1977-07-07 | china   | y   |
| mary   |f   | 1978-12-12 | usa    | NULL  |
| tom   |m   | 1970-09-02 | usa    | NULL  |
| abc   |f   | 1966-08-17 | china   | n   |
+———-+——+————+———–+——–+

18、删除记录
用如下命令删除表中的一条记录:
mysql> delete from mytable where name=‘abc‘;
DELETE从表中删除满足由where给出的条件的一条记录。

再显示一下结果:
mysql> select * from mytable;
+———-+——+————+———–+——–+
| name   | sex | birth   | birthaddr | single |
+———-+——+————+———–+——–+
| abccs  |f   | 1977-07-07 | china   | y   |
| mary   |f   | 1978-12-12 | usa    | NULL  |
| tom   |m   | 1970-09-02 | usa    | NULL  |
+———-+——+————+———–+——–+

19、删除表:
mysql> drop table ****(表1的名字),***表2的名字;
可以删除一个或多个表,小心使用。

20、数据库的删除:
mysql> drop database 数据库名;
小心使用。

21、数据库的备份:
退回到DOS:
mysql> quit
d:mysqlbin
使用如下命令对数据库abccs进行备份:
mysqldump –opt abccs>abccs.dbb
abccs.dbb就是你的数据库abccs的备份文件。

22、用批处理方式使用MySQL:

首先建立一个批处理文件mytest.sql,内容如下:
use abccs;
select * from mytable;
select name,sex from mytable where name=‘abccs‘;

在DOS下运行如下命令:
d:mysqlbin mysql < mytest.sql
在屏幕上会显示执行结果。

如果想看结果,而输出结果很多,则可以用这样的命令:
mysql < mytest.sql | more

我们还可以将结果输出到一个文件中:
mysql < mytest.sql > mytest.out

23. 请先用root登录到mysql,方法:
c:/mysql/bin/mysql -u root -p

24.创建一个用户

mysql> GRANT ALL PRIVILEGES ON javatest.* TO javauser@”%”
->   IDENTIFIED BY “javadude” ;

 

python中遍历文件的3个方法【转】

今天写一个在windows下批量修改文件名的python脚本,用到文件的遍历。用python进行文件遍历有多种方法,这里列举并说明一下。

os.path.walk()

这是一个传统的用法。

walk(root,callable,args)方法有三个参数:要遍历的目录,回调函数,回调函数的参数(元组形式)。

调用的过程是遍历目录下的文件或目录,每遍历一个目录,调用回调函数,并把args作为参数传递给回调函数。

回调函数定义时也有三个参数,比如示例中的func中的三个参数,分别为walk传来的参数、目录的路径、目录下的文件列表(只有文件名,不是完整路径)。请看示例:

import os
s = os.sep #根据unix或win,s为\或/
root = "d:" + s + "ll" + s #要遍历的目录
def func(args,dire,fis): #回调函数的定义
    for f in fis:
        fname = os.path.splitext(f)  #分割文件名为名字和扩展名的二元组
        new = fname[0] + 'b' + fname[1]  #改名字
        os.rename(os.path.join(dire,f),os.path.join(dire,new)) #重命名

os.path.walk(root,func,()) #遍历

这种方法在使用时有个问题,不能递归遍历下一层(这点我还不确定,欢迎指正)。

python的高级版本中加入了os.walk(),比这个好用。

os.walk()

原型为:os.walk(top, topdown=True, onerror=None, followlinks=False)

我们一般只使用第一个参数。(topdown指明遍历的顺序)
该方法对于每个目录返回一个三元组,(dirpath, dirnames, filenames)。第一个是路径,第二个是路径下面的目录,第三个是路径下面的非目录(对于windows来说也就是文件)。请看示例:

import os
s = os.sep
root = "d:" + s + "ll" + s 
for rt, dirs, files in os.walk(root):
    for f in files:
        fname = os.path.splitext(f)
        new = fname[0] + 'b' + fname[1]
        os.rename(os.path.join(rt,f),os.path.join(rt,new))

这种方式可以递归遍历所有的文件。

listdir

可以使用os模块下的几个方法组合起来进行遍历。请看示例:

import os
s = os.sep
root = "d:" + s + "ll" + s
for i in os.listdir(root):
    if os.path.isfile(os.path.join(root,i)):
        print i

这里需要注意的是,其中的i是目录或文件名,不是完整的路径,在使用时要结合os.path.join()方法还原完整路径。

遍历搞定之后,文件名的修改可以使用正则表达式做一些高级的处理。

另外,还可以使用os.system(cmd)来调用shell里面的相关命令对文件进行处理,很好很强大。

AWK 简明教程【转】

有一些网友看了前两天的《Linux下应该知道的技巧》希望我能教教他们用awk和sed,所以,出现了这篇文章。我估计这些80后的年轻朋友可能对awk/sed这类上古神器有点陌生了,所以需要我这个老家伙来炒炒冷饭。况且,AWK是贝尔实验室1977年搞出来的文本出现神器,今年是蛇年,是AWK的本命年,而且年纪和我相仿,所以非常有必要为他写篇文章

之所以叫AWK是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。要学AWK,就得提一提AWK的一本相当经典的书《The AWK Programming Language》,它在豆瓣上的评分是9.4分!在亚马逊上居然卖1022.30元。

我在这里的教程并不想面面俱到,本文和我之前的Go语言简介一样,全是示例,基本无废话。

我只想达到两个目的:

1)你可以在乘坐公交地铁上下班,或是在坐马桶拉大便时读完(保证是一泡大便的工夫)。

2)我只想让这篇博文像一个火辣的脱衣舞女挑起你的兴趣,然后还要你自己去下工夫去撸。

废话少说,我们开始脱吧(注:这里只是topless)。

起步上台

我从netstat命令中提取了如下信息作为用例:

$ cat netstat.txt
Proto Recv-Q Send-Q Local-Address          Foreign-Address             State
tcp        0      0 0.0.0.0:3306           0.0.0.0:*                   LISTEN
tcp        0      0 0.0.0.0:80             0.0.0.0:*                   LISTEN
tcp        0      0 127.0.0.1:9000         0.0.0.0:*                   LISTEN
tcp        0      0 coolshell.cn:80        124.205.5.146:18245         TIME_WAIT
tcp        0      0 coolshell.cn:80        61.140.101.185:37538        FIN_WAIT2
tcp        0      0 coolshell.cn:80        110.194.134.189:1032        ESTABLISHED
tcp        0      0 coolshell.cn:80        123.169.124.111:49809       ESTABLISHED
tcp        0      0 coolshell.cn:80        116.234.127.77:11502        FIN_WAIT2
tcp        0      0 coolshell.cn:80        123.169.124.111:49829       ESTABLISHED
tcp        0      0 coolshell.cn:80        183.60.215.36:36970         TIME_WAIT
tcp        0   4166 coolshell.cn:80        61.148.242.38:30901         ESTABLISHED
tcp        0      1 coolshell.cn:80        124.152.181.209:26825       FIN_WAIT1
tcp        0      0 coolshell.cn:80        110.194.134.189:4796        ESTABLISHED
tcp        0      0 coolshell.cn:80        183.60.212.163:51082        TIME_WAIT
tcp        0      1 coolshell.cn:80        208.115.113.92:50601        LAST_ACK
tcp        0      0 coolshell.cn:80        123.169.124.111:49840       ESTABLISHED
tcp        0      0 coolshell.cn:80        117.136.20.85:50025         FIN_WAIT2
tcp        0      0 :::22                  :::*                        LISTEN

下面是最简单最常用的awk示例,其输出第1列和第4例,

  • 其中单引号中的被大括号括着的就是awk的语句,注意,其只能被单引号包含。
  • 其中的$1..$n表示第几例。注:$0表示整个行。
$ awk '{print $1, $4}' netstat.txt
Proto Local-Address
tcp 0.0.0.0:3306
tcp 0.0.0.0:80
tcp 127.0.0.1:9000
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp coolshell.cn:80
tcp :::22

我们再来看看awk的格式化输出,和C语言的printf没什么两样:

$ awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat.txt
Proto    Recv-Q   Send-Q   Local-Address      Foreign-Address        State
tcp      0        0        0.0.0.0:3306       0.0.0.0:*              LISTEN
tcp      0        0        0.0.0.0:80         0.0.0.0:*              LISTEN
tcp      0        0        127.0.0.1:9000     0.0.0.0:*              LISTEN
tcp      0        0        coolshell.cn:80    124.205.5.146:18245    TIME_WAIT
tcp      0        0        coolshell.cn:80    61.140.101.185:37538   FIN_WAIT2
tcp      0        0        coolshell.cn:80    110.194.134.189:1032   ESTABLISHED
tcp      0        0        coolshell.cn:80    123.169.124.111:49809  ESTABLISHED
tcp      0        0        coolshell.cn:80    116.234.127.77:11502   FIN_WAIT2
tcp      0        0        coolshell.cn:80    123.169.124.111:49829  ESTABLISHED
tcp      0        0        coolshell.cn:80    183.60.215.36:36970    TIME_WAIT
tcp      0        4166     coolshell.cn:80    61.148.242.38:30901    ESTABLISHED
tcp      0        1        coolshell.cn:80    124.152.181.209:26825  FIN_WAIT1
tcp      0        0        coolshell.cn:80    110.194.134.189:4796   ESTABLISHED
tcp      0        0        coolshell.cn:80    183.60.212.163:51082   TIME_WAIT
tcp      0        1        coolshell.cn:80    208.115.113.92:50601   LAST_ACK
tcp      0        0        coolshell.cn:80    123.169.124.111:49840  ESTABLISHED
tcp      0        0        coolshell.cn:80    117.136.20.85:50025    FIN_WAIT2
tcp      0        0        :::22              :::*                   LISTEN

脱掉外套

过滤记录

我们再来看看如何过滤记录(下面过滤条件为:第三列的值为0 && 第6列的值为LISTEN)

$ awk '$3==0 && $6=="LISTEN" ' netstat.txt
tcp        0      0 0.0.0.0:3306               0.0.0.0:*              LISTEN
tcp        0      0 0.0.0.0:80                 0.0.0.0:*              LISTEN
tcp        0      0 127.0.0.1:9000             0.0.0.0:*              LISTEN
tcp        0      0 :::22                      :::*                   LISTEN

其中的“==”为比较运算符。其他比较运算符:!=, >, <, >=, <=

我们来看看各种过滤记录的方式:

$ awk ' $3>0 {print $0}' netstat.txt
Proto Recv-Q Send-Q Local-Address          Foreign-Address             State
tcp        0   4166 coolshell.cn:80        61.148.242.38:30901         ESTABLISHED
tcp        0      1 coolshell.cn:80        124.152.181.209:26825       FIN_WAIT1
tcp        0      1 coolshell.cn:80        208.115.113.92:50601        LAST_ACK

如果我们需要表头的话,我们可以引入内建变量NR:

$ awk '$3==0 && $6=="LISTEN" || NR==1 ' netstat.txt
Proto Recv-Q Send-Q Local-Address          Foreign-Address             State
tcp        0      0 0.0.0.0:3306           0.0.0.0:*                   LISTEN
tcp        0      0 0.0.0.0:80             0.0.0.0:*                   LISTEN
tcp        0      0 127.0.0.1:9000         0.0.0.0:*                   LISTEN
tcp        0      0 :::22                  :::*                        LISTEN

再加上格式化输出:

$ awk '$3==0 && $6=="LISTEN" || NR==1 {printf "%-20s %-20s %s\n",$4,$5,$6}' netstat.txt
Local-Address        Foreign-Address      State
0.0.0.0:3306         0.0.0.0:*            LISTEN
0.0.0.0:80           0.0.0.0:*            LISTEN
127.0.0.1:9000       0.0.0.0:*            LISTEN
:::22                :::*                 LISTEN
内建变量

说到了内建变量,我们可以来看看awk的一些内建变量:

$0 当前记录(这个变量中存放着整个行的内容)
$1~$n 当前记录的第n个字段,字段间由FS分隔
FS 输入字段分隔符 默认是空格或Tab
NF 当前记录中的字段个数,就是有多少列
NR 已经读出的记录数,就是行号,从1开始,如果有多个文件话,这个值也是不断累加中。
FNR 当前记录数,与NR不同的是,这个值会是各个文件自己的行号
RS 输入的记录分隔符, 默认为换行符
OFS 输出字段分隔符, 默认也是空格
ORS 输出的记录分隔符,默认为换行符
FILENAME 当前输入文件的名字

怎么使用呢,比如:我们如果要输出行号:

$ awk '$3==0 && $6=="ESTABLISHED" || NR==1 {printf "%02s %s %-20s %-20s %s\n",NR, FNR, $4,$5,$6}' netstat.txt
01 1 Local-Address        Foreign-Address      State
07 7 coolshell.cn:80      110.194.134.189:1032 ESTABLISHED
08 8 coolshell.cn:80      123.169.124.111:49809 ESTABLISHED
10 10 coolshell.cn:80      123.169.124.111:49829 ESTABLISHED
14 14 coolshell.cn:80      110.194.134.189:4796 ESTABLISHED
17 17 coolshell.cn:80      123.169.124.111:49840 ESTABLISHED
指定分隔符
$  awk  'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd
root 0 /root
bin 1 /bin
daemon 2 /sbin
adm 3 /var/adm
lp 4 /var/spool/lpd
sync 5 /sbin
shutdown 6 /sbin
halt 7 /sbin

上面的命令也等价于:(-F的意思就是指定分隔符)

 $ awk  -F: '{print $1,$3,$6}' /etc/passwd
注:如果你要指定多个分隔符,你可以这样来:
 awk -F '[;:]'
再来看一个以\t作为分隔符输出的例子(下面使用了/etc/passwd文件,这个文件是以:分隔的):
$ awk  -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd
root    0       /root
bin     1       /bin
daemon  2       /sbin
adm     3       /var/adm
lp      4       /var/spool/lpd
sync    5       /sbin

脱掉衬衫

字符串匹配

我们再来看几个字符串匹配的示例:

$ awk '$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
1       Local-Address   Foreign-Address State
6       coolshell.cn:80 61.140.101.185:37538    FIN_WAIT2
9       coolshell.cn:80 116.234.127.77:11502    FIN_WAIT2
13      coolshell.cn:80 124.152.181.209:26825   FIN_WAIT1
18      coolshell.cn:80 117.136.20.85:50025     FIN_WAIT2
 
$ $ awk '$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
1       Local-Address   Foreign-Address State
5       coolshell.cn:80 124.205.5.146:18245     TIME_WAIT
6       coolshell.cn:80 61.140.101.185:37538    FIN_WAIT2
9       coolshell.cn:80 116.234.127.77:11502    FIN_WAIT2
11      coolshell.cn:80 183.60.215.36:36970     TIME_WAIT
13      coolshell.cn:80 124.152.181.209:26825   FIN_WAIT1
15      coolshell.cn:80 183.60.212.163:51082    TIME_WAIT
18      coolshell.cn:80 117.136.20.85:50025     FIN_WAIT2

上面的第一个示例匹配FIN状态, 第二个示例匹配WAIT字样的状态。其实 ~ 表示模式开始。/ /中是模式。这就是一个正则表达式的匹配。

其实awk可以像grep一样的去匹配第一行,就像这样:

$ awk '/LISTEN/' netstat.txt
tcp        0      0 0.0.0.0:3306            0.0.0.0:*               LISTEN
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN
tcp        0      0 127.0.0.1:9000          0.0.0.0:*               LISTEN
tcp        0      0 :::22                   :::*                    LISTEN

我们可以使用 “/FIN|TIME/” 来匹配 FIN 或者 TIME :

$ awk '$6 ~ /FIN|TIME/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
1       Local-Address   Foreign-Address State
5       coolshell.cn:80 124.205.5.146:18245     TIME_WAIT
6       coolshell.cn:80 61.140.101.185:37538    FIN_WAIT2
9       coolshell.cn:80 116.234.127.77:11502    FIN_WAIT2
11      coolshell.cn:80 183.60.215.36:36970     TIME_WAIT
13      coolshell.cn:80 124.152.181.209:26825   FIN_WAIT1
15      coolshell.cn:80 183.60.212.163:51082    TIME_WAIT
18      coolshell.cn:80 117.136.20.85:50025     FIN_WAIT2

再来看看模式取反的例子:

$ awk '$6 !~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
1       Local-Address   Foreign-Address State
2       0.0.0.0:3306    0.0.0.0:*       LISTEN
3       0.0.0.0:80      0.0.0.0:*       LISTEN
4       127.0.0.1:9000  0.0.0.0:*       LISTEN
7       coolshell.cn:80 110.194.134.189:1032    ESTABLISHED
8       coolshell.cn:80 123.169.124.111:49809   ESTABLISHED
10      coolshell.cn:80 123.169.124.111:49829   ESTABLISHED
12      coolshell.cn:80 61.148.242.38:30901     ESTABLISHED
14      coolshell.cn:80 110.194.134.189:4796    ESTABLISHED
16      coolshell.cn:80 208.115.113.92:50601    LAST_ACK
17      coolshell.cn:80 123.169.124.111:49840   ESTABLISHED
19      :::22   :::*    LISTEN

或是:

 awk '!/WAIT/' netstat.txt

折分文件

awk拆分文件很简单,使用重定向就好了。下面这个例子,是按第6例分隔文件,相当的简单(其中的NR!=1表示不处理表头)。

$ awk 'NR!=1{print > $6}' netstat.txt
 
$ ls
ESTABLISHED  FIN_WAIT1  FIN_WAIT2  LAST_ACK  LISTEN  netstat.txt  TIME_WAIT
 
$ cat ESTABLISHED
tcp        0      0 coolshell.cn:80        110.194.134.189:1032        ESTABLISHED
tcp        0      0 coolshell.cn:80        123.169.124.111:49809       ESTABLISHED
tcp        0      0 coolshell.cn:80        123.169.124.111:49829       ESTABLISHED
tcp        0   4166 coolshell.cn:80        61.148.242.38:30901         ESTABLISHED
tcp        0      0 coolshell.cn:80        110.194.134.189:4796        ESTABLISHED
tcp        0      0 coolshell.cn:80        123.169.124.111:49840       ESTABLISHED
 
$ cat FIN_WAIT1
tcp        0      1 coolshell.cn:80        124.152.181.209:26825       FIN_WAIT1
 
$ cat FIN_WAIT2
tcp        0      0 coolshell.cn:80        61.140.101.185:37538        FIN_WAIT2
tcp        0      0 coolshell.cn:80        116.234.127.77:11502        FIN_WAIT2
tcp        0      0 coolshell.cn:80        117.136.20.85:50025         FIN_WAIT2
 
$ cat LAST_ACK
tcp        0      1 coolshell.cn:80        208.115.113.92:50601        LAST_ACK
 
$ cat LISTEN
tcp        0      0 0.0.0.0:3306           0.0.0.0:*                   LISTEN
tcp        0      0 0.0.0.0:80             0.0.0.0:*                   LISTEN
tcp        0      0 127.0.0.1:9000         0.0.0.0:*                   LISTEN
tcp        0      0 :::22                  :::*                        LISTEN
 
$ cat TIME_WAIT
tcp        0      0 coolshell.cn:80        124.205.5.146:18245         TIME_WAIT
tcp        0      0 coolshell.cn:80        183.60.215.36:36970         TIME_WAIT
tcp        0      0 coolshell.cn:80        183.60.212.163:51082        TIME_WAIT

你也可以把指定的列输出到文件:

 awk 'NR!=1{print $4,$5 > $6}' netstat.txt

再复杂一点:(注意其中的if-else-if语句,可见awk其实是个脚本解释器)

$ awk 'NR!=1{if($6 ~ /TIME|ESTABLISHED/) print > "1.txt";
else if($6 ~ /LISTEN/) print > "2.txt";
else print > "3.txt" }' netstat.txt
 
$ ls ?.txt
1.txt  2.txt  3.txt
 
$ cat 1.txt
tcp        0      0 coolshell.cn:80        124.205.5.146:18245         TIME_WAIT
tcp        0      0 coolshell.cn:80        110.194.134.189:1032        ESTABLISHED
tcp        0      0 coolshell.cn:80        123.169.124.111:49809       ESTABLISHED
tcp        0      0 coolshell.cn:80        123.169.124.111:49829       ESTABLISHED
tcp        0      0 coolshell.cn:80        183.60.215.36:36970         TIME_WAIT
tcp        0   4166 coolshell.cn:80        61.148.242.38:30901         ESTABLISHED
tcp        0      0 coolshell.cn:80        110.194.134.189:4796        ESTABLISHED
tcp        0      0 coolshell.cn:80        183.60.212.163:51082        TIME_WAIT
tcp        0      0 coolshell.cn:80        123.169.124.111:49840       ESTABLISHED
 
$ cat 2.txt
tcp        0      0 0.0.0.0:3306           0.0.0.0:*                   LISTEN
tcp        0      0 0.0.0.0:80             0.0.0.0:*                   LISTEN
tcp        0      0 127.0.0.1:9000         0.0.0.0:*                   LISTEN
tcp        0      0 :::22                  :::*                        LISTEN
 
$ cat 3.txt
tcp        0      0 coolshell.cn:80        61.140.101.185:37538        FIN_WAIT2
tcp        0      0 coolshell.cn:80        116.234.127.77:11502        FIN_WAIT2
tcp        0      1 coolshell.cn:80        124.152.181.209:26825       FIN_WAIT1
tcp        0      1 coolshell.cn:80        208.115.113.92:50601        LAST_ACK
tcp        0      0 coolshell.cn:80        117.136.20.85:50025         FIN_WAIT2
统计

下面的命令计算所有的C文件,CPP文件和H文件的文件大小总和。

$ ls -l  *.cpp *.c *.h | awk '{sum+=$5} END {print sum}'
2511401

我们再来看一个统计各个connection状态的用法:(我们可以看到一些编程的影子了,大家都是程序员我就不解释了。注意其中的数组的用法)

$ awk 'NR!=1{a[$6]++;} END {for (i in a) print i ", " a[i];}' netstat.txt
TIME_WAIT, 3
FIN_WAIT1, 1
ESTABLISHED, 6
FIN_WAIT2, 3
LAST_ACK, 1
LISTEN, 4

再来看看统计每个用户的进程的占了多少内存(注:sum的RSS那一列)

$ ps aux | awk 'NR!=1{a[$1]+=$6;} END { for(i in a) print i ", " a[i]"KB";}'
dbus, 540KB
mysql, 99928KB
www, 3264924KB
root, 63644KB
hchen, 6020KB

脱掉内衣

awk脚本

在上面我们可以看到一个END关键字。END的意思是“处理完所有的行的标识”,即然说到了END就有必要介绍一下BEGIN,这两个关键字意味着执行前和执行后的意思,语法如下:

  • BEGIN{ 这里面放的是执行前的语句 }
  • END {这里面放的是处理完所有的行后要执行的语句 }
  • {这里面放的是处理每一行时要执行的语句}

为了说清楚这个事,我们来看看下面的示例:

假设有这么一个文件(学生成绩表):

$ cat score.txt
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

我们的awk脚本如下(我没有写有命令行上是因为命令行上不易读,另外也在介绍另一种用法):

$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
    math = 0
    english = 0
    computer = 0
 
    printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
    printf "---------------------------------------------\n"
}
#运行中
{
    math+=$3
    english+=$4
    computer+=$5
    printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
    printf "---------------------------------------------\n"
    printf "  TOTAL:%10d %8d %8d \n", math, english, computer
    printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

我们来看一下执行结果:(也可以这样运行 ./cal.awk score.txt)

$ awk -f cal.awk score.txt
NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
---------------------------------------------
Marry  2143     78       84       77      239
Jack   2321     66       78       45      189
Tom    2122     48       77       71      196
Mike   2537     87       97       95      279
Bob    2415     40       57       62      159
---------------------------------------------
  TOTAL:       319      393      350
AVERAGE:     63.80    78.60    70.00
环境变量

即然说到了脚本,我们来看看怎么和环境变量交互:(使用-v参数和ENVIRON,使用ENVIRON的环境变量需要export)

$ x=5
 
$ y=10
$ export y
 
$ echo $x $y
5 10
 
$ awk -v val=$x '{print $1, $2, $3, $4+val, $5+ENVIRON["y"]}' OFS="\t" score.txt
Marry   2143    78      89      87
Jack    2321    66      83      55
Tom     2122    48      82      81
Mike    2537    87      102     105
Bob     2415    40      62      72

几个花活

最后,我们再来看几个小例子:

#从file文件中找出长度大于80的行
awk 'length>80' file
 
#按连接数查看客户端IP
netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -nr
 
#打印99乘法表
seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

自己撸吧

关于其中的一些知识点可以参看gawk的手册

(全文完)

Python的静态方法和类成员方法【转】

Python的静态方法和类成员方法都可以被类或实例访问,两者概念不容易理清,但还是有区别的:
1)静态方法无需传入self参数,类成员方法需传入代表本类的cls参数;
2)从第1条,静态方法是无法访问实例变量的,而类成员方法也同样无法访问实例变量,但可以访问类变量;
3)静态方法有点像函数工具库的作用,而类成员方法则更接近类似Java面向对象概念中的静态方法。
实现静态方法和类方法的两种方式
一、在Python 2.3及之前,用staticmethod和classmethod类型对象包装实现
例子如下(注意print里的说明):
class MyClass:
    val1 = 'Value 1'
    def __init__(self):
        self.val2 = 'Value 2'
    def staticmd():
        print '静态方法,无法访问val1和val2'
    smd = staticmethod(staticmd)

    def classmd(cls):
        print '类方法,类:' + str(cls) + ',val1:' + cls.val1 + ',无法访问val2的值'
    cmd = classmethod(classmd)
执行:
>>> mc = MyClass()
>>> mc.smd()
>>> mc.cmd()
>>> MyClass.smd()
>>> MyClass.cmd()
二、在Python 2.4及之后,用装饰器(decorators)实现
装饰器使用@操作符,例子如下:
class MyClass:
    val1 = 'Value 1'
    def __init__(self):
        self.val2 = 'Value 2'

    @staticmethod
    def staticmd():
        print '静态方法,无法访问val1和val2'

    @classmethod
    def classmd(cls):
        print '类方法,类:' + str(cls) + ',val1:' + cls.val1 + ',无法访问val2的值'
不管是以上两种方式中的哪一种,执行情况都是一样的,以方式二执行结果为例分析如下:
执行:
>>> mc = MyClass()  # 实例化
>>> mc.staticmd()  # 实例调用静态方法,无法访问实例变量val1和val2
   静态方法,无法访问val1和val2
 
>>> mc.classmd()  # 实例调用类方法,注意,这里访问的是类MyClass的变量val1的值,不是实例化后mc的实例变量val1,这里容易混淆,往下看就会明白。val2一直是实例变量,所以无法访问
   类方法,类:__main__.MyClass,val1:Value 1,无法访问val2的值
>>> MyClass.staticmd()  # 类直接调用静态方法,结果同上面的实例调用,无论是类变量还是实例变量都无法访问
   静态方法,无法访问val1和val2
>>> MyClass.classmd()  # 类直接调用类方法,结果同上面的实例调用
   类方法,类:__main__.MyClass,val1:Value 1,无法访问val2的值
>>> mc.val1 = 'Value changed'  # 改变实例变量val1的值
>>> mc.classmd()  # 实例调用类方法,注意到cls.val1的值没变,所以,这时的cls.val1是类变量val1,而非实例变量val1
   类方法,类:__main__.MyClass,val1:Value 1,无法访问val2的值
>>> MyClass.classmd()  # 类直接调用类方法,结果同上面的实例调用
   类方法,类:__main__.MyClass,val1:Value 1,无法访问val2的值
 
>>> MyClass.val1 = 'Class Value changed'  # 改变类变量val1的值

>>> mc.classmd()  # 实例调用类方法,注意到cls.val1的值变了,所以,进一步证明了这时的cls.val1是类变量val1,而非实例变量val1
   类方法,类:__main__.MyClass,val1:Class Value changed,无法访问val2的值
 
>>> MyClass.classmd()  # 类直接调用类方法,结果同上面的实例调用
   类方法,类:__main__.MyClass,val1:Class Value changed,无法访问val2的值
结论
如果上述执行过程太复杂,记住以下两点就好了:
静态方法:无法访问类属性、实例属性,相当于一个相对独立的方法,跟类其实没什么关系,换个角度来讲,其实就是放在一个类的作用域里的函数而已。
类成员方法:可以访问类属性,无法访问实例属性。上述的变量val1,在类里是类变量,在实例中又是实例变量,所以容易混淆。

python super()【转】

转自http://www.cnblogs.com/lovemo1314/archive/2011/05/03/2035005.html

 

一、问题的发现与提出

在Python类的方法(method)中,要调用父类的某个方法,在Python 2.2以前,通常的写法如代码段1:

代码段1:

复制代码
class A:
def __init__(self):
print “enter A”
print “leave A”

class B(A):
def __init__(self):
print “enter B”
A.__init__(self)
print “leave B”

>>> b = B()
enter B
enter A
leave A
leave B
复制代码

即,使用非绑定的类方法(用类名来引用的方法),并在参数列表中,引入待绑定的对象(self),从而达到调用父类的目的。
这样做的缺点是,当一个子类的父类发生变化时(如类B的父类由A变为C时),必须遍历整个类定义,把所有的通过非绑定的方法的类名全部替换过来,例如代码段2,
代码段2:
class B(C): # A –> C
def __init__(self):
print “enter B”
C.__init__(self) # A –> C
print “leave B”
如果代码简单,这样的改动或许还可以接受。但如果代码量庞大,这样的修改可能是灾难性的。

因此,自Python 2.2开始,Python添加了一个关键字super,来解决这个问题。下面是Python 2.3的官方文档说明:
super(type[, object-or-type])
Return the superclass of type. If the second argument is omitted the super object
returned is unbound. If the second argument is an object, isinstance(obj, type)
must be true. If the second argument is a type, issubclass(type2, type) must be
true. super() only works for new-style classes.
A typical use for calling a cooperative superclass method is:
class C(B):
def meth(self, arg):
super(C, self).meth(arg)
New in version 2.2.
从说明来看,可以把类B改写如代码段3:
代码段3:
复制代码
class A(object): # A must be new-style class
def __init__(self):
print “enter A”
print “leave A”

class B(C): # A –> C
def __init__(self):
print “enter B”
super(B, self).__init__()
print “leave B”
复制代码
尝试执行上面同样的代码,结果一致,但修改的代码只有一处,把代码的维护量降到最低,是一个不错的用法。因此在我们的开发过程中,super关键字被大量使用,而且一直表现良好。

在我们的印象中,对于super(B, self).__init__()是这样理解的:super(B, self)首先找到B的父类(就是类A),然后把类B的对象self转换为类A的对象(通过某种方式,一直没有考究是什么方式,惭愧),然后“被转换”的类A对象调用自己的__init__函数。考虑到super中只有指明子类的机制,因此,在多继承的类定义中,通常我们保留使用类似代码段1的方法。
有一天某同事设计了一个相对复杂的类体系结构(我们先不要管这个类体系设计得是否合理,仅把这个例子作为一个题目来研究就好),代码如代码段4:
代码段4:

复制代码
class A(object):
def __init__(self):
print “enter A”
print “leave A”

class B(object):
def __init__(self):
print “enter B”
print “leave B”

class C(A):
def __init__(self):
print “enter C”
super(C, self).__init__()
print “leave C”

class D(A):
def __init__(self):
print “enter D”
super(D, self).__init__()
print “leave D”
class E(B, C):
def __init__(self):
print “enter E”
B.__init__(self)
C.__init__(self)
print “leave E”

class F(E, D):
def __init__(self):
print “enter F”
E.__init__(self)
D.__init__(self)
print “leave F”
复制代码
f = F() result:

复制代码
enter F
enter E
enter B
leave B
enter C
enter D
enter A
leave A
leave D
leave C
leave E
enter D
enter A
leave A
leave D
leave F
复制代码
明显地,类A和类D的初始化函数被重复调用了2次,这并不是我们所期望的结果!我们所期望的结果是最多只有类A的初始化函数被调用2次——其实这是多继承的类体系必须面对的问题。我们把代码段4的类体系画出来,如下图:

object
| \
| A
| / |
B C D
\ / |
E |
\ |
F
按我们对super的理解,从图中可以看出,在调用类C的初始化函数时,应该是调用类A的初始化函数,但事实上却调用了类D的初始化函数。好一个诡异的问题!
也就是说,mro中记录了一个类的所有基类的类类型序列。查看mro的记录,发觉包含7个元素,7个类名分别为:
F E B C D A object
从而说明了为什么在C.__init__中使用super(C, self).__init__()会调用类D的初始化函数了。 ???
我们把代码段4改写为:
代码段9:

复制代码
class A(object):
def __init__(self):
print “enter A”
super(A, self).__init__() # new
print “leave A”

class B(object):
def __init__(self):
print “enter B”
super(B, self).__init__() # new
print “leave B”

class C(A):
def __init__(self):
print “enter C”
super(C, self).__init__()
print “leave C”

class D(A):
def __init__(self):
print “enter D”
super(D, self).__init__()
print “leave D”
class E(B, C):
def __init__(self):
print “enter E”
super(E, self).__init__() # change
print “leave E”

class F(E, D):
def __init__(self):
print “enter F”
super(F, self).__init__() # change
print “leave F”
复制代码
f = F() result:

复制代码
enter F
enter E
enter B
enter C
enter D
enter A
leave A
leave D
leave C
leave B
leave E
leave F
复制代码
明显地,F的初始化不仅完成了所有的父类的调用,而且保证了每一个父类的初始化函数只调用一次。

再看类结构:

复制代码
object
/ \
/ A
| / \
B-1 C-2 D-2
\ / /
E-1 /
\ /
F
复制代码
E-1,D-2是F的父类,其中表示E类在前,即F(E,D)。

所以初始化顺序可以从类结构图来看出 : F->E->B –>C –> D –> A

由于C,D有同一个父类,因此会先初始化D再是A。

三、延续的讨论
我们再重新看上面的类体系图,如果把每一个类看作图的一个节点,每一个从子类到父类的直接继承关系看作一条有向边,那么该体系图将变为一个有向图。不能发现mro的顺序正好是该有向图的一个拓扑排序序列。
从而,我们得到了另一个结果——Python是如何去处理多继承。支持多继承的传统的面向对象程序语言(如C++)是通过虚拟继承的方式去实现多继承中父类的构造函数被多次调用的问题,而Python则通过mro的方式去处理。
但这给我们一个难题:对于提供类体系的编写者来说,他不知道使用者会怎么使用他的类体系,也就是说,不正确的后续类,可能会导致原有类体系的错误,而且这样的错误非常隐蔽的,也难于发现。
四、小结
1. super并不是一个函数,是一个类名,形如super(B, self)事实上调用了super类的初始化函数,
产生了一个super对象;
2. super类的初始化函数并没有做什么特殊的操作,只是简单记录了类类型和具体实例;
3. super(B, self).func的调用并不是用于调用当前类的父类的func函数;
4. Python的多继承类是通过mro的方式来保证各个父类的函数被逐一调用,而且保证每个父类函数
只调用一次(如果每个类都使用super);
5. 混用super类和非绑定的函数是一个危险行为,这可能导致应该调用的父类函数没有调用或者一
个父类函数被调用多次。

python实践设计模式(二)Builder,Singleton,Prototype【转】

在上次学习的基础上,本次继续把创建型模式的其他3种模式学习总结一下。

4.Builder模式

个人理解,如果说工厂模式旨在选择创建哪一类的实例,而Builder模式的重点是封装一个实例的复杂创建过程。它可以将一个产品的内部表象与产品的生成过程分割开来,从而可以使一个建造过程生成具有不同的内部表象的产品对象。也就是说,建造的步骤可以稳定不变,但是每一步的内部表象可以灵活变化。

UML图如下:

Builder:为创建Product对象的各个部件指定抽象接口,python中为父类。
ConcreteBuilder:实现Builder的接口以构造和装配该产品的各个部件,定义并明确它所创建的表示,并提供一个检索产品的接口,也就是返回产品类的方法。
Director:构造一个使用Builer接口的对象,该对象中定义了建造对象的步骤顺序。
Product:表示被构造的复杂对象。ConcreteBuilder创建该产品的内部表示并定义它的具体装配方法,包含定义组成部件的类,以及将这些部件装配成最终产品的接口。

一个比较贴切的例子:

要建一座房子,可是我不知道怎么盖,于是我需要找建筑队的工人他们会,还得找个设计师,他知道怎么设计,我还要确保建筑队的工人听设计师的领导,而设计师本身不干活,只下命令,这里砌一堵墙,这里砌一扇门,这样建筑队的工人开始建设,最后,我可以向建筑队的工人要房子了。在这个过程中,设计师是什么也没有,除了他在脑子里的设计和命令,所以要房子也是跟建筑队的工人要。在这个例子中Director是设计师,Builder代表建筑队工人会的建筑技能,ConcreteBuilder工人建筑技能的具体操作,Product就是我要盖的房子。

下面代码的例子,建筑队的工人有砌墙,装窗户,装门的技能以及交房的安排,设计师决定了建设房屋的安排和步骤,现在我要通过2个建筑队的民工,建2所房子,实例代码如下:

Builder

 注:因为python没有private类型的成员,不过我们可以用命名为__name的变量代替,例如上例中的__Room,为什么这样可以呢,我们用builder1=ConcreteBuilder1()
print dir(builder1)

打印语句看出如下图,__name实例化后变为__ConcreteBuilder1__name,就是避免外界对__name属性的修改,从而达到了封闭性。

 5. Singleton模式

Singleton模式要求一个类有且仅有一个实例,并且提供了一个全局的访问点,UML如下。

单例模式虽然不复杂,我一直认为这个模式是最简单的,当我想用python实现的时候确犯难了,这篇文章也足足用了2星期才写出来,期间各种查资料(省略1000个字),下面就来说说实现方法。

先说以前比较熟悉的像C#这样的语言,一般的实现方法是:

1.有一个私有的无参构造函数,这可以防止其他类实例化它。
2.单例类被定义为sealed,目的是单例类也不被继承,如果单例类允许继承那么每个子类都可以创建实例,这就违背了Singleton模式“唯一实例”的初衷,所以为了保险起见可以把该类定义成不允许派生,但没有要求一定要这样定义。
3.一个静态的变量用来保存单实例的引用。
4.一个公有的静态方法用来获取单实例的引用,如果实例为null 即创建一个。

上面是我熟悉的Singleton模式的创建方法,但是对于python,既没有static类型,也没有私有方法和sealed修饰的类,如何实现呢?

  • 关于私有方法和属性,我前面已经提到可以用__name形式为名称定义方法名和属性名来解决
  • 利用isinstance()或issubclass()

本人力推isinstance()和issubclass()2个方法,正是由于python提供这两个方法才能完成设计模式的开发。

isinstance(object, classinfo)如果object是CLASSINFO的一个实例或是子类,或者如果CLASSINFO和object的类型是对象,或是该类型的对象的子类,返回true。

issubclass(class, classinfo)如果class是CLASSINFO的一个子类返回true。

下面是利用 isinstance实现的Singleton模式

Singleton1

上面代码的执行结果如下:

从运行结果可以看出,我们可以控制同一个子类的生成同一个对象实例,但是如果Singleton类被继承(不论是子类之间还是,子类的子类)不能控制生成一个实例。这个问题后面再探讨。

  • 利用__new__

提到__new__就不能不说__init__,先说说关于__new__和__init__的不同与用法:

object.__new__(cls[, …]):调用创建cls类的一个新的实例。是静态方法不用声明。返回一个新对象的实例

object.__init__(self[, …]):当实例创建的时候调用。没有返回值。

__new__在__init__这个之前被调用:

如果__new__返回一个cls的实例,那么新的实例的__init__方法就会被调用,且self是这个新的实例。如果是自定义重写__new__,没有调用__init__的话__init__就不起作用了。

如果__new__不返回一个cls的实例,那么新的实例的__init__方法就不会被调用。

示例代码如下:

Singleton2

如上代码,我们重写了__new__方法,没有用到__init__,即使需要用到我们也需要显式的调用,否则__init__不会起作用,这段代码返回的结果与第一种方法类似如下,也没有解决多继承多对象的问题。

  • 利用元类__metaclass__

利用元类编写单例其实原理和重写__new__是一样的,都是在对象创建的时候进行拦截。上面Singleton2中注释的代码就是利用__metaclass__,可以用注释部分的声明代替之前的,Singleton类在声明是继承了type,对于type她其实是Python在背后用来创建所有类的元类。

class MyClass1(object):
__metaclass__ = Singleton

在声明MyClass1时用到了以上的方式,原理是这样的,MyClass1中有__metaclass__这个属性吗?如果有,Python会在内存中通过__metaclass__创建一个名字为MyClass1的类对象。如果Python没有找到__metaclass__,它会继续在object(父类)中寻找__metaclass__属性,并尝试做和前面同样的操作。如果Python在任何父类中都找不到__metaclass__,它就会在模块层次中去寻找__metaclass__,并尝试做同样的操作。如果还是找不到__metaclass__,Python就会用内置的type来创建这个类对象。这里当程序发现MyClass1中有__metaclass__,所以用Singleton类代替元类type创建这个类。

其中还用到了__call__

object.__call__(self[, args…]):当把一个实例当作方法来调用的时候,形如instance(arg1,args2,…),那么实际上调用的就是 instance.__call__(arg1,arg2,…),实际上__call__模拟了()调用,作用在实例上,因此__init__作用完了,才调用__call__

关于元类的具体解析请参考http://blog.jobbole.com/21351/

  • 利用pythonDecoratorLibrary——Singleton

python提供了丰富的装饰者库,其中就有现成的Singleton,官方参考链接http://wiki.python.org/moin/PythonDecoratorLibrary#Singleton

我改写了一个较简单的版本,如下:

singleton3

 总结:利用上面多种方法实现后,能实现对于一个类只有一个对象,但是不能避免的事类有继承,有多个子类就可以生成多个子类的对象。其实在python中要实现单例模式并不需要借用类的概念(java和C#需要类是因为所有代码需要写在类中),而是可以借助模块来实现,python的模块本身就是唯一的单例的,其中属性和方法直接写为全局的变量和方法即可。

  6.Prototype模式

原型模式:用原型实例指定创建对象的种类,并且通过拷贝这些原型创建新的对象。

 

原型模式与工厂模式一样都生成一个对象,区别就是工厂模式是创建新的对象,而原型模式是克隆一个已经存在的对象,所以在对象初始化操作比较复杂的情况下,很实用,它能大大降低耗时,提高性能,因为“不用重新初始化对象,而是动态地获得对象运行时的状态”。

先来看看,原型模式的UML

图中各部分意思如下:

客户(Client)角色:客户类提出创建对象的请求,让一个原型克隆自身从而创建一个新的对象。
抽象原型(Prototype)角色:此角色给出所有的具体原型类所需的接口。
具体原型(Concrete Prototype)角色:被复制的对象。此角色需要实现抽象原型角色所要求的接口。

对于python实现原型模式有现成的copy模块可用。

copy.copy(x)浅拷贝
copy.deepcopy(x) 深拷贝

浅拷贝和深拷贝之间的区别仅适用于复合对象(包含其他对象也就是子对象,如list类或实例对象):

浅拷贝——构建一个新的对象然后插入到原来的引用上。只拷贝父对象,不会拷贝对象的内部的子对象。

深拷贝——构造一个新的对象以递归的形式,然后插入复制到它原来的对象上。拷贝对象及其子对象

 

Prototype

 

上面代码运行结果如下:

从结果可以看出,当b是a的浅拷贝,那么b中的实例对象WorkExperience只会复制了a中的引用,当不论是a,b哪一个修改都会改变a和b的WorkExperience实例。

c是a的深拷贝,创建了新的WorkExperience实例,所以c只会改变自己的WorkExperience

 

到这里6中创建型的模式已经学习完,下面接着学习Structural Patterns。

未完待续……

python实践设计模式(一)概述和工厂模式【转】

学习python有一段时间,之前就是看看书,最后发现只有实践才能真正学到东西,只有在解决问题中才能真正掌握。之前大牛也有用python实现各种设计模式的,我自己参考之前在学习用C#实现设计模式的经历,也想把23种模式逐一实践,从网上查了一些资料,才明白python虽然是面向对象的,但是和C#,java语言不太一样。影响设计方法不一样有以下几点:

1.python没有接口Interface的类型。

2.由于《Design Patterns—Elements of Reusable Object-Oriented Software》一书采用的是C++来讲述设计模式,因此访问控制符(public、protected和private等关键字)和静态成员方法(类方法)等都可以直接使用,但是这些特性在Python中都无法用到,原因是Python采了与C++完全不同的对象模式。

3.python不是强类型,弱化了多态的概念,一个对象很少只是一个类的实例,而是可以在运行时动态改变,支持相同请求的不同对象针对同一请求所触发的操作可能完全不同。

4.python代码生存在modules中而不必须在class中。

5.python有一些特殊语法运用了设计模式(如decorator ),可以直接应用。

有了以上的不同,就注定python在运用设计模式上与其他面向对象语言的不同,下面是我尝试的实现。

《Design Patterns》一书把设计模式分为了3大类,创建型模式(creational pattern)、结构型模式(structural pattern)和行为型模式(behavioral patterns)。

  一. 创建型模式(creational pattern)

对类的实例化过程进行了抽象,能够使软件模块做到与对象创建和组织的无关性。为了使体系结构更加清晰,一些软件在设计上要求当创建类的具体实例时,能够根据具体的语境来动态地决定怎样创建对象,创建哪些对象,以及怎样组织和表示这些对象,而创建型模式所要描述的就是该如何来解决这些问题。

创建型模式包括以下几种:

 

Simple Factory模式
专门定义一个类来负责创建其它类的实例,被创建的实例通常都具有共同的父类。

Factory Method模式
将对象的创建交由父类中定义的一个标准方法来完成,而不是其构造函数,究竟应该创建何种对象由具体的子类负责决定。

Abstract Factory模式
提供一个共同的接口来创建相互关联的多个对象。

 

Singleton模式
保证系统只会产生该类的一个实例,同时还负责向外界提供访问该实例的标准方法。
Builder模式
将复杂对象的创建同它们的具体表现形式(representation)区别开来,这样可以根据需要得到具有不同表现形式的对象。
Prototype模式
利用一个能对自身进行复制的类,使得对象的动态创建变得更加容易。

 

本次先实践Simple Factory模式,Factory Method模式和 Abstract Factory模式,其他模式后续会涉及。

1.Simple Factory模式

Simple Factory模式不是独立的设计模式,他是Factory Method模式的一种简单的、特殊的实现。他也被称为静态工厂模式,通常创建者的创建方法被设计为static方便调用,但是python没有static一说。所以可以把创建者也就是工厂设计为一个普通class或全局函数即可。如果是class还需要实例化才能调用工厂方法,而全局函数比较简单,比较接近静态工厂的简便特性。

 

Simple Factory模式包含以下角色部分,UML可参考下图:

 

1) 工厂类角色:这是本模式的核心,含有一定的商业逻辑和判断逻辑。由一个具体类实现,通常该类的工厂方法是静态的。在python中工厂为一个普通class或全局函数。

2) 抽象产品角色:它一般是具体产品继承的父类或者实现的接口。由接口或者抽象类来实现。在python中抽象产品一般为父类。

3) 具体产品角色:工厂类所创建的对象就是此角色的实例。由一个具体类实现。

 

一个Simple Factory模式代码实例

 

 1 class car:
 2     '''interface as Product'''
 3     def drive(self):
 4         pass
 5 
 6 class BMW(car):
 7     '''Concrete Product'''
 8     def __init__(self,carname):
 9         self.__name=carname
10     def drive(self):
11         print "Drive the BMW as "+self.__name
12 
13 class Benz(car):
14     '''Concrete Product'''
15     def __init__(self,carname):
16         self.__name=carname
17     def drive(self):
18         print "Drive the Benz as "+self.__name
19 
20 class driver:
21     '''Factory also called Creator'''
22     def driverCar(self,name):
23         if name=="BMW":
24             return BMW("BMW")
25         elif name=="Benz":
26             return Benz("Benz")
27         else:
28             raise MyInputException(name)
29 
30 class MyInputException(Exception):  
31     def __init__(self, name):  
32         Exception.__init__(self)  
33         self.name = name
34  
35 
36 if __name__ == "__main__":
37     print "please input \"BMW\" or \"Benz\" :"
38     carname=raw_input()
39     dier=driver()
40     try:
41         d=dier.driverCar(carname)
42     except MyInputException,e:
43         print "input worry name "+e.name
44     else:
45         d.drive()

 

用全局函数改写工厂类,其他部分省略,变化部分如下:

 1 '''Factory also called Creator'''
 2 def driver(name):
 3     if name=="BMW":
 4         return BMW("BMW")
 5     elif name=="Benz":
 6         return Benz("Benz")
 7     else:
 8         raise MyInputException(name)
 9 
10 if __name__ == "__main__":
11     print "please input \"BMW\" or \"Benz\" :"
12     carname=raw_input()
13     try:
14         d=driver(carname)
15     except MyInputException,e:
16         print "input worry name "+e.name
17     else:
18         d.drive()

 

2. Factory Method工厂模式

工厂方法模式去掉了简单工厂模式中工厂方法的静态属性,使得它可以被子类继承。对于python来说,就是工厂类被具体工厂继承。这样在简单工厂模式里集中在工厂方法上的压力可以由工厂方法模式里不同的工厂子类来分担。也就是工厂外面再封装一层。

1) 抽象工厂角色: 这是工厂方法模式的核心,它与应用程序无关。是具体工厂角色必须实现的接口或者必须继承的父类。

2) 具体工厂角色:它含有和具体业务逻辑有关的代码。由应用程序调用以创建对应的具体产品的对象。

3) 抽象产品角色:它是具体产品继承的父类或者是实现的接口。在python中抽象产品一般为父类。

4) 具体产品角色:具体工厂角色所创建的对象就是此角色的实例。由一个具体类实现。

 

一个Factory Method代码实例

 1 class car:
 2     '''interface as Product'''
 3     def drive(self):
 4         pass
 5 
 6 class BMW(car):
 7     '''Concrete Product'''
 8     def __init__(self,carname):
 9         self.__name=carname
10     def drive(self):
11         print "Drive the BMW as "+self.__name
12 
13 class Benz(car):
14     '''Concrete Product'''
15     def __init__(self,carname):
16         self.__name=carname
17     def drive(self):
18         print "Drive the Benz as "+self.__name
19 
20 class driver:
21     '''Factory also called Creator'''
22     def driverCar(self):
23         return car()
24 
25 class BMWdriver(driver):
26     '''Concrete Creator'''
27     def driverCar(self):
28         return BMW("BMW")
29 
30 class Benzdriver(driver):
31     '''Concrete Creator'''
32     def driverCar(self):
33         return Benz("Benz")    
34 
35 if __name__ == "__main__":
36     driver=BMWdriver()
37     car=driver.driverCar()
38     car.drive()
39     driver=Benzdriver()
40     car=driver.driverCar()
41     car.drive()

3. Abstract Factory模式

抽象工厂是工厂模式的进一步延伸,产品的类变的更加复杂,也就说产品不只是一个接口或父类而是有多个接口和父类了,形成了一个产品族的概念。模式的角色与Factory Method基本一样,UML图如下:

抽象工厂模式的用意为:给客户端提供一个接口,可以创建多个产品族中的产品对象。 不过使用抽象工厂是有条件的:
1.系统中有多个产品族,而系统一次只可能消费其中一族产品
2.同属于同一个产品族的产品在一起使用,这一约束必须在系统的设计中体现出来。

简单的实现代码如下:

 1 class Newcar:
 2     '''Abstract Product'''
 3     def drive(self):
 4         pass
 5 
 6 class NewBMW(Newcar):
 7     '''Concrete Product'''
 8     def __init__(self,carname):
 9         self.__name=carname
10     def drive(self):
11         print "Drive the New BMW as "+self.__name
12 
13 class NewBenz(Newcar):
14     '''Concrete Product'''
15     def __init__(self,carname):
16         self.__name=carname
17     def drive(self):
18         print "Drive the New Benz as "+self.__name
19 
20 class Oldcar:
21     '''Abstract Product'''
22     def drive(self):
23         pass
24 
25 class OldBMW(Oldcar):
26     '''Concrete Product'''
27     def __init__(self,carname):
28         self.__name=carname
29     def drive(self):
30         print "Drive the Old BMW as "+self.__name
31 
32 class OldBenz(Oldcar):
33     '''Concrete Product'''
34     def __init__(self,carname):
35         self.__name=carname
36     def drive(self):
37         print "Drive the Old Benz as "+self.__name
38 
39 class driver:
40     '''Abstract Factory also called Creator'''
41     def driverNewCar(self):
42         return Newcar()
43     def driverOldCar(self):
44         return Oldcar()
45 
46 class BMWdriver(driver):
47     '''Concrete Factory or Creator'''
48     def driverNewCar(self):
49         return NewBMW("NewBMW")
50     def driverOldCar(self):
51         return OldBMW("OldBMW")
52 
53 class Benzdriver(driver):
54     '''Concrete Factory or Creator'''
55     def driverNewCar(self):
56         return NewBenz("NewBenz")
57     def driverOldCar(self):
58         return OldBenz("OldBenz")    
59 
60 if __name__ == "__main__":
61     driver=BMWdriver()
62     car=driver.driverNewCar()
63     car.drive()
64     car=driver.driverOldCar()
65     car.drive()
66     driver=Benzdriver()
67     car=driver.driverNewCar()
68     car.drive()
69     car=driver.driverOldCar()
70     car.drive()

未完待续……

移动安全之Android安全检测工具大全【转】

测试工具集

Appie

轻量级的软件包, 可以用来进行基于Android的渗透测试, 不想使用VM的时候可以尝试一下.
https://manifestsecurity.com/appie

Android Tamer

可以实时监控的虚拟环境, 可以用来进行一系列的安全测试, 恶意软件检测, 渗透测试和逆向分析等.
https://androidtamer.com/

AppUse

AppSec Labs开发的Android的虚拟环境.
https://appsec-labs.com/AppUse/

Mobisec

移动安全的测试环境, 同样支持实时监控
http://sourceforge.net/projects/mobisec/

Santoku

基于Linux的小型操作系统, 提供一套完整的移动设备司法取证环境, 集成大量Adroind的调试工具, 移动设备取证工具, 渗透测试工具和网络分析工具等.
https://santoku-linux.com/

逆向工程和静态分析

APKInspector

带有GUI的安卓应用分析工具
https://github.com/honeynet/apkinspector/

APKTool

一个反编译APK的工具,能够将其代码反编译成smali或者java代码,并且能后对反编译后的代码重新打包
http://ibotpeaches.github.io/Apktool/

Dex2jar

Dex2jar可以将.dex文件转换成.class文件或是将apt文件转换成jar文件.
https://github.com/pxb1988/dex2jar

Oat2dex

Oat2dex顾名思义和上一个工具类似, 用以将.oat文件转化为.dex文件.
https://github.com/testwhat/SmaliEx

JD-Gui

用来反编译并分析class,jar
http://jd.benow.ca/

FindBugs + FindSecurityBugs

FindSecurityBugs是FindBugs的拓展, 可以对指定应用加载各种检测策略来针对不同的漏洞进行安全检查.
http://findbugs.sourceforge.net/
http://h3xstream.github.io/find-sec-bugs/

YSO-Mobile Security Framework

Mobile Security Framework (移动安全框架) 是一款智能、一体化的开源移动应用(Android/iOS)自动渗透测试框架,它能进行静态、动态的分析.python manage.py runserver 127.0.0.1:1337
https://github.com/ajinabraham/YSO-Mobile-Security-Framework

Qark

LinkedIn发布的开源静态分析工具QARK,该工具用于分析那些用Java语言开发的Android应用中的潜在安全缺陷.
https://github.com/linkedin/qark

AndroBugs

AndroBugs Framework是一个免费的Android漏洞分析系统,帮助开发人员或渗透测试人员发现潜在的安全漏洞, AndroBugs框架已经在多家公司开发的Android应用或SDK发现安全漏洞, Fackbook、推特、雅虎、谷歌安卓、华为、Evernote、阿里巴巴、AT&T和新浪等
https://github.com/AndroBugs/AndroBugs_Framework

Simplify

Simplify可以用来去掉一些android代码的混淆并还原成Classes.dex文件, 得到.dex文件后可以配合Dex2jar或者JD-GUI进行后续还原
https://github.com/CalebFenton/simplify

ClassNameDeobfuscator

可以通过简单的脚本来解析smali文件
https://github.com/HamiltonianCycle/ClassNameDeobfuscator

动态调试和实时分析

Introspy-Android

一款可以追踪分析移动应用的黑盒测试工具并且可以发现安全问题。这个工具支持很多密码库的hook,还支持自定义hook.
https://github.com/iSECPartners/Introspy-Android

Cydia Substrate

Cydia Substrate是一个代码修改平台.它可以修改任何主进程的代码,不管是用Java还是C/C++(native代码)编写的, 一款强大而实用的HOOK工具
http://www.cydiasubstrate.com/

Xposed Framework

Xposed框架是一款可以在不修改APK的情况下影响程序运行(修改系统)的框架服务,基于它可以制作出许多功能强大的模块,且在功能不冲突的情况下同时运作.
http://forum.xda-developers.com/xposed/xposed-installer-versions-changelog-t2714053

CatLog

Adroind日志查看工具, 带有图形界面
https://github.com/nolanlawson/Catlog

Droidbox

一个动态分析android代码的的分析工具
https://code.google.com/p/droidbox/

Frida

Frida是一款基于python + javascript 的hook与调试框架,通杀android\ios\linux\win\osx等各平台,相比xposed和substrace cydia更加便捷.
http://www.frida.re/

Drozer

Drozer 是一个强大的app检测工具,可以检测app存在的漏洞和对app进行调试。
https://www.mwrinfosecurity.com/products/drozer/

网络状态分析和服务端测试

Tcpdump

基于命令行的数据包捕获实用工具
http://www.androidtcpdump.com/

Wireshark

Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料
https://www.wireshark.org/download.html

Canape

可以对任何网络协议进行测试的工具
http://www.contextis.com/services/research/canape/

Mallory

中间人(MiTM)攻击工具, 可以用来监视和篡改网络内的移动设备和应用的网络流量数据. A Man in
https://intrepidusgroup.com/insight/mallory/

Burp Suite

Burp Suite 是用于攻击web 应用程序的集成平台。它包含了许多工具,并为这些工具设计了许多接口,以促进加快攻击应用程序的过程。所有的工具都共享一个能处理并显示HTTP 消息,持久性,认证,代理,日志,警报的一个强大的可扩展的框架
https://portswigger.net/burp/download.html

Proxydroid

Android ProxyDroid可以帮助的你设置Android设备上的全局代理(HTTP / SOCKS4 / SOCKS5).
https://play.google.com/store/apps/details?id=org.proxydroid

绕过Root检测和SSL的证书锁定

Android SSL Trust Killer

一个用来绕过SSL加密通信防御的黑盒工具, 功能支持大部分移动端的软件.
https://github.com/iSECPartners/Android-SSL-TrustKiller

Android-ssl-bypass

命令行下的交互式安卓调试工具, 可以绕过SSL的加密通信, 甚至是存在证书锁定的情况下
https://github.com/iSECPartners/android-ssl-bypass

RootCoak Plus

RootCloak隐藏root是一款可以对指定的app隐藏系统的root权限信息.
https://github.com/devadvance/rootcloakplus

其他安全相关的库

PublicKey Pinning

公钥锁定,
https://www.owasp.org/images/1/1f/Pubkey-pin-android.zip

Android Pinning

一个独立开发的用于实现Android证书锁定的库. A standalone library project for certificate pinning on Android.
https://github.com/moxie0/AndroidPinning

Java AES Crypto

一个用来加解密字符串的Android类, 目的是防止开发整使用不恰当的加密方式从而导致的安全风险
https://github.com/tozny/java-aes-crypto

Proguard

ProGuard是一个压缩、优化和混淆Java字节码文件的免费的工具,它可以删除无用的类、字段、方法和属性。可以删除没用的注释,最大限度地优化字节码文件。它还可以使用简短的无意义的名称来重命名已经存在的类、字段、方法和属性。常常用于Android开发用于混淆最终的项目,增加项目被反编译的难度.
http://proguard.sourceforge.net/

SQL Cipher

SQLCipher是一个开源的SQLite扩展, 提供使用256-bit的AES加密来保证数据库文件的安全.
https://www.zetetic.net/sqlcipher/sqlcipher-for-android/

Secure Preferences

用来加密Android上的Shared Preferences防止安全防护不足的情况下被窃取.
https://github.com/scottyab/secure-preferences

Trusted Intents

Library for flexible trusted interactions between Android apps.
https://github.com/guardianproject/TrustedIntents