24小时热门版块排行榜    

查看: 320  |  回复: 0
当前主题已经存档。

jove1782

木虫 (正式写手)


[资源] Python使用C模块来提高性能

Python毕竟是解释型的语言,在复杂算法上的速度还是比C要差一点。另外大量的C的Library的重用也是一个很重要的话题。好在Python可以很容易的使用C编写的module来提高关键路径的性能和复用已有的C的Library。

OK,我们先来写个大整数乘法来看一下Python的性能。我对性能方面不是高手,这个例子不一定恰当。全当是个小实验。另外重点还是放在如何使用C编写的模块上。为了突出重点,就假设我们有C的Library的source code,或者C的module就是为了Python程序开发的。好,开始。先写个Python的实现。


#! /usr/bin/python

#main.py

import time
import timeP
import timeC

t1 = time.time()
timeP.time()
t2 = time.time()
timeC.time()
t3 = time.time()

print "ython module time: %f seconds" % (t2 - t1)
print "C module time: %f seconds" % (t3 - t2)


timeP是用Python写的Module,而timeC就是用C写的了。计算的内容都是一样的。

#! /usr/bin/python

#timeP.py

def time():
    for i in range(0,100000):
        x = 123498
        y = 98082432
        z = x * y


在看C的module之前。我们要先学习几个基础知识。首先,每一个module都要告诉Python Interpreter到底这个模块有几个函数。这个是由"initMODULE_NAME"函数来实现的,其实就是把一个List作为参数传给Python/C API里的一个特殊函数做到的。
另外为了交换数据,c的module里的函数要以PyObject*作为返回类型,即使是不需要返回值的,也要返回Py_None,就是Python里的None啦。俺就是一开始没有注意,结果一直segmentation fault。

最后,一定要include Python.h(废话)

#include ;
#include "time_test.h"

///timeC.c
/// the wrapper for time_test.c
static PyObject* timeC_time()
{
    time_test();
    return Py_None;
}

static PyMethodDef timeCMethods[] = {
    {"time",  timeC_time, METH_VARARGS,
        "Execute a shell command."},
    {NULL, NULL, 0, NULL}        /* Sentinel, end of list of functions*/
};


PyMODINIT_FUNC inittimeC()
{
        Py_InitModule("timeC", timeCMethods);
}


这个module其实是一个C的Library(库的例子,没有这么mini的库啦,呵呵)的wrapper。我顺便把C的Library的code也贴在这里:

#ifndef _TIME_TEST_H
#define _TIME_TEST_H

extern void time_test();

#endif




#include "time_test.h"

///time_test.c
void time_test()
{
    int x = 123498;
    int y = 98082432;
    int z = 0;
    int i;
    for (i = 0 ; i < 100 ; i++)
    {
        z = x * y;
    }
}

int main()
{
    time_test();
    return 0;
}



接下来该编译了(需要编译的语言好麻烦,:p)。Python提供了编译C的module的简单方法。就是写一个setup脚本:

#! /usr/bin/python

from distutils.core import setup, Extension

module1 = Extension('timeC', sources = ['timeC.c', 'time_test.c'])

setup (name = 'PackageName', version = '1.0', description = 'This is a demo package', ext_modules = [module1])


只要执行一下./setup.py build,就可以编译了。
编译好了之后,把生成的.so文件copy到当前目录。Run一下main.py看看结果。我的机器是P4 1.8, RHEL4WS。结果如下:

Python module time: 4.386378 seconds
C module time: 0.000432 seconds

[ Last edited by csfn on 2008-12-29 at 19:54 ]
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 jove1782 的主题更新
☆ 无星级 ★ 一星级 ★★★ 三星级 ★★★★★ 五星级
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[职场人生] 40+中年人失业后,还能找到好工作吗? +11 xqy2009 2026-10-13 13/650 2026-10-15 21:32 by bear2007
[有机交流] 用NBS溴化时溶剂除了CCl4外还有什么 +3 18834002860 2026-10-12 6/300 2026-10-15 14:30 by 长沙摩尔信息科�
[基金申请] 申请科研项目纯靠实力能成功吗? 200+7 David1982 2026-10-13 11/550 2026-10-15 10:30 by zyqchem
[硕博家园] 极限拉扯,如何抉择 +11 Isak0320 2026-10-12 15/750 2026-10-14 21:55 by 猫鱼不是鱼
[论文投稿] 二审4个多月了还是Awaiting Reviewer Scores 10+3 纳斯达克ML 2026-10-11 4/200 2026-10-14 17:30 by babero
[有机交流] OpenAI又攻克数学难题了,离AI做有机合成还有多远? +8 wangyl_123 2026-10-10 13/650 2026-10-14 15:12 by zuesli
[教师之家] 课题组会帮你通过考核么? +4 好运来~9527 2026-10-10 7/350 2026-10-13 08:41 by xli1984
[公派出国] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +5 qR2AdCWTVtkw 2026-10-09 9/450 2026-10-11 22:34 by XQNyDCa1Tk5n
[找工作] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +5 qR2AdCWTVtkw 2026-10-09 8/400 2026-10-11 22:26 by XQNyDCa1Tk5n
[公派出国] 售SCI一区文章,我:8O5.5.1.O5.4,科目全,可伽急 +5 qR2AdCWTVtkw 2026-10-09 10/500 2026-10-11 22:26 by XQNyDCa1Tk5n
[考博] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +5 qR2AdCWTVtkw 2026-10-09 9/450 2026-10-11 22:15 by XQNyDCa1Tk5n
[考博] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +3 qR2AdCWTVtkw 2026-10-09 7/350 2026-10-11 22:11 by XQNyDCa1Tk5n
[教师之家] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 (EPI+-1)(金币-50) +5 qR2AdCWTVtkw 2026-10-09 10/500 2026-10-11 22:06 by XQNyDCa1Tk5n
[教师之家] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 (EPI+-1)(金币-50) +5 qR2AdCWTVtkw 2026-10-09 10/500 2026-10-11 14:25 by VOMexwnDzOFZ
[教师之家] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 (EPI+-1)(金币-50) +4 qR2AdCWTVtkw 2026-10-09 7/350 2026-10-11 14:05 by VOMexwnDzOFZ
[考研] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +5 qR2AdCWTVtkw 2026-10-09 8/400 2026-10-11 13:51 by VOMexwnDzOFZ
[硕博家园] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +5 qR2AdCWTVtkw 2026-10-09 8/400 2026-10-11 13:45 by VOMexwnDzOFZ
[找工作] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +3 qR2AdCWTVtkw 2026-10-09 7/350 2026-10-11 10:54 by VOMexwnDzOFZ
[找工作] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +4 qR2AdCWTVtkw 2026-10-09 7/350 2026-10-11 10:34 by VOMexwnDzOFZ
[公派出国] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +4 qR2AdCWTVtkw 2026-10-09 4/200 2026-10-11 03:14 by M0zrYVSAnxpE
信息提示
请填处理意见