【python】通过gitlab v4版本api接口获取所有项目代码示例
创始人
2024-02-20 12:15:31
0

目录

  • 一、环境信息
  • 二、参数说明
  • 三、脚本使用说明
    • 1. 使用python2运行git.py
    • 2. python脚本执行完毕会自动生成如下四个文件
    • 3. 其他脚本说明
  • 四、脚本源码
    • 1. git.py
    • 2. update.sh
  • 五、脚本扩展说明
  • 附录

一、环境信息

脚本适用于:python2
测试版本:2.7.18
在这里插入图片描述

二、参数说明

apiToken: gitlab个人账户授权的apitoken ,通过点击右上角【用户头像】->选择【Edit profile】 ->菜单中选择【 访问令牌】,右侧 进行创建,建议给予全部权限

在这里插入图片描述
在这里插入图片描述

projectUrl: gitlab地址,一般只需要修改ip和端口

三、脚本使用说明

1. 使用python2运行git.py

python git.py

2. python脚本执行完毕会自动生成如下四个文件

  • allproject.json: 所有有权限的非空项目信息

  • projectclone.sh : 所有项目组成的git clone 命令

  • projectclonemirror.sh 所有项目组成的git clone -mirror命令

  • projectpull.sh 所有项目组成的git pull命令

3. 其他脚本说明

  • update.sh: 从目录向下扫描git、svn项目并更新

四、脚本源码

1. git.py

通过gitlab 提供的api接口访问项目信息

# coding: utf-8
import os
import requests
import json
import sys
#python2
reload(sys)
sys.setdefaultencoding('utf-8')#配置信息,根据实际情况修改
apiToken="X******Seq-******tc"
projectUrl='http://127.0.0.1/api/v4/projects'
#页容量
pageSize=100
projectInfo=[]
currPath=os.getcwd()
#所有项目信息(路径根据所使用环境信息,可能需要修改分隔符)
projectJson=open(currPath+"\\allproject.json",mode="w")
#clone所有项目
projectClone=open(currPath+"\\projectclone.sh",mode="w")
#clone --mirror所有项目
projectCloneMirror=open(currPath+"\\projectclonemirror.sh",mode="w")
#pull所有分支
projectPull=open(currPath+"\\projectpull.sh",mode="w")projectClone.write("#!/bin/bash\nworkpath=$(cd \"$(dirname \"$0\")\";pwd)\n")
projectCloneMirror.write("#!/bin/bash\nworkpath=$(cd \"$(dirname \"$0\")\";pwd)\n")
projectPull.write("#!/bin/bash\nworkpath=$(cd \"$(dirname \"$0\")\";pwd)\n")#get请求gitlab的v4 api接口
def get(getUrl):pageNo = 1totalPage = 1totaldata = [];while pageNo < totalPage+1:res = requests.get(url=getUrl+'?per_page='+str(pageSize)+'&page='+str(pageNo),headers={"PRIVATE-TOKEN":apiToken})#print(res.headers)totalPage=int(res.headers.get('X-Total-Pages'))totaldata.extend(json.loads(res.text));#print('total:',totalPage,'pageNo',pageNo)pageNo+=1#print(len(totaldata))return totaldata;
#获取所有分支
def getBranch(branchRepo):branchR = []branchs = get(branchRepo)for branch in branchs:branchR.append(branch['name'])return branchR#获取所有tag
def getTages(branchRepo):tagRepo = branchRepo.replace("/branches","/tags")branchR = []branchs = get(tagRepo)for branch in branchs:branchR.append(branch['name'])return branchR#获取所有项目
def getAllProject():projectList = get(projectUrl)for proj in projectList:if proj['empty_repo']:print('null project:',proj['path_with_namespace'])else:projInfo = {}projInfo['id'] = proj['id']projInfo['path_with_namespace'] = proj['path_with_namespace']projInfo['empty_repo'] = proj['empty_repo']projInfo['http_url_to_repo'] = proj['http_url_to_repo']projInfo['default_branch'] = proj['default_branch']projInfo['repo_branches'] = proj['_links']['repo_branches']projInfo['branchs'] = getBranch(projInfo['repo_branches'])projInfo['tages'] = getTages(projInfo['repo_branches'])projectInfo.append(projInfo)#处理输出文件,可单独处理#处理clone脚本projectClone.write("cd $workpath\n")projectClone.write("git clone  " + projInfo['http_url_to_repo'] + " " + projInfo['path_with_namespace'] +" \n")projectClone.write("cd "+projInfo['path_with_namespace']+"\n")#处理clone --mirror脚本projectCloneMirror.write("cd $workpath\n")projectCloneMirror.write("git clone --mirror  " + projInfo['http_url_to_repo'] + " " + projInfo['path_with_namespace'] +" \n")projectCloneMirror.write("cd "+projInfo['path_with_namespace']+"\n")#处理pull脚本projectPull.write("cd $workpath\n")projectPull.write("cd "+projInfo['path_with_namespace']+"\n")for branch in projInfo['branchs']:projectClone.write("git checkout \""+branch+"\"\n")projectClone.write("git pull\n")projectCloneMirror.write("git checkout \""+branch+"\"\n")projectCloneMirror.write("git pull\n")projectPull.write("git checkout \""+branch+"\"\n")projectPull.write("git pull\n")for tag in projInfo['tages']:projectClone.write("git checkout \""+tag+"\"\n")projectCloneMirror.write("git checkout \""+tag+"\"\n")projectPull.write("git checkout \""+tag+"\"\n")#projectCloneMirror.write("#!/bin/bash\nworkpath=$(cd \"$(dirname \"$0\")\";pwd)\n")#projectPull.write("#!/bin/bash\nworkpath=$(cd \"$(dirname \"$0\")\";pwd)\n")return projectInfo#
getAllProject()
#将所有项目信息写入文件
projectJson.write(json.dumps(projectInfo))projectJson.flush()
projectJson.close()projectClone.flush()
projectClone.close()projectCloneMirror.flush()
projectCloneMirror.close()projectPull.flush()
projectPull.close()
#直接调起系统命令
print(os.system('git --version'))

2. update.sh

#自动识别仓库类型(git/svn)并更新

#!/bin/bash
basepath=$(pwd)
echo $basepath
updateSource(){#local currpath=$1cd $1if [ -d $1/.git ]; thenecho 'start update sourcecode'$1echo "开始更新"$currpathgit pull#老版本的svn每个文件夹一个.svn文件夹,elif [ -d $1/.svn ]; then#revision=`svn info |grep "Last Changed Rev:" |awk '{print $4}'`revision=`svn info |grep "最后修改的版本" |awk '{print $2}'`if [ $revision > 0 ]; thenecho '$revision 开始更新代码'$1svn update .fielsefor childfile in `ls .`dopwdif [ -d $1/$childfile ]; thenupdateSource $1/$childfileelseecho $1/$childfile' is not dir , will ignore-------<'fidonefi
}
#main run
updateSource $basepath

五、脚本扩展说明

  1. git.py脚本中最后提供了调用命令行的方法,如果不想生成shell脚本,可再向文件wirte的地方更换成执行命令即可
  2. update.sh脚本中,自动识别到.git和.svn但未限制最大深度。

附录

官网:https://about.gitlab.com/

  1. gitlab帮助文档: http://127.0.0.1/help (自行替换ip和端口)
  2. 【推荐使用】gitlab rest api帮助文档: http://127.0.0.1/help/api/README.md (自行替换ip和端口)
  3. 【不推荐使用】gitlab graphql api帮助文档: http://127.0.0.1/help/api/graphql/index.md (自行替换ip和端口)

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播,要解决的几个问题是:1&...
Windows10添加群晖磁盘... 在使用群晖NAS时,我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
Fluent中创建监测点 1 概述某些仿真问题,需要创建监测点,用于获取空间定点的数据࿰...
educoder数据结构与算法...                                                   ...
MySQL下载和安装(Wind... 前言:刚换了一台电脑,里面所有东西都需要重新配置,习惯了所...
MFC文件操作  MFC提供了一个文件操作的基类CFile,这个类提供了一个没有缓存的二进制格式的磁盘...
有效的括号 一、题目 给定一个只包括 '(',')','{','}'...
【Ctfer训练计划】——(三... 作者名:Demo不是emo  主页面链接:主页传送门 创作初心ÿ...