首页 > 其他分享 >rsync

rsync

时间:2024-03-26 23:11:07浏览次数:14  
标签:rsync task create await scrape time asyncio

import asyncio
import aiohttp

CONCURRENCY = 99999
URL = 'https://www.baidu.com'

semaphore = asyncio.Semaphore(CONCURRENCY)
session = None

async def scrape_api():
# async with semaphore:
await asyncio.sleep(1)
return "{}".format(
)

async def scrape_api2():
async with semaphore:
await asyncio.sleep(1)
return "={}=".format(
)

async def main2():
import time
global session
session = aiohttp.ClientSession()
start = time.time()
## 创建1000 个协程对象
scrape_list = [ asyncio.ensure_future(scrape_api(i)) for i in range(99)]

list_value = await asyncio.gather(*scrape_list)
print(list_value)
print(time.time() - start)

async def main():
import time
global session
session = aiohttp.ClientSession()
start =time.time()
# scrape_index_tasks = [asyncio.create_task(scrape_api2(_)) for _ in range(99)]
# list_value = await asyncio.gather(*scrape_index_tasks)
task1 = asyncio.create_task(scrape_api(1))
task2 = asyncio.create_task(scrape_api(2))
task3 = asyncio.create_task(scrape_api(2))
task4 = asyncio.create_task(scrape_api(2))
task5 = asyncio.create_task(scrape_api(2))
task6 = asyncio.create_task(scrape_api(2))
task7 = asyncio.create_task(scrape_api(2))
task8 = asyncio.create_task(scrape_api(2))
task9 = asyncio.create_task(scrape_api(2))

# b = asyncio.wait([task1,task2,task3, task4,task5,task6,task7,task8, task9]) 
a = [await task1,
await task2,
await task3,
await task4,
await task5,
await task6,
await task7,
await task8,
await task9]
print(a)

# await task2
print(time.time() - start)

async def test2():
await asyncio.sleep(2)
return "2"

async def test_sleep():
await asyncio.sleep(2)
return "2"

async def test1():
task = asyncio.create_task(test_sleep())
task2 = asyncio.create_task(test_sleep())
c = [await task,
await task2]
return c

if name == 'main':
# a = asyncio.get_event_loop().run_until_complete(main2())
import time
begin = time.time()
a = asyncio.run(test1())
print("%%")
print(a)
end = time.time()
print(end - begin)
pass

标签:rsync,task,create,await,scrape,time,asyncio
From: https://www.cnblogs.com/wsl-hitsz/p/18097899

相关文章

  • 综合架构-5 实时同步服务-rsync+crond+inotify
    综合架构-5实时同步服务-rsync+crond+inotify增量实时备份-监控状态-利用rsync+inotify+crond实现服务端和客户端b互相免密连接ssh-keygencd/root/.sshmvid_rsa.pubauthorized_keysscp-r/root/.ssh10.0.1.113:/root企业文件目录增量实时同步删......
  • 常用命令--复制-备份--cp--mv--scp--rsync
    常用命令--复制-备份--cp--mv--scp--rsynccpcp命令用来将一个或多个源文件或者目录复制到指定的目的文件或目录。它可以将单个源文件复制成一个指定文件名的具体的文件或一个已经存在的目录下。cp命令还支持同时复制多个文件,当一次复制多个文件时,目标文件参数必须是一个已经存在......
  • 综合架构学习笔记-3---rsync-扩展脚本
    综合架构学习笔记-3---rsync-扩展脚本虚拟机测试环境ip10.0.1.0网关10.0.1.2子网掩码255.255.255.0知识回顾rsync如何部署?1.安装软件rsync2.编写配置文件虚拟用户备份目录密码文件具体流程演示linux系统安装部署服务流程:a下载安装软件yumb编写配置......
  • 综合架构学习笔记-2---rsync-实战
    综合架构学习笔记-2---rsync-实战实战1rsync守护进程部署测试环境--虚拟机环境ip10.0.1.0网关10.0.1.2子网掩码255.255.255.0步骤服务端第一步:下载安装软件 [root@localhost~]#yuminstall-yrsync 第二步:编写配置文件把原来的配置文件删除 [roo......
  • 常用命令rsyncscp-1
    常用命令:rsync/scpscpscp命令文件传输scp命令用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读read only system时,用scp可以帮你把文件移出来。另外,scp还......
  • [转帖]linux-windows文件实时同步:Rsync使用教程
    http://luomuren.top/articles/2021/04/06/1617641017252.html#:~:text=linux-windows%E6%96%87%E4%BB%B6%E5%AE%9E%E6%97%B6%E5%90%8C%E6%AD%A5%EF%BC%9ARsync%E4%BD%BF%E7%94%A8%E6%95%99%E7%A8%8B%201%20%E4%B8%80%20%E3%80%81%E4%BB%80%E4%B9%88%E6%98%AFrync%20%EF%BC%9F......
  • rsync的部署
    Rsync服务模式-服务端配置为什么需要服务模式Rsync借助SSH协议同步数据存在的缺陷:1.使用系统用户(不安全)/etc/passwd2.使用普通用户(会导致权限不足情况)3.守护进程传输方式:rsync自身非常重要的功能(不使用系统用户,更加安全)1.安装rsyncyuminstallrsync-y2.修改......
  • Linux---rsync服务
    1.rsync简介rsync英文称为remotesynchronization,从软件的名称就可以看出来,rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能,这个功能类似于ssh带的scp命令,但是又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝。当然,rsync还可以在本地主......
  • 使用rsync快速清空文件和目录
    快速删除目录1)先建立一个空目录mkdir/data/blank2)用rsync删除目标目录rsync--delete-before-d/data/blank//var/spool/clientmqueue/这样目标目录很快就被清空了注:其中--delete-before接收者在传输之前进行删除操作快速删除大文件假如你有一些特别大的文件要删除,比如nohup.ou......
  • rsync配置推送文件
    A往B推送文件,B开启rsync服务即可B端操作vi/etc/rsyncd.confsecretsfile=/etc/rsync.passhostsallow=192.168.72.32authusers=rsyncuid=rootgid=rootreadonly=falseusechroot=yesauthusers=rsyncmaxconnections=4pidfile=/var/run/rsy......