• 2024-10-172024.09.09 北京市政信件
         今天开学第一天,主要进行了北京市政百姓信件分析进行了爬虫import json import demjson3import requestsfrom bs4 import BeautifulSoupimport csv headers = {    'Host': 'www.beijing.gov.cn',    'User-Agent': 'Mozilla/5.0(Wi
  • 2024-02-27采集北京市百姓信件内容实战
  • 2024-01-17学习构建北京市政百姓信件分析实战案例
    学习构建北京市政百姓信件分析实战案例是一个综合性的任务,需要使用多种技术和工具。以下是每个步骤的简要说明:1.采集北京市政百姓信件内容:在这一步,你需要建立一个系统来收集北京市政百姓的信件内容。可以使用网络爬虫技术,访问相关政府网站或公共平台,从中抓取信件数据。确保你的数
  • 2023-11-07xposed是怎么hook的,举个简单详细的例子
    Xposed框架通过替换Android系统中的一些关键组件来实现其功能,具体而言,它修改了/system/bin/app_process程序,这是在启动Zygote时用来启动应用程序的系统进程。Xposed的核心组件在系统启动时加载,然后它提供了一个运行时可插拔的基础设施,允许Xposed模块在运行时修改应用程序和系统服
  • 2023-08-04WebMagic爬取北京市政信件内容
    我采用创建了Letter类用来储存信件,重写了LetterFilePipeline使得爬取保存的文件名为信件Id,采用了多线程爬取,最后保存到letters目录下Letterpackageorg.example.crawler_letter;importlombok.AllArgsConstructor;importlombok.Data;importlombok.NoArgsConstructor;@Da
  • 2023-07-20阻塞与非阻塞、同步与异步 I/O模型
    I/O模型Linux下的五种I/O模型阻塞I/O(blockingI/O)非阻塞I/O(nonblockingI/O)I/O复用(select和poll)(I/Omultiplexing)信号驱动I/O(signaldrivenI/O(SIGIO))异步I/O(asynchronousI/O(thePOSIXaio_functions))前四种都是同步,只有最后一种才是异步IO。 Winsock的异步IO模
  • 2023-06-21北京市政百姓信件分析实战
    目录北京市政百姓信件分析实战1.爬虫2.数据清洗3.导入数据4.导出到本地mysql5.可视化展示北京市政百姓信件分析实战1.爬虫importjsonimportrequestsimportdemjsonfrombs4importBeautifulSoupimportjiebaimportjieba.analyseasanalyseimportcsvkv={'H
  • 2023-06-12北京市政百姓信件分析--数据清洗
    --建表createtablexingfang(kindstring,`time`string,processingDepartmentstring,contentstring)rowformatdelimitedfieldsterminatedby','; --数据导入loaddatalocalinpath'/home/onesec/xinfang_data.csv'intotablexingfan -
  • 2023-06-12北京市政百姓信件分析---使用selenium爬取信件信息
    下载selenium使用管理员打开cmd'pipinstallselenium查看版本pipshowselenium下载 WebDriver驱动谷歌浏览器chromedrive:http://chromedriver.storage.googleapis.com/index.html火狐浏览器geckodriver:https://github.com/mozilla/geckodriver/releasesIE浏览器IEDr
  • 2023-05-26一、 采集北京市政百姓信件内容
    letter.pyimportscrapyfromscrapy.linkextractorsimportLinkExtractorfromscrapy.spidersimportCrawlSpider,RulefromletterBeijing.itemsimportLetterbeijingItemimportjsoni=1classLetterSpider(scrapy.Spider):name="letter"
  • 2022-11-30时光邮局|来写一封未来的信试试吧!一个我的新项目
    什么是时光邮局?漫漫星河璀璨,漫漫古道长河。官网:云寄-时光邮局寻找一份特殊的意义,学会热爱生活,学会面朝大海。有一天我收到了两年前的自己来信。如果可以给末来寄信
  • 2022-08-30模拟投递信件的程序
    题目1.根据题目要求编写模拟投递信件的程序(1)寄信者(Sender)写了一封信(Letter),并将信件交给邮局(PostOffice)寄送。信的属性包括:收信地址(address)、内容(content)、寄信者信息、