网站首页
编程语言
数据库
系统相关
其他分享
编程问答
pyodps
2024-11-24
PyODPS节点实现避免将数据下载到本地
本文为您介绍PyODPS如何避免将数据下载到本地。背景信息PyODPS提供了多种方便下载数据到本地的方法。因此,在设备允许的情况下,可以把数据下载到本地处理,然后再上传至MaxCompute。但是这种操作非常低效,数据下载到本地进行处理,无法使用MaxCompute的大规模并行能力。当数据量大于
2024-11-24
PyODPS节点实现结巴中文分词
本文为您介绍如何使用DataWorks的PyODPS类型节点,结合开源结巴中文分词库,对数据表中的中文字段进行分词处理并写入新的数据表,以及如何通过闭包函数使用自定义词典进行分词。前提条件已创建DataWorks工作空间并绑定了MaxCompute计算引擎创建工作空间。背景信息DataWorks为您