mongodb 数据更新性能分析 mongodb更新多条记录
yuyutoo 2024-10-28 20:22 1 浏览 0 评论
之前的start_time字段是 datetime 类型,后来改成 int 类型的时间戳,因此,需要刷数据库。简单分析一下,update_one 和 bulk_write 的性能差异,测试发现 bulk_write 速度是 update_one 的40倍。此外,mongodb 数据库创建索引,查询更快哦。
- 7千数据,bulk_write 批量更新耗时7秒,update_one 逐个更新耗时 267秒,相差38倍
- 3万数据,bulk_write 批量更新耗时33秒,update_one 逐个更新耗时 1214秒,相差37倍
ailx10
网络安全优秀回答者
网络安全硕士
去咨询
逐个更新 start_time 字段,从 datetime 类型转为 int 类型
from pymongo import MongoClient
from datetime import datetime
# 连接到 MongoDB
client = MongoClient('mongodb://localhost:27017/')
db = client.mydatabase
collection = db.collectionName
# 更新文档中的 start_time 字段
for doc in collection.find({"start_time": {"$exists": True}}):
start_time = doc.get("start_time")
if isinstance(start_time, datetime):
# 如果 start_time 是 datetime.datetime 对象,则将其转换为时间戳(毫秒级)
start_time_timestamp = int(start_time.timestamp() * 1000)
# 更新文档中的 start_time 字段为时间戳格式(NumberLong格式)
collection.update_one({"_id": doc["_id"]}, {"$set": {"start_time": start_time_timestamp}})
批量更新 start_time 字段,从 datetime 类型转为 int 类型
from pymongo import MongoClient
from datetime import datetime
from pymongo import UpdateOne
# 连接到 MongoDB
client = MongoClient('mongodb://localhost:27017/')
db = client.mydatabase
collection = db.collectionName
# 创建批量更新操作列表
bulk_operations = []
# 更新文档中的 start_time 字段
for doc in collection.find({"start_time": {"$exists": True}}):
start_time = doc.get("start_time")
if isinstance(start_time, datetime):
# 如果 start_time 是 datetime.datetime 对象,则将其转换为时间戳(毫秒级)
start_time_timestamp = int(start_time.timestamp() * 1000)
# 构造更新操作
update_operation = UpdateOne({"_id": doc["_id"]}, {"$set": {"start_time": start_time_timestamp}})
# 添加更新操作到批量更新操作列表中
bulk_operations.append(update_operation)
# 执行批量更新操作
if bulk_operations:
collection.bulk_write(bulk_operations)
创建索引,有助于提高性能
from pymongo import MongoClient
# 连接到 MongoDB
client = MongoClient('mongodb://localhost:27017/')
db = client.mydatabase
collection = db.collectionName
# 添加字段的索引
collection.create_index([("field_name", 1)]) # 1 表示升序索引,-1 表示降序索引
相关推荐
- MySQL5.5+配置主从同步并结合ThinkPHP5设置分布式数据库
-
前言:本文章是在同处局域网内的两台windows电脑,且MySQL是5.5以上版本下进行的一主多从同步配置,并且使用的是集成环境工具PHPStudy为例。最后就是ThinkPHP5的分布式的连接,读写...
- thinkphp5多语言怎么切换(thinkphp5.1视频教程)
-
thinkphp5多语言进行切换的步骤:第一步,在配置文件中开启多语言配置。第二步,创建多语言目录。相关推荐:《ThinkPHP教程》第三步,编写语言包。视图代码:控制器代码:效果如下:以上就是thi...
- 基于 ThinkPHP5 + Bootstrap 的后台开发框架 FastAdmin
-
FastAdmin是一款基于ThinkPHP5+Bootstrap的极速后台开发框架。主要特性基于Auth验证的权限管理系统支持无限级父子级权限继承,父级的管理员可任意增删改子级管理员及权限设置支持单...
- Thinkphp5.0 框架实现控制器向视图view赋值及视图view取值操作示
-
本文实例讲述了Thinkphp5.0框架实现控制器向视图view赋值及视图view取值操作。分享给大家供大家参考,具体如下:Thinkphp5.0控制器向视图view的赋值方式一(使用fetch()方...
- thinkphp5实现简单评论回复功能(php评论回复功能源码下载)
-
由于之前写评论回复都是使用第三方插件:畅言所以也就没什么动手,现在证号在开发一个小的项目,所以就自己动手写评论回复,没写过还真不知道评论回复功能听着简单,但仔细研究起来却无法自拔,由于用户量少,所以...
- ThinkPHP框架——实现定时任务,定时更新、清理数据
-
大家好,我是小蜗牛,今天给大家分享一下,如何用ThinkPHP5.1.*版本实现定时任务,例如凌晨12点更新数据、每隔10秒检测过期会员、每隔几分钟发送请求保证ip的活性等本次分享,主要用到一个名为E...
- BeyongCms系统基于ThinkPHP5.1框架的轻量级内容管理系统
-
BeyongCms内容管理系统(简称BeyongCms)BeyongCms系统基于ThinkPHP5.1框架的轻量级内容管理系统,适用于企业Cms,个人站长等,针对移动App、小程序优化;提供完善简...
- YimaoAdminv3企业建站系统,使用 thinkphp5.1.27 + mysql 开发
-
介绍YimaoAdminv3.0.0企业建站系统,使用thinkphp5.1.27+mysql开发。php要求5.6以上版本,推荐使用5.6,7.0,7.1,扩展(curl,...
- ThinkAdmin-V5开发笔记(thinkpad做开发)
-
前言为了快速开发一款小程序管理后台,在众多的php开源后台中,最终选择了基于thinkphp5的,轻量级的thinkadmin系统,进行二次开发。该系统支持php7。文档地址ThinkAdmin-V5...
- thinkphp5.0.9预处理导致的sql注入复现与详细分析
-
复现先搭建thinkphp5.0.9环境...
- thinkphp5出现500错误怎么办(thinkphp页面错误)
-
thinkphp5出现500错误,如下图所示:相关推荐:《ThinkPHP教程》require():open_basedirrestrictionineffect.File(/home/ww...
- Thinkphp5.0极速搭建restful风格接口层
-
下面是基于ThinkPHPV5.0RC4框架,以restful风格完成的新闻查询(get)、新闻增加(post)、新闻修改(put)、新闻删除(delete)等server接口层。1、下载Thin...
- 基于ThinkPHP5.1.34 LTS开发的快速开发框架DolphinPHP
-
DophinPHP(海豚PHP)是一个基于ThinkPHP5.1.34LTS开发的一套开源PHP快速开发框架,DophinPHP秉承极简、极速、极致的开发理念,为开发集成了基于数据-角色的权限管理机...
- ThinkPHP5.*远程代码执行高危漏洞手工与升级修复解决方法
-
漏洞描述由于ThinkPHP5框架对控制器名没有进行足够的安全检测,导致在没有开启强制路由的情况下,黑客构造特定的请求,可直接GetWebShell。漏洞评级严重影响版本ThinkPHP5.0系列...
- Thinkphp5代码执行学习(thinkphp 教程)
-
Thinkphp5代码执行学习缓存类RCE版本5.0.0<=ThinkPHP5<=5.0.10Tp框架搭建环境搭建测试payload...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- MySQL5.5+配置主从同步并结合ThinkPHP5设置分布式数据库
- thinkphp5多语言怎么切换(thinkphp5.1视频教程)
- 基于 ThinkPHP5 + Bootstrap 的后台开发框架 FastAdmin
- Thinkphp5.0 框架实现控制器向视图view赋值及视图view取值操作示
- thinkphp5实现简单评论回复功能(php评论回复功能源码下载)
- ThinkPHP框架——实现定时任务,定时更新、清理数据
- BeyongCms系统基于ThinkPHP5.1框架的轻量级内容管理系统
- YimaoAdminv3企业建站系统,使用 thinkphp5.1.27 + mysql 开发
- ThinkAdmin-V5开发笔记(thinkpad做开发)
- thinkphp5.0.9预处理导致的sql注入复现与详细分析
- 标签列表
-
- mybatis plus (70)
- scheduledtask (71)
- css滚动条 (60)
- java学生成绩管理系统 (59)
- 结构体数组 (69)
- databasemetadata (64)
- javastatic (68)
- jsp实用教程 (53)
- fontawesome (57)
- widget开发 (57)
- vb net教程 (62)
- hibernate 教程 (63)
- case语句 (57)
- svn连接 (74)
- directoryindex (69)
- session timeout (58)
- textbox换行 (67)
- extension_dir (64)
- linearlayout (58)
- vba高级教程 (75)
- iframe用法 (58)
- sqlparameter (59)
- trim函数 (59)
- flex布局 (63)
- contextloaderlistener (56)