答疑·限时优惠

如果,你想让我看见你的疑问并且百分之百的回答。可以加入我的知识星球。
AI悦创·进化岛
AI悦创·进化岛

你好,我是悦创。

上节课我们学习了如何用 pyquery 提取 HTML 中的信息,但是当我们成功提取了数据之后,该往哪里存放呢?

用文本文件当然是可以的,但文本存储不方便检索。有没有既方便存,又方便检索的存储方式呢?

当然有,本课时我将为你介绍一个文档型数据库 —— MongoDB。

MongoDB 是由 C++ 语言编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容存储形式类似 JSON 对象,它的字段值可以包含其他文档、数组及文档数组,非常灵活。

在这个课时中,我们就来看看 Python 3 下 MongoDB 的存储操作。

1. 准备工作

在开始之前,请确保你已经安装好了 MongoDB 并启动了其服务,同时安装好了 Python 的 PyMongo 库。

MongoDB 的安装方式可以参考:https://www.aiyc.top/archives/461.html,安装好之后,我们需要把 MongoDB 服务启动起来。

注意:这里我们为了学习,仅使用 MongoDB 最基本的单机版,MongoDB 还有主从复制、副本集、分片集群等集群架构,可用性可靠性更好,如有需要可以自行搭建相应的集群进行使用。

启动完成之后,它会默认在本地 localhost 的 27017 端口上运行。

接下来我们需要安装 PyMongo 这个库,它是 Python 用来操作 MongoDB 的第三方库,直接用 pip3 安装即可:

pip3 install pymongo

更详细的安装方式可以参考:https://www.aiyc.top/archives/459.html

安装完成之后,我们就可以使用 PyMongo 来将数据存储到 MongoDB 了。

2. 连接 MongoDB

连接 MongoDB 时,我们需要使用 PyMongo 库里面的 MongoClient。一般来说,我们只需要向其传入 MongoDB 的 IP 及端口即可,其中第一个参数为地址 host,第二个参数为端口 port(如果不给它传递参数,则默认是 27017):

import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)

这样我们就可以创建 MongoDB 的连接对象了。

另外,MongoClient 的第一个参数 host 还可以直接传入 MongoDB 的连接字符串,它以 mongodb 开头,例如:

from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017/')

这样也可以达到同样的连接效果。

3. 指定数据库

MongoDB 中可以建立多个数据库,接下来我们需要指定操作其中一个数据库。这里我们以 test 数据库作为下一步需要在程序中指定使用的例子:

db = client.test # 连接数据库 test,数据库不存则会自动创建

这里调用 client 的 test 属性即可返回 test 数据库。当然,我们也可以这样指定:

db = client['test']

这两种方式是等价的。

4. 指定集合

MongoDB 的每个数据库又包含许多集合(collection),它们类似于关系型数据库中的表。

下一步需要指定要操作的集合,这里我们指定一个名称为 students 的集合。与指定数据库类似,指定集合也有两种方式:

collection = db.students # 类似连接数据库表

或是:

collection = db['students']

这样我们便声明了一个 Collection 对象。

5. 插入数据

接下来,便可以插入数据了。我们对 students 这个集合新建一条学生数据,这条数据以字典形式表示:

student = {
    'id': '20200320',
    'name': "AIYC",
    'age': 20,
    'gender': 'male'
}

新建的这条数据里指定了学生的学号、姓名、年龄和性别。接下来,我们直接调用 collection 的 insert 方法即可插入数据,代码如下:

result = collection.insert(student)
print(result)

在 MongoDB 中,每条数据其实都有一个 _id 属性来唯一标识。如果没有显式指明该属性,MongoDB 会自动产生一个 ObjectId 类型的 _id 属性。insert() 方法会在执行后返回_id 值。

运行结果如下:

5e7417e6b0ddc01dcd7d08f9

当然,我们也可以同时插入多条数据,只需要以列表形式传递即可,示例如下:

student1 = {
    'id': '20200321',
    'name': "AI悦创",
    'age': 20,
    'gender': 'male'
}

student2 = {
    'id': '20200322',
    'name': "aiyc",
    'age': 21,
    'gender': 'male'
}

result = collection.insert([student1, student2])
print(result)

返回结果是对应的_id 的集合:

[ObjectId('5e741895fca1d37811751e44'), ObjectId('5e741895fca1d37811751e45')]

细心的同学会发现,我们上面运行的时候,都会出现下面这样的结果:

C:/Code/pycharm_daima/leesion.py:31: DeprecationWarning: insert is deprecated. Use insert_one or insert_many instead.
  result = collection.insert([student1, student2])

这是为什么呢?

我来简单翻译一下:DeprecationWarning:插入弃用。使用 insert_oneinsert_many 代替。也就是说 insert 这个插入方法,已经被弃用了。

实际上,在 PyMongo 中,官方已经不推荐使用 insert 方法了。但是如果你要继续使用也没有什么问题。目前,官方推荐使用 insert_oneinsert_many 方法来分别插入单条记录和多条记录,示例如下:

student = {
    'id': '20200321',
    'name': "Cleland",
    'age': 20,
    'gender': 'male'
}


result = collection.insert_one(student)
print(result)
print(result.inserted_id)

运行结果如下:

<pymongo.results.InsertOneResult object at 0x0000016EAB29EE48>
5e741c46adc638b4a4b0f7b7

insert 方法不同,这次返回的是 InsertOneResult 对象,我们可以调用其 inserted_id 属性获取_id

对于 insert_many 方法,我们可以将数据以列表形式传递,示例如下:

student1 = {
    'id': '20200326',
    'name': "Jordan",
    'age': 20,
    'gender': 'male'
}

student2 = {
    'id': '20200327',
    'name': "Mike",
    'age': 21,
    'gender': 'male'
}


result = collection.insert_many([student1, student2])
print(result)
print(result.inserted_ids)

运行结果如下:

<pymongo.results.InsertManyResult object at 0x000002345F5BD108>
[ObjectId('5e741e1203856c76c0e947bd'), ObjectId('5e741e1203856c76c0e947be')]

该方法返回的类型是 InsertManyResult,调用 inserted_ids 属性可以获取插入数据的 _id 列表。

6. 查询

插入数据后,我们可以利用 find_onefind 方法进行查询,其中 find_one 查询得到的是单个结果find则返回一个生成器对象。示例如下:

result = collection.find_one({"name": "AI悦创"})
print(type(result))
print(result)

这里我们查询 nameAI悦创 的数据,它的返回结果是字典类型,运行结果如下:

<class 'dict'>
{'_id': ObjectId('5e741895fca1d37811751e44'), 'id': '20200321', 'name': 'AI悦创', 'age': 20, 'gender': 'male'}

可以发现,它多了 _id 属性,这就是 MongoDB 在插入过程中自动添加的。

此外,我们也可以根据 ObjectId来查询,此时需要调用 bson库里面的 objectid

from bson.objectid import ObjectId

result = collection.find_one({'_id': ObjectId('5e741895fca1d37811751e44')})
print(result)

其查询结果依然是字典类型,具体如下:

{'_id': ObjectId('5e741895fca1d37811751e44'), 'id': '20200321', 'name': 'AI悦创', 'age': 20, 'gender': 'male'}

如果查询结果不存在,则会返回 None。

对于多条数据的查询,我们可以使用 find方法。例如,这里查找年龄为 20 的数据,示例如下:

results = collection.find({'age': 20})
print(results)
for result in results:
    print(result)

运行结果如下:

<pymongo.cursor.Cursor object at 0x000001FF619FFF88>
{'_id': ObjectId('5e7417e6b0ddc01dcd7d08f9'), 'id': '20200320', 'name': 'AIYC', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('5e741895fca1d37811751e44'), 'id': '20200321', 'name': 'AI悦创', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('5e741c46adc638b4a4b0f7b7'), 'id': '20200321', 'name': 'Cleland', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('5e741cf1ecbb1d602205715f'), 'id': '20200326', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('5e743cc9407dc785ddc9c59a'), 'id': '20200326', 'name': 'AI悦创', 'age': 20, 'gender': 'wom'}

Ps:因为,我数据库中文件较多,上面结果就显示一部分,具体结果按各位实际操作来看。

返回结果是 Cursor 类型,它相当于一个生成器,我们需要遍历获取的所有结果,其中每个结果都是字典类型。

如果要查询年龄大于 20 的数据,则写法如下:

results = collection.find({'age': {'$gt': 20}})

这里查询的条件键值已经不是单纯的数字了,而是一个字典,其键名为比较符号 $gt,意思是大于,键值为 20。

我将比较符号归纳为下表:

img

另外,还可以进行正则匹配查询。例如,查询名字以 M 开头的学生数据,示例如下:

results = collection.find({'name': {'$regex': '^M.*'}})

这里使用 $regex 来指定正则匹配,^M.* 代表以 M 开头的正则表达式。

我将一些功能符号归类为下表:

img

关于这些操作的更详细用法,可以在 MongoDB 官方文档找到: https://docs.mongodb.com/manual/reference/operator/query/。

7. 计数

要统计查询结果有多少条数据,可以调用 count 方法。我们以统计所有数据条数为例:

count = collection.find().count()
print(count)

我们还可以统计符合某个条件的数据:

count = collection.find({'age': 20}).count()
print(count)

运行结果是一个数值,即符合条件的数据条数。

悦创提示:
有小伙伴会发现,运行会出现以下结果:`DeprecationWarning: count is deprecated. Use Collection.count_documents instead.

count = collection.find({'age': 20}).count()` 我也简单的给大家翻译一下:DeprecationWarning:计数是弃用。使用集合。count_documents代替。由此可见我们的 Pymongo 是很智能的。

8. 排序

排序时,我们可以直接调用 sort 方法,并在其中传入排序的字段及升降序标志。示例如下:

import pymongo
results = collection.find().sort('name', pymongo.ASCENDING)
print([result['name'] for result in results])

运行结果如下:

['AIYC', 'AI悦创', 'AI悦创', 'AI悦创', 'Cleland', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Mike', 'Mike', 'Mike', 'aiyc']

上面的运行结果,也以你自己实际操作为准,因为为了把文章写好,我有时候会不断运行插入数据测试。

这里我们调用 pymongo.ASCENDING 指定升序。如果要降序排列,可以传入 pymongo.DESCENDING

9. 偏移

在某些情况下,我们可能只需要取某几个元素,这时可以利用 skip 方法偏移几个位置,比如偏移 2,就代表忽略前两个元素,得到第 3 个及以后的元素:

import pymongo
results = collection.find().sort('name', pymongo.ASCENDING).skip(2)
print([result['name'] for result in results])

为了同学们更加直观,我们把代码修改成这样:

import pymongo
result1 = collection.find().sort('name', pymongo.ASCENDING)
result2 = collection.find().sort('name', pymongo.ASCENDING).skip(2)
print("No skip:>>>", [result['name'] for result in result1])
print("Skip:>>>", [result['name'] for result in result2])

运行结果如下:

No skip:>>> ['AIYC', 'AI悦创', 'AI悦创', 'AI悦创', 'Cleland', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Mike', 'Mike', 'Mike', 'aiyc']
Skip:>>> ['AI悦创', 'AI悦创', 'Cleland', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Mike', 'Mike', 'Mike', 'aiyc']

另外,我们还可以用 limit 方法指定要取的结果个数,示例如下:

import pymongo

result = collection.find().sort('name', pymongo.ASCENDING).skip(2).limit(2)
print([result['name'] for result in result])

运行结果如下:

['AI悦创', 'AI悦创']

如果不使用 limit 方法,原本会返回 12 个结果,加了限制后,就会截取两个结果返回。

值得注意的是,在数据量非常庞大的时候,比如在查询千万、亿级别的数据库时,最好不要使用大的偏移量,因为这样很可能导致内存溢出。此时可以使用类似如下操作来查询:

from bson.objectid import ObjectId
collection.find({'_id': {'$gt': ObjectId('5e741895fca1d37811751e44')}})

这时需要记录好上次查询的 _id

10. 更新

对于数据更新,我们可以使用 update 方法,指定更新的条件和更新后的数据即可。例如:

condition = {'name': 'AIYC'}
student = collection.find_one(condition)
student['age'] = 25
result = collection.update(condition, student)
print(result)

这里我们要更新 nameAIYC的数据的年龄:首先指定查询条件,然后将数据查询出来,修改年龄后调用 update方法将原条件和修改后的数据传入。

运行结果如下:

{'n': 1, 'nModified': 0, 'ok': 1.0, 'updatedExisting': True}

返回结果是字典形式,ok 代表执行成功,nModified 代表影响的数据条数。

另外,我们也可以使用 $set 操作符对数据进行更新,代码如下:

result = collection.update(condition, {'$set': student})

这样可以只更新 student字典内存在的字段。如果原先还有其他字段,则不会更新,也不会删除。而如果不用 $set 的话,则会把之前的数据全部用 student字典替换;如果原本存在其他字段,则会被删除。

另外,update方法其实也是官方不推荐使用的方法。这里也分为 update_one 方法和 update_many方法,用法更加严格,它们的第 2 个参数需要使用 $ 类型操作符作为字典的键名,示例如下:

condition = {'name': 'AIYC'}
student = collection.find_one(condition)
student['age'] = 26
result = collection.update_one(condition, {'$set': student})
print(result)
print(result.matched_count, result.modified_count)

上面的例子中调用了 update_one方法,使得第 2 个参数不能再直接传入修改后的字典,而是需要使用 {'$set': student} 这样的形式,其返回结果是 UpdateResult类型。然后分别调用 matched_countmodified_count属性,可以获得匹配的数据条数和影响的数据条数。

运行结果如下:

<pymongo.results.UpdateResult object at 0x000002B798D65608>
1 0

我们再看一个例子:

condition = {'age': {'$gt': 20}}
result = collection.update_one(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)

这里指定查询条件为年龄大于 20,然后更新条件为{'$inc': {'age': 1}},表示年龄加 1,执行之后会将第一条符合条件的数据年龄加 1。

运行结果如下:

<pymongo.results.UpdateResult object at 0x0000015E53073288>
1 1

可以看到匹配条数为 1 条,影响条数也为 1 条。

如果调用 update_many 方法,则会将所有符合条件的数据都更新,示例如下:

condition = {'age': {'$gt': 20}}
result = collection.update_many(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)

这时匹配条数就不再为 1 条了,运行结果如下:

<pymongo.results.UpdateResult object at 0x0000023B8A44DAC8>
6 6

可以看到,这时所有匹配到的数据都会被更新。

11. 删除

删除操作比较简单,直接调用 remove方法指定删除的条件即可,此时符合条件的所有数据均会被删除。

示例如下:

result = collection.remove({'name': 'Kevin'})
print(result)

运行结果如下:

{'n': 0, 'ok': 1.0}

另外,这里依然存在两个新的推荐方法 —— delete_onedelete_many,示例如下:

result = collection.delete_one({'name': 'Kevin'})
print(result)
print(result.deleted_count)
result = collection.delete_many({'age': {'$lt': 25}})
print(result.deleted_count)

运行结果如下:

<pymongo.results.DeleteResult object at 0x000001F58A0F3388>
0
12

delete_one 即删除第一条符合条件的数据,delete_many 即删除所有符合条件的数据。它们的返回结果都是 DeleteResult 类型,可以调用 deleted_count 属性获取删除的数据条数。

12. 其他操作

另外,PyMongo 还提供了一些组合方法,如 find_one_and_deletefind_one_and_replacefind_one_and_update,它们分别用于查找后删除、替换和更新操作,其使用方法与上述方法基本一致。

另外,我们还可以对索引进行操作,相关方法有 create_indexcreate_indexesdrop_index等。

关于 PyMongo 的详细用法,可以参见官方文档:http://api.mongodb.com/python/current/api/pymongo/collection.html。

另外,还有对数据库和集合本身等的一些操作,这里不再一一讲解,可以参见官方文档:http://api.mongodb.com/python/current/api/pymongo/。

本课时的内容我们就讲到这里了,你是不是对如何使用 PyMongo 操作 MongoDB 进行数据增删改查更加熟悉了呢?下一课时我将会带你在实战案例中应用这些操作进行数据存储。

AI悦创·创造不同!
AI悦创 » 高效存储 MongoDB 的用法

Leave a Reply