【Python使用】嘿马头条完整开发md笔记第2篇：数据库,作用【附代码文档】

冰原牧歌

嘿马头条项目从到完整开发笔记总结完整教程（附代码资料）主要内容讲述：课程简介，ToutiaoWeb虚拟机使用说明，Pycharm远程开发，产品与开发，数据库1 产品介绍,2 原型图与UI图,3 技术架构,4 开发。OSS对象存储，七牛云存储，CDN，缓存。缓存，缓存架构，缓存数据，缓存有效期与淘汰策略，缓存模式缓存数据的类型,缓存数据的保存方式,有效期 TTL （Time to live),缓存淘汰 eviction。缓存，缓存问题，头条项目缓存与存储设计，头条项目缓存实现，项目Redis持久存储实现，APScheduler定时任务，APScheduler使用1 缓存穿透,2 缓存雪崩,缓存设计,持久存储设计。APScheduler定时任务，定时修正统计数据，RPC，RPC简介，RPC结构，gRPC，简介1. 什么是RPC,2. 背景与用途,3. 概念说明,4. 优缺点,架构,使用方法。RPC，Protocol Buffers，推荐系统接口定义，补全服务端1 文档结构,2 注释,3 数据类型,4 消息类型,5 map映射,6 oneof,7 定义服务,代码生成。RPC，编写客户端，头条首页新闻推荐接口编写，即时通讯，即时通讯简介，WebSocket。即时通讯，Socket.IO，头条聊天服务实现，头条在线消息推送实现，Elasticsearch1 简介,2 Python服务器端开发,3 Python客户端。Elasticsearch，简介与原理。Elasticsearch，概念与集群，IK中文分析器，索引与类型概念,Elasticsearch 集群（cluster）,索引,类型和映射。Elasticsearch，文档，Logstash导入数据，查询，头条全文检索实现，联想提示，头条suggest查询实现。数据库，数据库设计1 需求,2 注意事项,3 头条项目数据库。单元测试，部署相关，Gunicorn，Supervisor。数据库，理解ORM，SQLAlchemy映射构建1 简介,2 安装,3 数据库连接设置,4 模型类字段与选项,5 构建模型类映射。数据库，SQLAlchemy操作1 新增,2 查询,3 更新,4 删除,5 事务。数据库，数据库理论1. 复制集与分布式,2. MySQL。数据库，分布式ID，数据库优化1 方案选择,2 黑马头条,1 理解索引,2 SQL查询优化,3 数据库优化。数据库，Redis，Git工用流1 Redis事务,2 Redis持久化,3 Redis高可用,4 Redis集群,5 用途,6 相关补充阅读。Git工用流，Gitflow工作流，Git总结，头条项目目录1 Gitflow工作流分支,2 Confict冲突解决。Git工用流，调试方法，JWT认证方案，JWT & JWS & JWE，JWT的Python库，头条项目实施方案，JWT禁用问题，OSS对象存储。

全套笔记资料代码移步： 前往gitee仓库查看

感兴趣的小伙伴可以自取哦，欢迎大家点赞转发~

全套教程部分目录：

部分文件图片：

数据库

• 数据库设计
  
• SQLAlchemy
  
• 数据库理论
  
• 分布式ID
  
• Redis
  

理解ORM

作用

• 省去自己拼写SQL，保证SQL语法的正确性
  
• 一次编写可以适配多个数据库
  
• 防止注入
  
• 在数据库表名或字段名发生变化时，只需修改模型类的映射，无需修改数据库操作的代码
  

(相比SQL的话，可能需要同步修改涉及到的每一个SQL语句)
思考：

可否在已经存在数据库表的情况下，使用模型类进行操作？

使用ORM的方式选择

• 先创建模型类，再迁移到数据库中
  
  
  
  • 优点：简单快捷，定义一次模型类即可，不用写sql
    
  • 缺点：不能尽善尽美的控制创建表的所有细节问题，表结构发生变化的时候，也会难免发生迁移错误
    
  
  
• 先用原生SQL创建数据库表，再编写模型类作映射
  
  
  
  • 优点：可以很好的控制数据库表结构的任何细节，避免发生迁移错误
    
  • 缺点：可能编写工作多（编写sql与模型类，似乎有些牵强）
    
  
  

头条项目采用编写原生SQL创建表，之后再编写模型类进行映射的方式。
SQLAlchemy映射构建

1 简介

SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射（ORM）工具，使用MIT许可证发行。
SQLAlchemy“采用简单的Python语言，为高效和高性能的数据库访问设计，实现了完整的企业级持久模型”。
SQLAlchemy首次发行于2006年2月，并迅速地在Python社区中最广泛使用的ORM工具之一，不亚于Django的ORM框架。
Flask-SQLAlchemy是在Flask框架的一个扩展，其对SQLAlchemy进行了封装，目的于简化在 Flask 中 SQLAlchemy 的 使用，提供了有用的默认值和额外的助手来更简单地完成日常任务。
2 安装

安装Flask-SQLAlchemy

1. pip install flask-sqlalchemy

复制代码

如果使用的是MySQL数据库，还需要安装MySQL的Python客户端库

1. pip install mysqlclient

复制代码

3 数据库连接设置

在Flask中使用Flask-SQLAlchemy需要进行配置，主要配置以下几项：

• SQLALCHEMY_DATABASE_URI 数据库的连接信息
  
  
  
  • Postgres:
    
  1. [/code]
  2. [/list]postgresql://user:password@localhost/mydatabase
  3. [code]* MySQL:
  5. ```python
  6. mysql://user:password@localhost/mydatabase

  复制代码
  
  
  • Oracle:
    
  1. oracle://user:password@127.0.0.1:1521/sidname

  复制代码
  
  
  • SQLite （注意开头的四个斜线）:
    
  1. sqlite:////absolute/path/to/foo.db

  复制代码
  
  
  • SQLALCHEMY_TRACK_MODIFICATIONS 在Flask中是否追踪数据修改
    
  • SQLALCHEMY_ECHO 显示生成的SQL语句，可用于调试
    
  这些配置参数需要放在Flask的应用配置（app.config）中。
  1. from flask import Flask
  3. app = Flask(__name__)
  5. class Config(object):
  6.     SQLALCHEMY_DATABASE_URI = 'mysql://root:mysql@127.0.0.1:3306/toutiao'
  7.     SQLALCHEMY_TRACK_MODIFICATIONS = False
  8.     SQLALCHEMY_ECHO = True
  10. app.config.from_object(Config)

  复制代码
  其他配置参考如下：
  名字备注SQLALCHEMY_DATABASE_URI用于连接的数据库 URI 。例如:sqlite:////tmp/test.dbmysql://username:password@server/dbSQLALCHEMY_BINDS一个映射 binds 到连接 URI 的字典。更多 binds 的信息见[用 Binds 操作多个数据库](SQLALCHEMY_ECHO如果设置为Ture， SQLAlchemy 会记录所有 发给 stderr 的语句，这对调试有用。(打印sql语句)SQLALCHEMY_RECORD_QUERIES可以用于显式地禁用或启用查询记录。查询记录 在调试或测试模式自动启用。更多信息见get_debug_queries()。SQLALCHEMY_NATIVE_UNICODE可以用于显式禁用原生 unicode 支持。当使用 不合适的指定无编码的数据库默认值时，这对于 一些数据库适配器是必须的（比如 Ubuntu 上 某些版本的 PostgreSQL ）。SQLALCHEMY_POOL_SIZE数据库连接池的大小。默认是引擎默认值（通常 是 5 ）SQLALCHEMY_POOL_TIMEOUT设定连接池的连接超时时间。默认是 10 。SQLALCHEMY_POOL_RECYCLE多少秒后自动回收连接。这对 MySQL 是必要的， 它默认移除闲置多于 8 小时的连接。注意如果 使用了 MySQL ， Flask-SQLALchemy 自动设定 这个值为 2 小时。4 模型类字段与选项
  
  字段类型
  
  类型名python中类型说明Integerint普通整数，一般是32位SmallIntegerint取值范围小的整数，一般是16位BigIntegerint或long不限制精度的整数Floatfloat浮点数Numericdecimal.Decimal普通整数，一般是32位Stringstr变长字符串Textstr变长字符串，对较长或不限长度的字符串做了优化Unicodeunicode变长Unicode字符串UnicodeTextunicode变长Unicode字符串，对较长或不限长度的字符串做了优化Booleanbool布尔值Datedatetime.date时间Timedatetime.datetime日期和时间LargeBinarystr二进制文件列选项
  
  选项名说明primary_key如果为True，代表表的主键unique如果为True，代表这列不允许出现重复的值index如果为True，为这列创建索引，提高查询效率nullable如果为True，允许有空值，如果为False，不允许有空值default为这列定义默认值关系选项
  
  选项名说明backref在关系的另一模型中添加反向引用primary join明确指定两个模型之间使用的联结条件uselist如果为False，不使用列表，而使用标量值order_by指定关系中记录的排序方式secondary指定多对多关系中关系表的名字secondary join在SQLAlchemy中无法自行决定时，指定多对多关系中的二级联结条件5 构建模型类映射
  
  例用虚拟机中已有的头条数据库，构建模型类映射，以下面三张表为例
  1. CREATE TABLE `user_basic` (
  2.   `user_id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '用户ID',
  3.   `account` varchar(20) COMMENT '账号',
  4.   `email` varchar(20) COMMENT '邮箱',
  5.   `status` tinyint(1) NOT NULL DEFAULT '1' COMMENT '状态，是否可用，0-不可用，1-可用',
  6.   `mobile` char(11) NOT NULL COMMENT '手机号',
  7.   `password` varchar(93) NULL COMMENT '密码',
  8.   `user_name` varchar(32) NOT NULL COMMENT '昵称',
  9.   `profile_photo` varchar(128) NULL COMMENT '头像',
  10.   `last_login` datetime NULL COMMENT '最后登录时间',
  11.   `is_media` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否是自媒体，0-不是，1-是',
  12.   `is_verified` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否实名认证，0-不是，1-是',
  13.   `introduction` varchar(50) NULL COMMENT '简介',
  14.   `certificate` varchar(30) NULL COMMENT '认证',
  15.   `article_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '发文章数',
  16.   `following_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '关注的人数',
  17.   `fans_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '被关注的人数',
  18.   `like_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '累计点赞人数',
  19.   `read_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '累计阅读人数',
  20.   PRIMARY KEY (`user_id`),
  21.   UNIQUE KEY `mobile` (`mobile`),
  22.   UNIQUE KEY `user_name` (`user_name`)
  23. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户基本信息表';
  25. CREATE TABLE `user_profile` (
  26.   `user_id` bigint(20) unsigned NOT NULL COMMENT '用户ID',
  27.   `gender` tinyint(1) NOT NULL DEFAULT '0' COMMENT '性别，0-男，1-女',
  28.   `birthday` date NULL COMMENT '生日',
  29.   `real_name` varchar(32) NULL COMMENT '真实姓名',
  30.   `id_number` varchar(20) NULL COMMENT '身份证号',
  31.   `id_card_front` varchar(128) NULL COMMENT '身份证正面',
  32.   `id_card_back` varchar(128) NULL COMMENT '身份证背面',
  33.   `id_card_handheld` varchar(128) NULL COMMENT '手持身份证',
  34.   `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  35.   `update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  36.   `register_media_time` datetime NULL COMMENT '注册自媒体时间',
  37.   `area` varchar(20) COMMENT '地区',
  38.   `company` varchar(20) COMMENT '公司',
  39.   `career` varchar(20) COMMENT '职业',
  40.   PRIMARY KEY (`user_id`)
  41. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户资料表';
  43. CREATE TABLE `user_relation` (
  44.   `relation_id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键id',
  45.   `user_id` bigint(20) unsigned NOT NULL COMMENT '用户ID',
  46.   `target_user_id` bigint(20) unsigned NOT NULL COMMENT '目标用户ID',
  47.   `relation` tinyint(1) NOT NULL DEFAULT '0' COMMENT '关系，0-取消，1-关注，2-拉黑',
  48.   `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  49.   `update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  50.   PRIMARY KEY (`relation_id`),
  51.   UNIQUE KEY `user_target` (`user_id`, `target_user_id`)
  52. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户关系表';

  复制代码
  首先需要创建SQLAlchemy对象:
  
  
  
  • 方式一：
    
  1. db = SQLAlchemy(app)

  复制代码
  
  
  • 方式二：
    
  1. db = SQLAlchemy()
  2.   db.init_app(app)

  复制代码
  注意此方式在单独运行调试时，对数据库操作需要在Flask的应用上下文中进行，即
  1. with app.app_context():
  2.       User.query.all()

  复制代码
  定义模型类
  1. class User(db.Model):
  2.     """
  3.     用户基本信息
  4.     """
  5.     __tablename__ = 'user_basic'
  7.     class STATUS:
  8.         ENABLE = 1
  9.         DISABLE = 0
  11.     id = db.Column('user_id', db.Integer, primary_key=True, doc='用户ID')
  12.     mobile = db.Column(db.String, doc='手机号')
  13.     password = db.Column(db.String, doc='密码')
  14.     name = db.Column('user_name', db.String, doc='昵称')
  15.     profile_photo = db.Column(db.String, doc='头像')
  16.     last_login = db.Column(db.DateTime, doc='最后登录时间')
  17.     is_media = db.Column(db.Boolean, default=False, doc='是否是自媒体')
  18.     is_verified = db.Column(db.Boolean, default=False, doc='是否实名认证')
  19.     introduction = db.Column(db.String, doc='简介')
  20.     certificate = db.Column(db.String, doc='认证')
  21.     article_count = db.Column(db.Integer, default=0, doc='发帖数')
  22.     following_count = db.Column(db.Integer, default=0, doc='关注的人数')
  23.     fans_count = db.Column(db.Integer, default=0, doc='被关注的人数（粉丝数）')
  24.     like_count = db.Column(db.Integer, default=0, doc='累计点赞人数')
  25.     read_count = db.Column(db.Integer, default=0, doc='累计阅读人数')
  27.     account = db.Column(db.String, doc='账号')
  28.     email = db.Column(db.String, doc='邮箱')
  29.     status = db.Column(db.Integer, default=1, doc='状态，是否可用')
  31. class UserProfile(db.Model):
  32.     """
  33.     用户资料表
  34.     """
  35.     __tablename__ = 'user_profile'
  37.     class GENDER:
  38.         MALE = 0
  39.         FEMALE = 1
  41.     id = db.Column('user_id', db.Integer, primary_key=True, doc='用户ID')
  42.     gender = db.Column(db.Integer, default=0, doc='性别')
  43.     birthday = db.Column(db.Date, doc='生日')
  44.     real_name = db.Column(db.String, doc='真实姓名')
  45.     id_number = db.Column(db.String, doc='身份证号')
  46.     id_card_front = db.Column(db.String, doc='身份证正面')
  47.     id_card_back = db.Column(db.String, doc='身份证背面')
  48.     id_card_handheld = db.Column(db.String, doc='手持身份证')
  49.     ctime = db.Column('create_time', db.DateTime, default=datetime.now, doc='创建时间')
  50.     utime = db.Column('update_time', db.DateTime, default=datetime.now, onupdate=datetime.now, doc='更新时间')
  51.     register_media_time = db.Column(db.DateTime, doc='注册自媒体时间')
  53.     area = db.Column(db.String, doc='地区')
  54.     company = db.Column(db.String, doc='公司')
  55.     career = db.Column(db.String, doc='职业')
  58. class Relation(db.Model):
  59.     """
  60.     用户关系表
  61.     """
  62.     __tablename__ = 'user_relation'
  64.     class RELATION:
  65.         DELETE = 0
  66.         FOLLOW = 1
  67.         BLACKLIST = 2
  69.     id = db.Column('relation_id', db.Integer, primary_key=True, doc='主键ID')
  70.     user_id = db.Column(db.Integer, doc='用户ID')
  71.     target_user_id = db.Column(db.Integer, doc='目标用户ID')
  72.     relation = db.Column(db.Integer, doc='关系')
  73.     ctime = db.Column('create_time', db.DateTime, default=datetime.now, doc='创建时间')
  74.     utime = db.Column('update_time', db.DateTime, default=datetime.now, onupdate=datetime.now, doc='更新时间')

  复制代码
  未完待续， 同学们请等待下一期
  
  全套笔记资料代码移步： 前往gitee仓库查看
  
  感兴趣的小伙伴可以自取哦，欢迎大家点赞转发~
  
  
  来源:https://www.cnblogs.com/yinuo112/p/18080427
  免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！