2023年4月26日
介绍 pip python第三方库管理工具,从 Python 3.4 开始,pip 已经内置在 Python。 升级 pip install --upgrade pip 或 pip install -U pip 安装第三方库 pip install package_name==包版本 批量安装 pip install -r requirements.txt cat requirements.txt tensorflow==2.3.1 uvicorn==0.12.2 fastapi==0.63.0 卸载 pip uninstall package_name 升级 pip install -U package_name 冻结当前环境 有时您想输出当前环境中所有已安装的包,或生成一个需求文件 pip freeze 查看需要升……
阅读全文
2023年3月24日
repmgrd介绍 repmgrd 作为运行在集群中每个节点上的一个管理和监控的守护程序,可以自动进行故障转移和维护复制关系,并提供有关每个节点状态的监控信息。 repmgrd 不依赖其他服务 提供的功能包括: 众多的配置项提供选择 根据场景可自定义对应执行脚本 一个命令进入维护模式 多数据中心场景,通过location……
阅读全文
2023年3月16日
linux性能调试和优化 linux内核动态追踪 linux系统的内存管理……
阅读全文
2022年12月21日
prometheus-nginxlog-exporter构建Nginx日志监控 https://www.martin-helmich.de/en/blog/monitoring-nginx.html……
阅读全文
2022年11月23日
逻辑复制故障转移 主库 10.10.2.11 物理从库 10.10.2.12 逻辑从库 10.10.2.13 测试任务 当主库发生故障,物理复制从库变为新主库。逻辑从库将订阅地址变更为新主库。 开始测试 环境搭建参考 物理复制 逻辑复制 状态查看 复制关系 select * from pg_stat_replication ; -[ RECORD 1 ]----+------------------------------ pid | 2628 usesysid | 24576 usename | repuser application_name | sub1 client_addr | 10.10.2.13 client_hostname | client_port | 40230 backend_start | 2022-11-23 05:46:59.50291+00 backend_xmin | state | streaming sent_lsn | 0/21000140 write_lsn | 0/21000140 flush_lsn | 0/21000140 replay_lsn | 0/21000140 write_lag | flush_lag……
阅读全文
2022年8月25日
Linux 网络状态查看 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' https://www.cnblogs.com/dream397/p/14785967.html……
阅读全文
2022年8月22日
minio 存储类别 副本机制与纠删码方式对比 在分布式数据存储服务中,通常使用的方式有副本机制,与纠删码机制。 原理对比 副本技术的原理比较简单,通过副本机制,数据的冗余写来保证数据的可靠性 纠删码类似于raid5、raid6类似。通过引入校验数据块保障数据冗余,从而获得更多的存储空间 EC ( Erasure Coding) 相对……
阅读全文
2022年8月8日
例子 select pg_current_wal_lsn(),pg_walfile_name(pg_current_wal_lsn()),pg_walfile_name_offset(pg_current_wal_lsn()); pg_current_wal_lsn | pg_walfile_name | pg_walfile_name_offset --------------------+--------------------------+------------------------------------ 2478/BB36EC90 | 0000000300002478000000BB | (0000000300002478000000BB,3599504) (1 row) select x'36EC90'::int ; int4 --------- 3599504 (1 row) 说明 方法 pg_current_wal_lsn():获得当前wal日志写入位置。 pg_walfile_name():转换wal日志位置为文件名。 pg_walfile_name_offset():返回转换后的wal日志文件名和偏移量。……
阅读全文
2022年8月2日
环境 操作系统 centos7 openjdk11 集群规划 IP地址 10.10.2.11/node0 zk & kafka 10.10.2.12/node1 zk & kafka 10.10.2.13/node2 zk & kafka 准备阶段 软件准备 kafka 下载地址 https://dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz connetor plugins jdbc 下载地址 https://d1i4a15mxbxib1.cloudfront.net/api/plugins/confluentinc/kafka-connect-jdbc/versions/10.5.1/confluentinc-kafka-connect-jdbc-10.5.1.zip debezium 下载地址 https://repo1.maven.org/maven2/io/debezium/debezium-connector-postgres/1.9.5.Final/debezium-connector-postgres-1.9.5.Final-plugin.tar.gz 安装jdk yum install java-11-openjdk-devel yum install java-11-openjdk -y jdk 下载地址 https://www.oracle.com/java/technologies/downloads/ 系统用户 group add kafka useradd kafka -g kafka 配置信息 hosts 配置 #vi /etc/hosts 10.10.2.11 node0 10.10.2.12 node1 10.10.2.13 node2 zk 配置 # vi zookeeper.properties tickTime=2000 initLimit=10 syncLimit=5 dataDir=/tmp/zookeeper clientPort=2181 server.1=node0:2888:3888 server.2=node1:2888:3888 server.3=node2:2888:3888 # myid echo "1" > /tmp/zookeeper/myid echo "2" > /tmp/zookeeper/myid echo "3" > /tmp/zookeeper/myid broker 配置 # vi config/server.properties broker.id=1 # 每个节点……
阅读全文