MySQL标签存档

版权声明 本站原创文章 由 萌叔 发表 转载请注明 萌叔 | http://vearne.cc 1. 引言 对于高可用的服务，监控的粒度往往都会非常细。如果恰好你也在使用 Prometheus, 也需要在业务层对Redis连接池和MySQL连接池进行监控。那么此篇文章对你而言将是一种福利。 Redis Client go-redis/redis MySQL Client jinzhu/gorm 2. 样例代码 go get github.com/vearne/golib main.go package main import ( “github.com/go-redis/redis” “github.com/jinzhu/gorm” _ “github.com/jinzhu/gorm/dialects/mysql” “github.com/prometheus/client_golang/prometheus/promhttp” “github.com/vearne/golib/metric” “log” “net/http” “time” ) func main() { // init redis client := redis.NewClient(&redis.Options{ Addr:… 继续阅读 玩转Prometheus(5)-监控Redis和MySQL的工具包(业务层)

版权声明 本站原创文章 由 萌叔 发表 转载请注明 萌叔 | http://vearne.cc 1. 前言 packetbeat是elastic公司开发的网络抓包、嗅探以及分析工具。 和tcpdump一样，它的底层依赖libpcap。但它比tcpdump、tcpcopy功能强大的多。 它能够直接解析以下的网络协议 ICMP (v4 and v6) DHCP (v4) DNS HTTP AMQP 0.9.1 Cassandra Mysql PostgreSQL Redis Thrift-RPC MongoDB Memcache TLS 将网络包转换成JSON字符串，然后导出到以下output File Console Elasticsearch Logstash Kafka Redis 简单描述过程 event -> filter1 -> filter2 … -> output 让我非常吃惊的是它能够捕获MySQL、Redis等的二进制通讯协议，能够从捕获的记录中，清晰的看到每一条SQL查询语句，以及每一条Redis命令 2.… 继续阅读 packetbeat 初探

版权声明 本站原创文章 由 萌叔 发表 转载请注明 萌叔 | http://vearne.cc 引子: 有这么一种场景，对于外部系统提交的任务，我们要把任务扫出来，推送到 消息队列中，然后消费者监听在消息队列上， 取到任务进行消费。要防止任务被重复消费，扫出的任务要修改对应数据库状态值。 问题 假定数据库表结构为 task 字段 类型 说明 备注 id int 主键 task_id int 任务ID status int 状态 0:等待中, 1:运行中, 2:成功, 3:失败 body string 任务body体 version string 为了区分写入成功的对象 我们知道把任务扫出来，至少需要执行3步操作 1) 扫描出等待中的任务 select * from task where status = 0… 继续阅读 基于version的MySQL并发无锁策略

版权声明 本站原创文章 由 萌叔 发表 转载请注明 萌叔 | http://vearne.cc 前言：前段时间在公司内部做了一个分享总结了部分我在使用各种数据库方面的遇到的问题。也在这里分享给大家。强调一下，这里的坑，我是打了引号的，有些坑，不过是某种数据库的特点，或者因为我们错误的事情而引出了问题，并不一定完全就是这种数据库有问题。 1. 业务篇 1）业务场景 不合理的业务设计，永远是对程序员最大的伤痛 在我维护的系统中有这样一种场景，用户要一次性下载全年或者半年的舆情数据，数据量会很大，单个任务就会达到数百万条数据。任何一个系统要在短时间内吞吐数据数百万条记录，也不是件很轻松的事情，尤其当这样的任务很多的时候。 目前这个时间跨度已经被调整成了3个月。说到这里不经让我想到12306错开时间发售火车票。 任何时候从业务角度的优化，总能带来立竿见影的效果 2） 字段设计 在我维护的某个系统中，同一种指标，在不同的表中，被存成了不同的字段名，这给我们带来了巨大的痛苦。所以建议对于同一种指标，或者事物使用同样的字段名（名称）进行表达、存储，否则后期光转换都要人命 3）表结构的反范式设计 大数据场景下，不要受到关系数据库范式设计的太多影响 数据机构能够立体的，尽量立体，不要扁平化 以新浪微博的一条转发举例 一条转发会包含有 1. 这条微博的作者 2. 这条微博的内容 text 3. 原创微博retweeted_status 4. 原创微博的内容 retweeted_status.text 5. 原创微博的作者 retweeted_status.user … 一条记录就包含了这条转发，以及与这条转发相关的大部分内容，在实际使用时，无需连表查询可以方便的用NoSQL 数据库进行存储 { “created_at”: “Tue May 31 17:46:55 +0800 2011”, “id”:… 继续阅读 我在数据库方面踩过的”坑”

版权声明 本站原创文章 由 萌叔 发表 转载请注明 萌叔 | http://vearne.cc 起因：之前的相当长时间一直在寻找mysql的分布式解决方案，一直没有特别理想的答案，有同事给推荐了kingshard，所以决定一探究竟。 1.安装 机器共3台 机器 IP 说明 机器1 192.168.122.1 安装kingshard 机器1 192.168.122.3 安装mysql实例(node1) master 没有slave 机器1 192.168.122.4 安装mysql实例(node2) master 没有slave 安装请参考官方资料 https://github.com/flike/kingshard/blob/master/doc/KingDoc/kingshard_install_document.md 我安装的kingshard 2016年8月9日的版本，目前kingshard还没有参数或配置，把kingshard以后台守护进程的方式启动，因此作者建议使用supervisor进行管理。 因为我主要是为了观察效果，所以直接在终端中启动 ./kingshard -config=../etc/ks.yaml 以下是我的配置文件 ks.yaml # server listen addr addr : 0.0.0.0:9696 # server user and password user… 继续阅读 kingshard初探

版权声明 本站原创文章 由 萌叔 发表 转载请注明 萌叔 | http://vearne.cc 起因： 一直找不到合适的MySQL监控工具，正好听同事无意中说起，Percona在2016年4月发布了一个监控套件，可以同时对多个MySQL、MongoDB实例进行监控 参考资料： 1. https://www.percona.com/blog/2016/04/18/percona-monitoring-and-management/ 2. https://www.percona.com/doc/percona-monitoring-and-management/index.html 3. https://www.percona.com/doc/percona-monitoring-and-management/install.html 安装过程描述的非常详尽，参考此文档足以 环境 操作系统版本CentOS 6.7 MySQL版本为 MySQL 5.7 1. 安装 1.1 PMM Server 负责将收集到的数据存储、聚合和展现 假定安装在192.168.100.1上 1) docker percona/pmm-server:1.0.6 2） docker create \ -v /opt/prometheus/data \ -v /opt/consul-data \ -v /var/lib/mysql \ -v /var/lib/grafana… 继续阅读 Percona监控工具初探