I'm Yang

Yang's Blog


  • 首页

  • 标签28

  • 分类5

  • 归档22

  • 关于

  • 搜索

Kafka消息重复消费

发表于 2019-01-22 | 更新于 2019-03-14 | 分类于 消息中间件

问题现象最近在测试环境遇到了一个问题, 这两天收到了无缘无故的收到了大批测试短信, 而且都是几天前已经收到过的短信. 经过追踪日志发现, 短息发送是通过Kafka Consumer执行, 而Kafka Consumer把之前的消费了的消息, 又重新消费了一遍.经过资料, 最终在Kafka官文发现了点 ...

阅读全文 »

Kafka常用命令

发表于 2018-10-18 | 更新于 2019-03-14 | 分类于 消息中间件

Kafka命令行工具 查看Kafka现有的Topic bin/kafka-topics.sh --zookeeper localhost:2181 --list 查看Topic详情 bin/kafka-topics.sh --zookeeper localhost:2181 --describe ...

阅读全文 »

Kafka使用中遇到的问题

发表于 2018-07-04 | 更新于 2018-10-18 | 分类于 消息中间件

Hostname问题在Kafka的启动的时候遇到以下报错(包括kafka Test启动):java.lang.NoClassDefFoundError: Could not initialize class kafka.network.RequestChannel$ at kafka.network ...

阅读全文 »

DynamoDB集成EMR

发表于 2018-04-08 | 更新于 2019-03-14

配置 DynamoDB权限配置 本地测试需要给当前用户的group配置DynamoDB的访问权限, Lamdba和EC2可以通过VPC来访问 配置AWS Token AWS.config.update({ accessKeyId: 'xxx', secretAccess ...

阅读全文 »

Amazon ElastiCache for Redis in Lambda

发表于 2018-04-03 | 更新于 2019-03-14

Configure VPCAs there is no auth to connect to Redis server, all security policy are based on VPC‘s Security Group, so before setup Redis server, we h ...

阅读全文 »

Amazon ElastiCache for Redis

发表于 2018-03-29 | 更新于 2019-03-14

Amazon ElastiCache is a web service that makes it easy to set up, manage, and scale a distributed in-memory data store or cache environment in the clo ...

阅读全文 »

DynamoDB 待续

发表于 2018-03-28 | 更新于 2019-03-14

待完善及确认的地方: 全局二级索引 & 本地二级索引 区别生存时间自动删除过期的项,从而帮助您降低存储用量,减少用于存储不相关数据的成本 吞吐量: 消耗, 设置, 优化读取和写入吞吐容量 在 Amazon DynamoDB 中创建表或索引时,必须指定读写活动的容量要求。通过提前定义您的吞吐 ...

阅读全文 »

Dynamoose 使用

发表于 2018-03-28 | 更新于 2019-03-14

Dynamoose 是一个DynamoDB的建模工具. 安装npm install dynamoose 使用配置 环境变量 # Set environment variablesexport AWS_ACCESS_KEY_ID="Your AWS Access Key ID"ex ...

阅读全文 »

DynamoDB 开发 - JS

发表于 2018-03-26 | 更新于 2019-03-14

DynamoDB in ‘node.js’DynamoDB Local本地运行DynamoDB作为开发环境, 下载后本地解压运行:java -Djava.library.path=./DynamoDBLocal_lib -jar DynamoDBLocal.jar -sharedDb aws-sdk ...

阅读全文 »

AWS DynamoDB 学习

发表于 2018-03-21 | 更新于 2019-03-14

DynamoDB 的按需备份和还https://docs.aws.amazon.com/zh_cn/amazondynamodb/latest/developerguide/BackupRestore.html 生存时间https://docs.aws.amazon.com/zh_cn/amazon ...

阅读全文 »
123
Wang Yang

Wang Yang

java, microservice

22 日志
4 分类
27 标签
0%
© 2011 – 2019 Wang Yang
由 Hexo 强力驱动 v3.8.0
|
主题 – NexT.Gemini v7.0.1
|