在这一章节中,我们主要介绍了流处理里面的重要的组件: 消息队列 (Message Broker/ Message Queue)
- 讲解了选择 Message Queue 的时候,有哪些性质是我们需要注意的; 比如是 Pull 还是 Push 模式,message 时候会被持久化等
- 简要介绍了业界比较广泛的两种 Message Queue: Rabbit MQ 和 Kafka,以及它们各自的性质特点
- 从四个业界公司的 Engineering Blog 中摘取了他们是如何使用 message queue
博客:https://pyemma.github.io/DDIA-Stream-Processing-I/
参考资源
* Rabbit MQ: https://www.rabbitmq.com/tutorials/amqp-concepts.html
* Kafka: https://www.confluent.io/blog/apache-kafka-architecture-and-internals-by-jun-rao/
* Rabbitmq sharding: https://github.com/rabbitmq/rabbitmq-sharding