首页互联网kafka介绍,简述对kafka的认识

kafka介绍,简述对kafka的认识

编程之家2024-06-06185次浏览

一、kafka谁开发的

Kafka是由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

kafka介绍,简述对kafka的认识

主要应用场景是:日志收集系统和消息系统。

Kafka主要设计目标如下:

以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能。

高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。

支持KafkaServer间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输。

同时支持离线数据处理和实时数据处理。

kafka介绍,简述对kafka的认识

Scaleout:支持在线水平扩展

二、apache kafka是什么开源的系统

ApacheKafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。

Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从ApacheIncubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

Kafka是一个分布式消息队列:生产者、消费者的功能。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。

Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。

无论是kafka集群,还是producer和consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用性

kafka介绍,简述对kafka的认识

三、kafka没有消费者会导致消息堆积吗

是的,如果没有消费者,Kafka主题中的消息就会堆积。这是因为Kafka是一个分布式消息系统,它将消息分散到多个服务器上。当消费者从主题中消费消息时,它们会从服务器中删除消息。如果没有消费者,消息将一直留在服务器上,直到有消费者来消费它们。

消息堆积可能会导致以下问题:

消息丢失:如果没有消费者来消费消息,消息可能会被丢失。

性能下降:随着消息数量的增加,Kafka集群的性能可能会下降。

存储占用增加:随着消息数量的增加,Kafka集群的存储占用也会增加。

要避免消息堆积,请确保有足够的消费者来消费消息。您还可以使用Kafka的配置选项来限制主题中的消息数量。

免费长久的二级域名网站(如何获得免费长久的二级域名网站)s40主题(诺基亚s40主题)