Linkis 0.9.2 版本发布

2人浏览 / 0人评论

什么是Linkis?

Linkis是微众银行自研的一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。

Linkis 0.9.2发布,主要优化了部署和启动脚本,并对hadoop和HttpClient的依赖进行了优化。

特性增强

  • [Linkis-193部署增强:脚本会自动识别是单机部署还是分布式部署,单机部署和启动时,不再使用SSHSCP
  • [Linkis-194环境检查:在安装Linkis之前先检查依赖的所有Linux命令和环境,如果检查失败,则直接退出安装部署
  • [Linkis-195服务检测:在start-all脚本里面对服务是否正常启动进行检查,如果服务不正常则给出错误日志
  • [Linkis-191依赖优化:将hadoop相关工具类从公共core/common模块移到单独的core/hadoop-common模块,减少包冲突问题.
  • [Linkis-192依赖优化:core/common模块不再依赖httpclient相关jar包,统一移到core/linkis-httpclient模块.
  • [Linkis-196] 统一分配Linkis各个服务的端口,从9100开始分配.
  • [Linkis-197] Linkis支持通过配置SERVER_HEAP_SIZE环境变量,统一指定所有微服务的堆内存大小.
  • [Linkis-198] Linkis-RM除了通过读取yarn-site.xml自动获取Yarn的JMX URL的方式之外,新增一种通过参数配置的方式获取。
  • [Linkis-199] 统一微服务的启动脚本,方便后续统一修改.
  • [Linkis-200] 将公共依赖的模块放到public-module,减少包冲突和降低安装包大小.
  • [Linkis-201] 默认将hadoop/hive/spark环境变量写到各个微服务的配置文件中.
  • [Linkis-208 ] 在安装脚本中新增haoop/hive/spark版本兼容性检测,如果版本不兼容,会提醒用户是否选择继续安装.
  • [Linkis-221 ] 增强Linkis-RM模块,使RM可以获取更多hadoop版本的Yarn队列信息.
  • [Linkis-174 ] 增强metadata模块,使metadata支持访问postgresql类型的hive元数据库.

Bug修复

  • [Linkis-175] 将yarn的默认队列从ide修改为default.
  • [Linkis-202] 移除Entrance错误码功能对hdfs的依赖,使精简版可以完全不依赖hadoop.
  • [Linkis-205] SQL注释优化,在--后面加空格.
  • [Linkis-210] 修复BML访问hdfs的权限问题.
  • [Linkis-218] 从start和install脚本中移除yum命令,兼容更多的unix系统.
  • [Linkis-226] 优化metadata模块,使引入的hive包,排除对Jackson包的依赖,降低包冲突风险.
  • [Linkis-229] 排除公共依赖public-module中的Jasper包,降低包冲突风险.
  • [Linkis-143] Linkis的配置文件增加对中文配置的支持.

贡献者

最后但是最重要的一点是,如果没有以下贡献者不可能发布此版本,在此感谢各位社区的贡献者!
排名不分先后(按字母排序)
allwefantasy: 增加了MLSQL引擎.
chenxi0599: 修复filesystem在日志打印错误问题.
hj2016: 解决当YarnCapacity调度获取最大资源时,由于maxEffectiveCapacity参数不存在导致的bug.
houjunxiong: 增强模块metadatahive的元数据库类型为postgresql的支持.
Just-do-it-Fan: 增加ResourceManager模块对YarnCapacity调度支持.
leisore: 修复startstop脚本命名问题.
liangqilang: 修复httpclient下载文件抛NullPointExceptionbug和增加流传输下载结果集功能,等多个特性.
nimuyuhan: 修复配置文件不支持中文bug.
patinousward: 修复多个bug,并在metadata模块中增加建表功能.
wForget:提供了linkisCDH5.7.6可用的发布版本.
zhanghaicheng1: 增加部署安装问题文档.

全部评论

搜索
个人微信号