ITeye博客

关注大型网站架构、海量数据存储、高性能IO框架、高可用/高伸缩/高性能方案、企业应用集成等

xcly · 共 113 篇文章

2019-4-3 Nginx

忙乎了一阵。。 因为等保定级,nginx版本升级到了nginx1.14.2 下载了一个包,覆盖升级 记录下安装了哪些辅助软件。 953 nginx -v 954 yum update openssl 955 yum -y install gperftools 956 yum -y install zlib 957 yum -y install zlib-devel 958 yum -y install openssl-devel 959 yum -y install xslt 960 yum -y install libxml2 libxml2-dev 961 yum -y install …

2019-04-03 09:53 · 开源框架整理 · 评论(0)

2019-3-6

午觉睡得正香,被领导电话吵醒了。只能从车上爬起来,上楼 解决问题。 ERP同步数据又出现了问题。 与IT同事调测了半天 1. data too long 数据库字段设计太短 varchar(255)装不了几十个字符。 varchar(2550)总算可行了。 2. json格式 中文描述中出现了特殊字符 \ springboot默认无法正确转义。 暂时转换了其他符号解决。回头再看看怎么解决。

2019-03-06 20:25 · JAVA技术 · ERP同步 · 评论(0)

2019-3-1 NGINX升级

1. 一年多一体机屏幕截图将服务器占了70%空间,一狠心,跟产品经理一合计,删掉了2018年9月之前的截图。 2. Nginx nginx resolver 释放后重利用漏洞(CVE-2016-0746) 需要将nginx从1.8 升级至 1.12的版本才能解决这个问题。

2019-03-02 16:15 · 系统维护 · 评论(0)

2019-2-28工作日志 等保定级 TOMCAT优化

为了解决等保定级中Tomcat的一些高危漏洞,决定将tomcat8升级到最高版本。 重新修改配置文件。 1. Tomcat中的Context.xml的<Loader delegate="true"/>表示使用正式的Java代理模式 含义:True代表使用正式的Java代理模式(先询问父类的加载器);false代表先在Web应用程序中寻找。默认值:FALSE 2. 在tomcat的/conf/context.xml中的<Context>中添加 <!--这里单位是 KB--> <Resources cachingAllowed="true" cacheMaxSize="100000" > Res…

2019-02-28 15:59 · TOMCAT · 评论(0)

tomcat 404解决

今日工作: 一 为了解决等保定级渗透测试中,springboot不存在路径的问题, 对tomcat做error错误配置。 1. webapps/ROOT中加入404错误公共页面及相关样式文件 2. 修改Tomcat conf/web.xml最底端加入 <error-page> <error-code>404</error-code> <location>/404.html</location> </error-page> 二 工作2 假期定义表中加入了2019年的放假休假数据。 三 阿里云RDS又到了续费的时间 四 转移了部分图片数据从218到39

2019-02-27 17:06 · TOMCAT · 评论(0)

Flume概念总结一

Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力 Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系统,支持TCP和UDP等2种模式),exec(命令执行)等数据源上收集数据的能力。 其中,收集数据有2种主要工作模式,如下: Push Sources:外部系统会主动地将数据推送到Flume中,如RPC、syslog。 Polling Sources:F…

2012-04-17 22:54 · Hadoop · 评论(0)

Flume 部署注意一

Flume 安装 1. jdk1.6以上。可修改环境变量.bash_profile 2.需要/tmp目录的读取写入权限。master pid,,node pid生成在此目录 3.安装zookeeper. 注意在datadir目录生成myid数字标识。 4.一般用scp同步数据,需要ssh生成无密码授权文件。 5.winscp上传数据到服务器 6.修改flume-dameon.sh, 日志目录修改 7.修改flume-site.xml 配置数据保存方式,master 序列号,master 等 8.修改conf/log4j日志生成方式。 9. 目录经常需要用root用户修改成flume用户cho…

2012-04-17 22:53 · Hadoop · 评论(0)

Flume源代码解读五

[ xcly原创于iteye,见 http://xcly.iteye.com ] 本节介绍Flume存储配置项的工作方式,Flume支持zookeeper和memory两种方式。 FlumeMaster启动时,创建ConfigStore。 如果为zookeeper方式,还初始化ZooKeeperService。对ConfigStore的使用通过ConfigurationManager来使用。 Flume配置数据的存储定义了ConfigStore这个抽象类,memory的存储实现为MemoryBackedConfigStore,实现比较简单,Map<String, FlumeConfigDat…

2012-03-15 17:01 · Hadoop · 评论(0)

Flume源代码解读四

[ xcly原创于iteye,见 http://xcly.iteye.com ] 今天介绍Flume里面用到的BackoffAlgo算法,接口由BackoffPolicy定义,让我们看看下面的几个关键的方法 reset:Reset backoff state. Call this after successful attempts.每一次成功调用之后reset状态。 backoff:Modify state as if a backoff had just happened. Call this after failed attempts。失败发生时调用的回退犯法。 isFailed:Has…

2012-03-15 13:01 · Hadoop · 评论(0)

Flume源代码解读三

[ xcly原创于iteye,见 http://xcly.iteye.com ] 本节重点介绍 agentSink中ENDTOEND的实现。 每一个节点通过source获得事件Event,然后由sink处理,sink同source一样,flume提供了多种实现,sink的生成同Flume源代码解读一中介绍的实现方式类似,由SinkFactory工厂方法实现,跟SourceFactory不一样的是定义了取得SinkDecoBuilder的抽象方法,在SinkFactoryImpl中不止通过name可以获得EventSink,也可以获得EventSinkDecorator,关键点是EventSi…

2012-03-10 20:40 · Hadoop · 评论(0)

Flume源代码解读二

[ xcly原创于iteye,见 http://xcly.iteye.com ] 接上次介绍tailDir的实现后,这次介绍节点的启动。节点的启动实现在高版本中会有所区别,这次针对flume0.9.3. 启动Flume Master或者Node一般都用FlumeWatchdog启动,生成pid文件,判断配置读取,利用Watchdog, 利用Runtime的exec来启动新的进程, 与新进程通信,如果子进程异常终止,就会不断尝试重新启动子进程。 我们看FlumeNode,由Watchdog调用FlumeNode的main方法, 在参数的传递上,使用Commons CLI.Commons CLI…

2012-03-10 18:28 · Hadoop · 评论(0)

Flume源代码解读一

[ xcly原创于iteye,见 http://xcly.iteye.com ] 年初团队接了搭建公司Hadoop平台的研发计划,负责公司产品日志的收集,分析两个工作。 日志收集准备搭建flume(0.9.3)这个分布式日志收集集群.背景介绍完毕,马上开始。 Flume分为agent,collector,master三个概念节点,agent负责收集日志,发到collector, collector一般负责接收agent发过来的事件流,写到存储器,这里一般是hdfs. master负责配置及通信管理,类似于hadoop中的NameNode,是心脏,是整个集群控制器。 此次业务收集的日志主要是公…

2012-03-10 12:28 · Hadoop · 评论(2)

软件收集

软件收集 办公软件: wps 浏览器: Google Chrome 浏览器 firefox ie 8 Safari TT 小白浏览器 开发工具: MyEclipse 7.5 NetBeans IDE 7.0.1 linux操作软件: Xshell SecureFX 6.0 数据库管理软件: mysql: SQLyog Enterprise v8.14 powerdesigner125 Server apache-tomcat-6.0.20 apache-tomcat-7.0 mysql-noinstall-5.1.54-win32 nginx 字符集转换 GB2UTF8 反编译: jd-gu…

2011-08-18 10:24 · 软件工程 · 评论(0)

Use cases

以Use Case 驱动, 以体系结构为中心的开发流程 . 方法: 用 use case捕获需求.

2011-07-20 05:19 · 软件工程 · 评论(0)

perl环境安装

1 window下环境安装 装 ActivePerl,dos窗口下cd转到 安装好的perl根目录下,一般是c:\perl, dos进入到bin目录下, ppm可以看到所有已经安装好的包 用 ppm install DBD::mysql 可以安装好数据库驱动包 2 linux下一般自带perl, 需要安装 DBI DBD::mysql rpm -ivh MySQL-devel-5.0.92-1.glibc23.x86_64.rpm perl> perl -MCPAN -e "install DBI" perl> perl -MCPAN -e "install DBD::mysql" 注意:你…

2011-06-23 12:19 · 读书笔记 · 评论(0)