独孤不求败
- 浏览: 24505 次
- 性别:
- 来自: 上海
-
最新评论
文章列表
流式数据、批式数据、实时数据、历史数据的区别
- 博客分类：
- java
大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。
复杂的批量数据处理（batch data processing），通常的时间跨度在数十分钟到数小时之间。
基于历史数据的交互式查询（interactive query），通常的时间跨度在数十秒到数分钟之间。
一、基本概念
1、TCP连接
手机能够使用联网功能是因为手机底层实现了TCP/IP协议，可以使手机终端通过无线网络建立TCP连接。TCP协议可以对上层网络提供接口，使上层网络数据的传输建立在“无差别”的网络之上。
...
HTTP状态码（HTTP Status Code）是用以表示网页服务器HTTP响应状态的3位数字代码。当我们打开一个网页时，如果网页能够返回数据，也就是说影响成功了，一般状态响应码都是200。当然状态响应码，包括很多内容，下面列举了，状态响应码，及其表示的含义，其中加错的是在爬虫中经常遇到的：
100：继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。
101： 转换协议 在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。
102：继续处理 由We ...
Spring的常用注解，具体如下：
使用注解之前要开启自动扫描功能，其中base-package为需要扫描的包(含子包)。
<context:component-scan base-package="cn.test"/>
@Configuration把一个类作为一个IoC容器，它的某个方法头上如果注册了@Bean，就会作为这个Spring容器中的Bean。
@Scope注解 作用域
@Lazy(true) 表示延迟初始化
@Service用于标注业务层组件、
@Controller用于标注控制层组件（如struts中的action）
@Reposito ...
1.命令行创建普通java项目
mvn archetype:generate -DgroupId=com.fxust -DartifactId=demo -DarchetypeArtifactId=maven-archetype-quickstart
2.命令行创建javaWeb项目
mvn archetype:generate -DgroupId=com.fxust.codelab -DartifactId=myweb -DarchetypeArtifactId=maven-archetype-webapp
maven基本操作命令
mvn archetype:create ：创 ...
CSS判断不同分辨率浏览器（显示屏幕）显示不同宽度布局CSS3技术支持IE6到IE8。将用到css3 @media样式进行判断，但IE9以下版本不支持CSS3技术，这里DIVCSS5给大家介绍通过JS实现低版本的浏览器也支持CSS3实现实用布局
CSS DIV网页布局 ...
1）substr函数格式 (俗称：字符截取函数)
格式1： substr(string string, int a, int b);
格式2：substr(string string, int a) ;
解释：
格式1
1、string 需要截取的字符串
2、a 截取字符串的开始位置（注：当a等于0或1时，都是从第一位开始截取）
3、b 要截取的字符串的长度
格式2
1、string 需要截取的字符串
2、a 可以理解为从第a个字符开始截取后面所有的字符串。
2）instr()函数的格式 （俗称：字符查找函数）
格式一：instr( string1, strin ...
引言： 在Restful类的服务设计中，经常会碰到需要在URL地址中使用中文作为的参数的情况，这种情况下，一般都需要正确的设置和编码中文字符信息。乱码问题就此产生了，该如何解决呢？且听本文详细道来。
1. 问题的引出
在Restful的服务设计中，查询某些信息的时候，一般的URL地址设计为： get /basic/service? keyword=历史 ， 之类的URL地址。 但是，在实际的开发和使用中，确是有乱码情况的发生，在后台的读取keyword信息为乱码，无法正确读取。
2. 乱码是如何产生的？
由于我们利用URL传递参数这种方式是依赖与浏览器环境中的，也就是 ...
javaScript中中有有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：unescape,decodeURI,decodeURIComponent
1 escape()函数
定义和用法
escape() 函数可对字符串进行编码，这样就可以在所有的计算机上读取该字符串。
语法
escape(string)
参数 描述
string 必需。要被转义或编码的字符串。
返回值
已编码的 string 的副本。其中某些字符被替换成了十六进制的转义序列。
说明
该方法不会对 ASCII 字母和数字进行编码，也不会对下面这些 ...
jvm内存模型：
栈（stake）：每个线程都有私有栈内存
主要存储：执行方法，局部变量（基本数据类型局部变量直接存储在栈，引用类型的引用存在栈中，引用的对象在堆中）
堆（heap）：每一个实例对象都存在堆中，堆属于共享区域，
计算机模型：CPU寄存器，缓存区，主存，
JAVA的堆和栈都对应的是主存，但也可能临时存储在寄存器，缓存区。
jvm调优：一分配合适的堆内存，设置适合的栈大小，代码中避免深度递归，及内存泄露。在大量实例化局部对象时，使用完及时主动调用垃圾回收（system.gc().或system.GC.collect（））。
监控内存情况：jdk自带的：jconsole或
1.编码区别：
iso8859-1: 通常叫做Latin-1,属于单字节编码，最多能表示的字符范围是0-255，应用于英文系列。比如，字母a的编码为0x61=97。
UTF-8:utf编码兼容iso8859-1编码，不是固定字长编码的，而是一种变长的编码方式，每一个字符的长度从1-6个字节不等:
数字和字符一般占1个字节,
utf8字符集中一个中文字符占几个字节:
占2个字节的：〇
占3个字节的：基本等同于GBK，含21000多个汉字
占4个字节的：中日韩超大字符集里面的汉字，有5万多个
Unicode:这是最统一的编码，可以用来表示所有语言的字符，而且是定长双字节（也有四字节的 ...
--查看用户和默认表空间的关系
select username,default_tablespace from dba_users;
--查看当前用户能访问的表
select * from user_tables;
--Oracle查询用户表
select * from user_all_tables;
--Oracle查询用户视图
select * from user_views;
--查询所有函数和储存过程：
select * from user_source;
--查询所有用户：
select * from all_users;
--select * from dba_users
-- ...
软件开发价格与工作量、商务成本、国家税收和企业利润等项有关。为了便于计算，给出一个计算公式：
软件开发价格 ＝ 开发工作量 × 开发费用／人·月
1.1开发工作量
软件开发工作量与估算工作量经验值、风险系数 ...
1.同步与异步
1.1同步
在多线程的环境中，经常会碰到数据共享的情况，即当多个线程共同需要访问一个资源时，他们需要以某种顺序来确保该资源在某一时刻只能被一个线程使用，否则，程序的运行结果将是不可预料的，在这种情况下就必须对数据进行同步，例如多个线程同时对同一数据进行写操作，即当线程A需要使用某个资源时，如果这个资源正在被线程B使用，同步机制就会让线程A一直等待下去，直到线程B结束对该资源的使用后，线程A才能使用这个资源，由此可见，同步机制能够保证资源的安全。
要想实现同步操作，必须要获得每一个线程对象的锁。获得它可以保证在同一时刻只有一个线程能够进入临界区（访问互斥资源的代码块），并且在 ...
1、Eclise 中设置jvm内存: 修改eclipse的配置文件,对所有工程都起作用
修改eclipse根目录下的eclipse.ini文件
-vmargs //虚拟机设置
-Xms40m //初始内存
-Xmx256m //最大内存
-Xmn16m //最小内存
-XX:PermSize=128M //非堆内存
-XX:MaxPermSize=256M
2、Eclise 中设置jvm内存:jres VM Arguments参数的设置,对所有工程都起作用
打开eclipse window－p ...