浅谈nosql,浅谈NOSQL与SQL
NoSQL如何实现数据的增删改查？
package basic;
成都创新互联拥有十多年成都网站建设工作经验,为各大企业提供网站制作、成都网站制作服务，对于网页设计、PC网站建设（电脑版网站建设）、重庆APP开发、wap网站建设（手机版网站建设）、程序开发、网站优化（SEO优化）、微网站、空间域名等，凭借多年来在互联网的打拼，我们在互联网网站建设行业积累了很多网站制作、网站设计、网络营销经验，集策划、开发、设计、营销、管理等网站化运作于一体，具备承接各种规模类型的网站建设项目的能力。
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
public class JDBC {
public void findAll() {
try {
// 获得数据库驱动
//由于长时间不写，驱动名和URL都忘记了，不知道对不对，你应该知道的，自己改一下的哈
String url = "jdbc:oracle:thin:@localhost:1521:XE";
String userName = "system";
String password = "system";
Class.forName("oracle.jdbc.driver.OracleDriver");
// 创建连接
Connection conn = DriverManager.getConnection(url, userName,
password);
// 新建发送sql语句的对象
Statement st = conn.createStatement();
// 执行sql
String sql = "select * from users";
ResultSet rs = st.executeQuery(sql);
// 处理结果
while(rs.next()){
//这个地方就是给你的封装类属性赋值
System.out.println("UserName："+rs.getString(0));
}
// 关闭连接
rs.close();
st.close();
conn.close();
} catch (ClassNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
public void delete(){
try {
//步骤还是那六个步骤，前边的两步是一样的
String url = "jdbc:oracle:thin:@localhost:1521:XE";
String userName = "system";
String password = "system";
Class.forName("oracle.jdbc.driver.OracleDriver");
Connection conn = DriverManager.getConnection(url,userName,password);
//这里的发送sql语句的对象是PreparedStatement,成为预处理sql对象，因为按条件删除是需要不定值的
String sql = "delete from users where id = ?";
PreparedStatement ps = conn.prepareStatement(sql);
ps.setInt(0, 1);
int row = ps.executeUpdate();
if(row!=0){
System.out.println("删除成功！");
}
// 关闭连接
rs.close();
st.close();
conn.close();
} catch (ClassNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
几种nosql的浅谈
1、性能
都比较高，性能对我们来说应该都不是瓶颈。
总体来讲，TPS 方面 redis 和 memcache 差不多，要大于 mongodb。
2、操作的便利性
memcache 数据结构单一。（key-value）
redis 丰富一些，数据操作方面，redis 更好一些，较少的网络 IO 次数，同时还提供 list，set，
hash 等数据结构的存储。
mongodb 支持丰富的数据表达，索引，最类似关系型数据库，支持的查询语言非常丰富。
3、内存空间的大小和数据量的大小
redis 在 2.0 版本后增加了自己的 VM 特性，突破物理内存的限制；可以对 key value 设置过
期时间（类似 memcache）
memcache 可以修改最大可用内存,采用 LRU 算法。Memcached 代理软件 magent，比如建立
10 台 4G 的 Memcache 集群，就相当于有了 40G。 magent -s 10.1.2.1 -s 10.1.2.2:11211 -b
10.1.2.3:14000 mongoDB 适合大数据量的存储，依赖操作系统 VM 做内存管理，吃内存也比较厉害，服务
不要和别的服务在一起。
4、可用性（单点问题）
对于单点问题，
redis，依赖客户端来实现分布式读写；主从复制时，每次从节点重新连接主节点都要依赖整
个快照,无增量复制，因性能和效率问题，
所以单点问题比较复杂；不支持自动 sharding,需要依赖程序设定一致 hash 机制。
一种替代方案是，不用 redis 本身的复制机制，采用自己做主动复制（多份存储），或者改成
增量复制的方式（需要自己实现），一致性问题和性能的权衡
Memcache 本身没有数据冗余机制，也没必要；对于故障预防，采用依赖成熟的 hash 或者环
状的算法，解决单点故障引起的抖动问题。
mongoDB 支持 master-slave,replicaset（内部采用 paxos 选举算法，自动故障恢复）,auto sharding 机制，对客户端屏蔽了故障转移和切分机制。
5、可靠性（持久化）
对于数据持久化和数据恢复，
redis 支持（快照、AOF）：依赖快照进行持久化，aof 增强了可靠性的同时，对性能有所影
响
memcache 不支持，通常用在做缓存,提升性能；
MongoDB 从 1.8 版本开始采用 binlog 方式支持持久化的可靠性
6、数据一致性（事务支持）
Memcache 在并发场景下，用 cas 保证一致性redis 事务支持比较弱，只能保证事务中的每个操作连续执行
mongoDB 不支持事务
7、数据分析
mongoDB 内置了数据分析的功能(mapreduce),其他不支持
8、应用场景
redis：数据量较小的更性能操作和运算上
memcache：用于在动态系统中减少数据库负载，提升性能;做缓存，提高性能（适合读多写
少，对于数据量比较大，可以采用 sharding）
MongoDB:主要解决海量数据的访问效率问题。
表格比较：
memcache redis 类型 内存数据库 内存数据库
数据类型 在定义 value 时就要固定数据类型 不需要
有字符串，链表，集 合和有序集合
虚拟内存 不支持 支持
过期策略 支持 支持
分布式 magent master-slave，一主一从或一主多从
存储数据安全 不支持 使用 save 存储到 dump.rdb 中
灾难恢复 不支持 append only file(aof)用于数据恢复
性能
1、类型——memcache 和 redis 都是将数据存放在内存，所以是内存数据库。当然，memcache 也可用于缓存其他东西，例如图片等等。
2、 数据类型——Memcache 在添加数据时就要指定数据的字节长度,而 redis 不需要。
3、 虚拟内存——当物理内存用完时，可以将一些很久没用到的 value 交换到磁盘。
4、 过期策略——memcache 在 set 时就指定，例如 set key1 0 0 8,即永不过期。Redis 可以通
过例如 expire 设定，例如 expire name 10。
5、 分布式——设定 memcache 集群，利用 magent 做一主多从;redis 可以做一主多从。都可
以一主一从。
6、 存储数据安全——memcache 断电就断了，数据没了；redis 可以定期 save 到磁盘。
7、 灾难恢复——memcache 同上，redis 丢了后可以通过 aof 恢复。
Memecache 端口 11211
yum -y install memcached
yum -y install php-pecl-memcache
/etc/init.d/memcached start memcached -d -p 11211 -u memcached -m 64 -c 1024 -P /var/run/memcached/memcached.pid
-d 启动一个守护进程
-p 端口
-m 分配的内存是 M
-c 最大运行并发数-P memcache 的 pid
//0 压缩（是否 MEMCACHE_COMPRESSED） 30 秒失效时间
//delete 5 是 timeout
浅谈如何用Java操作MongoDB？
NoSQL数据库因其可扩展性使其变得越来越流行，利用NoSQL数据库可以给你带来更多的好处，MongoDB是一个用C++编写的可度可扩展性的开源NoSQL数据库。本文主要讲述如何使用Java操作MongoDB以及了解MongoDB如何进行日常的数据库操作。文章内容如下：第一步：安装MongoDB无需太多的繁杂步骤，你只要在MongoDB官方网站查看安装说明，根据自己的操作系统进行选择适应的版本即可。第二步：启动MongoDB服务器这一步也很简单。运行mongod.exe文件里的bin文件夹（我使用的是Windows OS系统），并启动MongoDB服务器。在默认的情况下服务器将启动端口27017，你需要在安装过程中创建将数据存储在/data/db目录里。第三步：启动MongoDB shell指令你可以通过运行mongo.exe文件来启动MongoBD shell。第四步：利用MongoDB创建数据库利用MongoDB在MongoDB shell中输入以下内容建立一个名为“company”的数据库。use company 记住，除非你在MangoDB里保存了一些东西，否则它不会自动为你保存。使用下面的命令帮你查看可用的数据库，它会显示“company”尚未被创建。show dbs; 第五步：在MongoDB中保存数据使用下面的命令来保存employee 数据代表一个collection，将其命名为employees。employee = {name : "A", no : 1} db.employees.save(employee) 通过使用下面的命令来查看collection里的数据。db.users.find(); 如何使用Java操作MongoDB？下面是是一段简单的Java代码，你可以在这里获得mongo-java驱动。很简单，只需要使用下面的代码，重复上面的操作即可。package com.eviac.blog.mongo; import java.net.UnknownHostException; import com.mongodb.BasicDBObject; import com.mongodb.DB; import com.mongodb.DBCollection; import com.mongodb.DBCursor; import com.mongodb.Mongo; import com.mongodb.MongoException; public class MongoDBClient { public static void main(String[] args) { try { Mongo mongo = new Mongo("localhost", 27017); DB db = mongo.getDB("company"); DBCollection collection = db.getCollection("employees"); BasicDBObject employee = new BasicDBObject(); employee.put("name", "Hannah"); employee.put("no", 2); collection.insert(employee); BasicDBObject searchEmployee = new BasicDBObject(); searchEmployee.put("no", 2); DBCursor cursor = collection.find(searchEmployee); while (cursor.hasNext()) { System.out.println(cursor.next()); } System.out.println("The Search Query has Executed!"); } catch (UnknownHostException e) { e.printStackTrace(); } catch (MongoException e) { e.printStackTrace(); } } } 结果如下：{ "_id" : { "$oid" : "4fec74dc907cbe9445fd2d70"} , "name" : "Hannah" , "no" : 2} The Search Query has Executed! 小结：随着互联网Web2.0网站的兴起，非关系型的数据库现在成了一个极其热门的新领域，非关系数据库产品的发展也非常迅速。本文浅显的谈及了如何使用Java操作MongoDB以及了解MongoDB如何进行日常的数据库操作的问题。如果您是这方面的专家不妨与我们分享下。本文为CSDN编译整理，未经允许不得转载。英文出自：DZone
浅谈BI实时图表实现数据可视化的原理
浅谈BI实时图表实现数据可视化的原理
不久前，在商业智能实时图表解决方案的选择中，我们简单讲了下实时分析的工作流程。今天我们就来详细讨论一下这个话题。
如果你已经使用过实时dashboard，或者正打算建立一个，那么，这篇文章可以帮助你理解实时dashboard背后的故事以及实时数据如何展现在你的dashboard中，从而实现数据可视化。
除去端到端之间极短的时间，数据实时可视化主要有四大步骤。这里我们用一张图来展示。
1、捕获数据流
实时数据流使用 scrapers、collectors、agents、listeners捕获，并且存储在数据库中。数据库通常是NoSQL数据库，例如， Cassandra、MongoDB, 或者有时候是你只是Hadoop Hive。关系数据库不适合这种高展现的分析。NoSQL数据库的崛起也增强了实时数据分析向他靠拢的趋势。
2、数据流处理
数据流可以通过许多方式处理，比如，分裂、合并、计算以及与外部数据源结合。这些工作由一个容错分布式数据库系统，比如， Storm、Hadoop，这些都是比较常用的大数据处理框架。但是他们却不是实时数据分析的理想选择。因为他们依赖MapReduce面向批量的处理。不过Hadoop 2.0允许使用其他计算算法代替MapReduce，这样使得Hadoop在实时分析系统中运用又进了一步。处理之后，数据就可以很可视化组件读取了。
3、数据可视化组件读取处理过的数据
处理过的数据以结构化的格式(比如JSON或者XML)存储在NoSQL数据库中，被可视化组件读取。在大多数情况下，这会是一个嵌入到一个内部BI系统的图表库，或者成为像Tableau这种更加广泛的可视化平台的一部分。处理过的数据在JSON/XML文件中的刷新频率，称为更新时间间隔。
4、可视化组件更新实时DASHBOARD
可视化组件从结构数据文件(JSON/XML),在图表界面绘制一个图表、仪表或者其他可视化行为。处理过的数据在客户端展现的频率叫做刷新间隔时间。在一些应用程序中，比如带有图表渲染功能的股票交易应用程序,会预先设置基于数据流的触发功能。
会不会觉得很复杂呢?只不过这些过程会在几秒钟内，甚至更短时间内完成。这些操作因为不断进步的数据库及实时功能变成现实，特别是NoSQL数据库。再由诸如Storm这种专用于实时进程处理的工具辅助，可以让其性能效果更上一层能。现在的可视化数据已经支持需求场景，在当今的大数据应用程序中建立了一个实时分析生态圈。
当前文章：浅谈nosql,浅谈NOSQL与SQL
本文链接：http://cdiso.cn/article/hdidph.html
