Verileri MySQL'den Python

Question

ile toplu olarak alma Hacim nedeniyle bu işlemi toplu olarak yapmak istiyorum.

İşte benim kod:

getconn = conexiones() 
con = getconn.mysqlDWconnect() 
with con: 
    cur = con.cursor(mdb.cursors.DictCursor) 
    cur.execute("SELECT id, date, product_id, sales FROM sales") 
    rows = cur.fetchall() 

nasıl gruplar halinde veri getirmek için bir dizin uygulayabilir

?

Answer 1

İlk nokta:

: Gerçekten bellekte aynı anda bir bütün grubu yüklemek için gerekmedikçe, sadece yani yerine, bu özelliği kullanarak başlayabilirsiniz böylece bir piton db-api.cursor, Yineleyicinin

cursor.execute("SELECT * FROM mytable") 
rows = cursor.fetchall() 
for row in rows: 
    do_something_with(row) 

sen tekini:

cursor.execute("SELECT * FROM mytable") 
for row in cursor: 
    do_something_with(row) 

Sonra db bağlayıcı'nın uygulama hala bu özelliğin doğru kullanımını yapmaz, eğer LIMIT ekleyip karışıma OFFSET için zaman olacaktır:

cursor.execute("SELECT count(*) FROM mytable") 
count = cursor.fetchone()[0] 
batch_size = 42 # whatever 

for offset in xrange(0, count, batch_size): 
    cursor.execute(
     "SELECT * FROM mytable LIMIT %s OFFSET %s", 
     (batch_size, offset)) 
    for row in cursor: 
     do_something_with(row) 

Answer 2

Eğer sen X ihtiyacınız toplu boyutudur

SELECT id, date, product_id, sales FROM sales LIMIT X OFFSET Y; 

kullanabilir ve Y akalikin cevabı üzerine genişletmek için offset (örneğin akım tekrarlamalar X süreleri sayısı)

Answer 3

akımdır Sorguları parçalara bölmek için kademeli yineleme kullanabilir ve sonra da sorguyu yürütmek için LIMIT ve OFFSET kullanabilirsiniz.

cur = con.cursor(mdb.cursors.DictCursor) 
cur.execute("SELECT COUNT(*) FROM sales") 

for i in range(0,cur.fetchall(),5): 
    cur2 = con.cursor(mdb.cursors.DictCursor) 
    cur2.execute("SELECT id, date, product_id, sales FROM sales LIMIT %s OFFSET %s" %(5,i)) 
    rows = cur2.fetchall() 
    print rows 

Answer 4

burada senin önerilerle nasıl uyguladıklarını, teşekkür ederiz:

control = True 
index = 0 
while control==True: 
    getconn = conexiones() 
    con = getconn.mysqlDWconnect() 
    with con: 
     cur = con.cursor(mdb.cursors.DictCursor) 
     query = "SELECT id, date, product_id, sales FROM sales limit 10 OFFSET " + str(10 * (index)) 
     cur.execute(query) 
     rows = cur.fetchall() 
     index = index+1   
     if len(rows)== 0: 
      control=False 
    for row in rows: 
     dataset.append(row)